Ученые Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» и Университета Иннополис вошли в международную команду разработчиков нейросетевой архитектуры для носимых устройств. Модель способна распознавать более 30 видов активности человека по данным сенсоров и при этом работает непосредственно на устройстве.
«Умные» часы, фитнес-браслеты и медицинские датчики постоянно собирают информацию о движениях человека. Однако запуск нейросетей на таких устройствах ограничен их вычислительными ресурсами и емкостью аккумулятора. Более сложные модели требуют значительных вычислений и могут отправлять данные в облако, а упрощенные алгоритмы хуже справляются с редкими событиями, например падениями.
Разработчики объединили в одной архитектуре два подхода. Первая ветвь использует временную сверточную сеть с причинными свертками и анализирует локальные особенности движений — то, что человек делает в текущий момент. Вторая применяет механизм канального внимания и учитывает более продолжительный контекст последовательности движений.
Такой подход позволил сделать модель компактной. Она содержит от 50 до 62 тысяч параметров, а для одного предсказания требуется от 2 до 3,5 млн вычислительных операций. Благодаря этому нейросеть можно запускать непосредственно на «умных» часах, фитнес-браслетах и медицинских устройствах без передачи данных в облако. Это также позволяет экономить заряд аккумулятора и сохранять данные на самом устройстве.
Исследователи проверили разработку на трех общедоступных наборах данных. Нейросеть распознает разные виды активности — от ходьбы и бега до бытовых действий и сложных физических нагрузок.
На одном из наборов данных точность модели составила 97,49%. Это на 2,49% выше предыдущего лучшего результата. На другом наборе показатель достиг 98,91%. Отдельно разработчики проверили распознавание редких событий. В одном из тестов модель определяла падения на 10,38% лучше предыдущих решений.
По словам разработчиков, технология может использоваться для непрерывного мониторинга здоровья, отслеживания спортивных тренировок и реабилитации после травм или инсульта. В перспективе такие системы смогут автоматически обнаруживать опасные ситуации, включая падения пожилых людей, и передавать сигнал о необходимости помощи.
Читайте также:
«Сбер» запустил фабрику ИИ-сервисов и начал тестировать помощников для повседневных задач
Точка невозврата: как искусственный интеллект отучает нас думать и почему это необратимо
Российская ИИ-модель Grom Zvuk обошла Suno v6 по качеству звучания в слепом тесте