Ученые из США разработали EchoMotion — систему, которая позволяет отслеживать положение и движения всего тела с помощью обычных умных часов. Для этого она использует ультразвуковые сигналы и компактную модель искусственного интеллекта. Камеры и дополнительные датчики не требуются.
Система работает по принципу сонара. Динамик часов излучает неслышимые человеку ультразвуковые волны, которые отражаются от рук, ног и других частей тела. Встроенный микрофон улавливает эхо, а алгоритм анализирует его изменения и определяет положение суставов.
Сначала ученые создали собственный макет часов с двумя динамиками и двумя микрофонами. С его помощью они собрали данные о движениях десяти добровольцев, выполнявших 18 упражнений. На основе этих записей исследователи обучили нейросеть определять положение 12 точек тела — от головы до лодыжек.
Затем технологию проверили на обычных Samsung Galaxy Watch 6, в которых используется только одна пара динамика и микрофона. У людей, впервые воспользовавшихся системой, средняя ошибка определения положения суставов составила менее 10 сантиметров. После однократной калибровки продолжительностью 12 минут она уменьшилась примерно до 6,1 сантиметра.
Та же модель без дополнительного обучения работала и на Samsung Galaxy Watch 7 и Google Pixel Watch 3. По оценке исследователей, система потребляет около 12 милливатт — примерно в 40 раз меньше энергии, чем носимая камера. Полчаса отслеживания движений расходуют около 5–6% заряда Galaxy Watch 6.
У технологии есть ограничения. В испытаниях мебель и обычный фоновый шум практически не влияли на результат, но в узком коридоре точность немного снижалась из-за отражения ультразвука от находившихся рядом людей. Ученые рассчитывают улучшить работу системы, собрав данные с гораздо большего числа пользователей.
Разработчики рассматривают EchoMotion прежде всего как инструмент для фитнеса и реабилитации. В будущем персональный ИИ-помощник сможет автоматически считать повторения упражнений и подсказывать, правильно ли человек выполняет движения. Исследование также может пригодиться для отслеживания повседневной активности и управления устройствами с помощью движений тела.
Читайте также: Радарный браслет превращает руку в сенсорную панель для умных часов