Ученые из Корнеллского университета и Корейского института передовых наук и технологий разработали технологию WatchHand. Это первая в мире система, которая позволяет стандартным смарт-часам отслеживать положение и движения рук пользователя с помощью встроенных микрофона и динамика, без дополнительного оборудования.
Принцип работы основан на излучении неслышимых звуковых волн, которые отражаются от руки и улавливаются микрофоном часов. Алгоритм машинного обучения обрабатывает полученное эхо и в реальном времени определяет положение руки в трехмерном пространстве. Все данные обрабатываются локально на устройстве, что исключает передачу личной информации третьим сторонам.
Система прошла испытания с участием 40 добровольцев, в ходе которых было собрано около 36 часов данных. WatchHand продемонстрировала надежное отслеживание движений пальцев и вращений запястья на разных моделях часов, на обеих руках и даже в условиях фонового шума.
Среди возможных применений технологии — бесконтактное управление устройствами жестами, вспомогательные средства для людей с ограниченной подвижностью или речью, а также управление в средах дополненной и виртуальной реальности.
При этом разработка имеет ограничения: на данный момент система работает только на смарт-часах с Android, а также могут возникать трудности с отслеживанием положений рук во время ходьбы пользователя. Тем не менее, исследователи отмечают, что с помощью простого программного обновления подобные возможности могут быть открыты на миллионах уже существующих устройств.
Читайте также: «Ради выживания лучшие модели ИИ лгут и скрывают свои действия».