Биоинженеры из Калифорнийского университета в Лос-Анжелесе создали роботизированную перчатку, способную в реальном времени переводить язык жестов в речь благодаря нейросети. Результаты их работы были опубликованы в издании Nature Electronics.
Устройство представляет собой эластичную перчатку, оснащённую датчиками и гироскопами, которые расположены вдоль всех пяти пальцев. Они улавливают движения «говорящего», преобразуют их в электрические сигналы и посылают на чипы размером около 2,5 сантиметра. Затем данные передаются на мобильное приложение, которое переводит движения в слова и озвучивает их со скоростью одного слова в секунду.
Так как мимика является важной частью языка жестов в Америке, для более высокой точности распознавания движений исследователи поместили два дополнительных клейких датчика на лице испытуемых – между бровями и сбоку от рта. Четыре участника испытаний использовали 660 жестов, включая буквы латинского алфавита, цифры от 0 до 9, а также отдельные слова и фразы. Программе удалось правильно интерпретировать жесты в 99% случаев, затрачивая на расшифровку каждого из них менее секунды.
Инженеры считают, что это только начало. Ранее подобные устройства были громоздкими и тяжёлыми. Современная разработка сделана из лёгких, недорогих, но долговечных полимеров, что делает её удобной в повседневном использовании. Учёные планируют продолжать улучшать перчатку и расширять «словарный запас» устройства, чтобы уже в ближайшем будущем глухие и немые люди смогли общаться с окружающими без проблем.