MotionSavvy: планшет для глухонемых с распознаванием жестов

Продвинутые аудиосистемы и средства голосового управления находят всё более широкое применение в мобильной технике, но что делать людям, лишённым возможности слышать и говорить? Фирма MotionSavvy решила помочь людям с ограниченными возможностями использовать современные гаджеты более эффективно.

Среди нас живёт огромное число инвалидов по слуху и зрению, помощь которым трудно назвать эффективной. Написанные шрифтом Брайля объявления часто находятся за стеклом, а перед очередными выборами глухонемому избирателю могут подарить музыкальный центр. Да, они чувствуют вибрацию и обладают хорошим чувством ритма, но подобные истории выглядят как откровенная издёвка. Обычно они случаются не по злому умыслу, а просто потому, что здоровому человеку трудно понять ограничения инвалидов и возникающие из-за этого проблемы с социальной адаптацией.

Тем сильнее обнадёживает тот факт, что отдел разработок MotionSavvy составляет команда из шести человек, каждый из которых сам глухонемой. Они изначально понимали, для кого создают новую технологию и как именно ей будут пользоваться.

Учредители компании Райан Хайт-Кэмпбелл (Ryan Hait-Campbell, Уэйд Келлард (Wade Kellard), Джордан Стемпер (Jordan Stemper) и Алекс Опалка (Alex Opalka) встретились в Рочестерском технологическом институте, в котором предусмотрен специальный образовательный филиал для глухонемых. Прототип системы MotionSavvy был построен год назад и занял третье место на конкурсе, финансируемом компанией ZVRS.

Коллектив MotionSavvy (фото: techurls.com).
Коллектив MotionSavvy (фото: techurls.com).

На аппаратном уровне одноимённая разработка представляет собой корпус для планшета, в который интегрирован датчик движений Leap Motion. «Компьютерра» уже писала о его применении в ноутбуках. Теперь настала очередь планшетов: соответствующее мобильное приложение анализирует движения рук пользователя и понимает язык жестов, переводя его на какой-либо другой.

Сейчас MotionSavvy способна переводить американский вариант языка жестов (ASL) на английский и обратно. Контроллер Leap Motion 3D распознаёт характерные движения руками, которые пользователь выполняет над поверхностью планшета. После анализа приложение отображает условное обозначение жеста в виде знака на экране и переводит его в текст либо озвучивает. Предусмотрено также распознавание голоса для общения с людьми, способными говорить. Собеседнику будет достаточно произнести слово или фразу вслух, и MotionSavvy сразу же отобразит их на экране планшета в виде соответствующего текста.

Общий принцип работы MotionSavvy (изображение: techacute.com).
Общий принцип работы MotionSavvy (изображение: techacute.com).

«Возможность свободного общения — одна из ключевых сторон полноценной жизни, — комментирует Хайт-Кэмпбелл. — Быть глухим — очень похоже на переезд в другую страну без шанса выучить новый язык».

Пока прототип распознаёт только сотню слов. Райан Хайт-Кэмпбелл и Алекс Опалка надеются привлечь волонтёров для скорейшего пополнения базы. Без крауд-технологий здесь явно не обойтись. Сейчас американский язык жестов содержит тысячи знаков и даже аналоги акцентов, затрудняющих однозначную идентификацию.

Более восьмисот глухонемых добровольцев уже подали заявку на участие в бета-тестировании. Ожидается, что готовый к серийному производству продукт MotionSavvy появится на рынке в сентябре следующего года. Ориентировочная цена набора, состоящего из планшета под управлением ОС Windows 8.1 и чехла с датчиком движения, составит $600. Однако ещё по $20 в месяц придётся платить за продление подписки на приложение, без которого ни одна функция работы с языком жестов не будет действовать.

Сам Райан Хайт-Кэмпбелл называет ценовую политику более чем гуманной и сравнивает её со стоимостью услуг переводчика, который обходится в $60–100 в час. В то же время разработчики не считают MotionSavvy угрозой для профессиональных переводчиков. Наоборот: они уверены, что проект создаст новые рабочие места для переводчиков, поскольку больше глухонемых людей смогут получить высокооплачиваемую работу и пользоваться их услугами.

Пример использования системы перевода MotionSavvy (фото: techcrunch.com).
Пример использования системы перевода MotionSavvy (фото: techcrunch.com).

«MotionSavvy даст глухонемым людям возможность общаться с другими почти на равных и жить более насыщенной жизнью, о которой они всегда мечтали», – поясняет Райан. В планах компании портировать свои наработки на платформы Windows Phone, Android, iOS, но когда именно это будет — никто из разработчиков сейчас даже не прогнозирует. Кроме волонтёров, MotionSavvy активно привлекает инвестиции. Общая сумма собранных средств уже составила $1,5 млн, хотя все они были перечислены одной венчурной компанией — SOS Ventures.

Что будем искать? Например,ChatGPT

Мы в социальных сетях