Вы часто теряете пульт от телевизора? Скоро это перестанет быть проблемой. «Яндекс» совместно с университетом Карнеги-Меллона разрабатывает интерфейс жестов для Smart TV. Управлять подключённым к интернету телевизором можно будет голыми руками и не вставая с кресла – смотрите видео.
С помощью жестов на экран выводится различная информация по запросу пользователя. Например, данные из социальных сетей Facebook и Foursquare, сервиса обмена фотографиями Instagram.
Приложение также показывает новый контент в режиме экранной заставки. В подборку попадают фотографии, видеоролики и музыкальные клипы, рекомендованные друзьями в соцсетях. С заинтересовавшим медиаконтентом можно познакомиться поближе – например, прочитать описание ролика или сразу же воспроизвести его.
Экспериментальное приложение написано для Mac OS X. В распознавании движений используется Microsoft Kinect. Он имеет собственную систему жестов и проприетарные алгоритмы машинного обучения. Проблема в том, что желающие применять его в своих коммерческих программах должны получить платную лицензию. Поэтому для Kinect идет поиск альтернативы.
Официально инициатива существует в рамках исследовательского проекта, однако это явно проба пера и попытка поближе изучить особенности интерфейса жестов для использования в будущем.
Директор по распространению технологий компании «Яндекс» Григорий Бакунов отмечает в интервью изданию TechCrunch, что язык жестов выглядит перспективным практически для любого мобильного сервиса «Яндекса».
Разработка ведётся под руководством профессора Иэна Лейна (Ian Lane) с использованием методов опорных векторов, нейронных сетей и скрытых Марковских моделей. Огромную работу проделали и студенты. Они сделали полторы тысячи записей движений, разбили их на блоки по 90 кадров и вручную промаркировали свыше пяти тысяч примеров для каждого жеста. Благодаря этой рутинной работе значительно повысился коэффициент распознавания конечного набора управляющих жестов.
Подобные исследования проводит и Google совместно с лабораторией Ishikawa Komuro.
В данном варианте для распознавания движений к смартфону подключается высокоскоростная камера. Учитывая масштабирование объекта по мере приближения, система распознаёт не только перемещения пальца в плоскости, но и виртуальные нажатия. Возможно, в будущем удастся адаптировать для этих целей собственную фронтальную камеру смартфона.