Вы часто теряете пульт от телевизора? Скоро это перестанет быть проблемой. «Яндекс» совместно с университетом Карнеги-Меллона разрабатывает интерфейс жестов для Smart TV. Управлять подключённым к интернету телевизором можно будет голыми руками и не вставая с кресла – смотрите видео.

С помощью жестов на экран выводится различная информация по запросу пользователя. Например, данные из социальных сетей Facebook и Foursquare, сервиса обмена фотографиями Instagram.

Приложение также показывает новый контент в режиме экранной заставки. В подборку попадают фотографии, видеоролики и музыкальные клипы, рекомендованные друзьями в соцсетях. С заинтересовавшим медиаконтентом можно познакомиться поближе – например, прочитать описание ролика или сразу же воспроизвести его.

Экспериментальное приложение написано для Mac OS X. В распознавании движений используется Microsoft Kinect. Он имеет собственную систему жестов и проприетарные алгоритмы машинного обучения. Проблема в том, что желающие применять его в своих коммерческих программах должны получить платную лицензию. Поэтому для Kinect идет поиск альтернативы.

Реклама на Компьютерре

Официально инициатива существует в рамках исследовательского проекта, однако это явно проба пера и попытка поближе изучить особенности интерфейса жестов для использования в будущем.

Директор по распространению технологий компании «Яндекс» Григорий Бакунов отмечает в интервью изданию TechCrunch, что язык жестов выглядит перспективным практически для любого мобильного сервиса «Яндекса».

Разработка ведётся под руководством профессора Иэна Лейна (Ian Lane) с использованием методов опорных векторов, нейронных сетей и скрытых Марковских моделей. Огромную работу проделали и студенты. Они сделали полторы тысячи записей движений, разбили их на блоки по 90 кадров и вручную промаркировали свыше пяти тысяч примеров для каждого жеста. Благодаря этой рутинной работе значительно повысился коэффициент распознавания конечного набора управляющих жестов.

Подобные исследования проводит и Google совместно с лабораторией Ishikawa Komuro.

В данном варианте для распознавания движений к смартфону подключается высокоскоростная камера. Учитывая масштабирование объекта по мере приближения, система распознаёт не только перемещения пальца в плоскости, но и виртуальные нажатия. Возможно, в будущем удастся адаптировать для этих целей собственную фронтальную камеру смартфона.