В посте, посвященном возможностям Kinect 2.0 мы рассказали о том, что новая версия контроллера сможет отслеживать состояние ладоней пользователя (например, открыты они или сжаты в кулак). Однако новые камеры и алгоритмы Kinect пока не дают необходимой точности для печати на виртуальной клавиатуре или других видов взаимодействия с виртуальными объектами с помощью рук. Впрочем, разработка в этом направлении уже ведется. Возможно, некоторые читатели знают о проекте Holodesk, в рамках которого исследователи Microsoft Research в Кембридже изучали возможности максимального сближения аналогового и цифрового мира. Новое название проекта – Digits более точно отражает его задачи: предоставить пользователю возможность полноценного трехмерного взаимодействия с цифровыми объектами.
На сегодняшний день аппаратная составляющая тестовой системы – сенсорный браслет с ИК-лазером, камерой и гиростабилизатором выглядит недостаточно компактной для конечного пользователя.
Но аппаратное воплощение – лишь малая часть работы, проделанный исследователями. Их главная заслуга в разработке алгоритмов, которые позволили практически безошибочно интерпретировать любые жесты и движения пальцев в трехмерном пространстве. Для этого реальная рука пользователя соотносится с ее виртуальной биомеханической моделью (это хорошо видно на видео). Кроме того, для точной интерпретации положения руки и пальцев использованы инструменты машинного обучения.
В результате команде Digits удалось создать прототип устройства, которое можно подключить к компьютеру, планшету или смартфону, чтобы взаимодействовать с интерфейсом самым удобным бесконтактным способом.
Возможные пути реализации потенциала такой системы практически безграничны. В качестве дополнения Kinect или самостоятельно она позволит существенно приблизить момент реализации идеального человеко-компьютерного интерфейса, для работы с которым не потребуются специальные устройства или навыки.