Apple представила AR/VR-очки Vision Pro. Высокое разрешение (картинка в 4К), управление жестами и движениями глаз. Но не это самое удивительное. Из твита инженера, работавшего в проекте, стало известно, что гарнитура способна предсказывать действия человека: она угадывает, куда он кликнет, еще до того, как он это сделает. Зрачки немного расширяются от ожидания того, что после нажатия что-то изменится. Гаджет это фиксирует и начинает выполнять команду заранее. По сути, это пример нового интерфейса «человек — компьютер» без необходимости имплантов.
Эксперимент Либета
Начнем с небольшой предыстории: эксперимент Либета доказал, что нейросигнал для движения пальца появляется до того, как мозг осознает, что принял решение сделать это.
В 1983 году американский ученый Бенджамин Либет провел опыт: участников посадили напротив часов и попросили загибать пальцы или двигать запястьем, когда им захочется, запоминая позицию на часах в этот момент. Что выяснили: оказалось, что активность мозга возникает раньше сознательного решения человека совершить действие.
Стерлинг Криспин работал исследователем нейротехнологических прототипов в Apple более 3 лет. В своем твите он рассказал, что занимался как раз аналогичными исследованиями для компании Apple. Его команда среди прочего показывала людям незаметные вспышки изображений, замеряла реакцию зрачков и таким образом определяла эмоциональное и физическое состояние индивида.
Что говорит Стерлинг Криспин об исследованиях
Большая часть работы, которую выполнял инженер Стерлинг Криспин, находится под NDA (соглашение о неразглашении). Но некоторые вещи стали достоянием общественности благодаря патентам. В целом его работа была связана с определением психического состояния пользователей на основе данных, полученных от их тела и мозга, когда они находились в иммерсивном опыте. Несколько его высказываний:
-
«Пользователь находится в смешанной реальности или виртуальной реальности, а модели ИИ пытаются предсказать, испытываете ли вы любопытство, рассеянность, страх, внимание, вспоминаете прошлый опыт или какое-то другое когнитивное состояние. Эти данные могут быть получены с помощью таких измерений, как слежение за глазами, электрическая активность в мозге, сердцебиение и ритмы, мышечная активность, плотность крови в мозге, кровяное давление, проводимость кожи и прочее».
- «Чтобы сделать возможными конкретные предсказания, провели множество опытов. Одним из самых крутых результатов было предсказание того, что пользователь собирается нажать на что-то до того, как он это сделает. Ваш зрачок реагирует до того, как вы нажмете на кнопку, отчасти потому, что вы ожидаете, что что-то произойдет после нажатия. Поэтому вы можете создать биологическую обратную связь с мозгом пользователя, чтобы отслеживать поведение глаз и изменять дизайн пользовательского интерфейса в реальном времени. Это грубый вариант интерфейса «мозг — компьютер» через глаза, но очень крутой. И я бы в любой день предпочел это инвазивной операции на мозге».
-
«В другом патенте подробно описывается использование машинного обучения, сигналов тела и мозга, чтобы предсказать, насколько вы сосредоточены, расслаблены или хорошо учитесь. А затем обновлять виртуальную среду, чтобы усилить эти состояния. Представьте себе адаптивную среду погружения, которая помогает вам учиться, работать или расслабляться, изменяя то, что вы видите и слышите на заднем плане».
Техническая сторона вопроса
Интересно, что все это стало возможным во многом благодаря собственным мощным процессорам. Гарнитура Vision Pro оснащена двумя чипами: M2 (компания встраивает его в свои ноутбуки) и специально разработанным R1. Последний обрабатывает входные сигналы с 12 камер, 5 датчиков и 6 микрофонов. Оба процессора работают в связке. Большое количество камер и датчиков отслеживают руки и глаза пользователя, поэтому управление настолько поражает пользователей.
Устройство сочетает функции дополненной и виртуальной реальности и работает на visionOS, с которой будут совместимы приложения для iOS и iPadOS. AR/VR-очки могут работать без подзарядки до двух часов с внешним аккумулятором.
Заключение
В текущем виде Vision Pro — эксперимент с самыми современными технологиями, чтобы впечатлить потребителей. Его выпускают как некий ранний доступ для самых заинтересованных, чтобы проверить устройство за пределами лабораторий, в реальных условиях.
Особенно интересны перспективы и то, как дальше будет развиваться технология. Раньше общение человека и компьютера было ограничено клавиатурой и мышкой. В последние годы мы задействуем голосовые команды. Но, видимо, теперь появятся интерфейсы, основанные на зрении.
Бесконтактные интерфейсы постепенно выходят на оперативный простор потребительского рынка. Навигация по веб-страницам при помощи глаз выглядит довольно удобной. Но технология не будет стоять на месте, и определенно, это шаг к будущему, где управление будет напрямую мозгом человека.