Fove — первый шлем VR с управлением взглядом

Молодая компания Fove, чья штаб-квартира была основана в Токио год назад, представила ранний прототип первого шлема виртуальной реальности (VR) с технологией управления взглядом. Его разработка ведётся при поддерже Цукубского университета. О высоком интересе крупных компаний к данному направлению говорит тот факт, что на этапе посевного раунда Fove были привлечены инвестиции фонда Microsoft Ventures.

Fove - самый точный шлем VR (изображение: gizmag.com).
Fove — самый точный шлем VR (изображение: gizmag.com).

Примечательно, что Fove стала первой японской компанией, получившей финансовую поддержку от Microsoft Ventures Accelerator. Фонд давно является стратегическим партнером перспективных стартапов по всему миру. Он поддерживает развитие технологий промышленного уровня, бизнес-приложений и различных инновационных продуктов. Его представительства открыты в Сиэтле, Лондоне, Париже, Берлине, Тель-Авиве Пекине и Бангалоре.

Отслеживание движений глаз находит всё большее применение в приложениях для виртуальной и дополненной реальности. При всём своём многообразии различные технологии окулографии предлагают конечным пользователям одно и то же – более высокий уровень визуального погружения и комфортное взаимодействие с цифровыми объектами. Это точное прицеливание в играх, быстрый выбор объектов в любом приложении, и даже набор текста без помощи рук.

Fove - набор текста взглядом на виртуальную клавиатуру (изображение: gizmag.com).
Fove — набор текста взглядом на виртуальную клавиатуру (изображение: gizmag.com).

Виртуальные сражения обретут ещё большую динамичность, а персонажи интерактивного кино смогут определять куда смотрит пользователь и устанавливать с ним реалистичный зрительный контакт.

C Fove в интерактивном кино персонажи будут обращаться именно к вам (изображение: Darren Quick).
C Fove в интерактивном кино персонажи будут обращаться именно к вам (изображение: Darren Quick).

Японский стартап добавил трекинг глаз пользователя к привычному набору датчиков, определяющих положение шлема в пространстве. Разработчики считают, что такое сочетание поднимет технологии VR на новый уровень качества.

Еще в 2011 году компания Google подала патент на систему активации гаджетов при помощи характерного движения глазами, похожего на разблокировку экрана смартфона. Сегодня разработчики из Fove уверены, что данная технология может найти гораздо больше применений, чем простое определение сигнала о начале работы с мобильными устройствами.

В настоящее время японский коллектив работает над прототипом шлема виртуальной реальности, способного быстро улавливать движения глаз пользователя и интерпретировать их как команды. Подобно шлему виртуальной реальности Oculus Rift, прототип Fove оснащён встроенными сенсорами, определяющими его положение в пространстве. Отличие состоит в том, что для этого используется более точная гибридная схема.

Игра с Fove - увидел, поразил (изображение: fove-inc.com).
Игра с Fove — увидел, поразил (изображение: fove-inc.com).

Разработчики утверждают, что в самом шлеме будут установлены лучшие из существующих датчики и обслуживающие их контроллеры. Среди них гироскоп с высокой частотой опроса (измеряет угловую скорость), акселерометр (измеряет ускорение) и магнитометр (фиксирует изменения магнитного поля).

В смартфона и планшетах эти сенсоры позволяют довольно точно определять наклоны и повороты устройства, однако для шлема требуется более высокая чувствительность. Поэтому кроме привычной встроенной системы датчиков в шлеме применяется и некий внешний модуль, корректирующий полученные данные. О деталях его устройства не сообщается. Разработчики лишь обещают, что вместе с технологией окулографии новый шлем VR создаст совершенно иной опыт погружения в виртуальность.

Научный коллектив Цукубского университета также рассматривает возможности применения шлема Fove VR в качестве устройства ввода для пациентов с ограниченными возможностями и как способ лечения аутизма.

Fove - прототип шлема VR с технологией окулографии (фото: blogcdn.com).
Fove — прототип шлема VR с технологией окулографии (фото: blogcdn.com).

Есть у новинки и другие интересные особенности. Oculus Rift и прочие шлемы VR по большому счёту состоят из пары дисплеев, на которые изображение выводится раздельно для левого и правого глаза. При этом оно однородное по чёткости и глубине резкости, либо плавно размывается от середины к краям, когда в игре включены соответствующие спецэффекты. В разработке Fove используется другой подход: резким отображается только фокус сцены, которые вовсе не обязательно будет по центру. Пространство вокруг него то размывается, то становится чётким подобно тому, как это происходит каждый день, когда мы смотрим на обычный мир.

Для этого контроллер системы отслеживания движений глаз определяет направление взгляда, и виртуальная сцена постоянно пересчитывается с учётом того, где находится пользователь и куда он смотрит в данную секунду. Благодаря этому в VR теперь возможно быстро фокусировать взгляд на близких и удалённых предметах, а также наблюдать естественный параллакс при движении.

Fove - внимание не всегда фокусируется на центральных объектах (изображение: gizmag.com).
Fove — внимание не всегда фокусируется на центральных объектах (изображение: gizmag.com).

Всё это нашло отражение в названии фирмы. Fove – сочетание видоизменённой аббревиатуры FOV (поле зрения) и латинского названия участка сетчатки с максимальной остротой зрения (fovea centralis).

Казалось бы, постоянный пересчёт сцены с учётом направления взгляда повышает требования к вычислительной мощности графических систем, но с помощью этой же технологии их можно и экономить. Благодаря интеллектуальным алгоритмам в каждый момент времени будет выполняться рендеринг только тех виртуальных объектов, которые именно сейчас должен увидеть пользователь. Подобные алгоритмы (ранее отсечение перекрытых пикселей и невидимых поверхностей) используются сейчас для оптимизации в играх.

Одной из целей партнёрства с Microsoft Ventures Accelerator было достижение ранних договорённостей об использовании технологий Fove в приставках Xbox следующего поколения. Сейчас прототип находится на раннем этапе уровня доказательства концепции. Предсерийный образец шлема должен быть представлен в декабре вместе с доработанной SDK. В начале года планируется запустить кампанию по сбору дополнительных средств на Kickstarter для запуска серийного производства.

Что будем искать? Например,ChatGPT

Мы в социальных сетях