Исследователи из Университета Тохоку разработали технологию, позволяющую использовать любые твердые поверхности — столы, стены или перегородки — в качестве сенсорной зоны для ввода текста в гарнитурах дополненной и смешанной реальности без дополнительных датчиков и контроллеров.
Гарнитуры дополненной и смешанной реальности (AR/MR) открывают доступ к виртуальным объектам, наложенным на окружающий мир. Обычно для взаимодействия с ними используются камеры, отслеживающие жесты рук в воздухе — например, чтобы печатать на парящей перед глазами виртуальной клавиатуре. Однако такой подход часто требует дополнительных контроллеров, вызывает быстрое утомление из-за необходимости держать руки на весу и лишен тактильной обратной связи, что делает ввод текста не слишком комфортным.
В поисках более удобного решения инженеры из Университета Тохоку разработали метод, который позволяет превращать любые твердые поверхности в функциональные клавиатуры без установки специальных датчиков. Технология использует естественный физический эффект: при надавливании на стол или стену на кончике пальца появляется белое пятно — так называемый феномен побледнения. Камера гарнитуры фиксирует это изменение, а модель искусственного интеллекта анализирует изображение и точно определяет момент касания.
«Это исследование означает, что обычные поверхности вокруг нас — стены, столы или перегородки — могут использоваться в качестве зоны сенсорного ввода. Более того, этот метод не требует специальных датчиков, маркеров или дополнительных устройств. Им может легко пользоваться любой человек».
Гуанхань Чжао, руководитель исследования
Для практической реализации ученые обучили нейросеть уверенно распознавать явление побледнения на снимках с обычной камеры, встроенной в гарнитуру, и создали удобную систему взаимодействия. В ходе испытаний с участием добровольцев система показала стабильную точность обнаружения касаний на нескольких распространенных типах поверхностей. Участники смогли успешно выполнять задачи по вводу текста, а возможность опираться пальцами на поверхность существенно снизила нагрузку на руки по сравнению с работой «на весу».
Гуанхань Чжао подчеркнул, что главная цель разработки — упростить использование AR и MR-устройств в повседневной жизни. Отказ от специализированного оборудования, по мнению авторов, должен способствовать более широкому внедрению технологий дополненной и смешанной реальности.
Читайте также: «Квантовый алмазный магнитометр заменит устаревшие спутники навигации».