Как правило, для создания точной трехмерной реконструкции чьего-то лица, которая бы выглядела реалистично и не жутко, требуется дорогостоящее оборудование и опыт. Но исследователи из Университета Карнеги-Меллона использовали видео, записанное на обычном смартфоне. Они создали систему, которая позволяет выполнять этот сложный процесс с помощью камеры телефона.
Использование смартфона для съемки непрерывного видео передней и боковых частей лица создает большой набор данных. Двухступенчатый процесс, разработанный учеными из института робототехники, использует эти данные и с помощью алгоритмов глубокого обучения создаёт цифровую копию лица. Эксперименты команды показывают, что их метод может достигать точности до миллиметра, опережая другие подобные методы и использованием камеры.
Процесс начинается с использования смартфона для съемки головы субъекта от 15 до 20 секунд, при этом видеооператор должен перемещаться вокруг человека. Нужно заснять одну боковую часть, потом перед, и боковую часть с другой стороны. Команда ученых использовала iPhone X в режиме замедленной съемки, чтобы собрать как можно больше визуальных данных с более высокой частотой кадров. Высокая частота кадров замедленного движения является одной из ключевых основ для нового метода, потому что она генерирует плотное облако точечных данных.
Существующая методика, известная как одновременная локализация и построение карты (SLAM), затем используется для определения базовой геометрии лица. Это делается путем триангуляции точек на поверхности лица для расчета как его формы, так и положения камеры смартфона относительно нее. Это создает начальную геометрию лица, но отсутствующие данные оставляют пробелы в модели.
На втором этапе этого процесса исследователи работают, чтобы заполнить пробелы. Сначала они используют алгоритмы глубокого обучения для определения профиля лица субъекта, а также относительного расположения ориентиров, таких как его глаза, уши и нос. Однако это по-прежнему оставляет некоторые информационные упущения. Классические методы компьютерного зрения затем используются для конечного заполнения оставшихся пробелов.
Весь процесс занимает от 30 до 40 минут и может быть выполнен полностью на смартфоне. Это приводит к 3D-моделям, которые, как утверждают ученые, являются более детализированными и реалистичными, чем ранее разработанные аналогичные технологии.
Цифровое лицо может быть использовано для создания аватара для игр, виртуальной или дополненной реальности, а также для анимации, биометрической идентификации и даже медицинских процедур. Точная трехмерная визуализация лица также может быть полезна при создании индивидуальных хирургических масок или респираторов.
Лазерные сканеры, структурированный свет и многокамерные студийные установки могут производить высокоточное сканирование лица, но эти специализированные датчики непомерно дороги для большинства применений. Однако этот метод требует только наличие смартфона с хорошей камерой.
В дополнение к реконструкции лица, методы команды ученых могут также использоваться для захвата геометрии практически любого объекта. Цифровая реконструкция этих объектов затем может передана через Интернет на сайты, где объекты могут дублироваться с помощью 3D-принтеров.