Группа исследователей искусственного интеллекта из Facebook, Virginia Tech и Национального университета Цинхуа в Тайване заявляют, что они разработали новый способ создания 3D-фотографий, превосходящий систему Facebook и другие существующие методы.
Facebook 3D Photos был запущен в октябре 2018 года для смартфонов с двумя камерами, таких как iPhone X, который использует камеру TrueDepth для определения глубины фотографий. В новом исследовании авторы используют ряд фотографий, сделанных на iPhone, чтобы продемонстрировать, как их подход избавляется от размытия фона и разрывов, которые заметны у других технологий.
Новый метод, основанный на обучении, позволяет генерировать 3D-фотографии из изображений RGB-D. Например, фотографий, снятых на iPhone X. RGB-D изображения — это просто комбинация изображения в формате цвета RGB и соответствующего ему изображения глубины. Глубиной называют канал фотографии, в котором каждый пиксель относится к расстоянию между плоскостью изображения и соответствующим объектом в изображении RGB.
Система также работает с более простыми 2D-фотографиями с использованием предварительно обученной модели оценки глубины. Авторы применили свой метод к историческим изображениям 20-го века, чтобы продемонстрировать эффективность на двумерных изображениях.
Производительность 3D-моделей оценивалась с использованием случайно выбранных изображений из набора данных по другим системам. Непосредственные демонстрации передовых методов создания трехмерных изображений доступны на веб-сайте разработчиков и в дополнительных материалах.
Передовой подход к технологии 3D-фотографии подробно описан в статье, опубликованной в arXiv. Новый метод обучения адаптируется к локальной сложности глубины и не требует предопределенного фиксированного числа слоев. В то время как Facebook 3D Photos, и другие экспериментальные методы, полагаются на многослойное изображение глубины для более адаптивного подхода.
Facebook, Microsoft и Nvidia давно изучают технологии для создания 3D-объектов из 2D-изображений, но новый метод в значительной степени опирается на Inpainting — это процесс ИИ, предсказывающий недостающие пиксели на фотографии. Исследователи применили эту технологию как для предсказания значений цвета, так и для глубины.
Этот метод может улучшить работу сервиса Facebook, но если технология создания более качественных 3D-фотографий будет преобразована для других платформ, это может привести к более реалистичному погружению в среды с трехмерной цифровой графикой, такие как виртуальные игры или чаты, приложения для электронной коммерции и т.д.