Исследователи Центра искусственного интеллекта МГУ совместно с коллегами из AIRI и НИУ ВШЭ разработали метод, который позволяет восстанавливать структуру помещения и определять положение объектов в трехмерном пространстве по обычным изображениям. При этом системе не обязательно заранее знать, где находились камеры во время съемки.
Технология может быть полезна там, где компьютеру нужно не просто распознать отдельные предметы на фотографии, а понять устройство пространства: где находятся стены, какие объекты расположены внутри и как они соотносятся друг с другом.
Обычно для подобных задач используют облака точек — трехмерные данные, которые получают с помощью датчиков глубины или специального сканирования. Однако обычные камеры в смартфонах и других устройствах такими датчиками оснащены не всегда.
Метод исследователей работает с набором изображений, сделанных с разных точек. Он одновременно решает две задачи: определяет планировку помещения и находит объекты в трехмерном пространстве. В результате система получает компактное описание сцены с геометрией комнаты и расположением основных предметов.
Вместо большого набора пространственных параметров ученые использовали более компактное представление, которое помогает восстанавливать геометрию помещения и снижает вероятность ошибок при описании стен.
Исследователи протестировали подход на нескольких наборах данных с реальными и искусственно созданными помещениями. По результатам испытаний метод улучшал определение планировки и обнаружение объектов по сравнению с рядом существующих решений. Кроме того, он оказался быстрее некоторых сопоставимых подходов.
«Во многих прикладных сценариях нам нужно получить не детальную трехмерную копию помещения, а понятное описание его структуры: где стены, где основные объекты и как они расположены в пространстве. В этой работе мы показали, что такую информацию можно извлекать не только из специальных трехмерных данных, но и из обычных изображений, в том числе без заранее известных положений камер».
Антон Конушин, научный руководитель Исследовательского центра ИИ МГУ и руководитель группы «Пространственный интеллект» AIRI
Работа с обычными изображениями без заранее известных положений камер приближает такие технологии к применению на пользовательских устройствах и в робототехнических системах. Разработка может использоваться в компьютерном зрении для робототехники, анализа помещений, дополненной и виртуальной реальности, проектирования интерьеров и автоматизированного осмотра недвижимости.
Читайте также:
Дроны «Сибирячок-5» выявляют нелегальные свалки и передают координаты нарушителей
Российский поезд для ВСМ разгонится до 400 км/ч и получит цифрового помощника
Роботы начали собирать гуманоидных роботов на новом заводе UBTECH