Компания Amap, которая отвечает за геолокационные сервисы Alibaba, представила свежую разработку — потоковую модель трехмерной реконструкции ABot-Recon. Ее главная особенность в том, что она делает то, что раньше требовало больших вычислительных мощностей и объемов памяти, на обычном потребительском оборудовании.
Вместо того чтобы хранить и обрабатывать огромные массивы данных о пройденном пути, модель работает с коротким окном — всего 12 последовательных кадров. Этого достаточно, чтобы предсказать локальное облако точек и взаимное положение соседних кадров, а затем постепенно «сшить» полную траекторию. При этом нагрузка на систему остается стабильной, какой бы длинной ни была исходная запись.
Разумеется, локальный подход чреват накоплением ошибок и дрейфом. Разработчики решили эту проблему с помощью специальных механизмов коррекции — они работают и на этапе предсказания, и во время обучения, так что траектория выправляется буквально на ходу.
На сложном наборе данных Oxford Spires ошибка траектории снизилась более чем на 40 % по сравнению с прежним лучшим методом. На бенчмарке KITTI-02 модель выдает 24 с половиной кадра в секунду, то есть работает больше чем в полтора раза быстрее существующих аналогов, а пиковое потребление памяти держится на уровне около 6,7 гигабайт. Для сравнения: этого достаточно, чтобы полноценно запустить весь процесс на видеокарте уровня GTX 1080 Ti, которая давно считается массовой.
При этом системе не нужны ни датчики глубины, ни заранее откалиброванная камера — достаточно обычного монокулярного RGB-видео. Это открывает дорогу для использования в самых разных сценариях: от картографирования территорий, где нет готовых карт, до обучения роботов, автономного вождения или быстрого создания трёхмерного контента.
Для практического применения, код для вывода моделей, оценочные скрипты и предварительно обученные веса уже выложены в открытый доступ на GitHub.
Читайте также:
Google связала Fitbit с Pokémon Sleep и превратила сон в игровую механику
Дизайнер из Германии создал рубашку, которая скрывает владельца от систем ИИ
IKEA и Xbox представили коллекцию мебели для геймеров YXSTABY