Исследователи из Сингапура разработали ИИ-фреймворк HieraScaffold, который генерирует масштабные динамические сцены на основе данных LiDAR. Технология предназначена прежде всего для обучения и тестирования беспилотных автомобилей и роботов.
LiDAR использует лазерные импульсы для измерения расстояний и построения трехмерной картины окружающего пространства. В 4D LiDAR к трем пространственным измерениям добавляется время. Благодаря этому система получает не отдельные снимки окружающего мира, а последовательность, в которой автомобили, пешеходы и другие объекты перемещаются.
Для обучения автономных систем требуется большое количество таких данных. Собирать их в реальном мире дорого и долго, а существующим генеративным методам сложно одновременно воспроизводить крупные пространства, точную геометрию и реалистичное движение объектов.
HieraScaffold вместо плотного представления всего пространства формирует компактный «каркас» областей рядом с поверхностями, которые фиксирует LiDAR. Статичный фон — например, дороги и здания — и движущиеся объекты обрабатываются отдельно. Сначала система создает статическую часть сцены, а затем на ее основе — динамическую.
Большие пространства генерируются в виде связанных между собой блоков. По словам разработчиков, это позволяет масштабировать сцены и сохранять согласованность между соседними участками.
Исследователи проверили HieraScaffold на наборах данных KITTI-360 и Waymo Open. В экспериментах созданные системой сцены точнее воспроизводили структуру реальных LiDAR-данных и сохраняли более плавные переходы между последовательными кадрами по сравнению с несколькими существующими методами, включая LidarDM.
Отдельный эксперимент показал потенциал синтетических данных для обучения. Модели, получившие 10 тысяч искусственно созданных LiDAR-примеров и тысячу реальных, показали лучшие результаты в сегментации и обнаружении автомобилей, чем модели, обученные на 10 тысячах реальных примеров.
При этом авторы не предлагают полностью заменять реальные данные синтетическими. Существующие LiDAR-наборы сами ограничены по разнообразию и иногда содержат неполностью отсканированные области, поэтому обученные на них генеративные модели могут воспроизводить эти недостатки.
В дальнейшем команда планирует обучать HieraScaffold на более разнообразных 4D LiDAR-данных, улучшить восстановление недостающих элементов сцен и подробнее проверить устойчивость метода перед его практическим применением.
Читайте также:
Стратосферная «вышка связи» Sceye совершила рекордный перелет между США и Японией
PiLY отказался от экрана и превратил фитнес-браслет в диктофон с ИИ