Исследователи из США представили систему долговременной памяти для роботов, позволяющую формировать и использовать детализированные ментальные модели крупномасштабных сред. Разработка направлена на улучшение взаимодействия роботов с людьми за счет обработки пространственно-временной информации.
В перспективе подобные технологии могут упростить выполнение рабочих задач, например, позволяя сотрудникам заводов давать роботам поручения на естественном языке, связанные с местоположением объектов и временем их использования.
Предложенный метод объединяет подходы компьютерного зрения и роботизированного картографирования. Система, получившая название DAAAM, в процессе движения робота собирает данные с сенсоров, присваивая объектам подробные текстовые описания и интегрируя их в трехмерную карту с пространственной привязкой. Это позволяет роботу впоследствии отвечать на сложные вопросы об окружении на понятном языке.
Особенность разработки в оптимизации процесса аннотирования: система выбирает наиболее информативные кадры для описания нескольких объектов одновременно, что ускоряет вычисления примерно в десять раз и делает возможным использование в реальном времени. Для извлечения информации из накопленной базы применяется большая языковая модель с набором специализированных инструментов поиска, что снижает риск ошибок (галлюцинаций) и обеспечивает скорость ответа в несколько секунд.
Согласно представленным данным, точность ответов новой системы на 21–53% превышает показатели современных аналогов в зависимости от типа запроса.
Помимо робототехники, метод потенциально применим в системах дополненной реальности — например, для помощи обслуживающему персоналу в обнаружении аномалий или для навигации пассажиров в общественных пространствах.
В дальнейшем разработчики намерены расширить функциональность системы за счет фиксации значимых событий в среде и введения оценки достоверности ответов. Целью проекта является создание универсального роботизированного агента, способного выполнять широкий спектр задач по запросу пользователя.