Ученые Московского физико-технического института разработали систему, которая помогает человекоподобным роботам ориентироваться на складах и выполнять сложные задания по голосовым командам. Она позволяет машинам не просто распознавать предметы, но и учитывать расположение объектов относительно друг друга, отслеживать изменения обстановки и самостоятельно составлять последовательность действий.
Разработка получила название SG-RAPL. В ее основе лежит сочетание трехмерной карты окружающего пространства и большой языковой модели. Карта представлена в виде графа: система фиксирует стеллажи, коробки, контейнеры и людей, а также определяет связи и расстояния между ними.
Для построения такой модели робот использует одну встроенную камеру. Алгоритмы объединяют данные о распознанных объектах, карты глубины изображения и специальные визуальные метки ArUco. Благодаря этому система может обновлять представление о рабочей зоне в реальном времени, учитывая перемещение предметов и изменение обстановки.
Затем языковая модель преобразует команду человека в набор конкретных операций. Например, просьбу «возьми коробку с верхней полки» робот разбивает на несколько этапов: определить нужный стеллаж, добраться до него, захватить груз и переместить его.
Исследователи отмечают, что обычные системы, которые строят планы преимущественно на основе текстовых инструкций, хуже справляются с динамичной обстановкой. Они могут не учитывать, что человек переместил коробку или проход оказался занят другим грузом. Использование трехмерного графа помогает планировщику учитывать пространственные связи между объектами.
Для проверки разработки ученые создали собственный набор данных со складскими сценами и десятками сценариев голосовых команд. Систему проверили как в виртуальной среде, так и на реальном роботе. В экспериментах она показала более высокую эффективность планирования по сравнению с подходами, которые не используют трехмерные графы сцены.
Код разработки и набор данных доступны на GitHub. В дальнейшем команда планирует адаптировать систему для других промышленных объектов.
Читайте также: Роботы стали лучше понимать, чего от них хотят люди