Ученые из СЩА разработали систему FLEX, которая помогает роботам понимать скрытый смысл человеческих инструкций. Вместо того чтобы выполнять только буквальные указания, машина учится самостоятельно выводить из них более общие правила и учитывать их при планировании движений.
Например, если человек говорит роботу: «Не пролей кофе на ноутбук», обычная система может просто изменить траекторию так, чтобы обойти конкретный компьютер. FLEX позволяет сделать следующий шаг: с помощью языковой модели робот определяет, почему ноутбук нужно защитить, и распространяет это правило на другие электронные устройства. Поэтому он также обойдет лежащий рядом смартфон, даже если человек отдельно о нем не упоминал.
Система работает в три этапа. На первом, Add, робот добавляет в список объектов, которые нужно учитывать, предметы, упомянутые в команде. Затем этап Generalize использует большую языковую модель GPT-4o, чтобы найти общую закономерность и сформулировать более широкое правило. Например, просьба не задеть кружку может привести к выводу, что следует избегать хрупких предметов. На заключительном этапе Mask система компьютерного зрения проверяет окружающую обстановку и удаляет из списка объекты, которых больше нет рядом.
Весь процесс занимает около пяти секунд. Исследователи проверили FLEX в трех симулированных сценариях: робот переносил чашку кофе, перемещал свечу и перевозил шар для боулинга. В ходе экспериментов система училась распознавать более общие ограничения: не приближаться к электронике при переноске жидкостей, держаться подальше от легковоспламеняющихся предметов и не ронять груз на хрупкие вещи.
Разработчики рассчитывают, что такой подход упростит взаимодействие с домашними и вспомогательными роботами. Людям не придется заранее объяснять машине длинный список правил: достаточно будет нескольких естественных фраз, из которых она сможет вывести нужные предпочтения.
Пока FLEX испытывали только в виртуальной среде, а не на реальных домашних роботах. Исследование планируют представить на конференции Conference on Robot Learning в ноябре.
Читайте также: