Обучать гуманоидного робота новым движениям непросто: для разных навыков обычно приходится создавать отдельные системы управления. Исследователи NVIDIA предложили другой подход — один ИИ-контроллер, который способен управлять движениями всего тела робота и получать команды из разных источников.
Система получила название SONIC. По сути, это базовая модель для управления движениями гуманоидного робота. Она переводит команды высокого уровня в согласованные движения всего тела.
Для обучения исследователи использовали более 100 млн кадров с движениями людей. Затем SONIC проверили в физических симуляциях на разных задачах, связанных с перемещением и манипуляциями. В тестах система смогла воспроизводить не только движения, которые встречались в обучающих данных, но и новые варианты.
При этом для управления SONIC не требуется переобучение под каждый новый способ ввода. Исследователи продемонстрировали работу контроллера с телеприсутствием через VR, движениями, извлеченными из видео, а также моделями vision-language-action, которые связывают зрительную информацию, язык и действия.
Испытания с гуманоидным роботом показали, что один контроллер способен обеспечивать широкий набор устойчивых и естественных движений. Исследователи также продемонстрировали дистанционное управление роботом и преобразование письменных инструкций в физические действия.
Авторы считают, что такой подход может упростить создание гуманоидных систем, которым приходится выполнять разные физические задачи. Среди возможных областей применения они называют производство, складскую работу и логистику.
SONIC еще предстоит доработать, исследователи хотят улучшить способность системы учитывать окружающую обстановку, снизить риск столкновений и повысить качество навигации на сложной местности. Также команда работает над задачами, где робот должен взаимодействовать с объектами, улучшением переноса результатов симуляции в реальный мир и повышением надежности системы.
Следующим этапом станет более тесная интеграция SONIC с NVIDIA Isaac GR00T. Авторы рассчитывают объединить высокоуровневое рассуждение ИИ с универсальным управлением движениями всего тела робота.
Читайте также: