Ученые из CMU разработали платформу Human2Humanoid, которая позволяет обучать роботов-гуманоидов человеческим движениям через метод проб и ошибок. Для этого команда использует RGB-камеру и человека-телеоператора.
Исследовательская команда из Университета Карнеги-Меллон (CMU) создала систему Human2Humanoid (H2O). Она позволяет людям управлять гуманоидным роботом полного размера в режиме реального времени, используя только RGB-камеру.
Для разработки H2O специалисты применили метод Reinforcement learning (RL), который воспроизводит человеческую стратегию обучения на основе проб и ошибок. С помощью системы наград и штрафов робот-гуманоид может учиться на своих ошибках и успехах, самостоятельно определяя наиболее эффективные стратегии для достижения поставленных целей.
«H2O — это платформа, основанная на обучении с подкреплением (RL), которая облегчает телеоперацию всего тела человекоподобных роботов в режиме реального времени с использованием только RGB-камеры».
Тайран Хе, специалит CMU
Процесс обучения начинается с адаптации человеческих движений к физическим возможностям роботов-гуманоидов с использованием метода sim-to-data. Он обеспечивает соблюдение физических ограничений робота при выполнении движений. После этого усовершенствованный набор данных о движении используется для обучения имитатора движения на основе RL в симуляции. Полученный результат затем передается роботу без необходимости дальнейшей корректировки.
Для имитации движений оператора использовались изображения, полученные с помощью RGB-камеры, и 3D-оценщик позы.
Видеоматериалы демонстрируют, как робот на основе H2O пинает мяч, откидывает коробку, уклоняется, будучи в боксерской стойке, и ходит с коляской. Это первое публичное представление телеуправляемого робота-гуманоида, функционирующего в режиме реального времени.
В будущем исследователи CMU планируют изучить возможность использования других методов обучения, включая силовую обратную связь и разговорную обратную связь, для расширения функциональности H2O. В дополнение к этому перспективным направлением для дальнейшего исследования является включение функции отслеживания нижней части тела, что позволит роботам воспроизводить более сложные человеческие движения, например, танцевать или выполнять спортивные упражнения.