Компания Generalist AI представила модель GEN-1.5, которая позволяет роботам осваивать новые физические действия за секунды на основе видеодемонстрации, без длительного этапа переобучения. Система использует механизм «физического промптинга» и адаптируется к задачам за 1–10 шагов, однако компания не опубликовала веса модели, данные и результаты независимых проверок безопасности.
Модель является мультимодальной: она обрабатывает видео, сенсорные данные, текст и сигналы о положении робота. Главная особенность — «физический промптинг»: демонстрация действий (человеком или самим роботом) вставляется в контекстное окно модели длительностью 30 секунд, после чего робот выполняет задачу сразу. Средняя успешность такого одноразового обучения составила 59% для разнообразных манипуляций.
Также модель адаптируется к новым задачам за 1–10 шагов градиентного обновления, используя всего 1–5 минут данных (10–50 демонстраций). После тонкой настройки успешность достигает 83%, при этом веса модели меняются менее чем на 0,15%.
Среди заявленных возможностей — обобщение на новые инструменты (например, использование банана как кисти или совка для пересыпания предметов), работа двумя руками, перенос навыков из симуляции в реальность и комбинирование двух разных демонстраций в единое непрерывное действие.
При этом компания не опубликовала веса модели, исходный код, данные, оценочные скрипты и результаты независимых проверок. В релизе отсутствует описание мер безопасности — тестов на столкновения, ограничение силы, повреждение объектов, аварийную остановку или работу рядом с людьми. Результаты ограничены короткими манипулятивными задачами; долгосрочное планирование и мобильные операции не оценивались.
Технология демонстрирует потенциал для быстрой адаптации роботов к бытовым и производственным задачам, однако практическое применение в независимых проектах пока невозможно до публикации дополнительных технических данных и результатов проверки безопасности.
Читайте также: Стартовал прием заявок на гранты до 500 млн рублей на развитие промышленной робототехники