NVIDIA Research опубликовала новую модель ARDY, предназначенную для генерации трехмерной анимации движений человека и человекоподобных роботов на основе текстовых описаний. Модель основана на авторегрессионном диффузионном подходе и способна генерировать движения покадрово в режиме реального времени, начиная выдачу готовых кадров до завершения обработки всей последовательности. Это позволяет интегрировать ее в производственные инструменты для немедленного предпросмотра, сокращая время ожидания.
ARDY поддерживает бесконечную генерацию движений, получая последовательные текстовые команды для управления персонажем на протяжении всей сцены. На этапе вывода можно задавать кинематические ограничения, такие как траектории перемещения, целевые точки для конечностей или ключевые позы, без необходимости дообучения модели. Для работы с человекоподобными роботами предусмотрена специализированная версия G1-RP, оптимизированная для модели Unitree G1 с учетом ее физических ограничений. Всего доступны четыре варианта модели с различными конфигурациями тела и длиной генерируемой последовательности, что позволяет выбирать баланс между скоростью работы и качеством длительных сцен.
В сфере виртуального производства и предвизуализации ARDY дает режиссерам и аниматорам возможность создавать черновые версии движений персонажей из текстового описания, обходя этап захвата движения или трудоемкой ручной анимации. Интерактивное управление через клики или клавиатуру делает инструмент пригодным для динамической постановки сцен в реальном времени.
У NVIDIA уже есть несколько проектов в этой области. Kimodo — генератор анимационных дублей по тексту и условиям движения, ориентирован на этап создания контента. MotionBricks — исполнительная система для сборки управляемого поведения из модульных блоков, ориентирована на игры и робототехнику.
ARDY находится между ними: от Kimodo — управление через текст, траектории и пространственные ограничения, от MotionBricks — работу в реальном времени. Главное отличие ARDY — поточная генерация: пользователь может менять замысел персонажа прямо во время движения, а система мгновенно перестраивает анимацию.
Разработка велась исследовательской лабораторией NVIDIA Spatial Intelligence Lab на основе датасета Bones Rigplay, включающего 700 часов записей движений.
Читайте также: Сбер представил аудиомодель GigaChat Audio с распознаванием эмоций.