Российские ученые разработали компактную надстройку для генеративных нейросетей, которая помогает им точнее передавать течение времени в видеороликах. Модуль управляет частотой кадров и динамикой происходящих событий. В будущем такую технологию можно будет использовать для создания физически достоверных синтетических данных, необходимых при обучении физического ИИ.
Команда Kandinsky разработала Time Adapter — легкую надстройку к генеративным моделям, которая управляет динамикой событий и частотой кадров в ролике. Time Adapter — компактный модуль (меньше 1% от размера основной модели), который подключается к готовой нейросети. Он состоит из двух независимых блоков: один управляет частотой кадров (от 15 до 60 fps), другой — динамикой происходящего в каждый момент сцены. Обучающий датасет состоял из 40 тысяч видео с разной частотой и динамикой. В процессе обучения модель училась отличать реальную скорость действия от скорости действия в видео с измененной динамикой.
По словам управляющего директора по исследованию данных «Сбера» Дениса Димитрова, раньше скорость происходящего в кадре в основном задавалась текстовым запросом:
«Раньше скорость происходящего в кадре задавали только слова в промпте, а повлиять на реальную динамику в создаваемом видео было достаточно сложно. С помощью Time Adapter модель понимает, как процессы разворачиваются во времени, и умеет естественно задавать нужный ритм в любой сцене, а не заучивает готовые шаблоны. Это ключевое условие для обучения физического ИИ и будущих моделей мира: система должна точно понимать длительность и динамику каждого действия. Новый метод позволяет делать из моделей инструменты, которые лучше подчиняются замыслу человека — режиссера, инженера, разработчика робототехники, любого творческого пользователя».
Денис Димитров, CTO Kandinsky, управляющий директор по исследованию данных «Сбера»
Проблема связана с особенностями архитектуры генеративных моделей. При обучении они часто ориентируются прежде всего на качество отдельных кадров, а не на то, насколько правдоподобно развивается сцена во времени. Точный контроль времени повышает качество видео в различных сценариях, позволяет быстрее получить нужный результат и экономит бюджет на производстве контента. Среди основных сценариев:
- Создание физически достоверных синтетических данных для обучения физического ИИ.
- Генерация пользовательских роликов без артефактов движения с произвольной динамичностью.
- Создание рекламных, кино- и музыкальных роликов со строгим контролем темпа — под монтаж, музыку и бриф.
- Упрощение обработки видео — получение эффектов замедления, ускорения и плавных переходов по темпу прямо в генерации, без отдельного специалиста по монтажу.
У Time Adapter есть два режима использования. В первом режиме адаптер обучается и далее подключается к предварительно обученной модели генерации видео. В этом случае движения становятся плавнее, при этом общий характер генерации не меняется. Во втором режиме модель дообучается совместно с адаптером — в этом случае меняется не только плавность движения, но и сама физика сцены. В результате возникает способность генерировать физические процессы, которые базовой моделью создавать не удавалось. Дообученная с адаптером модель Kandinsky 5.0 Video Lite превзошла обычную версию по нескольким показателям при тестировании на наборе динамичных видео с людьми и природой:
- Естественность движения возросла на 29%.
- Визуальное качество — на 8%.
- Видео стало на 19% точнее соответствовать текстовому запросу.
Исследователи и разработчики могут использовать решение бесплатно. Исходный код опубликован на Hugging Face под открытой лицензией MIT, которая разрешает в том числе коммерческое применение.
Читайте также:
Нейросети выявили шесть поясов аномалий на границе ядра и мантии Земли
Нейросеть научилась управлять лазером для создания многоцветных изображений на стали