Российские ученые разработали компактную надстройку для генеративных нейросетей, которая помогает им точнее передавать течение времени в видеороликах. Модуль управляет частотой кадров и динамикой происходящих событий. В будущем такую технологию можно будет использовать для создания физически достоверных синтетических данных, необходимых при обучении физического ИИ.
По словам управляющего директора по исследованию данных Сбера Дениса Димитрова, раньше скорость происходящего в кадре в основном задавалась текстовым запросом. При этом добиться нужной динамики было сложно: нейросеть могла растянуть быстрое действие или, наоборот, ускорить медленный процесс.
Проблема связана с особенностями архитектуры генеративных моделей. При обучении они часто ориентируются прежде всего на качество отдельных кадров, а не на то, насколько правдоподобно развивается сцена во времени.
Разработанная российскими математиками надстройка состоит из двух независимых блоков. Первый отвечает за частоту кадров, второй — за динамику событий в каждый момент сцены. Для обучения модуля исследователи подготовили набор из 40 тыс. видеороликов с разной скоростью и характером движения. В него вошли как динамичные сцены с людьми, так и медленные природные процессы.
Технология может работать в двух режимах. В первом случае модуль подключается к уже обученной нейросети и делает движения в создаваемом видео более плавными, не меняя общий характер генерации. Во втором надстройка дообучается вместе с генеративной моделью. Это позволяет менять не только плавность движения, но и физику происходящего в кадре.
Разработку проверили на моделях Kandinsky 5.0 Video Lite и Wan2.2. По результатам замеров, надстройка повысила естественность движений на 29%, визуальное качество — на 8%, а соответствие видео текстовому запросу — на 19%.
Исходный код проекта опубликован в открытом доступе на популярных платформах для работы с ИИ. Это позволит разработчикам и исследователям использовать модуль в собственных задачах.
Читайте также:
Нейросети выявили шесть поясов аномалий на границе ядра и мантии Земли
Нейросеть научилась управлять лазером для создания многоцветных изображений на стали