Сбер обновил свою нейросеть, которая теперь может создавать анимационные видео на основе текстовых запросов пользователей. До конца этого года возможность создавать такие видео будет открыта для всех желающих. Пока что эта функция доступна в ограниченном режиме.
Что известно
Пользователь может сгенерировать четырехсекундный клип с выбором анимационного эффекта, имея 24 кадра в секунду и разрешение 640×640 пикселей. Синтез одной секунды видео занимает в среднем 20 секунд.
Чтобы создать видео, пользователь должен текстово описать желаемую сцену. Бот предложит 16 вариантов анимации, из которых можно выбрать подходящий. Режим — это движение камеры относительно генерации. Камера может погружаться вглубь изображения, обозревать объект на генерации с разных сторон, вращаться и т.д. Чтобы посмотреть примеры, есть команда /examples, а команда /help помогает быстрее разобраться в боте.
Также предусмотрена возможность создания мини-фильмов: пользователь может ввести до трех текстовых описаний сцен, выбрать для каждой анимацию, а нейросеть сгенерирует видеоролик.
Почему это важно
Сейчас функция работает в тестовом режиме. Самые активные пользователи Kandinsky 2.2 получат к ней доступ. После этого доступ будут расширять. Чтобы получить новую функцию, нужно подать заявку в Telegram-бот.
В плане инструментария обновление получилось интересным:
- Можно выбрать анимационный эффект.
- Можно задать до 3 сценариев в одном ролике.
- Можно делать горизонтальное, квадратное или вертикальное видео.
- Генерирует довольно быстро (1-5 минут).
Из минусов: пока что получается скорее анимация, чем полноценное видео. Зато нет лимитов на генерации, и все бесплатно.