В «Шедевруме» от «Яндекс» теперь можно генерировать короткие видео, продолжительностью до 4 секунд с частотой 24 кадра/сек. После публикации их можно сохранить или поделиться с друзьями. Пока функция доступна в тестовом режиме.
Что известно
Приложение «Шедеврум», использующее нейросети для генерации картинок и текстов, научилось создавать короткие видеоролики по запросу пользователей. Ролики длятся четыре секунды с частотой 24 FPS. Видео после публикации можно сохранить в формате MP4.
Пока что Яндекс только тестирует функцию, поэтому она доступна только активным пользователям «Шедеврума» в обновленной версии приложения. Но ознакомиться с результатами генерации в ленте приложения могут все.
Кадры для будущего видео создаются по методу каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создаёт картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.
Почему это важно
Чтобы получить в «Шедевруме» видео, пользователь должен описать текстом то, что он хочет увидеть. В ответ приложение даст на выбор 4 варианта первого кадра и анимационные эффекты для создания движения. Выбранное изображение берется за основу, далее нейросеть генерирует набор его измененных версий и объединяет все выбранным эффектом. Короткие ролики могут стать основой для музыкальных клипов, анимации, динамических аватарок в соцсетях и пр.