Сбер выложил в открытый доступ Kandinsky Avatar 1.0 — семейство российских моделей, которое создает говорящих видео-аватаров по изображению и записи голоса. Разработчики могут использовать модели в собственных сервисах, в том числе коммерческих. Kandinsky Avatar 1.0 делает ролики длиной до минуты с частотой 24 кадра в секунду и способна оживлять не только людей, но и персонажей: животных или мультипликационных героев. Сбер планирует добавить модель в свои сервисы. Kandinsky Avatar 1.0 стала первой полностью российской моделью, способной создавать реалистичных цифровых собеседников.
Код и веса моделей доступны для разработчиков бесплатно под открытой лицензией MIT на GitHub, GitVerse и Hugging Face. Моделью также можно будет воспользоваться в популярных инструментах для запуска и интеграции нейросетей — ComfyUI и Diffusers.
Как работает модель
Чтобы создать видеоаватар, модели достаточно изображения, аудиозаписи и короткого текстового описания сцены. Kandinsky Avatar синхронизирует движения губ с речью, и сама добавляет мимику, повороты головы и жесты. Эмоцию персонажа можно задать текстом, тогда аватар будет выражать радость, грусть или злость. Модель создает видео на любом языке: аватар говорит на языке аудиозаписи, которую ей передали. Kandinsky Avatar не синтезирует и не клонирует голос: модель работает только с изображением и аудиозаписью, которые предоставляет пользователь. Технология открывает возможности для обучения, бизнеса, творчества и самовыражения.
«Видеоаватары позволяют создавать учебные и рекламные ролики, видеоинструкции и персональные обращения к клиентам. Мы открываем модель, чтобы у российских разработчиков была собственная технологическая основа для таких решений. Ее можно будет встраивать в свои продукты и дообучать под конкретные задачи, не создавая технологию с нуля. Обратная связь от сообщества поможет нам понять, как модель работает в разных сценариях и что необходимо улучшить. Этот опыт мы используем в следующих версиях Kandinsky и при внедрении видеоаватаров в сервисы Сбера».
Денис Димитров, управляющий директор по исследованию данных Сбербанка
Что можно создать на базе Kandinsky Avatar
- Сервисы для блогеров и авторов контента: пользователь пишет сценарий, озвучивает его и получает ролик с говорящим ведущим
- Образовательные платформы с видеоуроками и курсами, которые ведёт виртуальный преподаватель
- Виртуальных консультантов для бизнеса, которые отвечают клиентам в любое время
- Инструменты локализации: перевод видео на другие языки с точной артикуляцией
- Игры и анимацию с говорящими персонажами
- Приложения для персональных видеооткрыток и личных аватаров
Kandinsky Avatar разработана на базе модели генерации видео Kandinsky 5.0 Video и доступна разработчикам в двух версиях. Флагманская Pro создает видео в HD-разрешении и показывает лучшее качество среди протестированных открытых моделей и работает на одном уровне с HeyGen, одним из лидеров рынка коммерческих видеоаватаров. Компактную Lite можно запустить на домашней видеокарте, она генерирует видео в SD и по качеству сопоставима с открытыми моделями, превосходящими ее по размеру в 7–10 раз. Модели обучены более чем на 1 млн фрагментов видео: интервью, выступлений и подкастов на 95 языках, включая русский, английский, казахский, испанский и французский.
Сравнение с другими моделями
Kandinsky Avatar 1.0 Pro сравнили с ведущими открытыми и проприетарными моделями. Тест проводили вслепую – участники смотрели пары роликов, оценивали их по семи критериям и выбирали лучший, не зная, какая модель создала видео. Ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео каждого из конкурентов: в 63% случаев с Kling Avatar 2, в 60% — с LongCat-Avatar-1.5 и в 54% — с HeyGen IV.
Самый большой отрыв модель показала в синхронизации губ с речью. По этому критерию ее предпочли в 77% сравнений с LongCat-Avatar-1.5, в 76% с Kling Avatar 2 и в 69% с HeyGen IV. По естественности мимики и движений Kandinsky Avatar 1.0 Pro выбирали в пять раз чаще, чем Kling Avatar 2. Создание жестов у нее тоже оценили выше, чем у остальных моделей. Модель опережает конкурентов в создании видео как на русском, так и других языках.