Яндекс внедрил в свой браузер обновленную систему перевода видео, которая позволяет сохранять особенности голоса и интонации героев видео.
Яндекс Браузер запустил перевод видео нового поколения. Нейросети, которые Браузер задействует в закадровом переводе, научились передавать оригинальные голоса и интонации героев видео.
Теперь при закадровом озвучивании нейросети не просто переводят текст, но и сохраняют оригинальные голоса и интонации героев. Благодаря новой модели, ролики на английском звучат так, будто их участники свободно говорят по-русски — с естественными эмоциями и ритмом речи.
Это стало возможным после масштабного обучения нейросети на сотнях тысяч аудиозаписей. Система анализирует речь, улавливает тембр, эмоциональные оттенки и даже манеру говорящего, а затем воспроизводит все это в переводе. Особенно это важно для живых выступлений, интервью и юмористических роликов, где интонации играют ключевую роль.
Кроме того, перевод стал точнее – нейросеть учитывает стилистику и контекст, делая речь максимально естественной. Модель на основе YandexGPT, использующаяся в переводе видео, была признана лидером по качеству перевода с английского на русский язык по итогам международного независимого бенчмарка DiBiMT.
Нововведение уже работает в YouTube, VK Видео, Дзене, Rutube и поиске Яндекса. Все пользователи, которые авторизовались в Браузере через Яндекс ID, могут активировать эту функцию. Чтобы выбрать перевод, нужно открыть панель, которая появляется при просмотре видео в Браузере.