Яндекс Браузер расширил функциональность перевода видео с сохранением оригинальных голосов и интонаций. К ранее доступному английскому языку добавились еще семь: итальянский, испанский, французский, китайский, японский, корейский и немецкий. Теперь пользователи могут смотреть больше иностранных роликов с озвучкой, имитирующей речь оригинального спикера на русском языке.
Разработчики отмечают, что основная цель нововведения — сделать просмотр иностранного контента более естественным. Перевод озвучивается таким образом, чтобы голос говорящего звучал на русском языке с сохранением характерных особенностей оригинала, включая ритм и эмоциональные нюансы.
Согласно предоставленной статистике, ежемесячно сервисом перевода видео в «Яндекс Браузере» пользуются около 1,7 миллиона человек. Из них примерно 1 миллион пользователей отдают предпочтение именно режиму озвучки «живыми голосами», а не стандартному синтезу речи. По мнению компании, расширение языковой базы позволит зрителям быстрее получать доступ к актуальному контенту. Приводятся примеры возможных сценариев использования: просмотр интервью спортсменов с международных соревнований, знакомство с первыми видеообзорами на новые устройства от азиатских производителей или изучение авторских рецептов от европейских шеф-поваров.
В основе функции лежит нейросетевая модель, обученная на большом массиве данных устной речи, исчисляемом сотнями тысяч часов. Алгоритм сначала анализирует входящую звуковую дорожку — выделяет тембр, темп речи и другие персональные акустические характеристики. После этого модель переозвучивает лексемы на русском языке, стараясь воспроизвести выявленные особенности, что, по заявлению разработчиков, обеспечивает более глубокое восприятие эмоционального окраса оригинала по сравнению с традиционным роботизированным закадровым голосом.
Опция работает на ряде популярных видеоплощадок: в самом поиске Яндекса, на YouTube, VK Видео, Rutube и в Дзене. Для активации перевода пользователю необходимо воспользоваться медиапанелью, которая автоматически появляется при запуске ролика в окне браузера.