Лаборатория методов эффективного ИИ и инфраструктуры данных для низкоресурсных сред, созданная на базе ИТМО совместно с MWS AI (входит в МТС Web Services), разработала новый подход SEAM для адаптации моделей синтеза речи к новым языкам. Он позволяет нейросети использовать уже накопленные знания вместо того, чтобы с нуля осваивать звуковые элементы нового языка. В экспериментах это позволило сохранить качество синтеза речи, сократив необходимый объём обучающих данных почти в четыре раза.
Чтобы голосовая модель начала говорить на новом языке, ее дообучают на парах «текст — аудиозапись». Если таких примеров мало, модели сложнее «понять», как новые для нее элементы языка должны звучать и сочетаться между собой. Из-за этого качество синтеза может снижаться. Проблема особенно актуальна для языков, по которым нет больших наборов размеченной речи — то есть аудиозаписей, заранее подготовленных специалистами, которые дублируются точными текстовыми расшифровками.
Исследователи MWS AI и ИТМО в рамках подхода SEAM предложили способ снизить зависимость голосовых моделей от больших объемов обучающих данных. Вместо того чтобы формировать представление нового языкового элемента практически с нуля, SEAM позволяет собрать его из уже известных нейросетевой модели частей с учетом их правильного фонетического порядка.
Подход протестировали на русском, казахском и французском языках и двух архитектурах синтеза речи. В экспериментах SEAM показал высокое качество синтеза речи при обучении на 25 часах аудиоданных, тогда как стандартный подход использовал 100 часов для достижения сопоставимого качества.
Подход может быть полезен компаниям, которые разрабатывают голосовых помощников, сервисы озвучки и автоматизации клиентской поддержки, особенно при выходе на новые рынки и необходимости адаптировать продукты к местным языкам.
Научную работу, в которой описан подход SEAM, приняли на EMNLP 2026 — одну из ведущих мировых конференций по обработке естественного языка, которая проходит с 24 по 29 октября в Венгрии.
«Для того, чтобы научить ИИ новому языку, совершенно не обязательно начинать с нуля; можно подойти к этой задаче с позиций «продвинутого лингвиста». Современные нейросети уже способны не просто понимать язык, но обобщать и систематизировать знания о его природе, а также транслировать эти знания на другие языки, автоматически отмечая их сходства и различия. Как следствие, когнитивные функции ИИ тут сводятся уже не к запоминанию, а к осмыслению информации, что требует меньше данных. Однако это порождает иную опасность — обученная таким образом система может создавать свой «новояз», особенно за счет изменения произношения слов из разных языков, как это бывает, например, в интернациональных детских коллективах».
Александр Бухановский, д.т.н., руководитель Института ИИ ИТМО
Стаматис Лефкимиатис, руководитель департамента фундаментальных исследований MWS AI и один из исследователей, работавших над SEAM, в октябре вошел в международную базу Top 2% Scientists, которая оценивает научное влияние ученых по показателям цитирования. В категории «Искусственный интеллект и обработка изображений» он оказался примерно в топ-1% исследователей по показателю без самоцитирований.