Microsoft представила MAI-Transcribe-2-Streaming — новую ИИ-модель для расшифровки речи в реальном времени. В отличие от обычной транскрипции, которой нужно дождаться окончания фразы, модель начинает выдавать текст практически сразу после получения аудио и постепенно уточняет его по мере продолжения разговора.
MAI-Transcribe-2-Streaming поддерживает 60 языков и умеет автоматически определять, на каком языке говорит человек. Первые варианты текста появляются спустя чуть больше 100 миллисекунд после поступления аудио, после чего модель обновляет их с учетом нового контекста и формирует окончательную расшифровку.
Такой принцип работы рассчитан прежде всего на приложения, которым важно реагировать на речь еще во время разговора. Например, голосовой ИИ-ассистент может начать обрабатывать запрос и готовить вызов инструмента до того, как человек закончит предложение. Аналогичным образом потоковая расшифровка подходит для живых субтитров и диктовки.
По данным Microsoft, MAI-Transcribe-2-Streaming заняла первое место по точности как для промежуточных, так и для финальных транскрипций в рейтинге Artificial Analysis. В отдельной оценке точности с учетом задержки модель также попала на так называемый фронт Парето — то есть сочетает высокую точность с небольшой задержкой.
Microsoft сообщает, что в собственных тестах слова появляются в расшифровке в два раза быстрее, чем у ближайшего конкурента. При этом фактическая задержка зависит не только от самой модели, но и от сети и других компонентов системы.
MAI-Transcribe-2-Streaming стала частью нового набора голосовых моделей Microsoft. Одновременно компания представила MAI-Voice-2.1 для синтеза многоязычной речи и более быструю версию MAI-Voice-2.1-Flash. Все три модели предназначены для создания голосовых приложений, способных слушать пользователя, обрабатывать его запрос и отвечать с минимальными паузами.
Читайте также:
GPT-6 Astra расшифровала письмо времен Наполеона, которое не могли прочитать 217 лет
HeyGen представила ИИ-модель для создания видео по запросу
ИИ-фотошоп Ideogram 4.5 редактирует изображения без потери деталей