Компания NVIDIA представила новую нейросеть Nemotron 3.5 Transcribe, способную преобразовывать аудиозаписи в текст, переводить речь и различать голоса нескольких собеседников. Модель поддерживает 40 языков, включая русский, и распространяется бесплатно с открытыми весами.
Главная особенность разработки заключается в объединении сразу нескольких функций в одной системе. Nemotron 3.5 Transcribe умеет не только расшифровывать речь, но и переводить ее с 40 языков на английский и обратно. Кроме того, нейросеть способна определять до 8 участников разговора, даже если они перебивают друг друга.
Модель работает с аудиозаписями продолжительностью до одного часа. Пользователь может задавать текстовые инструкции, например попросить нейросеть подготовить полную расшифровку разговора, выделить реплики отдельных участников или составить краткое содержание встречи. Также система способна отвечать на вопросы по содержанию записи и учитывать специализированные термины, что особенно полезно при обработке медицинских консультаций, лекций и деловых переговоров.
В основе Nemotron 3.5 Transcribe лежит архитектура с 30 млрд параметров, однако одновременно задействуются только ~4 млрд. Благодаря этому нейросеть может работать на одном графическом ускорителе NVIDIA. По данным разработчиков, видеокарта RTX PRO 6000 Blackwell Server Edition способна обработать 100 ч. аудио менее чем за 3 мин. при использовании формата NVFP4.
Компания также заявляет о высокой точности распознавания речи. В тестировании Open ASR Leaderboard новинка заняла первое место среди моделей с открытыми весами, продемонстрировав среднюю долю ошибок на уровне 5,33%. Кроме того, система показала высокие результаты в определении участников разговора.
Вместе с нейросетью NVIDIA выпустила обновленный набор данных Granary v2, содержащий сотни тысяч часов аудиозаписей на 48 языках. Он предназначен для обучения и адаптации речевых моделей под различные профессиональные задачи.
Nemotron 3.5 Transcribe уже доступна на платформе Hugging Face. Разработчики могут бесплатно загрузить модель и использовать ее в собственных проектах, в том числе коммерческих. При этом нейросеть пока работает только с готовыми аудиозаписями и не поддерживает расшифровку речи в реальном времени.
Читать также: Электрический авиалайнер E9X сможет перевозить 100 пассажиров на 1000 км.