Сбер обновил ИИ-помощника «ГигаЧат»: новая модель GigaChat Audio научилась распознавать эмоции по голосу, работать с аудио без транскрибации и находить нужные фрагменты в записях длиной до трех часов. Облегченная версия модели, а также семейство GigaAM Multilingual для распознавания речи доступны разработчикам в открытом коде.
Главное отличие обновления — возможность напрямую обрабатывать голосовые сообщения и аудиофайлы без промежуточного преобразования в текст. Нейросеть анализирует интонации, тембр и особенности произношения, что позволяет ей определять эмоциональный фон обращения. В зависимости от тональности ответа ассистент может корректировать стиль общения: давать более сдержанные реакции или поддерживать позитивный настрой.
Среди технических возможностей модели — работа с записями длительностью до трех часов. Пользователь может задавать вопросы по содержанию аудио, запрашивать пересказ отдельных фрагментов или получать краткую сводку с привязкой к таймкодам. Также модель умеет различать голоса разных спикеров, что может быть востребовано при анализе совещаний, звонков и других многосторонних записей.
Дополнительная функция ИИ-помощника — сохранение фактов из голосовых диалогов для использования в будущих сессиях. Например, система может учитывать ранее выраженные предпочтения пользователя. При этом управление сохраненными данными остается у пользователя: их можно просматривать, редактировать или полностью отключать через настройки профиля.
Согласно внутренним тестам разработчика, качество ответов GigaChat Audio на голосовые запросы сопоставимо с ведущими мировыми решениями. В ходе бенчмарка Arena Hard Audio модель показала 75% побед в «слепых» сравнениях с другими нейросетями. По точности распознавания эмоций заявленный показатель составляет 80%.
Для специалистов доступна упрощенная версия GigaChat3.1-Audio-10B, поддерживающая русский, английский и другие языки. Она может применяться в системах транскрибации, тренажерах произношения, инструментах оценки озвучки, голосовых переводчиках и сервисах для работы с длинными записями.
В открытый доступ также вышло семейство моделей распознавания речи GigaAM Multilingual. Это первая российская открытая модель, работающая с несколькими языками. Она доступна в двух вариантах — компактном для работы на стандартных процессорах и флагманском с более высоким качеством. По заявленным данным, количество ошибок у GigaAM в 1,5–2 раза ниже по сравнению с ближайшими аналогами. Модель поддерживает русский, английский, казахский, киргизский и узбекский языки и рассчитана на использование в кол-центрах, для расшифровки встреч, подкастов, а также в голосовом вводе и создании субтитров.
Обе модели прошли предварительное обучение на широком языковом материале и допускают дообучение на других языках при наличии размеченных аудиозаписей. Материалы опубликованы на платформах GitVerse и Hugging Face. Научные работы по моделям приняты к участию в конференции Interspeech 2026.
Читайте также: Создатели ИИ стремительно поднимаются в списке богатейших людей мира.