Специалисты из лаборатории искусственного интеллекта Сбербанка, AIRI и МФТИ создали способный распознать эмоции алгоритм под названием CA-SER.
Российские ученые создали модель ИИ, которая может с высокой точностью определять эмоции в человеческой речи. По словам представителей Сбера, эта разработка значительно превосходит большинство существующих аналогов при работе с наиболее сложными типами контента.
«Исходный код модели доступен в открытом виде, поэтому другие ученые могут использовать инструмент в своих исследованиях, чтобы провести дополнительные эксперименты для проверки работы модели с другими языками и датасетами, повысить ее универсальность и применимость в реальных условиях. Так, модель можно обучать на русскоязычных эмоциональных корпусах и затем применять в голосовых помощниках и контакт-центрах», — говорится в сообщении.
Новый алгоритм CA-SER был разработан группой исследователей из лаборатории искусственного интеллекта Сбербанка, Института AIRI и МФТИ. Их система ИИ построена на базе самообучения (SSL) и объединяет несколько подходов, активно используемых для анализа устной речи и распознавания эмоций.
Система сначала определяет основные характеристики речи и добавляет данные о звуках голоса, включая громкость и тональность, с учетом человеческого восприятия аудиоспектра. Затем эти два типа информации объединяются с помощью механизма, эффективно связывающего общие характеристики речи с деталями, что позволяет точнее определять эмоции говорящего.
Российские ученые проверили работу системы ИИ и девяти других подобных проектов на образцах из базы данных IEMOCAP, включающей аудиозаписи, видеоклипы, расшифровки текстов и другие мультимедиа-данные, связанные с эмоциями. Тесты показали, что российская разработка превзошла все системы ИИ и сравнима с нейросетью-трансформером HuBERT от Facebook. Ученые надеются, что их система улучшит работу голосовых помощников и других цифровых систем, распознающих эмоции.