Исследователи Лаборатории языковой конвергенции Анастасия Колмогорова и Елизавета Куликова разработали датасет, который помогает ИИ точнее распознавать человеческие эмоции. Исследование показало, что текст часто эффективнее для идентификации эмоций, чем интонация или мимика.
Лингвисты из Высшей школы экономики в Санкт-Петербурге разработали «эмоциональный словарь» для обучения искусственного интеллекта. В основе проекта лежит мультимодальный эмоциональный датасет, включающий 909 фрагментов видеозаписей общей продолжительностью 173 минуты. Каждый отрывок был оценен специалистами по шести базовым эмоциям. Для анализа использовались четыре различных формата: полное видео, только аудиодорожка, только текстовая расшифровка и видеоряд без звука.
В ходе исследования выяснилось, что участники эксперимента чаще всего совпадали в оценках при анализе обычного письменного текста. При прослушивании только аудио мнения расходились сильнее, а наихудший результат показало немое видео. Это опровергает распространенное мнение о том, что интонация играет ключевую роль в распознавании эмоций.
Детальный анализ показал, что разные эмоции по-разному проявляются в различных форматах. Например, радость и удивление лучше всего распознаются через звучащую речь. Злость, напротив, точнее идентифицируется по тексту. Страх оказался наиболее вербальной эмоцией: он успешно распознается по тексту и аудио в 87% случаев, но практически не читается по мимике.
«Большие языковые модели могут улавливать скрытые паттерны, которые мы, может быть, чувствуем на подсознательном уровне, но не можем формализовать. Наш датасет — это грамотно организованные, хорошо размеченные данные, приспособленные для работы с нейросетями».
Анастасия Колмогорова, заведующая Лабораторией языковой конвергенции НИУ ВШЭ — Санкт-Петербург
Созданный датасет уже применяется на практике для обучения больших языковых моделей. Искусственному интеллекту предоставляют образцы из этого современного словаря в качестве примеров, а затем алгоритм учится анализировать новые данные, улучшая свое понимание человеческих эмоций.