Исследователи из Санкт-Петербурга разработали интеллектуальную систему MASAI, которая с высокой точностью анализирует эмоции человека по видео, звуку и тексту. Она распознает сарказм, работает в сложных условиях и превосходит аналоги по точности.
Исследователи Санкт-Петербургского Федерального исследовательского центра РАН разработали интеллектуальную программную систему MASAI. Это комплекс нейросетей, способных распознавать естественные эмоции человека по аудиовизуальной информации, включая видео, звук и текст. По мнению ученых, для дальнейшего внедрения искусственного интеллекта и связанных с ним сервисов важно научить его анализировать весь спектр данных от пользователя: речь, мимику, жесты, взгляд, поведение и текстовую информацию.
Разработка представляет собой программное приложение, через интерфейс которого можно загружать и обрабатывать различные аудиовизуальные данные. Система основана на нескольких нейронных сетях, которые обучались на более чем десятке общедоступных баз данных. Эти базы содержат мультиязычную информацию о людях разного возраста, пола и из разных стран. Для создания русскоязычной базы данных привлекались молодые актеры театральных вузов, которые имитировали различные эмоции.
Система использует распространенную в психологии классификацию и способна распознавать семь базовых эмоций: радость, грусть, страх, отвращение, удивление, злость и спокойствие, а также определять положительную, отрицательную и нейтральную окраску высказываний. Важным преимуществом системы является ее способность работать в сложных условиях, таких как шум, плохое освещение, а также в случаях, когда человек молчит или не смотрит в камеру. Кроме того, система может распознавать сложные эмоциональные проявления, например, сарказм или иронию, когда смысл сказанного не совпадает с интонацией или выражением лица.
«Система MASAI может быть встроена в различные виды цифровых помощников, которые сейчас используются во многих сферах жизни человека. Например, в телефонных службах скорой помощи или психологической поддержке, где эмоциональный искусственный интеллект позволит эффективнее реагировать на потребности человека».
Алексей Карпов, один из авторов разработки, руководитель лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН
Точность распознавания эмоций разработки СПб ФИЦ РАН составляет 75–80%, что превосходит все существующие аналоги. В перспективе эта разработка позволит создавать более эффективные цифровые помощники, работающие на принципах эмоционального искусственного интеллекта, и повысит качество их взаимодействия с пользователями.