Ученые Сбербанка разработали новый метод анализа эмоций, который работает даже при плохом освещении и фоновом шуме. Технология сочетает обработку мимики, голоса и текста, позволяя виртуальным ассистентам, образовательным платформам и медицинским сервисам точнее понимать состояние пользователей.
Ученые лаборатории искусственного интеллекта Сбербанка разработали новый метод распознавания эмоций в реальных условиях. Их подход сочетает визуальные, акустические и текстовые данные, значительно повышая точность анализа эмоций с помощью ИИ. Современные системы сталкиваются с рядом проблем: низкой точностью при изменении освещения, ракурсов или фонового шума, высокими вычислительными затратами и необходимостью больших объемов размеченных данных для обучения.
Решение исследователей Сбера включает три ключевых элемента. Во-первых, они используют легкие нейросети (EmotiEffNet, MobileViT, MobileFaceNet), обученные на открытых наборах данных, что позволяет анализировать мимику в реальном времени даже на смартфонах. Во-вторых, применяется фильтрация кадров, где эмоции распознаются наиболее точно, что снижает нагрузку на систему. В-третьих, комбинирование текстовых, аудио- и видеоданных через метод «позднего слияния» (late fusion) ускоряет адаптацию модели к новым задачам.
«Это исследование приближает нас к созданию эмпатичного искусственного интеллекта, который сможет точно и быстро распознавать эмоции человека в реальных условиях. Возможности для прикладного применения этой технологии очень широки — от виртуальных помощников до интеллектуальных систем в медицине и образовании».
Глеб Гусев, директор Лаборатории искусственного интеллекта Сбербанка
Эта технология найдет применение в виртуальных ассистентах, чат-ботах, образовательных платформах и бизнес-аналитике. Например, учебные сервисы смогут подстраивать контент под настроение ученика, а компании — точнее оценивать эмоциональные реакции клиентов на продукты. В медицине такие системы помогут выявлять тревожность и депрессию на ранних стадиях. В целом, разработка сделает ИИ-инструменты более естественными в общении и эффективными в обработке запросов пользователей.