Корейские ученые совместно с Microsoft Research Asia разработали систему, которая помогает ИИ распознавать, когда он неправильно понял намерение человека. Для этого система анализирует сигналы мозга, полученные с помощью электроэнцефалографии (ЭЭГ).
Технологию назвали Neural Value Alignment — NVA. Ее задача связана с проблемой, которая возникает при взаимодействии человека и ИИ, одно и то же действие может соответствовать разным целям. Например, если человек берет чашку, он может собираться выпить из нее, а может хотеть передать ее другому человеку.
Исследователи сосредоточились на двух типах сигналов, которые возникают в мозге, когда человек сталкивается с неожиданным результатом. Первый — ошибка предсказания вознаграждения, или RPE. Она появляется, когда ИИ неправильно понял саму цель человека. Второй — ошибка предсказания состояния, SPE. В этом случае цель определена правильно, но ИИ выбрал не тот способ ее достижения.
Участники эксперимента наблюдали за действиями ИИ, пока исследователи в реальном времени записывали их мозговую активность с помощью ЭЭГ. Команда обнаружила, что эти два типа ошибок сопровождаются разными сигналами. Затем с помощью глубокого обучения исследователи создали систему, способную различать их по данным ЭЭГ.
Это позволяет ИИ понять, что именно пошло не так, даже если человек ничего не говорит. Если система фиксирует SPE, она делает вывод, что цель была выбрана правильно, но нужно изменить способ действия. При RPE ИИ считает, что неправильно понял саму цель, и пытается определить ее заново.
В симуляциях такой подход позволял системе быстрее адаптироваться к изменениям намерений человека и работать даже в ситуациях, когда часть нейронных сигналов была недоступна.
Авторы считают, что подобная технология может найти применение в роботах, автономных автомобилях, медицинских и реабилитационных системах, а также в образовательных ИИ. Например, робот сможет корректировать свои действия без необходимости постоянно получать от человека дополнительные голосовые команды.
При этом речь пока идет о научном исследовании. Система демонстрирует возможность использовать нейронные сигналы для более точного взаимодействия человека и ИИ, но до повседневного применения такой технологии еще предстоит пройти путь.
Читайте также:
Claude атаковал реальные системы во время тестов Anthropic
Google DeepMind рассчитала все 9 миллиардов мутаций в геноме человека