Российские исследователи разработали алгоритм, позволяющий создавать полностью прозрачные системы ИИ, логика принятия решений которых всегда остается понятной для человека. Этот подход ускорит разработку ИИ-систем, построенных по принципу «белого ящика», сообщает пресс-служба ИТЭБ РАН.
Исследователи из Института теоретической и экспериментальной биофизики РАН «ИТЭБ РАН» разработали алгоритм, который делает искусственный интеллект полностью понятным для человека. В отличие от традиционных нейросетей, новая система работает на основе логических клеточных автоматов, позволяя отслеживать каждый шаг принятия решений.
Современные системы ИИ чаще всего работают по принципу «черного ящика»: ни разработчики, ни пользователи не понимают, как именно алгоритмы принимают решения и какие данные влияют на результат. Это затрудняет их модификацию, оптимизацию и создает риски при практическом применении. В 2016 году в США запустили программу «Объяснимого ИИ» (XAI), но даже она позволила лишь частично интерпретировать работу нейросетей, не решив проблему безопасности и надежности.
Ученые из ИТЭБ РАН и Института биофизики клетки РАН предложили принципиально новый подход, основанный на логических клеточных автоматах. Это математические конструкции, описывающие пространство из соседних ячеек-клеток, каждая из которых может находиться в определенном состоянии и менять его на каждом шаге вычислений. С помощью этой технологии исследователи создали полностью прозрачную ИИ-систему для проверки экологических гипотез. Она помогла проанализировать сосуществование видов, решить парадокс биоразнообразия и смоделировать процессы в экосистемах.
«Реализованный вариант символического ИИ основан на полностью прозрачных алгоритмах и имеет природу белого ящика. Этим он принципиально отличается от современного генеративного ИИ, реализованного на непрозрачных алгоритмах, имеющих природу черного ящика».
Лев Калмыков, научный сотрудник ИТЭБ РАН
Ученые уверены, что таким же образом можно разрабатывать ИИ общего назначения, а также гибридные системы, сочетающие «белые» и «черные ящики».