Коллектив ученых из МФТИ разработал новую архитектуру искусственного интеллекта, которая решает ключевую проблему машинного обучения — катастрофическое забывание.
Коллектив исследователей из МФТИ представил новую архитектуру искусственного интеллекта, направленную на решение проблемы катастрофического забывания в нейронных сетях. Данная проблема заключается в постепенной утрате ранее полученных знаний при освоении новой информации. Разработанный подход позволяет значительно увеличить продолжительность хранения данных — согласно проведенным испытаниям, в сотни тысяч раз по сравнению с обычными нейросетями.
В основе разработки лежит принцип ревайринга — перестройки нейронных связей, заимствованный из нейробиологии. Модель реализована на основе спайковой нейронной сети, функционирующей по принципам, схожим с работой биологического мозга. После фазы внешнего обучения система активирует механизм самоорганизованной консолидации памяти, самостоятельно преобразуя кратковременные воспоминания в долговременные структурные изменения.
Экспериментальные данные показали, что предложенная архитектура демонстрирует повышенную устойчивость к забыванию информации. Если стандартные сети утрачивали данные после приблизительно 1000 всплесков активности, то модифицированная система сохраняла информацию до 170 миллионов всплесков. Наблюдения также выявили роль хабовых нейронов в формировании стабильной структуры для долговременного хранения информации.
В настоящее время разработка существует в форме компьютерной модели. Перспективным направлением дальнейших исследований является создание физических нейроморфных процессоров, реализующих данный принцип. Потенциальное применение технологии включает разработку автономных систем, способных к непрерывному обучению в изменяющихся условиях.