Корейские ученые создали энергоэффективный алгоритм обучения ИИ, который в шесть раз экономичнее разработки Google и при этом точнее. Технология A²SG приближает эру маломощного искусственного интеллекта в повседневных устройствах.
Генерация изображений и текста с помощью искусственного интеллекта стала привычной, однако работа крупных дата-центров требует значительных энергетических затрат. В связи с этим глобальные технологические компании активно исследуют так называемые «нейроморфные» полупроводники, которые подражают принципам работы человеческого мозга и потребляют меньше энергии.
Отличительной особенностью мозга является передача сигналов только при необходимости, что позволяет экономить ресурсы. Созданные по этому принципу «спайковые нейронные сети» (SNN) значительно энергоэффективнее традиционных моделей, но до сих пор уступали в точности глубоким нейросетям (DNN), лежащим в основе современных систем вроде ChatGPT.
Ученые из Кореи разработали новую методику обучения A²SG, которая призвана повысить эффективность глубоких нейросетей. Предложенная технология была протестирована на крупномасштабной спайковой нейронной сети на основе архитектуры трансформера. В ходе испытаний на наборе данных ImageNet она продемонстрировала наивысший на данный момент показатель точности среди подобных сетей.
Сложность обучения SNN заключалась в том, что они используют иной принцип обмена сигналами, и стандартные методы коррекции (градиенты), применимые к DNN, для них работали неэффективно. A²SG решает эту проблему за счет комбинирования адаптивной настройки в зависимости от контекста и асимметричного подхода, учитывающего биологические особенности нервных клеток.
По данным исследователей, новый метод требует примерно в шесть раз меньше вычислительных мощностей по сравнению с ведущей разработкой Google, обеспечивая при этом более высокую точность. Его эффективность подтверждается на различных архитектурах — от малых до крупных моделей.
Важной особенностью разработки является то, что она реализуется программно и не требует изменений в «железе». Это открывает возможности для применения в устройствах с ограниченным энергопотреблением: смартфонах, носимой электронике, дронах и датчиках, работающих круглосуточно.
В дальнейшем команда планирует коммерциализировать разработку, проверить ее на нейроморфном оборудовании и использовать наработки для создания моделей ИИ для полупроводников следующего поколения, в том числе основанных на вероятностных вычислениях.
По оценке ученых, предложенный подход решает системные проблемы обучения, препятствовавшие масштабированию нейроморфного ИИ, и приближает коммерциализацию энергоэффективных систем.
Читайте также: Искусственные геоинженерные арки смогут сохранить арктический лед