Исследователи из МГУ предложили метод оптимизации сетевых потоков с использованием многоагентного ИИ. Новая система на основе обучения с подкреплением позволяет динамически распределять трафик, предотвращая перегрузки и сокращая задержки в сложных сетевых инфраструктурах.
Современные сети передачи данных сталкиваются с растущими объемами трафика, что требует более эффективных методов маршрутизации. Специалисты НОШ МГУ «Мозг, когнитивные системы, искусственный интеллект» разработали новый метод балансировки нагрузки на основе многоагентного обучения с подкреплением. В отличие от традиционных централизованных алгоритмов, этот подход использует распределенную модель, где агенты принимают решения локально, взаимодействуя друг с другом, что позволяет гибко адаптироваться к изменениям нагрузки и снижать задержки.
Задача была сформулирована как распределенный вариант частично наблюдаемого марковского процесса (Dec-POMDP). В системе несколько агентов управляют потоками данных в своих сегментах сети, обмениваясь информацией и принимая решения на основе локальных наблюдений. Ученые рассмотрели три подхода: централизованный, децентрализованный с взаимодействием агентов и полностью децентрализованный. Централизованный метод требует больших вычислительных затрат, а полностью децентрализованный может быть менее эффективным. Оптимальным оказался гибридный подход, при котором агенты обмениваются данными, но действуют автономно.
Для реализации этого подхода был предложен метод Multi-Agent Routing using Hashing (MAROH), сочетающий децентрализованное обучение с подкреплением и консистентное хеширование. Каждому выходному порту маршрутизатора присваивается вес, рассчитываемый с помощью машинного обучения, что позволяет равномерно распределять нагрузку. Агенты передают данные соседним узлам, оперативно адаптируясь к изменениям трафика.
Эксперименты показали, что MAROH превосходит классические алгоритмы балансировки (ECMP и UCMP) и сопоставим по эффективности с централизованным генетическим алгоритмом, но при этом обеспечивает лучшую стабильность при высокой нагрузке. Метод требует от 1500 до 3000 эпизодов обучения для достижения оптимальных результатов и значительно снижает отклонение загрузки каналов.
Этот подход открывает новые возможности для оптимизации работы дата-центров, облачных сервисов и корпоративных сетей. В будущем ученые планируют сократить количество служебных сообщений между агентами за счет накопленного опыта, а также внедрить графовые сети с механизмом внимания для повышения устойчивости к изменениям топологии.