Новая система Aegaeon от Alibaba Group, по данным компании, позволила значительно сократить количество графических процессоров Nvidia, необходимых для работы моделей искусственного интеллекта.
Компания Alibaba Group Holding представила решение для вычислительного пула, которое, по ее данным, позволяет сократить количество графических процессоров Nvidia, необходимых для работы моделей искусственного интеллекта, на 82%.
Система Aegaeon прошла бета-тестирование на торговой площадке моделей Alibaba Cloud продолжительностью более трех месяцев. Согласно исследовательской работе, представленной на симпозиуме SOSP в Сеуле, за этот период количество GPU Nvidia H20, требуемых для обслуживания десятков моделей с 72 миллиардами параметров, уменьшилось с 1192 до 213 единиц. Исследователи из Пекинского университета и Alibaba Cloud отметили, что Aegaeon является первой работой, демонстрирующей чрезмерные затраты при одновременном обслуживании рабочих нагрузок больших языковых моделей на рынке.
Облачные провайдеры, включая Alibaba Cloud и Volcano Engine от ByteDance, предоставляют пользователям доступ к тысячам AI-моделей одновременно, обрабатывая множество запросов. Однако активно используются лишь немногие модели, такие как Qwen и DeepSeek от Alibaba, в то время как остальные задействуются редко. Это приводит к нерациональному использованию ресурсов: по данным исследования, 17,7% GPU обрабатывают всего 1,35% запросов на площадке Alibaba Cloud.
В связи с этим исследователи активно работают над повышением эффективности за счет объединения ресурсов графических процессоров, что позволит одному GPU обслуживать несколько моделей одновременно.