MWS AI открыла доступ к новому инструменту сжатия больших языковых моделей

MWS AI (входит в МТС Web Services) выложила в открытый доступ код для сжатия больших языковых моделей. Он основан на методе  CoSpaDi (Compressing LLMs via Calibration-Guided Sparse Dictionary Learning), разработанном командой исследователей Центра фундаментальных исследований MWS AI. CoSpaDi позволяет уменьшать размер уже обученных нейросетей без дообучения, сохраняя более высокую точность ответов по сравнению с другими методами сжатия. Об этой разработке 28 ноября на конференции AI Journey расскажет руководитель департамента фундаментальных исследований MWS AI Стаматис Лефкиммиатис.

Два подхода к компактному представлению весов нейросети: низкоранговое разложение и CoSpaDi

Код CoSpaDi может быть полезен организациям, которые запускают большие языковые модели на оборудовании с ограниченным объемом памяти и не имеют возможности расширить парк устройств. Уменьшенные таким образом модели могут использоваться, например, в корпоративных помощниках и сервисах анализа документов. Опубликованный код позволит разработчикам и исследователям применить CoSpaDi для работы моделей, которые используются в их продуктах и разработках, а также протестировать в собственных экспериментах.

Метод направлен на решение одной из актуальных задач индустрии ИИ — снижение требований нейросетей к вычислительным ресурсам при сохранении качества их работы. CoSpaDi предполагает более компактное хранение весов – параметров, от которых зависят результаты работы нейросети. Их представляют через комбинации малого числа компонент из специально подобранного набора — словаря. 

«Мы пересмотрели привычный способ сжатия весов модели и предложили более гибкий: для представления каждого столбца матрицы весов подбирается своя комбинация компонентов из общего словаря. На моделях семейства Llama и Qwen размером от 0.6 до 14 млрд параметров при сжатии на 20–40% CoSpaDi показал в среднем более высокую точность ответов, чем популярный SVD-LLM — метод на основе низкорангового приближения. Для бизнеса такие результаты открывают возможность развертывать модели в своем контуре или контуре заказчика с меньшими затратами на инфраструктуру, либо обслуживать больше пользователей одновременно на имеющемся оборудовании. Подход также позволяет ускорять работу моделей — масштаб ускорения зависит от оборудования и программной реализации. Эта работа стала отправной точкой для создания серии других наших методов, которые также можно применять к нейросетям для работы с изображениями и аудио».

Денис Махов, ведущий разработчик департамента фундаментальных исследований MWS AI

Научная работа с описанием разработки опубликована в материалах ведущей международной конференции по обработке естественного языка EMNLP 2026, прошедшей в Будапеште.  Код CoSpaDi опубликован на GitHub, статья о работе метода доступна на сайте конференции.

Что будем искать? Например,ChatGPT

Мы в социальных сетях