Nodul запустила DeepSeek V4.1 Flash на двух видеокартах вместо восьми

Штатная конфигурация vLLM для DeepSeek V4.1 Flash на NVIDIA H200 рассчитана на восемь видеокарт. Разработчики Nodul развернули модель для кодинг-агентов на двух H200, доработав движок vLLM. Веса часто используемых подсетей модели оставили в видеопамяти, а остальные перенесли в оперативную память сервера. При 20 одновременных сессиях медианная скорость генерации на том же сервере выросла с 5,4 до 36,4 токена в секунду на агента. 

Источник: rozetked.me

На момент эксперимента Nodul не нашла в открытых англо- и китайскоязычных материалах готовой конфигурации, которая позволяла бы запустить DeepSeek V4.1 Flash на двух H200 и обслуживать 20 параллельных сессий со скоростью от 20 токенов в секунду на агента. На каждой H200 после запуска драйвера и движка оставалось около 139 ГБ видеопамяти, а только для весов модели требовалось около 147 ГБ. Дополнительная память была нужна для контекста рабочих сессий.

Замеры показали, что ИИ-модель обращается к своим подсетям, или экспертам, с разной частотой. Это позволило держать востребованные веса на GPU, а редко используемые — в оперативной памяти. Команда назвала подход Lossless Expert Tiering.

  • Первую раскладку для доработанного vLLM составили по публичной статистике. На GPU разместили веса экспертов, которых модель чаще всего задействовала на разных задачах. При 20 параллельных сессиях скорость выросла до 17,3 токена в секунду на агента.
  • Затем собрали статистику на нагрузке, близкой к рабочим сессиям кодинг-агентов. При работе с кодом модель чаще задействовала другой набор экспертов. Команда перенесла их веса на GPU, и одна только смена раскладки повысила скорость еще на 62%, до 28,1 токена в секунду.
  • При 20 сессиях резерв видеопамяти под контекст был занят меньше чем наполовину, поэтому часть места отдали экспертам. Движок также научился менять их размещение по частоте вызовов без перезапуска. Вместе эти изменения дали еще около 30% прироста и довели медианную скорость до 36,4 токена в секунду на агента.

Раскладку нельзя скачать. На разных задачах модель обращается к разным экспертам, и раскладка, собранная на одной нагрузке, на другой работает хуже.

Для проверки Nodul воспроизвела 1 018 запросов из рабочих сессий Claude Code. При 20 параллельных сессиях в девяти случаях из десяти генерация начиналась в течение 2,5 секунды. При 30 сессиях медианная скорость составила 20,1 токена в секунду на агента. Все замеры на двух H200 провели на одном сервере Selectel с 360 ГБ оперативной памяти. 

«По нашей оценке, аренда сервера на восьми GPU может стоить около 4 млн рублей в месяц. Для двух H200 мы ориентируемся на 400-500 тыс. рублей в месяц при почасовой аренде, если выключать сервер на ночь. Для команды примерно из 25-27 человек это около 15-20 тыс. рублей на разработчика. Этот вариант подходит для небольших и средних команд, которым служба безопасности запрещает отправлять код и документы во внешние API».

Александр Данилов, генеральный директор и основатель Nodul

Что будем искать? Например,ChatGPT

Мы в социальных сетях