DeepSeek опубликовал исходный код DeepInfer — собственного фреймворка для инференса, который компания использует в своих производственных сервисах для запуска больших языковых моделей. Проект вышел под лицензией Apache 2.0.
Сейчас DeepInfer поддерживает модель DeepSeek-V4.1-Flash и два типа ускорителей — NVIDIA SM100 и Huawei Ascend 950. Фреймворк рассчитан на крупные установки и умеет распределять вычисления между несколькими ускорителями, асинхронно планировать запросы и оптимизировать работу моделей MoE.
Одна из функций DeepInfer ускоряет генерацию за счет предварительного создания нескольких возможных токенов и их последующей проверки. Движок также поддерживает детерминированную генерацию и ответы с заданной структурой. Например, модель можно заставить возвращать результат по JSON-схеме, регулярному выражению или грамматике EBNF.
Опубликованная версия пока рассчитана прежде всего на офлайн-инференс. Для построения полноценного сервиса поверх нее потребуется отдельно добавить систему KV-кэша, балансировку нагрузки и часть инфраструктуры для разделения этапов обработки запросов.
DeepInfer изначально создавался на базе vLLM. Разработчики также указывают среди источников вдохновения SGLang и TensorRT-LLM. Код проекта доступен на GitHub.