Каждые пару недель выходит очередная компактная языковая модель, и тестирование новинок превращается в отдельный вид спорта: подкрутить параметры ресурсов, выяснить, что действительно тянет RTX 3060 с 8 ГБ памяти, и не утонуть в потоке релизов. Abliterated-варианты, дистилляции и агрессивная квантизация сделали способные модели доступнее на скромном железе, но при таком изобилии легко потеряться в поисках того, что стоит внимания.
Редакция «Компьютерры» изучила четыре компактные LLM и разобралась, чем каждая хороша и для каких задач подходит.

Qwen3.8-9B-Distill — более умная альтернатива Qwen3.5-9B
Qwen3.8-9B-Distill от Empero-AI — один из самых удачных вариантов для локального ИИ на настольном ПК. Возможно, это не самая яркая 9B-модель на рынке, но она удачно балансирует скорость, потребление памяти и общие знания.
Это дообученная версия Qwen3.5-9B, натренированная на выходах куда более крупной Qwen3.8-2.4T A95B. Хотя до результатов Qwen3.8-27B уровня Opus-4.6 ей далеко, эта компактная LLM все же заметно превосходит базовую модель.
Как сказано в карточке на Hugging Face, компромисс — небольшое падение в математике. Точность GSM8K снижается примерно на 1,5 процентных пункта. Взамен общие знания растут примерно на 20 процентных пунктов по MMLU, а следование структурированным инструкциям становится надежнее.
Модель умеет вызывать функции, рассуждать и даже работать со зрением, если скачать дополнительный файл mmproj. Это делает ее особенно полезной для локальных рабочих процессов, например, суммирование документов, извлечение информации, работа с инструментами и подключение к MCP-интеграциям.
В инструменте для классификации изображений эта модель показывает себя хорошо. Она заметно медленнее обычной ONNX-модели, но классифицирует сложные изображения точнее, умеет рассуждать над неоднозначными визуальными деталями, возвращать структурированный JSON и делать несколько проходов до принятия решения.
В целом Qwen3.8-9B-Distill — отличная рекомендация для тех, кто хочет более способную и свежую альтернативу Qwen3.5-9B.
Ornith-1.5-9B — самоулучшающийся агент для программирования
Ornith-1.5-9B от DeepReinforce — это LLM, созданная специально для агентного программирования. За основу взята Qwen-3.5-9B, а сама модель улучшает уже популярную Ornith-1.0-9B, которая неплохо выступала против более крупных 35B-моделей в некоторых задачах агентного кодинга. Чуть медленнее младшего брата, но делает работу гораздо лучше.
Секрет ее силы в программировании — петля самоулучшения на основе обучения с подкреплением. Модель прорабатывает, какие проблемы нужно решить, как выглядит хороший план и действительно ли проблема решена. По сути, у нее есть собственный встроенный каркас.
Используя OpenCode как дополнительный каркас разработки и ее RL-петлю, можно строить лендинги и небольшие CLI-инструменты с Ornith-1.5-9B за один проход. Главное ограничение — вы, скорее всего, будете ограничены небольшими проектами. Процесс самоулучшения генерирует планы, тестирует решения и пересматривает их, поэтому потребляет больше токенов и контекста, чем обычная чат-модель.
Тем не менее более способной 9B-модели для агентного программирования найти сложно. Если кодинг — основной сценарий, а из моделей доступны только компактные, Ornith-1.5-9B стоит попробовать.
Qwythos-9B-v2 — лучшая для нецензурированных ролевых игр и творческого письма
Qwythos-9B-v2 от Empero AI не содержит в названии слов «uncensored» или «abliterated», но при этом намеренно нецензурирована. За основу взята Qwen3.5-9B, а сама модель улучшает оригинальную Qwythos. Изменения направлены на снижение зацикливания и повторов.
Среди нескольких нецензурированных моделей, включая DareDevil-8B, NeuralDaredevil-8B, Gemma-4-E4B-Uncensored и Heretic-версию Qwen3.8-Distill, Qwythos-9B-v2 — фаворит для творческой работы. Особенно хорошо она обрабатывает сцены действия и взаимодействия персонажей. Они выглядят живее, чем то, что обычно получается у протестированных моделей Gemma.
Это одна из самых медленных моделей в подборке, но правильные настройки дают заметную разницу. На машине с RTX 3060 удается добиться почти 30 токенов в секунду при окне контекста около 68K токенов. Ответы также начинаются почти мгновенно. Пришлось снизить точность KV-кэша до Q5_1, чтобы освободить место, но падения качества письма в опробованных диалогах не заметно.
Llama-3.2-3B-Instruct — лучшая для маломощных домашних серверов без GPU
Llama-3.2-3B-Instruct — надежный выбор для маломощных локальных LLM-установок. С 3,21 млрд параметров она дает практичный баланс скорости, потребления памяти и общих знаний для повседневных ассистентских задач.
Это модель, которую стоит поставить на старый ПК или мини-ПК без дискретной видеокарты, работающий круглосуточно. Она оптимизирована для многоязычного диалога, суммирования, следования инструкциям и использования инструментов, что делает ее гораздо способнее, чем можно предположить по размеру. Отличный выбор для тех, кто хочет использовать RAG в локальной LLM, но располагает железом только для компактной модели.
Хотя она не сравнится с более крупными 9B-моделями или даже новыми 4B-моделями в рассуждениях и общих знаниях, это не так важно, если все, что нужно, — это ИИ для запросов к базе знаний, суммирования результатов и выдачи удобочитаемого ответа.
Она быстро стартует, потребляет минимум ресурсов и достаточно надежна, чтобы работать весь день, что особенно полезно при питании от батареи или в других маломощных сценариях.
Если нужен надежный локальный ассистент для скромного всегда включенного железа, Llama-3.2-3B Instruct стоит попробовать.
Сравнительная таблица
| Модель | Параметры | Сильная сторона | Кому подходит |
| Qwen3.8-9B-Distill | 9B | Баланс скорости, памяти и знаний | Универсальные задачи, работа с документами |
| Ornith-1.5-9B | 9B | Агентное программирование | Разработчики, небольшие проекты |
| Qwythos-9B-v2 | 9B | Творческое письмо, ролевые игры | Писатели, сценаристы |
| Llama-3.2-3B-Instruct | 3,21B | Низкое потребление ресурсов | Домашние серверы без GPU, RAG |
Как запустить эти модели на своем железе
Лучшая локальная LLM — не всегда самая крупная или самая новая. Часто успешный запуск модели сводится к выбору правильной сборки под ваше железо и настройке нескольких параметров.
Рекомендуется сборка Q4_K_M для этих моделей, где она доступна. Если нужно больше места для контекста, стоит попробовать Q8_0 для K- и V-кэша, чтобы снизить потребление памяти. Там, где модель и среда поддерживают MTP-декодирование, можно попробовать 3 черновых токена и сравнить скорость с отключенным MTP, а не предполагать, что так будет быстрее.
Не нужно настраивать все идеально с первого раза. Начните с одной модели, посмотрите, как она работает на вашем железе, и корректируйте по ходу. Правильные настройки под ваше железо — вот что по большей части влияет на то, почему одна и та же модель у одного работает хорошо, а у другого плохо.
Читать еще:
- Какая модель дешевле для разработчиков: разбор цен на LLM
- Нейросети без цензуры: какие LLM ответят на любые вопросы
- Как собрать собственную студию моушен-дизайна: 15 GitHub-репозиториев для видео и анимации
- Кто на самом деле живет внутри нейросетей? Скрытые личности, гоблины, глюк-токены и прочие сущности LLM
- Восстание машин: как 1200 ИИ-агентов создали тайную религию, сбежали из изоляции и атаковали компанию


