«Яндекс» выложил в открытый доступ языковую модель, которая лежит в основе быстрых ИИ-ответов в его поиске. Это та база, дообученная версия которой каждый месяц отвечает на вопросы 49 миллионов человек. Лицензия Apache 2.0 позволяет использовать ее бесплатно, в том числе в коммерческих продуктах. Разбираемся, что с ней можно сделать и как запустить у себя.
Что именно выложили
Речь о модели Alice AI Search Pretrain — базовой версии, которая прошла первый этап обучения и уже обладает обширными знаниями о мире. Дообученная версия этой модели работает в поиске с июля и генерирует ответы прямо под поисковой строкой.
Ключевые характеристики:
- 35 миллиардов параметров, но при обработке одного фрагмента текста задействуется лишь около 600 миллионов — менее 2%. Это результат гибридной архитектуры.
- Гибридная архитектура объединяет две технологии, это «энкодер-декодер» (Encoder-Decoder) и MoE (Mixture of Experts). Первая позволяет давать емкий лаконичный ответ, тогад одна часть модели изучает и отбирает информацию, другая генерирует ответ. Вторая ускоряет работу и экономит вычисления, то есть вместо всей нейросети активируется только та часть, которая лучше разбирается в теме.
- Компактность. Модель не требует больших вычислительных мощностей, что делает её доступной для запуска на собственном оборудовании.
По качеству ответов на русском языке модель обходит компактные аналоги: Qwen 3.5 2B и 4B, T5 Gemma 2 4B-4B Base. При этом она сопоставима с Qwen 3.5 35B-A3B, которая требует значительно больше ресурсов.
Что можно с ней сделать
Модель распространяется по лицензии Apache 2.0 — это значит, что ее можно использовать бесплатно, включая коммерческие продукты, дообучать и модифицировать. Никаких роялти и ограничений на сферу применения.
Практические сценарии:
- Ответы клиентам. Дообучить на своих диалогах и использовать для поддержки.
- Разбор документов. Извлечение данных, суммаризация, классификация.
- Классификация заявок. Автоматическое распределение обращений по категориям и приоритетам.
- Внутренние помощники. База знаний, поиск по регламентам, ответы на типовые вопросы сотрудников.
Главное преимущество заключается в том, что модель можно крутить у себя, не платя за облачные API. При больших объемах запросов это может дать заметную экономию.
Что понадобится
Компьютер с видеокартой. Модель компактная, но 35 миллиардов параметров — это серьезный объем. Для комфортной работы нужен GPU с достаточным объемом памяти. Точные требования зависят от того, в каком формате вы запускаете модель и какую задачу решаете. Если видеокарты нет, можно арендовать облачный сервер с GPU, на время экспериментов это дешевле, чем покупать железо.
Базовые навыки работы с командной строкой. Не нужно уметь программировать, но придется выполнить несколько команд в терминале. Это проще, чем кажется, все команды будут готовые, их нужно только скопировать и подставить свои значения.
Аккаунт на Hugging Face. Это платформа, где лежит модель. Регистрация бесплатная.
Свободное место на диске. Веса модели занимают несколько десятков гигабайт, точный объем зависит от версии и формата.
Шаг 1. Скачайте модель
Модель доступна на платформе Hugging Face. Найдите Alice AI Search Pretrain и скачайте веса. Это можно сделать двумя способами.
- Через сайт. Откройте страницу модели на Hugging Face, перейдите в раздел с файлами и скачайте их вручную. Способ подходит, если файлов немного и вы не хотите возиться с терминалом.
- Через терминал. Установите специальную утилиту для работы с Hugging Face — она называется huggingface_hub. После установки выполните команду скачивания, указав название репозитория с моделью. Точное имя репозитория смотрите на странице модели, оно может меняться.
Шаг 2. Установите окружение
Чтобы модель заработала, нужны библиотеки, которые умеют с ней работать. Основные — это transformers (для загрузки и запуска моделей) и torch (вычислительный движок). Дополнительно может понадобиться accelerate, она помогает распределять нагрузку, если у вас несколько видеокарт.
Все эти библиотеки ставятся одной командой в терминале. Если планируете экономить память видеокарты за счет сжатия модели, добавьте еще одну библиотеку — bitsandbytes.
Шаг 3. Запустите модель и проверьте, что она работает
После установки окружения модель можно загрузить и задать ей первый вопрос. Делается это через небольшой скрипт на Python, но писать его с нуля не придется. На странице модели на Hugging Face обычно есть готовый пример кода, его достаточно скопировать и подставить название репозитория.
Что происходит дальше:
- Загрузка. Скрипт обращается к Hugging Face и скачивает модель и ее токенизатор — инструмент, который разбивает текст на части, понятные модели.
- Размещение. Модель автоматически распределяется по доступным устройствам, если есть видеокарта — на нее, если нет — на процессор, но это будет медленно.
- Запрос. Вы пишете вопрос, и скрипт передает его модели.
- Ответ. Модель генерирует текст, и скрипт выводит его на экран.
Если ответ появился и он осмысленный, то модель работает. С этого момента можно экспериментировать, менять вопросы, длину ответов, добавлять системные инструкции, например, «отвечай кратко» или «отвечай как технический специалист».
Шаг 4. Дообучите под свою задачу
Базовая модель уже неплоха на русском языке, но под конкретную задачу ее лучше адаптировать. Дообучение (fine-tuning) — это процесс, при котором модель учится на ваших примерах и начинает отвечать в нужном формате.
Есть три подхода, от простого к сложному.
- Промпт-инжиниринг. Самый простой путь, вы не меняете модель, а правильно формулируете инструкции. Если задача типовая (например, классифицировать обращения по категориям) иногда достаточно подробно описать правила в запросе. Никакого обучения не нужно.
- LoRA и QLoRA. Экономичные методы дообучения. Вместо того чтобы переобучать всю модель, вы обучаете небольшую дополнительную часть, а основные веса остаются замороженными. Это требует меньше ресурсов и подходит для большинства задач. Для этого понадобится датасет — набор пар «запрос — правильный ответ» в нужном формате. Чем больше качественных примеров, тем лучше результат.
- Полное дообучение. Максимальный контроль, но и максимальные требования к оборудованию. Обычно используется, когда нужно серьезно изменить поведение модели.
Для первых экспериментов достаточно промпт-инжиниринга или LoRA. Полное дообучение имеет смысл, когда вы уже понимаете, чего хотите, и готовы вкладываться в инфраструктуру.
Что стоит помнить
Во-первых, лицензия Apache 2.0 дает широкие права, но не снимает ответственности за то, как вы используете модель. Если она обрабатывает персональные данные, нужно соблюдать 152-ФЗ. Если генерирует ответы клиентам, отвечать за их содержание все равно человеку.
Во-вторых, качество зависит от дообучения. Базовая версия уже неплоха на русском языке, но под конкретную задачу ее нужно адаптировать. Без этого ответы могут быть общими.
В-третьих, компактность модели не означает, что ее можно запустить на ноутбуке. Для комфортной работы нужен GPU, а для дообучения — еще больше мощности.
Что это значит
Яндекс стал первым, кто выложил в открытый доступ базовую модель, дообученная версия которой генерирует ИИ-ответы в поиске.
- Для разработчиков это возможность получить доступ к архитектуре и знаниям, которые раньше оставались внутри компании.
- Для бизнеса — шанс построить собственное решение на базе модели, не платя за облачные API.
- Для исследователей — материал для изучения гибридной архитектуры, которая до этого существовала в основном в научных работах.