Обновленный инструмент для обучения моделей позволяет адаптировать LLM под локальные задачи благодаря методу LoRA: он обучает только дополнения, не затрагивая всю модель. После такой адаптации качество ответов в среднем растет на 15%, а компактные модели обгоняют недообученные большие на целевых запросах.
BSS добавила поддержку LoRA (Low-Rank Adaptation) в инструмент для обучения моделей NLU Suite. Теперь можно обучать языковые модели под локальные задачи быстрее, дешевле и даже при сильно ограниченных мощностях.
Вместо полного переобучения модели LoRA позволяет добавить к ней «блок» под нужды клиента. В итоге обучается не исходная модель, а небольшие матрицы, которые на нее накладываются. Это позволяет создать LLM-эксперта в заданной области гораздо быстрее, чем при традиционном тюнинге.
Для запуска достаточно обеспечить сервер и данные для обучения. Обучающие корпуса можно подготовить с нуля в NLU Suite с помощью любой мощной модели — например, GPT-5. Параметры дообучения можно выставить по умолчанию или настроить в процессе работы. Так можно настраивать как полные модели, так и квантизированные (сжатые) модели.
Качество ответов после дообучения в среднем растет на 15%. При этом обученные компактные модели с меньшей памятью (1 млрд параметров) обгоняют необученные большие (27–30 млрд) на целевых запросах. А разница в качестве обученных компактных (1 млрд) и обученных средних (9 млрд) моделей составляет лишь 5–10%. Это значит, что даже при ограниченных ресурсах можно получить эффективную специализированную модель.
«Наше решение сокращает стоимость и сроки внедрения, а также снижает зависимость от специалистов по дообучению моделей — то есть, повышает доступность использования LLM-технологий в бизнесе».
Александр Крушинский, директор департамента голосовых цифровых технологий BSS
Обновление затрагивает и пользовательский опыт: упростилась загрузка обучающих и тестовых датасетов, обновился интерфейс для сравнения результатов, появилось автоматическое восстановление задач при сбоях.