Ученые из МФТИ, MWS AI, AIRI, ИТМО и AI Talent Hub представили обновление для открытой библиотеки DeepPavlov, предназначенной для создания чат-ботов. Новая версия включает три инструмента, которые повышают надежность ответов больших языковых моделей и ускоряют их работу.
Российская open-source библиотека DeepPavlov предназначена для разработки диалоговых систем и чат-ботов. Она включает готовые модели для задач обработки естественного языка: понимания запросов, поиска ответов в текстах, классификации, анализа тональности и построения сценариев общения. Библиотека может быть адаптирована под конкретные задачи с использованием предобученных моделей или собственных данных.
Новая версия включает три инструмента. Детектор контекстных галлюцинаций позволяет находить в ответе модели фрагменты, которые не подтверждаются переданным контекстом. Это актуально для сценариев с RAG, где итоговый результат зависит от всей инфраструктуры. Классификатор evergreen-вопросов определяет, относится ли вопрос к категории тех, ответы на которые не устаревают со временем. Это позволяет не подключать внешний поиск там, где он не требуется, снижая задержку и возможное ухудшение ответа из-за нерелевантного контекста. Классификатор токсичности используется как дополнительный инструмент контроля безопасности.
«Описанные в статье инструменты позволят повысить надежность и достоверность ответов больших языковых моделей, при этом обеспечивая более высокие метрики и существенно повышая скорость работы по сравнению с базовыми решениями».
Максим Савкин, младший научный сотрудник МФТИ и Института AIRI
Как отметил инженер-исследователь MWS AI Тимур Ионов, DeepPavlov 1.1 может быть встроен в существующие решения как отдельный микросервис. Фреймворк поддерживает несколько языков и подключается к внешним системам через API, что упрощает его интеграцию в существующие LLM- и RAG-пайплайны.