Институт искусственного интеллекта AIRI совместно со Сбером работает над созданием семейства ИИ-систем «Optimal Cognitive Core» (OCC). Эти модели позиционируются как «когнитивное ядро»: они не требуют больших вычислительных мощностей, но при этом умеют работать с внешними базами данных, поисковыми системами и другими инструментами. О разработке на ПМЭФ сообщил гендиректор AIRI Иван Оселедец.
Как поясняют разработчики, большинство современных больших языковых моделей становятся все более громоздкими. Каждое новое поколение содержит миллиарды параметров и фактически пытается хранить знания внутри себя. Это делает их дорогими в обучении и эксплуатации. Кроме того, такие модели часто игнорируют актуальный контекст, предоставленный пользователем, из-за чего генерируют правдоподобные, но неверные ответы — так называемые галлюцинации.
В AIRI решили пойти другим путем. Вместо модели-«энциклопедии» создается компактное ядро, которое не запоминает факты, а умеет анализировать информацию, строить логические связи и обращаться к внешним источникам.
Первая модель семейства — OCC-RAG. Она обучена отвечать на вопросы, опираясь исключительно на предоставленные документы, связывать факты из разных частей текста и честно отказываться от ответа, если данных недостаточно. Система выдает результат в виде структурированного ответа с цепочкой рассуждений и прямыми цитатами из источников, что упрощает проверку.
Благодаря компактности OCC-RAG обрабатывает запросы в 1,5–2 раза быстрее решений на основе больших языковых моделей и тратит на генерацию ответа в среднем в 1,5 раза меньше токенов. Разница в стоимости за токен в зависимости от размера модели составляет от 1,4 до 4,3 раза по сравнению с аналогами (Qwen, Gemma, GigaChat, Pleias-RAG). Модель доступна в версиях на 0,6 млрд и 1,7 млрд параметров — обе можно запускать даже на ноутбуке или смартфоне.
Решение выложено в открытый доступ. Его можно использовать в финансовых сервисах, корпоративных базах знаний, клиентской поддержке, а также в юридических, медицинских и комплаенс-системах — везде, где важны строгая работа с документами и отсутствие ошибок.
Следующий шаг — превратить OCC из узкоспециализированного инструмента для работы с контекстом в полноценное агентное ядро. Разработчики хотят научить модель самостоятельно искать недостающую информацию: обращаться к поисковым системам, базам данных, корпоративным сервисам и даже вызывать другие ИИ-модели.
«Для большинства прикладных задач важнее не объем памяти модели, а её способность рассуждать и опираться на предоставленные данные. OCC — это попытка построить именно такое когнитивное ядро».
Иван Оселедец, генеральный директор AIRI
Создатели видят в OCC шаг к будущему, где небольшие ИИ-модели будут эффективно взаимодействовать с инструментами и корпоративными системами, а не пытаться хранить весь мир внутри себя.