Магистранты ИТМО и эксперты Raft разработали HiveTrace — решение, которое закрывает 70% уязвимостей генеративного ИИ, включая промпт-инъекции и утечки данных. Система совместима с любыми ИИ-моделями и уже готова к внедрению в бизнес-процессы.
Магистранты ИТМО совместно с экспертами компании Raft разработали HiveTrace — первую российскую систему защиты искусственного интеллекта от кибератак. Она отражает 70% популярных уязвимостей, включая промпт-инъекции, утечки конфиденциальных данных, злоупотребление LLM-агентами и другие угрозы, и совместима с любыми ИИ-моделями, как открытыми, так и закрытыми. Это решение позволит компаниям из технологического, финансового и телекоммуникационного секторов безопасно внедрять генеративный ИИ в свои бизнес-процессы, гибко настраивая правила безопасности под свои нужды.
Генеративный ИИ сегодня активно используется для создания текстов, обработки запросов клиентов, генерации кода и контента, но с ростом его применения увеличиваются и риски кибератак. Злоумышленники используют обход ограничений (jailbreaks) и вредоносные инъекции в запросы (prompt injection), чтобы обойти ограничения моделей, получить доступ к закрытым данным или спровоцировать выдачу запрещенного контента.
HiveTrace, созданный при поддержке ИТ-компании Raft, — это первая в России ИИ-система защиты, которая справляется с большинством угроз из списка OWASP Top 10 для LLM. Она блокирует вредоносные запросы с точностью 97%, предотвращая утечки данных, некорректную обработку входных данных, перегрузку вычислительных ресурсов и другие уязвимости. Система работает как промежуточный фильтр: каждый запрос анализируется перед отправкой в веб-приложение, а администраторы могут гибко настраивать правила через удобную панель управления.
Сейчас HiveTrace защищает от 7 из 10 ключевых уязвимостей, но разработчики планируют расширять функционал, чтобы охватывать как существующие, так и новые угрозы. В будущем они будут опираться на актуальные исследования, в том числе публикуемые в ИТМО. Система уже готовится к пилотированию в российских компаниях из различных отраслей, включая технологические, финансовые, медицинские и телекоммуникационные компании.