Новая система позволяет обнаруживать ложные, но правдоподобные ответы нейросетей с высокой точностью, используя для обучения всего около 250 примеров. Это значительно снижает затраты на разметку данных и повышает надежность работы искусственного интеллекта.
Российские ученые разработали новый метод для эффективного обнаружения галлюцинаций в системах искусственного интеллекта. Галлюцинациями в ИИ называют ситуацию, когда нейросеть выдает правдоподобные, но фактически ложные ответы. Эта проблема является одной из ключевых при работе с большими языковыми моделями.
Новый подход позволяет выявлять такие сбои с высокой точностью, используя для обучения значительно меньше размеченных данных по сравнению с существующими методами. Точность определения галлюцинаций повышается примерно на 30%. Разработка основана на комбинации алгоритмов, которые отслеживают изменения во внутренних слоях нейросети в процессе генерации как правильных, так и ошибочных ответов. Для классификации применяются классические алгоритмы машинного обучения или быстрая нейросеть-трансформер TabPFNv2.
Тестирование проводилось на наборах запросов и ответов языковых моделей, где часть данных содержала галлюцинации. Результаты показали, что для достижения высокой эффективности системе требуется всего около 250 примеров для обучения. Это делает ее конкурентоспособной с коммерческими системами, основанными на моделях с закрытым кодом.
«Мы показали, что даже при небольшом объеме данных можно добиться высокой точности AI-систем. Это особенно важно для индустриальных решений, где разметка требует дополнительных ресурсов. Предложенный нами способ использует метамодели и умное понижение размерности — это прорыв в детекции галлюцинаций искусственного интеллекта. Мы не просто улучшаем технологии, но и снижаем риски дезинформации, что критично для доверия к современным моделям».
Глеб Гусев, директор Центра практического искусственного интеллекта Сбербанка
Данная разработка позволяет компаниям экономить ресурсы на разметке данных, улучшает качество ИИ-систем, использующих внешние источники, и предоставляет ученым новый инструмент для анализа больших языковых моделей. В конечном итоге это способствует получению пользователями более точных и достоверных ответов от искусственного интеллекта.