Ученые из Института искусственного интеллекта AIRI разработали два метода, которые помогают языковым моделям корректнее формировать SQL-запросы и оценивать свою уверенность в ответах. Новый подход позволяет отсеивать до 90% ошибок, что особенно важно при работе с узкоспециализированными данными.
Специалисты Института искусственного интеллекта AIRI разработали два алгоритма, направленных на улучшение качества генерации SQL-запросов с помощью языковых моделей. Предложенные методы позволяют системам ИИ более точно оценивать достоверность своих ответов при поиске информации в специализированных базах данных.
Как отмечают разработчики, современные ИИ-системы достаточно эффективно преобразуют текстовые запросы в SQL-код для работы с распространенными тематиками. Однако при обработке узкоспециализированных данных или неоднозначных вопросов часто возникают ошибки.
«Комбинация методов калибровки и использование внешних классификаторов радикально повышает надежность языковых ИИ для генерации кода под конкретные задачи. Это критически важно для областей, где цена ошибки высока, а использование ИИ-инструментов должно оставаться полностью подконтрольным специалисту».
Олег Сомов, научный сотрудник AIRI
В ходе исследования были протестированы несколько языковых моделей, включая DAIL-SQL, T5 и LLaMA3. Эксперименты показали, что при генерации SQL-запросов системы допускали около 30% ошибок. Для решения этой проблемы ученые предложили комбинацию двух подходов: использование внешнего классификатора и оценку калиброванности ответов.
По данным разработчиков, совместное применение этих методов позволяет идентифицировать до 90% ошибочных запросов. Особое внимание уделялось случаям, когда запрос не имеет однозначного ответа в базе данных — в таких ситуациях модели традиционно демонстрировали наибольшую неуверенность.
Разработка может найти применение в областях, где критически важна точность обработки данных, включая медицинские исследования, финансовую аналитику и научные базы знаний. В настоящее время исследователи продолжают работу по оптимизации предложенных алгоритмов.