ВТБ совместно с Центром искусственного интеллекта МГУ разработал два инструмента для контроля работы цифровых помощников. Они проверяют запросы клиентов на недопустимое содержание, а ответы нейросетей — на наличие вымышленных сведений и противоречий.
Первый инструмент — детектор токсичности — анализирует сообщения пользователей. Он выявляет запрещенные темы, нарушения законодательства, контент для взрослых и другие нежелательные формулировки. Если запрос не соответствует установленным требованиям, система блокирует его и не передаёт цифровому помощнику.
Второй инструмент проверяет ответы, которые уже сформировала нейросеть. Он ищет несоответствия и противоречия, в том числе так называемые галлюцинации — случаи, когда искусственный интеллект выдаёт выдуманную или недостоверную информацию как факт. Детектор также указывает, в какой части ответа обнаружена потенциальная проблема.
После проверки специалисты банка смогут отправить сомнительный ответ на дополнительную проверку или заблокировать его. Таким образом, система должна стать дополнительным уровнем контроля между генеративной моделью и клиентом.
«ВТБ продолжает совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провокационные формулировки, отвечать недостоверно или рекомендовать несоответствующие запросу финансовые продукты или услуги. Готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому ВТБ разработал собственные детекторы вместе с экспертами МГУ».
Сергей Путятинский, советник первого заместителя президента-председателя правления ВТБ
Разработанные инструменты планируют применять в сервисах розничного бизнеса банка, где с клиентами взаимодействуют ИИ-помощники.