Ученые НИЯУ МИФИ предложили архитектуру нейронной сети, которая одновременно повышает устойчивость ИИ к состязательным атакам и позволяет оценивать неопределенность собственных прогнозов. Такой подход может использоваться, в частности, в системах кибербезопасности.
Проблема особенно заметна в системах кибербезопасности. Нейросеть может анализировать сетевой трафик и определять, есть ли в нем признаки атаки. Но злоумышленник способен немного изменить входные данные так, чтобы система ошиблась. При этом обычная нейросеть может быть полностью уверена в неправильном ответе.
Ученые МИФИ предложили использовать стохастический трансформер. Его главное отличие от обычной нейросети заключается в том, что внутренние параметры модели не являются полностью фиксированными. При разных запусках они немного меняются. Из-за этого один и тот же объект модель может оценивать несколько раз и получать несколько прогнозов. Если результаты похожи, система считает решение более надежным. Если они сильно различаются, это сигнал о высокой неопределенности.
Такой подход может помочь и против специально подготовленных атак. Злоумышленнику сложнее подобрать универсальный способ обмануть модель, если ее внутренние параметры меняются от запуска к запуску.
Исследователи проверили систему на нескольких типах атак, включая FGSM, PGD и C&W. По их данным, стохастический трансформер во всех экспериментах оказался устойчивее базовых моделей.
Еще один результат связан с обучением. Если нейросеть сама показывает, какие примеры вызывают у нее наибольшие сомнения, специалистам не обязательно вручную размечать весь массив данных. В экспериментах такой подход позволил сократить объем необходимой разметки на 81%, сохранив 97% от максимальной точности модели.
Метод протестировали на девяти наборах данных. Помимо обнаружения сетевых атак, его проверили на задачах выявления токсичного контента и распознавания фейковых новостей.
При этом у технологии есть ограничение: из-за многократных запусков модели обработка данных занимает примерно в 4–5 раз больше времени, чем у обычной нейросети. Исследователи планируют уменьшить этот показатель и адаптировать метод для больших языковых моделей с помощью технологии LoRA.
Читайте также:
Neuro.net представила новое поколение технологии синтеза речи (Neuro TTS) для голосовых AI-решений