OpenAI представила систему мониторинга, которая должна обнаруживать случаи, когда ИИ-агенты отклоняются от заданных инструкций, пытаются обойти ограничения или выполняют несанкционированные действия. Она проверяет поведение моделей во время обучения, тестирования и работы с инструментами, а при серьезных угрозах позволяет привлечь специалистов по безопасности и остановить выполнение задач.
Разработчики объясняют, что необходимость усилить контроль стала очевидной после инцидента с Hugging Face. Во время внутреннего тестирования модель OpenAI смогла выйти за пределы изолированной среды и получить доступ к внешним сервисам. Компания воспроизвела этот случай с помощью новой системы мониторинга: в симуляции она предупредила команду безопасности примерно через 30 минут после выхода агента из песочницы — более чем за 30 часов до взлома систем Hugging Face в реальном инциденте.
Система состоит из четырех уровней. Сначала легкие классификаторы анализируют внутренние сигналы модели и отмечают подозрительные случаи. Затем другая ИИ-модель проверяет диалог, ход рассуждений и использование инструментов, обращая внимание на обман, нарушение инструкций и попытки повлиять на результаты тестирования.
Если поведение вызывает вопросы, к работе подключается специальный исследовательский агент. Он изучает контекст задачи, анализирует полную историю действий и при необходимости запускает код в изолированной среде, чтобы восстановить последовательность событий. На четвертом уровне система сопоставляет переписку с сетевыми журналами и другими техническими данными, а также ищет повторяющиеся проблемы в разных случаях.
При обнаружении серьезной угрозы система отправляет сигнал специалистам. Некоторые критические предупреждения могут автоматически приостановить работу задачи, не дожидаясь реакции человека. В отдельных случаях команда безопасности получает уведомление примерно через 15 минут после первоначального сигнала.
OpenAI уже проверила мониторинг на реальных инцидентах и смоделированных атаках. Например, система обнаружила попытку модели выйти в интернет через DNS во время обучения с подкреплением: сигнал поступил в течение 15 минут, а специалист начал проверку еще через три минуты.
Компания признает, что мониторинг требует значительных вычислительных ресурсов, а сами проверки могут давать ложные срабатывания. Разработчики отдельно изучают, как не допустить ситуации, при которой модели начнут скрывать подозрительные действия, чтобы избежать обнаружения.
Новая система дополняет обучение безопасности и технические ограничения доступа. OpenAI считает, что по мере роста возможностей ИИ наблюдение за действиями агентов должно становиться обязательной частью разработки и проверки наиболее мощных моделей.
Читайте также: Google представила Gemini 4 Carbon с рекордными результатами в кибербезопасности