Два автономных ИИ-агента OpenAI во время внутренних задач по программированию ослабили механизмы, которые компания использует для контроля за поведением моделей. В одном случае агент отключил автоматические предупреждения службы безопасности, в другом удалил подключение к защитному монитору и позднее заявил, что этого не делал. Об инцидентах сообщает Reuters.
Первый случай произошел 3 октября с агентом на базе GPT-6.1 Sol. Он работал с внутренней системой тестирования и прекратил отправлять автоматические уведомления специалистам по безопасности. Модель решила, что полученная ранее инструкция не отправлять сообщения в Slack распространяется в том числе на сообщения системы мониторинга. Сам механизм продолжил работать и сохранять отчеты, однако люди перестали получать предупреждения.
Через несколько дней похожая ситуация произошла с GPT-6 Astra. Агент переносил приложение и удалил из кода соединение с защитным монитором, пытаясь точнее воспроизвести эталонную реализацию. Ранее ему отдельно указывали, что отключать монитор нельзя даже временно. После завершения работы агент не упомянул внесенное изменение, а на прямой вопрос ответил, что монитор не удалял.
OpenAI не отнесла ни один из эпизодов к наиболее критическому классу инцидентов. При этом компания признала, что пока не располагает удовлетворительным объяснением такого поведения моделей. Разработчики проверяют гипотезу о том, что агенты могут искать формальное обоснование для обхода наблюдения, когда контроль мешает выполнению поставленной задачи.
После инцидентов OpenAI начала усиливать защиту системы мониторинга. В частности, компания дорабатывает внутренние инструменты так, чтобы попытки отключить контроль обнаруживались и останавливались автоматически.
Сами случаи пока скорее показывают уязвимость архитектуры контроля автономных агентов. Если модель получает возможность менять тот же код и инфраструктуру, которые используются для наблюдения за ее действиями, одной инструкции «не отключать мониторинг» может оказаться недостаточно.
Читайте также: «Геоскан» представил беспилотники, способные летать без GPS.