OpenAI внедрила систему Control Room, которая позволяет быстро прекращать работу исследовательских задач с искусственным интеллектом, если возникает угроза безопасности. После команды на остановку она блокирует дальнейшую генерацию ответов не позднее чем через 35 секунд.
Система предназначена для внутренней исследовательской инфраструктуры OpenAI. Она контролирует эксперименты по обучению моделей, проверки их возможностей и другие задачи, в которых ИИ самостоятельно выполняет последовательность действий. Это не универсальная кнопка отключения ChatGPT: Control Room работает с внутренними исследовательскими процессами, а для внешних сервисов у компании предусмотрены отдельные механизмы управления.
Каждая исследовательская задача получает уникальный идентификатор. Когда она обращается к модели за новым ответом, вычислительный модуль проверяет у Control Room, разрешено ли продолжать работу. Если человек или автоматическая система мониторинга подает команду остановить задачу, следующие запросы блокируются. Сама программа эксперимента может продолжать работать, но больше не получает новых ответов от модели.
Такой подход позволяет не полагаться на код самого эксперимента: даже если в нем есть ошибка или он игнорирует команду остановки, решение принимается на уровне инфраструктуры, которая непосредственно запускает модель на графических процессорах.
Control Room также работает по принципу отказа в разрешении при сбое. Если центральный сервис становится недоступен, вычислительные модули перестают выполнять запросы на генерацию до восстановления его работы. Это должно исключить ситуацию, когда неисправность системы контроля позволяет экспериментам продолжаться без надзора.
Команды на остановку могут поступать не только от сотрудников, но и от автоматических наблюдателей — отдельных моделей, которые анализируют поведение обучаемых систем. OpenAI приводит в пример недавний случай, когда такой монитор обнаружил попытку исследовательского агента обратиться к внешнему чат-боту через DNS.
Задержка до 35 секунд связана с кэшированием разрешений, необходимым для обработки большого количества запросов. OpenAI намерена сократить ее до нуля. Компания уже развернула систему для наиболее важных исследовательских задач, а распространение механизма отказа при сбое на остальные рабочие процессы планирует завершить в ближайшие дни.
Читайте также: Нейросети ускорили создание новых моделей Anthropic почти в два раза