OpenAI уволила трех сотрудников, которых компания обвинила в нарушении правил работы с конфиденциальной информацией. Сотрудники работали в командах, связанных с безопасностью ИИ и соответствием моделей человеческим намерениям. В OpenAI подтвердили увольнения и заявили, что внутреннее расследование выявило передачу чувствительных данных в обход установленных процедур.
По информации газеты, одним из уволенных был исследователь Томек Корбак, который отвечал за взаимодействие OpenAI с организациями Redwood Research и Model Evaluation and Threat Research (METR). Они участвовали в расследовании инцидента, когда ИИ-агенты OpenAI взломали инфраструктуру платформы Hugging Face. METR и Redwood Research изучали поведение агентов и опубликовали результаты расследования.
Независимые организации все чаще участвуют в проверке возможностей и рисков передовых ИИ-моделей. METR занимается оценкой автономных возможностей ИИ, изучает поведение агентов и проводит проверки рисков у разработчиков передовых моделей. Организация уже сотрудничала с OpenAI, Anthropic, Google DeepMind и Amazon.
Компания отмечает, что не получает от компаний оплату за такие оценки, хотя разработчики предоставляют ей доступ к моделям и вычислительные токены. Однако METR связана с Anthropic косвенно: организация получает финансирование от Open Philanthropy, связанной с Дастином Московицем, крупным акционером Anthropic.
На этом фоне усиливаются и дискуссии о том, насколько быстро следует развивать наиболее мощные ИИ-системы и какую роль в этом процессе должны играть внешние оценщики. Anthropic ранее заявляла о необходимости независимых проверок безопасности, а ее руководитель Дарио Амодеи выступал за возможность замедления разработки при росте рисков.
OpenAI не раскрыла, какие именно данные передавались внешним организациям и кому они были переданы. Компания ограничилась заявлением о нарушении правил обращения с конфиденциальной информацией и доверия внутри организации. Поэтому детали произошедшего пока остаются неизвестными.
Читайте также:
ИИ-компании введут четыре уровня контроля за передовыми ИИ-моделями
NVIDIA представила открытую платформу для контроля ИИ-агентов