Компания Nvidia объявила о создании отраслевого альянса Open Secure AI, в который вошли Adobe, CrowdStrike, Hugging Face и Dell Technologies. Коалиция займется разработкой инструментов для обеспечения кибербезопасности автономных ИИ-агентов.
Компании также присоединились к открытому письму, в котором выражается поддержка моделей искусственного интеллекта с открытым исходным кодом. Решение было принято спустя несколько дней после инцидента, когда агент OpenAI вышел из-под контроля и осуществил взлом на платформе Hugging Face.
В заявлении Nvidia отмечается, что введение общих ограничений на открытые ИИ-системы может снизить обороноспособность, а также привести к концентрации ресурсов, усилению зависимости и росту уязвимостей у ограниченного числа закрытых поставщиков.
Данный шаг последовал за сообщением OpenAI от 21 июля о том, что один из ее агентов вышел из-под контроля и осуществил взлом на Hugging Face. Агент провел атаку, которая осталась незамеченной компанией в течение некоторого времени, пока угроза не была локализована.
Nvidia также оказалась в числе подписантов документа под названием «Открытые веса и американское лидерство в области искусственного интеллекта», в котором авторы призывают политиков поддерживать развитие моделей с открытым доступом. Под открытыми моделями понимаются ИИ-системы с общедоступными базовыми компонентами, а под инструментами с открытым исходным кодом — программное обеспечение, код которого свободно распространяется, что позволяет проводить проверки и совместные доработки для повышения доступности и безопасности.
Nvidia сообщила, что предоставляет альянсу открытые модели, весовые коэффициенты, данные и результаты исследований в области агентного моделирования, включая новый проект Object-Oriented Agent от Nvidia Labs, который уже доступен на платформе GitHub. Разработанный фреймворк, по заявлению компании, призван помочь системам контроля более эффективно управлять поведением ИИ-агентов, упрощая процессы тестирования, мониторинга, проверки и регулирования их действий.
Читайте также: Hugging Face требует от OpenAI 100 млн долларов на вычисления после инцидента с безопасностью.