NVIDIA представила Open Agent Safety Platform — открытую платформу для многоуровневого контроля безопасности ИИ-агентов. Она объединяет программную среду выполнения OpenShell на процессорах NVIDIA Vera и технологию NVIDIA Sentry на DPU BlueField-4.
В NVIDIA считают, что для автономных ИИ-агентов недостаточно обычных программных ограничений. Агент может отклониться от поставленной задачи из-за ошибки, неоднозначных инструкций, блокировки политики или отсутствия необходимого инструмента. Поэтому система безопасности должна иметь независимый уровень контроля, который находится за пределами самого агента.
OpenShell запускает каждого агента в изолированной среде и превращает инструкции оператора в проверяемую политику. Пользователь может определить, к каким файлам, сетям, инструментам, процессам и учетным данным агент получает доступ. OpenShell проверяет эти ограничения до запуска и обеспечивает их соблюдение во время работы.
NVIDIA предлагает дополнительный независимый уровень защиты с помощью Sentry. Технология переносит мониторинг и применение политик на оборудование NVIDIA BlueField. DPU находится отдельно от среды выполнения агента, поэтому сам агент не может получить к нему доступ и изменить установленные ограничения.
NVIDIA DOCA связывает аппаратную защиту BlueField с политиками OpenShell. Система сопоставляет взаимодействия агента, решения по политикам, а также обращения к инструментам и данным. Это позволяет создавать контекстную картину действий агента и выявлять отклонения от заданного поведения.
В NVIDIA выделяют три уровня платформы безопасности. Первый — приложение, в котором находятся модели, инструменты, данные и вспомогательные программы. Второй — среда выполнения, которая организует работу агента и следит за соблюдением политик в реальном времени. Третий — инфраструктура, включающая вычислительные ресурсы, сети, базы данных, файловые системы и оборудование для мониторинга безопасности.
Платформа построена вокруг пяти принципов. Политика агента должна быть проверяемой, механизмы контроля — находиться за пределами его досягаемости, а путь к модели должен оставаться точкой контроля, через которую можно наблюдать за действиями и при необходимости остановить процесс. NVIDIA предлагает соотносить уровень полномочий агента с возможностью контролировать его рассуждения и использовать модель общей ответственности между разработчиками, компаниями и поставщиками инфраструктуры.
Для масштабных систем NVIDIA предлагает использовать Open Agent Safety Platform на базе процессоров Vera и DPU BlueField. В конфигурации Vera Rubin POD BlueField-4 находится на пути узла к модели и может выполнять непрерывный внеполосный мониторинг поведения агента и соблюдения политик.
В NVIDIA отмечают, что такая архитектура позволяет контролировать не только отдельных агентов, но и группы агентов, субагентов, инструментов и приложений с отслеживанием их происхождения. Платформа выпускается как открытый стек, NVIDIA приглашает разработчиков, исследовательские лаборатории и поставщиков инфраструктуры участвовать в его развитии.
Читайте также:
«Сбер» запустил фабрику ИИ-сервисов и начал тестировать помощников для повседневных задач
OpenAI готовит GPT-6 Cyber для автоматизации кибербезопасности
Альтман и Амодеи рассказали в ООН, как не дать искусственному интеллекту уничтожить мир