Microsoft представила систему безопасности для фильтрации вредоносных выходных данных ИИ. Пять новых функций безопасности будут автоматически внедрены в GPT-4 и Azure AI Studio.
Microsoft представила внедрение новых инструментов для управления безопасностью ИИ. В ближайшее время пользователи получат доступ к пяти новым функциям в Azure AI Studio. Три из них уже доступны, а две будут добавлены позже. В текущий пакет входят такие опции, как защита запросов, мониторинг рисков и безопасности, а также оценка безопасности.
Защита запросов (prompt shield) создана для блокировки попыток пользователей или внешних документов обмануть модель с целью получения вредоносных результатов.
Мониторинг рисков и безопасности (risk and safety monitoring) — это комплекс инструментов, который позволяет выявлять и нейтрализовать вредные последствия в реальном времени. Эта функция также помогает разработчикам отслеживать состояние фильтров контента модели.
Оценка безопасности (safety evaluations) позволяет анализировать результаты модели на соответствие содержанию и безопасности, а также создавать наборы тестовых данных для улучшения ручного тестирования модели.
В скором времени Azure также предложит генерацию шаблонов сообщений о безопасности. Завершающим элементом обновлений станет функция обнаружения обоснованности, основанная на предложениях ИИ, которая анализирует результаты на предмет очевидной некорректности или отсутствия логики.
Описанные функции управления безопасностью будут автоматически добавлены в модель GPT-4. Microsoft стремится уделить особое внимание безопасности, чтобы предотвратить ошибки, которые часто возникают при работе с ИИ.