Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В настоящее время просмотр:
Версия портала Foundry (классическая версия) - Переключиться на версию для нового портала Foundry
В этой статье представлен обзор ресурсов для создания и развертывания надежных агентов ИИ. Это включает в себя сквозную безопасность, наблюдаемость и управление с помощью элементов управления и контрольных точек на всех этапах жизненного цикла агента. Наши рекомендуемые основные шаги разработки основаны на Стандарте ответственного ИИ Microsoft, который устанавливает требования к политике, которым следуют наши собственные инженерные команды. Большая часть содержания стандарта следует определенной структуре, предлагая командам обнаружить, защитить и управлять потенциальными рисками содержания.
В Microsoft наш подход руководствуется платформой управления, корневой в принципах ИИ, которые устанавливают требования к продукту и служат нашей "северной звездой". Когда мы определяем вариант использования для создания искусственного интеллекта, мы сначала обнаруживаем и оцениваем потенциальные риски системы искусственного интеллекта, чтобы определить критически важные области фокусировки.
Когда мы определим эти риски, мы оцениваем их распространенность в системе искусственного интеллекта с помощью систематического измерения, помогая нам определять приоритеты областей, которым требуется внимание. Затем мы применяем соответствующую защиту на уровне модели и агента от этих рисков.
Наконец, мы рассмотрим стратегии управления рисками в производственной среде, включая развертывание и операционную готовность, а также настройку мониторинга для поддержки текущего управления, чтобы обеспечить соответствие и выявить новые риски после запуска приложения.
В соответствии с практиками RAI Microsoft эти рекомендации организованы на три этапа:
- Обнаружение рисков качества агента, безопасности и защиты до и после развертывания. Например, протестируйте вашего агента с помощью адверсариальной подсказки, чтобы выявить потенциальные уязвимости в системе безопасности.
- Защита — как на уровне выходных данных модели, так и среды выполнения агента — от рисков безопасности, нежелательных выходных данных и небезопасных действий. Используйте фильтры содержимого и Guardrails, чтобы блокировать вредные выходные данные, прежде чем они обращаются к пользователям.
- Управление агентами с помощью средств трассировки и мониторинга и интеграции соответствия требованиям. Настройте непрерывный мониторинг для отслеживания поведения агента и обнаружения аномалий в рабочей среде.
Просмотр оповещений системы безопасности и реагирование на них
Вы можете просмотреть оповещения о безопасности и рекомендации Defender для облака по улучшению уровня безопасности в разделе Risks + alerts. Оповещения системы безопасности — это уведомления, созданные в рамках плана Defender для Foundry Tools, когда угрозы определяются в рабочих нагрузках на базе ИИ. Вы можете выполнить действия на портале Azure или на портале Defender для решения этих оповещений.
Просмотр оповещений системы безопасности:
- Войдите на портал Microsoft Foundry.
- Перейдите к проекту.
- В области навигации слева выберите "Риски + оповещения".
- Просмотрите активные оповещения и рекомендации.
- Выберите оповещение, чтобы просмотреть сведения и действия по исправлению.
- Дополнительные сведения о оповещениях системы безопасности см. в разделе "Оповещения для рабочих нагрузок ИИ( предварительная версия)".
- Дополнительные сведения о рекомендациях по безопасности см. в статье "Просмотр рекомендаций по безопасности".