Безопасность ИИ в семинаре Microsoft "Никому не доверяй"

ИИ усиливает существующие риски безопасности и привносит новые риски и аспекты, связанные с идентификационными данными, данными, приложениями и взаимодействиями с пользователями. Эти риски можно устранить с помощью "Никому не доверяй" принципов.

Защита ИИ — это не только защита базовых моделей и служб ИИ. Кроме того, необходимо обеспечить соответствие системного доступа, использования и управления ИИ "Никому не доверяй" принципам.

Руководство по использованию ИИ посвящено созданию видимости использования ИИ, обеспечению строгого управления удостоверениями и доступом, защите данных в запросах и выходных данных, защите сред разработки и среды выполнения агента и интеграции сигналов ИИ в операции безопасности.

Реализация семинаров

Семинар по ИИ охватывает области реализации, приведенные в таблице.

Area Сведения
Сопоставление и оценка риска ИИ Обнаружение и инвентаризация агентов ИИ, приложений и служб в организации.

Оценка рисков ИИ с помощью централизованной аналитики безопасности, проверки инвентаризации и определения приоритетов результатов, а также установления управления, владения и приемлемых политик использования.

Обеспечьте непрерывный мониторинг и устранение меняющихся рисков, связанных с ИИ.
Регистрация агентов Зарегистрируйте агенты ИИ в централизованном реестре для обеспечения видимости и контроля.

Классификация и упорядочение агентов на основе целей и рисков, назначение владения и подотчетности, определение публикации, сертификации и жизненного цикла
Безопасная проверка подлинности и доступ к ИИ Обеспечьте контроль доступа на основе идентификации для систем и агентов ИИ.

Примените условный доступ, политики на основе рисков и политики на основе атрибутов и процессы управления удостоверениями, чтобы обеспечить взаимодействие только авторизованных пользователей и служб с ресурсами ИИ.
Безопасный доступ к сети ИИ Управление доступом к службам ИИ через сеть.

Направляйте трафик через защищённые механизмы контроля доступа, применяйте политики фильтрации и проверки для взаимодействия с ИИ и защищайте от таких рисков, как инъекция промптов и несанкционированные пути доступа.
Безопасный доступ к данным ИИ Защищайте конфиденциальные данные, используемые в запросах, заземлении и выходных данных ИИ.

Применяйте политики классификации, маркировки и защиты от потери данных, управляйте доступом к подключенным источникам данных и отслеживайте риски чрезмерного доступа к данным в взаимодействиях СИ.
Безопасное создание агентов Защита разработки и развертывания агентов ИИ путем применения стандартов проверки подлинности, авторизации и обработки данных.

Интегрируйте средства контроля безопасности контента, требуйте валидацию и тестирование по методологии red team, а также внедрите безопасные процессы публикации и развертывания.
Обнаружение и реагирование для ИИ Отслеживайте действия ИИ и обнаруживайте такие угрозы, как неправильное использование, аномалии и атаки на основе запросов.

Интеграция сигналов ИИ в операции безопасности, включение рабочих процессов исследования и реагирования, а также непрерывное улучшение возможностей обнаружения и реагирования.

Дальнейшие действия

Начните семинар по ИИ.

  • Last updated on