Защита ресурсов ИИ от новых угроз и уязвимостей с помощью Microsoft Defender

Внедрение искусственного интеллекта (ИИ) создает новые угрозы безопасности и уязвимости, выходящие за рамки рисков, связанных с традиционными приложениями. ИИ открывает новые поверхности атаки в ИИ-агентах и приложениях, используемых ими моделях ИИ, плагинах для этих компонентов, а также в запросах и ответах генеративного ИИ.

Внедряя безопасность в структуру разработки ИИ и операций, корпорация Майкрософт позволяет ответственно создавать ИИ и внедрять ИИ с уверенностью в большом масштабе. В рамках комплексного подхода Корпорации Майкрософт к обеспечению безопасности ИИ Microsoft Defender помогает обнаруживать ресурсы ИИ, а также обнаруживать, блокировать и исследовать угрозы, связанные с ИИ, во время разработки, настройки и выполнения среды выполнения.

В этой статье представлен обзор Microsoft Defender возможностей, которые помогают защитить ресурсы ИИ от уязвимостей и возникающих угроз.

Ландшафт угроз ИИ

Угрозы безопасности ИИ охватывают весь жизненный цикл ИИ, от рисков времени сборки и конфигурации, таких как неправильные настройки и небезопасные зависимости, до угроз среды выполнения, влияющих на агентов ИИ и приложения.

Основные риски безопасности для ресурсов ИИ:

• Риски модели и цепочки поставок . Модели, от которых зависят ваши ресурсы ИИ, являются высокоценными целевыми объектами. Одна скомпрометированная зависимость в цепочке поставок модели может превратить каждый агент и приложение, которые используют его, в вектор атаки для извлечения учетных данных, установки backdoor и распространения уязвимостей в инфраструктуре.
• Неправильная настройка агента и чрезмерные привилегии . Агенты с чрезмерными разрешениями или неправильно настроенной проверкой подлинности средства могут обеспечить несанкционированный доступ к конфиденциальным ресурсам.
• Злоупотребление и неправильное использование среды выполнения . Агенты или приложения могут выполнять небезопасные действия во время выполнения из-за вредоносных входных данных, непредвиденных путей обоснования или скомпрометированных зависимостей.
• Атаки на основе запросов и содержимого . Помимо вредоносных входных данных, более тонкие тактики, такие как атаки с нулевым щелчком с использованием скрытых инструкций, внедренных в сообщения электронной почты или полученного содержимого, могут управлять поведением агента, вызывать утечку данных или активировать непреднамеренные действия.

Для устранения этих рисков требуются элементы управления безопасностью, охватывающие обнаружение, управление состоянием, обнаружение и защиту во время выполнения.

Защита ресурсов ИИ в жизненном цикле ИИ с помощью Microsoft Defender

Microsoft Defender помогает группам безопасности устранять риски ИИ на протяжении всего жизненного цикла ИИ, обеспечивая видимость ресурсов ИИ, оценивая их состояние безопасности, обнаруживая и блокируя угрозы, связанные с ИИ, а также предоставляя сигналы и контекст, необходимые для исследования угроз, — от времени сборки до жизненного цикла приложения ИИ и жизненного цикла агента, включая среду выполнения.

В следующих разделах описывается, как Microsoft Defender применяет эти возможности к:

• ИИ-агенты, где конфигурация, разрешения и поведение во время выполнения, включая использование инструментов и принятие решений агентом, создают риски.
• Приложения и инфраструктура ИИ, включая модели, платформы, службы и интеграции, где риски цепочки поставок, конфигурация и слабые места развертывания могут создавать более широкие пути атак.

Защита агентов ИИ с помощью Microsoft Defender

Агенты ИИ представляют уникальные риски безопасности из-за их способности вызывать средства, получать доступ к данным и выполнять автономные действия в подключенных системах. Для защиты агентов в масштабе требуется централизованная видимость, состояние безопасности и управление рисками, защита среды выполнения и расширенные возможности исследования для обнаружения первопричин атаки.

Microsoft Агент 365 предоставляет корпоративную контрольную плоскость для управления агентами ИИ в вашей организации. Когда вы активируете лицензию Agent 365, Microsoft Defender интегрируется с Agent 365 для защиты всех управляемых агентов, включая локальных AI-агентов на поддерживаемых конечных точках. Интеграция обеспечивает обнаружение, управление осанкой, защиту в реальном времени и расследование. Обнаружение угроз использует данные наблюдаемости из Microsoft Copilot Studio, Microsoft Foundry, Microsoft 365 Copilot Agent Builder, а также агенты, интегрированные через Microsoft Agent 365 SDK.

Сведения о начале работы см. в статье "Включение безопасности для агентов ИИ" с помощью Microsoft Defender.

Защита инфраструктуры ИИ с помощью Microsoft Defender

Очень важно защитить модели, службы и инфраструктуру искусственного интеллекта, от которые зависят приложения и агенты ИИ. Скомпрометированные модели, небезопасные конфигурации или открытые зависимости могут привести к рискам цепочки поставок, влияющим на несколько рабочих нагрузок ИИ.

Сведения о включении защиты от угроз для инфраструктуры ИИ см. в статье Включение защиты от угроз для служб ИИ.

В этой таблице перечислены Microsoft Defender возможности, которые помогают защитить модели и приложения генеративного ИИ:

Дальнейшие действия

Узнайте больше об этих возможностях и о том, как их использовать для защиты ресурсов ИИ:

• Обнаружение агентов ИИ и оценка состояния безопасности с помощью Microsoft Defender

• Обнаружение и исследование угроз агентам ИИ с помощью Microsoft Defender

• Защита агентов ИИ в режиме реального времени с помощью Microsoft Defender

• Безопасность Майкрософт для ИИ