Безопасность модели ИИ (предварительная версия)

Это важно

Эта функция сейчас доступна в предварительной версии и включена в план Microsoft Defender для ИИ-служб. Во время предварительной версии дополнительная плата за сканирование модели ИИ не взимается. Однако включение плана Defender для ИИ-служб может привести к затратам, связанным с функциями защиты от угроз. Продолжающееся включение функции сканирования моделей ИИ в рамках Defender для ИИ-служб не гарантируется, когда она становится общедоступной, а требования к лицензированию могут измениться. В этом случае уведомление будет отправлено до отключения функции с параметрами повторного включения в соответствии с применимой лицензией.

Поскольку организации все чаще используют модели искусственного интеллекта для автоматизации, аналитики и интеллектуального принятия решений, команды безопасности нуждаются в видимости и контроле для оценки безопасности и соответствия моделей ИИ в их средах. Эти модели часто имеют широкий доступ к данным и инфраструктуре. Без этих возможностей становится все труднее применять внутренние стандарты.

Microsoft Defender для облака: Defender для ИИ обеспечивает поддержку сканирования моделей ИИ. Сканирование модели искусственного интеллекта обеспечивает упреждающее обнаружение небезопасных или вредоносных артефактов и непрерывно отслеживает модели риска на протяжении всего жизненного цикла ИИ.

Безопасность модели искусственного интеллекта автоматически сканирует модели ИИ на предмет рисков безопасности, таких как встроенные вредоносные программы, небезопасные операторы и раскрытые секреты, до того как эти модели будут внедрены в производственную среду. Интегрированная непосредственно с конвейерами Машинное обучение Azure и CI/CD, служба предоставляет результаты в режиме реального времени и практические рекомендации по исправлению, чтобы команды могли остановить рискованные модели в начале процесса разработки.

С помощью безопасности модели искусственного интеллекта команды безопасности могут сканировать пользовательские модели ИИ, отправленные в рабочие области и реестры Машинное обучение Azure, чтобы определить угрозы, такие как встроенные вредоносные программы, небезопасные операторы и раскрытые секреты. Defender для облака представляет результаты, предоставляя командам представление о вопросах безопасности, а также оценки серьезности, рекомендации по исправлению и соответствующие метаданные модели для поддержки эффективного ранжирования и определения приоритетов. Разработчики также могут активировать сканирование моделей во время этапов сборки или выпуска с помощью средств CLI, интегрированных с конвейерами Azure DevOps или GitHub, что позволяет выполнять статическую проверку и раннее обнаружение рисков до достижения рабочих моделей.

Prerequisites

У вас должна быть подписка Azure, содержащая модели искусственного интеллекта, зарегистрированные в реестрах машинного обучения Azure (Машинное обучение Azure) или рабочих областях.

Note

Рабочие области и реестры, использующие приватное соединение, не поддерживаются.

Включите план управления безопасностью Defender для облака.
Необходимо включить защиту от угроз для служб ИИ и компонента безопасности модели ИИ плана.
Необходимые разрешения. Чтобы включить план, необходимы права уровня Owner или Contributor на ресурсах Машинное обучение Azure.
Поддерживаемые форматы файлов модели: Pickle (.pkl), HDF5 (.h5), TorchScript (.pt); ONNX (.onnx)SafeTensors (.safetensors)TensorFlow SavedModel / TFLite (FlatBuffers)NumPy (.npy)Arrow, MsgPack, dill, joblibPMML, JSON, POJO, MOJO, GGUF
Ограничение размера файла: 10 ГБ. Файлы модели размером более 10 ГБ не могут быть сканированы.
Сканирование выполняется один раз в неделю.

Поиск всех моделей ИИ в вашей среде

Войдите на портал Azure.
Найдите и выберите Microsoft Defender для облака.
Выберите Cloud Security Explorer.
Выберите ИИ и Mls>модели ИИ.
Нажмите кнопку Готово.
Выберите параметр +.
Выберите метаданные>метаданные модели ИИ.
Нажмите Поиск.

Cloud Security Explorer отображает все модели ИИ в вашей среде. Вы можете выбрать просмотреть сведения, чтобы просмотреть дополнительные сведения о каждой выбранной модели.

Найдите модели ИИ с обнаруженными проблемами безопасности

Используйте Cloud Security Explorer для поиска моделей ИИ, имеющих активные результаты безопасности.

Выполните шаги 1–7 из раздела «Поиск всех моделей ИИ в вашей среде».
Выберите параметр +.
Выберите рекомендации>Все рекомендации.
Нажмите Поиск.

Cloud Security Explorer отображает все модели ИИ в вашей среде с активными результатами безопасности. Выберите подробности просмотра, чтобы получить дополнительную информацию о каждой модели и связанных выводах.