Шифрование данных в Машинном обучении Azure

Машинное обучение Azure использует различные службы хранилища данных Azure и вычислительные ресурсы при обучении моделей и выполнении выводов. В этой статье вы узнаете о шифровании данных для каждой службы как для данных в состоянии покоя, так и для данных при передаче.

Для шифрования производственного уровня во время обучения рекомендуется использовать кластер вычислений Машинное обучение Azure. Для шифрования в рабочей среде во время инференции рекомендуется использовать Службу Azure Kubernetes (AKS).

Вычислительный экземпляр Машинное обучение Azure — это среда разработки и тестирования. При использовании рекомендуется хранить файлы, такие как записные книжки и сценарии, в общей папке. Храните данные в хранилище данных.

Шифрование при хранении

Комплексные проекты машинного обучения Azure интегрируются со службами, такими как Хранилище BLOB-объектов Azure, Azure Cosmos DB и База данных SQL Azure. В этой статье описываются методы шифрования для таких служб.

Хранилище BLOB-объектов Azure

Машинное обучение Azure хранит моментальные снимки, выходные данные и журналы в учетной записи Хранилище BLOB-объектов Azure (учетная запись хранения по умолчанию), привязанную к рабочей области Машинное обучение Azure и вашей подписке. Все данные, хранящиеся в хранилище BLOB-объектов Azure, шифруются в состоянии покоя с помощью ключей, управляемых Microsoft.

Для информации о том, как использовать собственные ключи для данных, хранящихся в объектном хранилище Azure Blob, см. раздел Шифрование данных в служба хранилища Azure с ключами, управляемыми пользователем, в Azure Key Vault.

Обучающие данные обычно хранятся в Хранилище BLOB-объектов Azure, чтобы обучающие целевые объекты вычислений могли получить к нему доступ. Машинное обучение Azure не управляет этим хранилищем. Это хранилище подключается к вычислительным узлам как удаленная файловая система.

Сменить или отозвать ключ можно в любое время. При смене ключа учетная запись хранения начинает использовать новый ключ (последняя версия) для шифрования неактивных данных. При отмене (отключении) ключа учетная запись для хранения обрабатывает неудачные запросы. Для вступления в силу операции смены или отмены обычно требуется час.

Сведения о повторном создании ключей доступа см. в разделе "Повторное создание ключей доступа к учетной записи хранения".

Azure Data Lake Storage

Примечание.

Azure Data Lake Storage первого поколения был выведен из эксплуатации 29 февраля 2024. Если вы используете Azure Data Lake Storage 1-го поколения, перейдите в Azure Data Lake Storage 2-го поколения. Чтобы узнать, как, см. миграцию Azure Data Lake Storage с 1-го поколения на 2-е поколение с помощью портала Azure.

Вы не можете создать новые учетные записи Azure Data Lake Storage 1-го поколения.

Azure Data Lake Storage 2-го поколения построен на основе Хранилище BLOB-объектов Azure и предназначен для аналитики больших данных в предприятиях. Служба Data Lake Storage 2-го поколения используется в качестве хранилища данных для Машинное обучение Azure. Как и Azure Хранилище Blob, данные в состоянии покоя шифруются с помощью ключей, управляемых компанией Microsoft.

Для получения информации об использовании собственных ключей для данных, хранящихся в Azure Data Lake Storage, см. статью Шифрование служба хранилища Azure с ключами, управляемыми клиентом, в Azure Key Vault.

Реляционные базы данных Azure

Служба Машинное обучение Azure поддерживает данные из следующих источников данных.

База данных SQL Azure

Прозрачное шифрование данных помогает защитить База данных SQL Azure от угрозы вредоносных автономных действий путем шифрования данных в состоянии покоя. По умолчанию прозрачное шифрование данных включается для всех вновь развернутых баз данных SQL, использующих ключи, управляемые корпорацией Майкрософт.

Для получения информации об использовании клиентских управляемых ключей для прозрачного шифрования данных, см. прозрачное шифрование данных в База данных SQL Azure.

База данных Azure для PostgreSQL

По умолчанию база данных Azure для PostgreSQL использует шифрование служба хранилища Azure для шифрования данных в состоянии покоя с помощью ключей, управляемых Microsoft. Это похоже на прозрачное шифрование данных в других базах данных, таких как SQL Server.

Внимание

Единый сервер Базы данных Azure для PostgreSQL был прекращен 28 марта 2025 г. При использовании одного сервера перейдите на гибкий сервер Базы данных Azure для PostgreSQL. Дополнительные сведения см. в статье "Что такое служба миграции в Базе данных Azure для PostgreSQL?".

Чтобы получить сведения об использовании клиентских ключей для шифрования данных, см. в разделе Шифрование данных в Azure Database для PostgreSQL Flexible Server с использованием ключа, управляемого клиентом.

База данных Azure для MySQL

База данных Azure для MySQL — это служба реляционной базы данных в Microsoft Cloud. Он основан на ядре СУБД MySQL Community Edition. База данных Azure для MySQL использует валидационный модуль криптографии FIPS 140-2 для шифрования неактивных данных в Azure Хранилище.

Внимание

Единый сервер Базы данных Azure для MySQL был прекращен 16 сентября 2024 г. При использовании одного сервера перейдите на гибкий сервер Базы данных Azure для MySQL. Дополнительные сведения см. в статье "Что такое база данных Azure для MySQL — гибкий сервер?".

Сведения о шифровании данных с помощью ключей, управляемых клиентом, см. в статье "База данных Azure для MySQL Гибкий сервер" с помощью ключа, управляемого клиентом.

Azure Cosmos DB (облачная база данных)

Машинное обучение Azure хранит метаданные в экземпляре Azure Cosmos DB. Этот экземпляр связан с подпиской Microsoft, которой управляет Машинное обучение Azure. Все хранимые данные в Azure Cosmos DB шифруются при хранении с помощью ключей под управлением корпорации Майкрософт.

При использовании собственных (управляемых клиентом) ключей для шифрования экземпляра Azure Cosmos DB в подписке создается экземпляр Azure Cosmos DB, управляемый Корпорацией Майкрософт. Этот экземпляр создаётся в группе ресурсов, управляемой Microsoft, которая отличается от группы ресурсов, используемой для вашей рабочей области. Дополнительные сведения см. в разделе "Ключи, управляемые клиентом" для Машинное обучение Azure.

Реестр контейнеров Azure

Все образы контейнеров в вашем реестре контейнеров (экземпляре Реестра контейнеров Azure) зашифрованы в состоянии покоя. Azure автоматически шифрует образ перед сохранением и расшифровывает его при извлечении Машинным обучением Azure.

Чтобы использовать управляемые клиентом ключи для шифрования реестра контейнеров, необходимо создать и подключить реестр контейнеров во время развертывания рабочей области. Вы можете зашифровать экземпляр, создаваемый по умолчанию при развертывании рабочей области.

Внимание

Машинное обучение Azure требует активацию учетной записи администратора в реестре контейнеров. По умолчанию она отключается, когда вы создаете реестр контейнеров. Сведения о включении учетной записи администратора см. в разделе Учетная запись администратора позже в этой статье.

После создания реестра контейнеров для рабочей области не удаляйте его. В противном случае будет нарушена функциональность рабочей области машинного обучения Azure.

Примеры создания рабочей области с помощью существующего реестра контейнеров см. в следующих статьях:

Экземпляры контейнеров Azure

Внимание

Развертывания в Экземпляры контейнеров Azure зависят от Машинное обучение Azure SDK для Python и CLI v1.

Внимание

В этой статье содержатся сведения об использовании пакета SDK машинного обучения Azure версии 1. Пакет SDK версии 1 устарел с 31 марта 2025 г. Поддержка будет завершена 30 июня 2026 г. Вы можете установить и использовать пакет SDK версии 1 до этой даты. Существующие рабочие процессы, использующие пакет SDK версии 1, будут продолжать работать после даты окончания поддержки. Однако они могут быть подвержены рискам безопасности или критическим изменениям в случае изменений архитектуры в продукте.

Рекомендуется перейти на пакет SDK версии 2 до 30 июня 2026 г. Дополнительные сведения о пакете SDK версии 2 см. в статье "Что такое ИНТЕРФЕЙС командной строки Машинного обучения Azure" и пакет SDK для Python версии 2 исправочник по пакету SDK версии 2.

Внимание

Для использования некоторых команд Azure CLI, приведенных в этой статье, используйте расширение azure-cli-ml (версия 1) для Машинного обучения Azure. Поддержка CLI версии 1 закончилась 30 сентября 2025 г. Корпорация Майкрософт больше не будет предоставлять техническую поддержку или обновления для этой службы. Существующие рабочие процессы, использующие CLI версии 1, будут продолжать работать после даты окончания поддержки. Однако они могут быть подвержены рискам безопасности или критическим изменениям в случае изменений архитектуры в продукте.

Рекомендуется как можно скорее перейти к расширению mlили версии 2. Дополнительные сведения о расширении версии 2 см. в разделе Машинное обучение Azure расширение CLI и пакет SDK для Python версии 2.

Вы можете зашифровать развернутый ресурс Контейнеров Azure с помощью ключей, управляемых клиентом. Ключи, управляемые клиентом для экземпляров контейнеров, могут храниться в хранилище ключей для рабочей области.

ПРИМЕНЯЕТСЯ К:Пакет SDK машинного обучения Azure версии 1 для Python

Чтобы использовать ключ при развертывании модели в Экземпляры контейнеров, создайте новую конфигурацию развертывания с помощью AciWebservice.deploy_configuration(). Укажите ключевые сведения с помощью следующих параметров:

  • cmk_vault_base_url: URL-адрес хранилища ключей, содержащего ключ.
  • cmk_key_name: имя ключа.
  • cmk_key_version: версия ключа.

Дополнительные сведения о создании и использовании конфигурации развертывания см. в следующих статьях:

Дополнительные сведения об использовании управляемого клиентом ключа с Экземплярами контейнеров см. в разделе Шифрование данных развертывания.

Служба Azure Kubernetes

Вы можете зашифровать развернутый ресурс службы Azure Kubernetes с помощью ключей, управляемых клиентом, в любое время. Дополнительные сведения см. в разделе Использование собственных ключей с помощью Службы Azure Kubernetes.

Этот процесс позволяет шифровать данные и диск ОС развернутых виртуальных машин в кластере Kubernetes.

Вычислительные ресурсы для Машинного обучения

Вычислительный кластер

Диск операционной системы для каждого вычислительного узла, хранящегося в службе хранилища Azure, шифруется с помощью управляемых корпорацией Майкрософт ключей в учетных записях хранения Машинного обучения Azure. Этот целевой объект вычислений является временным, и кластеры, как правило, уменьшаются в масштабе, если в очереди нет заданий. Базовая виртуальная машина отключена, а диск ОС удалён.

Шифрование дисков Azure по умолчанию не включено для рабочих областей. Если вы создаете рабочую область с заданным параметром hbi_workspaceTRUE, диск ОС шифруется.

Каждая виртуальная машина также имеет локальный временный диск для операций ОС. При необходимости можно использовать диск для размещения данных для обучения. Если вы создаете рабочую область с заданным параметром hbi_workspaceTRUE, временный диск шифруется. Эта среда является кратковременной (только на время выполнения задания), а поддержка шифрования ограничена ключами, управляемыми системой.

Управляемые онлайн конечные точки и пакетные конечные точки используют вычислительные ресурсы Машинное обучение Azure на заднем плане и следуют одному и тому же механизму шифрования.

Вычислительный экземпляр

Диск ОС для вычислительной среды шифруется с помощью ключей, управляемых в Microsoft, в учетных записях хранения Машинное обучение Azure. Если вы создаёте рабочую область со значением hbi_workspace параметра TRUE, локальная операционная система и локальные временные диски на вычислительном экземпляре шифруются ключами, управляемыми Microsoft. Шифрование ключей, управляемых клиентом, не поддерживается для ос и временных дисков.

Дополнительные сведения см. в разделе "Ключи, управляемые клиентом" для Машинное обучение Azure.

Фабрика данных Azure

Конвейер службы Фабрика данных Azure принимает данные для использования в службе Машинное обучение Azure. Фабрика данных Azure шифрует данные в состоянии покоя, включая определения сущностей и все кэшированные данные во время выполнения. По умолчанию данные шифруются случайным образом созданным корпорацией Майкрософт ключом, уникальным образом назначенным фабрике данных.

Сведения об использовании ключей, управляемых клиентом для шифрования, см. в разделе "Шифрование Фабрика данных Azure с помощью ключей, управляемых клиентом".

Azure Databricks

Azure Databricks можно использовать в конвейерах машинного обучения Azure. По умолчанию файловая система Databricks (DBFS), которую использует Azure Databricks, шифруется с помощью управляемого корпорацией Майкрософт ключа. Сведения о настройке Azure Databricks для использования управляемых клиентом ключей см. в статье Настройка ключей, управляемых клиентом, в DBFS по умолчанию (корневой файловой системе).

Данные, созданные корпорацией Майкрософт

При использовании таких служб, как Машинное обучение Azure, корпорация Майкрософт может создавать временные предварительно обработанные данные для обучения нескольких моделей. Эти данные хранятся в хранилище данных в рабочей области, поэтому вы можете применить элементы управления доступом и шифрование соответствующим образом.

Вы также можете зашифровать диагностическую информацию, которая записывается вашей развернутой конечной точкой в Application Insights.

Шифрование при передаче

Для защиты внутренней связи между различными микрослужбами, Машинное обучение Azure использует протокол TLS. Доступ к службе хранилища Azure также осуществляется по безопасному каналу.

Чтобы защитить внешние вызовы, сделанные в конечную точку оценки, Машинное обучение Azure использует TLS. Дополнительные сведения см. в статье Использование TLS для защиты веб-службы с помощью Машинного обучения Azure.

Сбор и обработка данных

В целях диагностики корпорация Майкрософт может собирать сведения, которые не определяют пользователей. Например, корпорация Майкрософт может собирать имена ресурсов (например, имя набора данных или имя эксперимента машинного обучения) или переменные среды задания. Все эти данные хранятся с помощью ключей, управляемых корпорацией Майкрософт, в хранилище, размещенном в подписках Майкрософт. Хранилище следует стандартной политике конфиденциальности Майкрософт и стандартам обработки данных. Эти данные остаются в том же регионе, что и ваша рабочая область.

Рекомендуется не хранить конфиденциальную информацию (например, секреты ключа учетной записи) в переменных среды. Майкрософт ведет журналы, шифрует и хранит переменные среды. Аналогичным образом, если вы назовете задания, избегайте включения конфиденциальных сведений, таких как имена пользователей или имена секретных проектов. Эти сведения могут отображаться в журналах телеметрии, к которым могут обращаться инженеры службы поддержки Майкрософт.

Вы можете отказаться от сбора диагностических данных, задав hbi_workspace параметр для TRUE подготовки рабочей области. Эта функция поддерживается при использовании Python SDK для Машинное обучение Azure, Azure CLI, REST API или шаблонов Azure Resource Manager.

Хранилище учетных данных в Azure Key Vault

Машинное обучение Azure использует экземпляр Azure Key Vault, связанный с рабочей областью, для хранения учетных данных различных типов:

  • Связанная строка подключения для учетной записи хранилища
  • Пароли к экземплярам Реестр контейнеров Azure
  • Строки подключения к хранилищам данных

Пароли и ключи Secure Shell для целевых объектов вычислений, таких как Azure HDInsight и виртуальные машины, хранятся в отдельном хранилище ключей, связанном с подпиской Майкрософт. Машинное обучение Azure не сохраняет пароли или ключи, предоставляемые пользователями. Вместо этого он создает, авторизует и сохраняет собственные ключи SSH для подключения к виртуальным машинам и HDInsight для выполнения экспериментов.

У каждой рабочей области есть связанное системой назначаемое управляемое удостоверение, которое имеет то же имя, что и рабочая область. Это управляемое удостоверение имеет доступ ко всем ключам, секретам и сертификатам в хранилище ключей.

Следующие шаги

  • Last updated on