Поделиться через

Ключи, управляемые клиентом, для Машинного обучения Azure

Машинное обучение Azure задействует несколько служб Azure. Хотя сохраненные данные шифруются с помощью ключей шифрования, предоставляемых Корпорацией Майкрософт, вы можете повысить безопасность, предоставив также собственные (управляемые клиентом) ключи. Предоставленные ключи хранятся в Azure Key Vault. Данные можно хранить в наборе других ресурсов, управляемых в вашей подписке Azure, или на управляемых ресурсах Майкрософт на стороне службы.

Помимо ключей, управляемых клиентом (CMK), Машинное обучение Azure обеспечивает высокую конфигурацию бизнес-влияния для рабочих нагрузок с высоким уровнем конфиденциальности данных. Включение этой конфигурации сокращает объем данных, собираемых корпорацией Майкрософт в целях диагностики, и обеспечивает дополнительное шифрование в управляемых майкрософт средах.

Необходимые компоненты

  • Подписка Azure.
  • Экземпляр хранилища ключей Azure. Хранилище ключей содержит ключи для шифрования служб.

Хранилище ключей должно включить обратимое удаление и защиту от очистки. Управляемое удостоверение для служб, которые помогают защититься с помощью ключа, управляемого клиентом, должно иметь следующие разрешения в хранилище ключей:

  • Упаковка ключа
  • Распаковка ключа
  • Получить

Эти разрешения потребуются, например, управляемому удостоверению для Azure Cosmos DB для хранилища ключей.

Ограничения

  • После создания рабочей области ключ шифрования, управляемый клиентом, для ресурсов, от которым зависит рабочая область, можно обновить только до другого ключа в исходном ресурсе Azure Key Vault.
  • Если вы не используете службу, зашифрованные данные хранятся в ресурсах в управляемой корпорацией Майкрософт группе ресурсов в вашей подписке. Вы не можете создать эти ресурсы перед вами или передать их владение. Жизненный цикл данных управляется косвенно через API Машинное обучение Azure при создании объектов в службе Машинное обучение Azure.
  • Если вы используете сторону службы, плата за услуги Azure будет продолжать накапливаться в течение периода хранения обратимого удаления.
  • Вы не можете удалить управляемые корпорацией Майкрософт ресурсы, используемые для ключей, управляемых клиентом, без удаления рабочей области.
  • Вы не можете зашифровать диск ОПЕРАЦИОННОй системы вычислительного кластера с помощью ключей, управляемых клиентом. Необходимо использовать ключи, управляемые корпорацией Майкрософт.

Предупреждение

Не удаляйте группу ресурсов, содержащую экземпляр Azure Cosmos DB или любые ресурсы, которые автоматически создаются в этой группе. Если вам нужно удалить группу ресурсов или управляемые корпорацией Майкрософт службы в ней, необходимо удалить рабочую область службы "Машинное обучение Azure", в которой она используется. Ресурсы группы ресурсов удаляются при удалении связанной рабочей области.

Ключи, управляемые клиентом

Если вы не используете управляемый клиентом ключ, корпорация Майкрософт создает ресурсы в подписке Azure, принадлежащей Майкрософт, и использует управляемый корпорацией Майкрософт ключ для шифрования данных.

При использовании управляемого клиентом ключа существует две возможные конфигурации:

  • Шифрование на стороне службы: ресурсы хранятся на стороне службы на управляемых корпорацией Майкрософт ресурсах. Эта конфигурация снижает затраты, а также снижает вероятность конфликта с политиками, которые вы могли установить для вашей подписки Azure.
  • Шифрование на стороне подписки (классическая модель): ресурсы размещаются в подписке Azure и шифруются с помощью ключа. Хотя эти ресурсы существуют в подписке, корпорация Майкрософт управляет ими. Эти ресурсы автоматически создаются и настраиваются при создании рабочей области Машинное обучение Azure.

Шифрование метаданных на стороне службы

В этой конфигурации зашифрованные данные хранятся на стороне службы на управляемых корпорацией Майкрософт ресурсах, а не в подписке. Использование шифрования на стороне службы снижает затраты по сравнению с шифрованием на стороне подписки и снижает вероятность конфликтов политики Azure.

Данные хранятся в мультитенантных ресурсах, управляемых Корпорацией Майкрософт, с шифрованием на уровне документа с помощью ключа шифрования. Индексы поиска хранятся в управляемых корпорацией Майкрософт ресурсах, подготовленных для каждой рабочей области. Плата за экземпляр поиска ИИ Azure взимается в соответствии с вашей рабочей областью Машинное обучение Azure в Службе управления затратами Майкрософт.

Метаданные потоков данных хранятся в учетной записи хранения в подписке, связанной с рабочей областью Azure Machine Learning. Так как этот служба хранилища Azure ресурс управляется отдельно в подписке, вы несете ответственность за настройку параметров шифрования в ней.

Снимок экрана: вкладка шифрования с выбранным параметром шифрования на стороне сервера.

Примечание.

  • При использовании сервисного шифрования начисления Azure будут продолжаться в течение периода хранения при мягком удалении.

Шаблоны, создающие рабочую область с шифрованием метаданных на стороне службы, см. в разделе

Шифрование метаданных на стороне подписки (классическая модель)

При вводе собственного ключа шифрования метаданные службы хранятся в выделенных ресурсах в подписке Azure. Корпорация Майкрософт создает отдельную группу ресурсов в подписке для этой цели: azureml-rg-workspacename_GUID. Только корпорация Майкрософт может изменять ресурсы в этой управляемой группе ресурсов.

Если ваша Машинное обучение Azure рабочая область использует частную конечную точку, эта группа ресурсов также содержит виртуальную сеть, управляемую корпорацией Майкрософт. Эта виртуальная сеть помогает защитить обмен данными между управляемыми службами и рабочей областью. Вы не можете предоставить собственную виртуальную сеть для использования с управляемыми корпорацией Майкрософт ресурсами. Вы также не можете изменить виртуальную сеть. Например, нельзя изменить диапазон IP-адресов, который он использует.

Корпорация Майкрософт создает следующие ресурсы для хранения метаданных для рабочей области:

Услуга Использование Демонстрационные данные
Azure Cosmos DB (облачная база данных) Хранит данные журнала заданий, метаданные вычислений и метаданные ресурса. Данные могут включать имя задания, состояние, порядковый номер и состояние; имя вычислительного кластера, количество ядер и количество узлов; имена и теги хранилища данных, а также описания ресурсов, таких как модели; и имена меток данных.
Поиск с использованием ИИ Azure Хранит индексы, которые помогают запрашивать содержимое машинного обучения. Эти индексы основаны на данных, хранящихся в Azure Cosmos DB.
Хранилище Azure Сохраняет метаданные, связанные с данными конвейера Машинное обучение Azure. Данные могут включать имена конвейеров конструктора, макет конвейера и свойства выполнения.

Совет

Единицы запросов для Azure Cosmos DB автоматически масштабируемые по мере необходимости.

Внимание

Если у вашей подписки недостаточно квоты для этих служб, произойдет сбой.

При использовании ключа, управляемого клиентом, затраты на подписку выше, так как эти ресурсы находятся в вашей подписке. Для оценки затрат используйте калькулятор цен Azure.

С точки зрения управления жизненным циклом данных данные в предыдущих ресурсах создаются и удаляются при создании и удалении соответствующих объектов в Машинное обучение Azure.

Ваша Машинное обучение Azure рабочая область считывает и записывает данные с помощью управляемого удостоверения. Это удостоверение предоставляется доступ к ресурсам через назначение ролей (управление доступом на основе ролей Azure) для ресурсов данных. Предоставленный ключ шифрования используется для шифрования данных, хранящихся в управляемых корпорацией Майкрософт ресурсах. Во время выполнения ключ также используется для создания индексов для поиска ИИ Azure.

Дополнительные сетевые элементы управления настраиваются при создании конечной точки приватного канала в рабочей области, чтобы обеспечить входящие подключения. Эта конфигурация включает создание подключения конечной точки приватного канала к экземпляру Azure Cosmos DB. Доступ к сети ограничен только доверенными службы Майкрософт.

Шифрование данных в вычислительных ресурсах

Машинное обучение Azure использует ресурсы вычислений для обучения и развертывания моделей машинного обучения. В следующей таблице описаны параметры вычислений и способ шифрования данных.

Службы вычислений Шифрование
Экземпляры контейнеров Azure Данные шифруются с помощью ключа, управляемого корпорацией Майкрософт, или ключа, управляемого клиентом.
Дополнительные сведения см. в разделе "Шифрование данных развертывания".
Служба Azure Kubernetes Данные шифруются с помощью ключа, управляемого корпорацией Майкрософт, или ключа, управляемого клиентом.
Дополнительные сведения см. в статье "Перенос собственных ключей с дисками Azure" в Служба Azure Kubernetes.
Вычислительная операция Машинного обучения Azure Локальный диск царапин шифруется, если включить hbi_workspace флаг рабочей области.
Вычислительный кластер Машинного обучения Azure Диск ОС шифруется в служба хранилища Azure с помощью ключей, управляемых Корпорацией Майкрософт. Временный диск шифруется при включении флага hbi_workspace рабочей области.
Службы вычислений Шифрование
Служба Azure Kubernetes Данные шифруются с помощью ключа, управляемого корпорацией Майкрософт, или ключа, управляемого клиентом.
Дополнительные сведения см. в статье "Перенос собственных ключей с дисками Azure" в Служба Azure Kubernetes.
Вычислительная операция Машинного обучения Azure Локальный диск царапин шифруется, если включить hbi_workspace флаг рабочей области.
Вычислительный кластер Машинного обучения Azure Диск ОС шифруется в служба хранилища Azure с помощью ключей, управляемых Корпорацией Майкрософт. Временный диск шифруется при включении флага hbi_workspace рабочей области.

Вычислительный кластер

Вычислительные кластеры имеют локальное хранилище дисков ОС и могут подключать данные из учетных записей хранения в подписке во время задания. При подключении данных из собственной учетной записи хранения в задании можно включить ключи, управляемые клиентом, в этих учетных записях хранения для шифрования.

Диск ОС для каждого вычислительного узла хранится в служба хранилища Azure и всегда шифруется с помощью ключей, управляемых Корпорацией Майкрософт, в учетных записях хранения Машинное обучение Azure, а не с ключами, управляемыми клиентом. Этот целевой объект вычислений является временным, поэтому данные, хранящиеся на диске ОС, удаляются после уменьшения масштаба кластера. Кластеры обычно масштабируются, если задания не помещаются в очередь, автомасштабирование включено, а минимальное число узлов равно нулю. Базовая виртуальная машина отозвана, а диск ОС удаляется.

Шифрование дисков Azure не поддерживается для диска ОС. Каждая виртуальная машина также имеет локальный временный диск для операций ОС. При необходимости можно использовать диск для размещения данных для обучения. Если вы создаете рабочую область с заданным параметром hbi_workspaceTRUE, временный диск шифруется. Эта среда является короткой (только во время задания), а поддержка шифрования ограничена только ключами, управляемыми системой.

Вычислительная операция

Диск ОС для вычислительного экземпляра шифруется с помощью ключей, управляемых Корпорацией Майкрософт, в учетных записях хранения Машинное обучение Azure. Если вы создаете рабочую область с hbi_workspace заданным параметром TRUE, локальный временный диск на вычислительном экземпляре шифруется с помощью ключей, управляемых Корпорацией Майкрософт. Шифрование ключей, управляемых клиентом, не поддерживается для ос и временных дисков.

Конфигурация высокого уровня влияния на бизнес (HBI)

В стандартных конфигурациях рабочей области Машинное обучение Azure собирает диагностические сведения для мониторинга производительности и улучшения производительности, а также устранения неполадок вычислительных кластеров. Например, если два задания выполняются в одном вычислительном кластере с использованием одного и того же образа Docker, то один и тот же образ будет повторно использоваться между заданиями без необходимости перестроить или дважды сократить время запуска задания.

При обработке рабочих нагрузок с высоким уровнем конфиденциальности данных вы можете отказаться от приведенного выше поведения, задав hbi флаг в рабочей области. Этот флаг включает следующее поведение:

  • Это уменьшает объем данных, собираемых корпорацией Майкрософт для диагностики из вычислительных кластеров, и обеспечивает дополнительное шифрование в управляемых майкрософт средах.
  • Начинает шифрование локального диска с нуля в Машинное обучение Azure вычислительном кластере. Это поведение применяется только в том случае, если вы не создали предыдущие кластеры в этой подписке. В противном случае требуется создать запрос в службу поддержки, чтобы включить шифрование царапина диска для вычислительных кластеров.
  • Очищает локальный временный диск между заданиями. Например, это очищает кэшированные образы docker и может повлиять на скорость запуска задания.
  • Передает учетные данные для учетной записи хранения, реестра контейнеров и учетной записи Secure Shell (SSH) из уровня выполнения в вычислительные кластеры с помощью хранилища ключей Azure.

Обратите внимание, что hbi_workspace флаг не влияет на шифрование при передаче. Это влияет только на шифрование неактивных данных.

Флаг можно задать hbi_workspace только при создании рабочей области. Вы не можете изменить его для существующей рабочей области.

Если этот флаг TRUEзадан, это может увеличить трудности при устранении неполадок, так как меньше данных телеметрии отправляются в корпорацию Майкрософт. Существует меньше видимости показателей успеха или типов проблем. Корпорация Майкрософт может не реагировать как упреждающее, если этот флаг имеется TRUE.

Чтобы включить hbi_workspace флаг при создании рабочей области Машинное обучение Azure, выполните действия, описанные в одной из следующих статей:

Следующие шаги