Шифрование в Фабрике данных Azure с помощью управляемых клиентом ключей

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Фабрика данных Azure шифрует неактивные данные, в том числе определения сущностей и все данные, кэшированные во время выполнения. По умолчанию данные шифруются с помощью генерируемого случайным образом ключа под управлением Майкрософт, который назначается фабрике данных с соблюдением уникальности. Благодаря возможности использовать управляемые клиентом ключи в Фабрике данных Azure теперь для обеспечения дополнительной безопасности можно включить создание собственных ключей (BYOK). При указании ключа, управляемого клиентом (CMK), фабрика данных использует как системный ключ фабрики, так и CMK для шифрования данных клиента. Отсутствие любого из них может привести к отказу в доступе к данным и фабрике.

Для хранения управляемых клиентом ключей требуется Azure Key Vault. Можно либо создать собственные ключи и хранить их в хранилище ключей, либо использовать API-интерфейсы Azure Key Vault для их генерации. Хранилище ключей и фабрика данных должны находиться в одном клиенте Microsoft Entra и в одном регионе, но они могут находиться в разных подписках. Дополнительные сведения об Azure Key Vault см. в статье Что такое Azure Key Vault?

Сведения об управляемых клиентом ключах

На следующей схеме показано, как фабрика данных использует идентификатор Microsoft Entra и Azure Key Vault для выполнения запросов с помощью ключа, управляемого клиентом:

В следующем списке описаны шаги, пронумерованные на схеме.

1. Администратор Azure Key Vault предоставляет управляемому удостоверению, связанному с Фабрикой данных, разрешения на использование ключей шифрования.
2. Администратор Фабрики данных включает в фабрике возможность использовать управляемые клиентом ключи.
3. Фабрика данных использует управляемое удостоверение, связанное с фабрикой, для проверки подлинности доступа к Azure Key Vault с помощью идентификатора Microsoft Entra
4. Фабрика данных заключает в оболочку ключ шифрования фабрики, используя ключ клиента в Azure Key Vault.
5. В случае операций чтения и записи Фабрика данных отправляет запросы в Azure Key Vault для извлечения ключа шифрования учетной записи из оболочки с целью выполнения операций шифрования и расшифровки.

Существует два способа добавления шифрования управляемого клиентом ключа в фабрики данных. Первый — во время создания фабрики на портале Azure, а второй — после создания фабрики в пользовательском интерфейсе Фабрики данных.

Необходимые условия. Настройка Azure Key Vault и создание ключей

Включение обратимого удаления и не удаления окончательно в Azure Key Vault

Для использования управляемых клиентом ключей с Фабрикой данных необходимо задать для хранилища ключей два свойства: Обратимое удаление и Do Not Purge (Не очищать). Эти свойства можно включить с помощью PowerShell или Azure CLI в новом или имеющемся хранилище ключей. Чтобы узнать, как включить эти свойства в существующем хранилище ключей, используйте статью Управление восстановлением Azure Key Vault с функцией мягкого удаления и защитой от очистки.

Если вы создаете новый Azure Key Vault с помощью портала Azure, свойства Обратимое удаление и Do Not Purge (Не очищать) можно задать следующим образом.

Предоставление Фабрике данных доступа к Azure Key Vault

Убедитесь, что Azure Key Vault и Фабрика данных Azure находятся в одном клиенте Microsoft Entra и в одном регионе. Вы можете использовать политики доступа или разрешения управления доступом:

1. Политика доступа - В вашем хранилище ключей выберите Политики доступа ->Добавить политику доступа -> Найдите управляемое удостоверение службы Azure Data Factory и предоставьте разрешения Get, Unwrap Key и Wrap Key в раскрывающемся списке разрешений для секретов.

2. Управление доступом - Вашему управляемому удостоверению потребуется две роли в управлении доступом: пользователь службы шифрования Key Vault и пользователь секретов Key Vault. В хранилище ключей выберите элемент управления доступом (IAM) ->+ Добавить>-Добавить назначение ролей. Выберите одну из ролей и нажмите кнопку "Далее". В разделе "Участники" выберите управляемое удостоверение , а затем выберите участников и найдите управляемое удостоверение Фабрики данных Azure. Затем нажмите кнопку "Проверить и назначить". Повторите для второй роли.

• Если вы хотите добавить шифрование управляемых клиентом ключей после создания фабрики данных в пользовательском интерфейсе фабрики данных, убедитесь, что управляемое удостоверение службы фабрики данных (MSI) имеет правильные разрешения для Key Vault.
• Если вы хотите добавить шифрование управляемых клиентом ключей во время создания фабрики на портале Azure, убедитесь, что управляемое удостоверение, назначаемое пользователем (UA-MI), имеет правильные разрешения для Key Vault.

Создание или передача управляемого клиентом ключа в Azure Key Vault

Вы можете создавать свои собственные ключи и хранить их в хранилище ключей. Для создания ключей также можно использовать API Azure Key Vault. Только ключи RSA поддерживаются для шифрования в Data Factory. RSA-HSM также поддерживается. См. дополнительные сведения о ключах, секретах и сертификатах.

Активация управляемых клиентом ключей

После создания фабрики в интерфейсе Data Factory

В этом разделе описывается процесс добавления шифрования управляемого клиентом ключа в пользовательском интерфейсе Фабрики данных после создания фабрики.

1. Убедитесь, что Управляемое удостоверение службы (MSI) фабрики данных имеет следующие разрешения для хранилища ключей: Получить, Расшифровать ключ и Шифровать ключ.

2. Убедитесь, что фабрика данных пуста. Фабрика данных не может содержать такие ресурсы, как связанные службы, конвейеры и потоки данных. На данный момент развертывание клиентского управляемого ключа в непустой фабрике приводит к ошибке.

3. Чтобы найти URI ключа на портале Azure, перейдите к Azure Key Vault и выберите параметр "Ключи". Выберите нужный ключ, а затем выберите ключ, чтобы просмотреть его версии. Выберите версию ключа для просмотра параметров.

4. Скопируйте значение поля "Идентификатор ключа", которое предоставляет универсальный код ресурса (URI)

5. Запустите портал Фабрики данных Azure и перейдите с помощью панели навигации слева на портал управления Фабрикой данных Azure.

6. Выберите значок ключа, управляемого клиентом

7. Введите URI для управляемого клиентом ключа, который вы скопировали ранее.

8. Нажмите Сохранить, чтобы включить шифрование ключей, управляемых клиентом, для Data Factory.

Во время создания фабрики на портале Microsoft Azure

В этом разделе описано, как добавить шифрование с помощью управляемого клиентом ключа на портале Azure во время развертывания фабрик.

Чтобы зашифровать фабрику, Фабрике данных необходимо сначала получить ключ, управляемый клиентом, из Key Vault. Поскольку развертывание по-прежнему выполняется, MSI еще недоступно для проверки подлинности с помощью Key Vault. Таким образом, чтобы использовать этот подход, клиенту необходимо назначить фабрике данных управляемое удостоверение, назначаемое пользователем (UA-MI). Мы примем роли, определенные в UA-MI, и пройдем аутентификацию с помощью Key Vault.

Дополнительные сведения об управляемом удостоверении, назначаемом пользователем, см. в разделе Типы управляемых удостоверений и статье Назначение ролей для управляемого удостоверения, назначаемого пользователем.

1. Убедитесь, что управляемое удостоверение, назначаемое пользователем (UA-MI), имеет разрешения Доступ, Разблокировка ключа и Блокировка ключа в Key Vault.

2. На вкладке "Дополнительно" установите флажок "Включить шифрование" с помощью управляемого клиентом ключа

3. Укажите URL-адрес для управляемого клиентом ключа, хранящегося в Key Vault

   Совет

   Если вы не передаете версию ключа в URL-адресе после последнего "/" (например, https://mykeyvault.vault.azure.net/keys/cmk/), версия всегда будет по умолчанию самой последней, если ключ будет обновлен в будущем.

   В настоящее время это поддерживается только с помощью портала Azure.

4. Выберите соответствующее управляемое удостоверение, назначаемое пользователем, для проверки подлинности в Azure Key Vault.

5. Продолжайте развертывание завода.

Обновление версии ключа

При создании новой версии ключа обновите фабрику данных, чтобы использовать новую версию:

1. Найдите универсальный код ресурса (URI) для новой версии ключа с помощью портала Azure Key Vault:

   1. Перейдите в Azure Key Vault и выберите параметр "Ключи".
   2. Выберите нужный ключ, а затем выберите ключ, чтобы просмотреть его версии.
   3. Выберите ключевую версию для просмотра параметров.

2. Скопируйте значение поля "Идентификатор ключа", которое предоставляет URI.

3. Запустите портал Фабрики данных Azure и с помощью панели навигации слева выберите портал управления фабрикой данных.

4. Выберите параметр ключа, управляемого клиентом .

5. Введите URI для ключа, управляемого клиентом, скопированного ранее.

6. Выберите "Сохранить " и "Фабрика данных" теперь будет шифроваться с помощью новой версии ключа.

Использование другого ключа

Чтобы изменить ключ, используемый для шифрования фабрики данных, необходимо вручную обновить параметры в Фабрике данных Azure:

1. Найдите универсальный код ресурса (URI) для новой версии ключа с помощью портала Azure Key Vault:

   1. Перейдите в Azure Key Vault и выберите параметр "Ключи".
   2. Выберите нужный ключ, а затем выберите ключ, чтобы просмотреть его версии.
   3. Выберите ключевую версию для просмотра параметров.

2. Скопируйте значение поля "Идентификатор ключа", которое предоставляет URI.

3. Запустите портал Фабрики данных Azure и с помощью панели навигации слева выберите портал управления фабрикой данных.

4. Выберите параметр ключа, управляемого клиентом .

5. Введите URI для выбранного элемента, который вы скопировали ранее.

6. Выберите "Сохранить " и "Фабрика данных" теперь будет шифроваться с помощью новой версии ключа.

Отключение возможности использования управляемых клиентом ключей

После включения функции выбора невозможно удалить дополнительный шаг безопасности. Мы будем всегда рассчитывать, что клиент предоставит ключ для шифрования фабрики и данных.

Управляемый клиентом ключ, непрерывная интеграция и непрерывное развертывание

По умолчанию конфигурация CMK не включена в шаблон Azure Resource Manager (ARM). Чтобы включить параметры шифрования с управляемым ключом клиента в шаблон ARM для непрерывной интеграции (CI/CD), выполните следующие действия.

1. Убедитесь, что производство находится в режиме Git.
2. Перейдите на портал управления — раздел "Управляемый клиентом ключ"
3. Отметьте опцию Включить в шаблон ARM

В шаблон ARM будут добавлены следующие параметры. Эти свойства могут быть параметризованы в конвейерах непрерывной интеграции и поставки путем изменения конфигурации параметров Azure Resource Manager.

Связанный контент

Перейдите к руководствам, чтобы узнать об использовании фабрики данных в различных сценариях.