Создание учетных данных хранилища для подключения к Azure Data Lake Storage

В этой статье описывается создание учетных данных хранения в каталоге Unity для подключения к Azure Data Lake Storage.

Учетные данные хранилища содержат долгосрочные облачные учетные данные, предоставляющие доступ к облачному хранилищу. Вы используете данные доступа к хранилищу и путь к облачному хранилищу при создании внешних расположений в каталоге Unity для управления доступом к внешнему хранилищу.

Дополнительные сведения об учетных данных хранения и внешних расположениях см. в разделе "Подключение к облачному хранилищу объектов" с помощью каталога Unity.

Сведения о других вариантах облачного хранилища, поддерживаемых каталогом Unity, см. в разделе "Параметры облачного хранилища", поддерживаемые каталогом Unity.

Создайте учетные данные для хранения, обеспечивающие доступ к Azure Data Lake Storage

Вы можете использовать управляемое удостоверение Azure или учетную запись службы в качестве средства авторизации доступа к контейнеру хранилища. Настоятельно рекомендуется использовать управляемые удостоверения. Они дают возможность Unity Catalog получать доступ к учетным записям хранения, защищенным сетевыми правилами (что невозможно с помощью служебных принципалов), и устраняют необходимость в управлении и смене секретных данных. Если вы хотите использовать учетную запись службы, см. статью «Создание управляемого хранилища Unity Catalog с помощью учетной записи службы (устаревшая версия)».

Требования

В Azure Databricks:

• Рабочая область Azure Databricks активирована для использования с каталогом Unity.
• CREATE STORAGE CREDENTIAL привилегии в хранилище метаданных каталога Unity, подключенном к рабочей области. Администраторы учетных записей и администраторы хранилища метаданных имеют эту привилегию по умолчанию.

В клиенте Azure:

• Контейнер хранилища Azure Data Lake Storage. Чтобы избежать исходящих расходов, это должно находиться в том же регионе, что и рабочая область, из которой вы хотите получить доступ к данным.

  Учетная запись хранения Azure Data Lake Storage должна иметь иерархическое пространство имен.

• Участник или владелец группы ресурсов Azure.

• Владелец или пользователь с ролью администратора доступа пользователей в системе Azure RBAC в учетной записи хранения.

Создание учетных данных хранилища

1. В портале Azure создайте соединитель доступа Azure Databricks и назначьте ему разрешения к контейнеру хранилища, к которому вы хотите получить доступ, следуя инструкциям в статье "Настройка управляемого удостоверения для Unity Catalog.

   Соединитель доступа Azure Databricks — это первоклассный ресурс Azure, который позволяет подключать управляемые удостоверения к учетной записи Azure Databricks. Чтобы добавить учетные данные для хранения, необходимо иметь роль Contributor или выше в ресурсе соединителя доступа в Azure.

   Запишите идентификатор ресурса соединителя доступа.

2. Войдите в рабочую область Azure Databricks, в которой включён каталог Unity, как пользователь, имеющий привилегию CREATE STORAGE CREDENTIAL.

   Роли администратора хранилища метаданных и администратора учетной записи включают эту привилегию.

3. Щелкните Каталог.

4. На странице быстрого доступа нажмите кнопку "Внешние данные", перейдите на вкладку "Учетные данные>" и выберите "Создать учетные данные".

5. Выберите учетные данные для хранилища.

6. Выберите тип учетных данных управляемого удостоверения Azure.

7. Введите имя для учетных данных и введите идентификатор ресурса соединителя доступа в формате:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group>/providers/Microsoft.Databricks/accessConnectors/<connector-name>
   

8. (Необязательно) Если вы создали соединитель доступа с помощью управляемого удостоверения, назначенного пользователем, введите ID ресурса этого управляемого удостоверения в поле ID управляемого удостоверения, назначенного пользователем, в формате:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>
   

9. (Необязательно) Если вы хотите предоставить пользователям доступ только для чтения к внешним расположениям, которые используют эти учетные данные хранения, выберите Только чтение. Дополнительные сведения см. в разделе "Пометить учетные данные хранилища как доступные только для чтения".

10. Нажмите кнопку Создать.

11. (Необязательно) Привязка учетных данных хранилища к определенным рабочим областям.

    По умолчанию любой привилегированный пользователь может использовать учетные данные хранения в любой рабочей области, подключенной к хранилищу метаданных. Если вы хотите разрешить доступ только из определенных рабочих областей, перейдите на вкладку "Рабочие области" и назначьте рабочие области. См. (необязательно) назначьте учетные данные хранилища конкретным рабочим областям.

12. Создайте внешнее расположение, которое ссылается на эти учетные данные хранилища.

(Необязательно) Назначение учетных данных хранилища определенным рабочим областям

По умолчанию учетные данные хранения доступны во всех рабочих областях в метасторе. Это означает, что если пользователю предоставлена привилегия (например, CREATE EXTERNAL LOCATION) на эти учетные данные, они могут воспользоваться этой привилегией из любой рабочей области, подключенной к метахранилищу. Если вы используете рабочие области для изоляции доступа к данным пользователей, может потребоваться разрешить доступ к учетным данным хранилища только из определенных рабочих областей. Эта функция называется привязкой рабочей области или изоляцией учетных данных хранилища.

Типичный вариант привязки учетных данных хранилища к определенным рабочим областям — это сценарий, в котором администратор облака настраивает учетные данные хранения с использованием учетных данных рабочей облачной учетной записи, и вы хотите убедиться, что пользователи Azure Databricks используют эти учетные данные для создания внешних расположений только в рабочей рабочей области.

Дополнительные сведения о привязке рабочей области см. в разделе (Необязательно) Назначение внешнего расположения определенным рабочим областям и Ограничение доступа к каталогу для определенных рабочих областей.

Привязка учетных данных хранилища к одной или нескольким рабочим областям

Чтобы назначить учетные данные хранилища определенным рабочим областям, можно использовать обозреватель каталогов или интерфейс командной строки Databricks.

Требуемые разрешения: администратор мета-хранилища, владелец учетных данных хранилища или MANAGE для учетных данных хранилища.

Обозреватель каталогов

1. Войдите в рабочую область, связанную с хранилищем метаданных.

2. На боковой панели щелкните Каталог.

3. На странице "Быстрый доступ" нажмите кнопку " и перейдите на вкладку >.

4. Выберите учетные данные хранилища и перейдите на вкладку "Рабочие области ".

5. На вкладке "Рабочие области" снимите флажок "Все рабочие области имеют доступ".

   Если учетные данные хранилища уже привязаны к одной или нескольким рабочим областям, этот флажок уже снят.

6. Нажмите Назначить рабочие области и введите или найдите рабочие области, которые вы хотите разместить.

Чтобы отменить доступ, перейдите на вкладку "Рабочие области" , выберите рабочую область и нажмите кнопку "Отозвать". Чтобы разрешить доступ из всех рабочих областей, установите флажок "Все рабочие области имеют доступ".

Интерфейс командной строки (CLI)

Существуют две группы команд Databricks CLI и два шага, необходимые для назначения учетных данных хранения рабочему пространству.

В следующих примерах замените <profile-name> на имя профиля конфигурации аутентификации Azure Databricks. Он должен включать имя экземпляра рабочей области, идентификатор рабочей области, в которой вы создали персональный токен доступа, а также значение этого токена. См. проверку подлинности с помощью маркера личного доступа Azure Databricks.

1. Используйте команду storage-credentials из группы update для задания значения isolation mode учетных данных хранилища как ISOLATED:

   databricks storage-credentials update <my-storage-credential> \
   --isolation-mode ISOLATED \
   --profile <profile-name>
   

   Значение по умолчанию isolation-mode — OPEN для всех рабочих областей, подключенных к хранилищу метаданных.

2. workspace-bindings Используйте команду группы update-bindings команд, чтобы назначить рабочие области учетным данным хранилища:

   databricks workspace-bindings update-bindings storage-credential <my-storage-credential> \
   --json '{
     "add": [{"workspace_id": <workspace-id>}...],
     "remove": [{"workspace_id": <workspace-id>}...]
   }' --profile <profile-name>
   

   Используйте свойства "add" и "remove" для добавления или удаления привязок рабочей области.

   Примечание.

   Привязка только для чтения (BINDING_TYPE_READ_ONLY) недоступна для учетных данных хранения. Поэтому нет никаких причин для привязки учетных данных хранилища binding_type.

Чтобы вывести список всех назначений рабочих областей для учетных данных хранения, используйте workspace-bindings команду группы get-bindings команд:

databricks workspace-bindings get-bindings storage-credential <my-storage-credential> \
--profile <profile-name>

Отвязать учетные данные хранилища от рабочей области

Инструкции по отмене доступа к учетным данным хранилища с помощью обозревателя каталогов или workspace-bindings группы команд CLI включаются в привязку учетных данных хранилища к одной или нескольким рабочим областям.

Следующие шаги

• Просмотр, обновление, удаление и предоставление другим пользователям разрешений на использование учетных данных хранения. См. раздел "Управление учетными данными хранилища".

• Определите внешние местоположения с помощью учетных данных для хранилища. См. статью "Создание внешнего расположения для подключения облачного хранилища к Azure Databricks".