Включите поддержку брандмауэра для учетной записи хранения рабочего пространства

Каждая рабочая область Azure Databricks связана с учетной записью хранения Azure в управляемой группе ресурсов, которая называется учетной записью хранения рабочей области. Учетная запись хранения рабочей области включает системные данные рабочей области (выходные данные задания, параметры системы и журналы), корневую базу DBFS и в некоторых случаях каталог рабочей области Unity Catalog. В этой статье описывается, как ограничить доступ к учетной записи хранения рабочей области только из авторизованных ресурсов и сетей с помощью шаблона ARM (Azure Resource Manager), Azure CLI или PowerShell.

Что такое поддержка брандмауэра для учетной записи хранения данных рабочей области?

По умолчанию учетная запись хранения Azure вашей рабочей области принимает подключения с проверенной подлинностью из всех сетей. Этот доступ можно ограничить, включив поддержку брандмауэра для учетной записи хранения данных рабочей области. Это гарантирует, что доступ к общедоступной сети запрещен, а учетная запись хранения рабочей области недоступна из несанкционированных сетей. Это может потребоваться настроить, если у вашей организации есть политики Azure, которые гарантируют, что учетные записи хранения являются частными.

Если поддержка брандмауэра для учетной записи хранения рабочей области включена, весь доступ к службам за пределами Azure Databricks должен использовать утвержденные частные конечные точки с Private Link. Azure Databricks создает соединитель доступа для подключения к хранилищу с помощью управляемого удостоверения Azure. Доступ из бессерверных вычислительных мощностей Azure Databricks должен использовать либо конечные точки службы, либо частные конечные точки.

Требования

• Ваша рабочая область должна поддерживать внедрение VNet для подключений с классической вычислительной плоскости.

• Рабочая область должна обеспечить безопасное подключение к кластеру (без общедоступного IP-адреса или NPIP) для подключений из традиционной вычислительной плоскости.

• Рабочая область должна находиться в плане "Премиум".

• Отдельная подсеть необходима для частных конечных точек учетной записи хранения. Это в дополнение к основным двум подсетям для базовых функций Azure Databricks.

  Подсеть должна находиться в той же виртуальной сети, что и рабочая область или отдельная виртуальная сеть, к которым может получить доступ рабочая область. Используйте минимальный размер /28 в нотации CIDR.

• Если вы используете Cloud Fetch с службой Microsoft Fabric Power BI, необходимо всегда использовать шлюз для частного доступа к учетной записи хранения рабочей области или отключить Cloud Fetch. См. Шаг 2 (рекомендуется): Настройка частных конечных точек для виртуальных сетей клиента Cloud Fetch.

• Для методов развертывания Azure CLI или PowerShell необходимо создать соединитель доступа для Databricks. Для этого требуется использовать управляемое удостоверение, назначаемое системой или назначаемое пользователем. Затем необходимо получить идентификатор ресурса соединителя. См. раздел "Соединитель доступа для Databricks".

Вы также можете использовать шаблон ARM в Шаге 5: Активация брандмауэра для учетной записи хранения вашего рабочего пространства, чтобы создать новую рабочую область. В этом случае завершите работу всех вычислительных ресурсов в рабочей области перед выполнением шагов 1–4.

Шаг 1. Создание частных конечных точек в учетной записи хранения

Создайте две частные конечные точки для учетной записи хранения вашей рабочей области из виртуальной сети, использованной для внедрения виртуальных сетей в целевой подресурс , значениями: dfs и blob.

1. Перейдите в рабочую область.

2. В разделе Essentials щелкните имя управляемой группы ресурсов.

3. В разделе "Ресурсы" обратите внимание на имя учетной записи хранения рабочей области. Имя начинается с dbstorage.

4. В поле поиска в верхней части портала введите и выберите частную конечную точку.

5. Нажмите кнопку + Создать.

6. В поле имени группы ресурсов задайте группу ресурсов.

   Внимание

   Группа ресурсов не должна совпадать с управляемой группой ресурсов, в которую входит учетная запись хранения рабочей области.

7. В поле "Имя" введите уникальное имя для этой частной конечной точки:

   • Для первой частной конечной точки, создаваемой для каждой исходной сети, создайте конечную точку DFS. Databricks рекомендует добавить суффикс -dfs-pe
   • Для второй частной конечной точки, создаваемой для каждой исходной сети, создайте конечную точку blob-объекта. Databricks рекомендует добавить суффикс -blob-pe

   Поле "Имя сетевого интерфейса" автоматически заполняется.

8. Установите поле Регион на регион вашей рабочей области.

9. Нажмите кнопку "Далее": ресурс.

10. В методе подключения выберите "Подключиться к ресурсу Azure" в моем каталоге.

11. В подписке выберите подписку, в которую входит ваша рабочая область.

12. В типе ресурса выберите Microsoft.Storage/storageAccounts.

13. В Ресурсе выберите учетную запись хранилища вашей рабочей области.

14. В подресурсе Target выберите тип целевого ресурса.

    • Для первой частной конечной точки, создаваемой для каждой исходной сети, задайте для нее значение dfs.
    • Для второй частной конечной точки, созданной для каждой исходной сети, установите значение blob.

15. Нажмите кнопку "Далее": виртуальная сеть.

16. В поле Виртуальная сеть выберите виртуальную сеть.

17. В поле подсети выберите подсеть, которая выделена для частных конечных точек учетной записи хранения.

    Это поле может быть автоматически заполнено подсетью для частных конечных точек, но возможно, вам придется задать его вручную. Вы не можете использовать одну из двух подсетей рабочей области, которые используются для базовых функциональных возможностей рабочей области Azure Databricks, которые обычно называются private-subnet и public-subnet.

18. При необходимости измените конфигурацию частного IP-адреса и группу безопасности приложений .

19. Нажмите кнопку "Далее": DNS. Вкладка DNS автоматически заполняется правой подпиской и группой ресурсов, выбранной ранее. При необходимости измените их.

20. Нажмите Далее: Теги и при необходимости добавьте теги.

21. Нажмите «Далее: просмотр + создание» и просмотрите поля.

22. Нажмите кнопку Создать.

Шаг 2 (рекомендуется). Настройка частных конечных точек для виртуальных сетей клиента Cloud Fetch

Cloud Fetch — это механизм в ODBC и JDBC для параллельного получения данных через облачное хранилище для ускорения работы с данными в средства бизнес-аналитики. Если вы извлекаете результаты запроса размером более 1 МБ из средств бизнес-аналитики, скорее всего, вы используете Cloud Fetch.

Если вы используете Cloud Fetch, создайте частные конечные точки для учетной записи хранения рабочей области из любых виртуальных сетей клиентов Cloud Fetch.

Для каждой исходной сети создайте для клиентов Cloud Fetch две частные конечные точки, использующие два различных значения целевого подресурса : и . См. шаг 1. Создание частных конечных точек в учетной записи хранения для подробных действий. В этих шагах для поля виртуальной сети при создании частной конечной точки убедитесь, что для каждого клиента Cloud Fetch укажите исходную виртуальную сеть.

Шаг 3. Подтверждение утверждений конечных точек

После создания всех частных конечных точек в учетной записи хранения проверьте, утверждены ли они. Они могут быть автоматически утверждены или вы можете утвердить их в учетной записи хранения.

1. Перейдите к рабочей области на портале Azure.
2. В разделе Essentials щелкните имя управляемой группы ресурсов.
3. В разделе "Ресурсы" выберите учетную запись типа Storage account с именем, начинающимся с dbstorage.
4. На боковой панели щелкните "Сеть".
5. Щелкните подключения к частной конечной точке.
6. Проверьте состояние соединения , чтобы убедиться, что отображается статус Одобрено, или выберите их и нажмите кнопку Утвердить.

шаг 4. Авторизация бессерверных вычислительных подключений

Для авторизации подключения бессерверных вычислений к учетной записи хранения рабочей области необходимо прикрепить конфигурацию сетевого подключения (NCC) к рабочей области. При присоединении NCC к рабочей области сетевые правила автоматически добавляются в хранилище Azure для хранилища рабочей области. Инструкции см. в разделе "Настройка брандмауэра для бессерверного доступа к вычислительным ресурсам".

Если вы хотите включить доступ из бессерверных вычислительных ресурсов Azure Databricks с помощью частных конечных точек, свяжитесь с вашей командой аккаунта Azure Databricks.

Шаг 5. Включение брандмауэра для учетной записи хранения рабочей области

Настройте поддержку брандмауэра хранилища для рабочей области Databricks с помощью развертывания шаблона ARM, Azure CLI или PowerShell.

Включение поддержки брандмауэра хранилища с помощью шаблона ARM

На этом шаге используется шаблон ARM для управления рабочей областью Azure Databricks. Вы также можете обновить или создать рабочую область с помощью Terraform. См. поставщик Terraform azurerm_databricks_workspace. Чтобы отключить поддержку брандмауэра для учетной записи хранения рабочей области, выполните тот же процесс, но задайте для параметра брандмауэр учетной записи хранения (storageAccountFirewall в шаблоне) значение Disabled.

1. На портале Azure найдите и выберите Deploy a custom template.

2. Выберите Создать собственный шаблон в редакторе.

3. Скопируйте шаблон ARM из шаблона ARM для поддержки брандмауэра для учетной записи хранения рабочей области и вставьте его в редактор.

4. Нажмите кнопку Сохранить.

5. Просмотр и изменение полей. Используйте те же параметры, которые использовались для создания рабочей области, например подписки, региона, имени рабочей области, имен подсети, идентификатора ресурса существующей виртуальной сети.

   Описание полей см. в разделе "Поля шаблона ARM".

6. Нажмите Рецензирование и создать, затем Создать.

Включение поддержки брандмауэра хранилища с помощью Azure CLI

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с удостоверением, назначенным системой, в Cloud Shell выполните следующую команду:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с присвоенной пользователем идентичностью, в Cloud Shell выполните следующую команду:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Чтобы отключить поддержку брандмауэра с помощью соединителя доступа, выполните команду Cloud Shell:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Включение поддержки брандмауэра хранилища с помощью PowerShell

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с удостоверением, назначенным системой, в Cloud Shell выполните следующую команду:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Чтобы включить поддержку брандмауэра с помощью соединителя доступа с назначенной пользователем идентификации, в Cloud Shell выполните команду.

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Чтобы отключить поддержку брандмауэра с помощью соединителя доступа, выполните команду Cloud Shell:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"