Поделиться через

Определяемые пользователем параметры маршрута для Azure Databricks

  • Статья

Если рабочая область Azure Databricks развертывается в вашей виртуальной сети, можете использовать настраиваемые маршруты, также известные как определяемые пользователем маршруты (UDR), чтобы обеспечить правильную маршрутизацию сетевого трафика для рабочей области. Например, если подключить виртуальную сеть к локальной сети, трафик может проходить через локальную сеть и не дойти до уровня управления Azure Databricks. Эту проблему могут решить определяемые пользователем маршруты.

Определяемые пользователем маршруты (UDR) требуются для каждого типа исходящего подключения из Виртуальной сети. Теги служб Azure и IP-адреса можно использовать для определения элементов управления доступом к сети в определяемых пользователем маршрутах. Databricks рекомендует использовать теги служб Azure, чтобы предотвратить сбои служб из-за изменений IP-адресов.

Настройка определяемых пользователем маршрутов с помощью тегов службы Azure

Databricks рекомендует использовать теги службы Azure, представляющие группу префиксов IP-адресов из данной службы Azure. Корпорация Майкрософт управляет префиксами адресов, входящих в тег службы, и автоматически обновляет этот тег при изменении адресов. Это помогает предотвратить сбои служб из-за изменений IP-адресов и удаляет необходимость периодически искать эти IP-адреса и обновлять их в таблице маршрутов. Однако если политики организации запрещают теги служб, можно также указать маршруты в качестве IP-адресов.

Используя теги служб, определяемые пользователем маршруты должны использовать следующие правила и связать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Источник Префикс адреса Тип следующего прыжка
Значение по умолчанию Тег службы Azure Databricks Интернет
Значение по умолчанию Тег службы SQL Azure Интернет
Значение по умолчанию тег службы хранилища Azure Интернет
По умолчанию тег службы Azure Event Hubs Интернет

Примечание.

Вы можете добавить тег службы идентификатора Microsoft Entra, чтобы упростить проверку подлинности идентификатора Microsoft Entra из кластеров Azure Databricks в ресурсы Azure.

Если в вашей рабочей области включен Azure Private Link, тег службы Azure Databricks не требуется.

Тег службы Azure Databricks представляет IP-адреса для необходимых исходящих подключений к плоскости управления Azure Databricks, безопасного подключения к кластеру (SCC) и веб-приложения Azure Databricks.

Тег службы SQL Azure представляет IP-адреса для необходимых исходящих подключений к метахранилищу Azure Databricks, а тег службы Azure Storage представляет IP-адреса для Блоб-хранилища артефактов и Блоб-хранилища журналов. Тег службы Центров событий Azure представляет необходимые исходящие соединения для ведения журнала в Центре событий Azure.

Некоторые теги служб позволяют более детально контролировать, ограничив диапазоны IP-адресов указанным регионом. Например, таблица маршрутов для рабочей области Azure Databricks в регионах западной части США может выглядеть следующим образом:

Имя. Префикс адреса Тип следующего прыжка
adb-servicetag AzureDatabricks Интернет
хранилище метаданных adb Sql.WestUS Интернет
хранилище adb-storage Storage.WestUS Интернет
adb-eventhub EventHub.WestUS Интернет

Чтобы получить теги служб, необходимые для определяемых пользователем маршрутов, см. теги службы виртуальной сети.

Настройка определяемых пользователем маршрутов с IP-адресами

Databricks рекомендует использовать теги службы Azure, но если политики организации не разрешают теги служб, можно использовать IP-адреса для определения элементов управления доступом к сети на определяемых пользователем маршрутах.

Сведения зависят от того, включена ли для рабочей области Служба безопасного подключения кластера (SCC):

  • Если для рабочей области включено безопасное подключение кластера, вам потребуется определяемый пользователем маршрут, чтобы разрешить кластерам подключаться к ретранслятору с защитным подключением кластера на уровне управления. Не забудьте включить системы, отмеченные как ретрансляция IP-адресов SCC для вашего региона.
  • Если для рабочей области отключено безопасное подключение кластера, то существует входящее подключение от Control Plane NAT, однако TCP SYN-ACK низкого уровня для этого подключения с технической точки зрения рассматриваются как исходящие данные, для них требуется определяемый пользователем маршрут. Не забудьте включить системы, помеченные как NAT IP-адреса для уровня управления в вашем регионе.

Определяемые пользователем маршруты должны использовать следующие правила и связать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Источник Префикс адреса Тип следующего прыжка
Значение по умолчанию IP-адрес NAT плоскости управления (если подключение кластера отключено) Интернет
Значение по умолчанию IP-адрес ретранслятора SCC (если SCC включен) Интернет
Значение по умолчанию Webapp IP-адрес Интернет
Значение по умолчанию IP-адрес хранилища метаданных Интернет
Значение по умолчанию IP-адрес хранилища больших двоичных объектов артефакта Интернет
Значение по умолчанию IP-адрес хранилища журналов Blob Интернет
Значение по умолчанию IP-адрес хранилища рабочей области — конечная точка Blob Storage Интернет
Значение по умолчанию IP-адрес хранилища рабочей области — конечная точка ADLS (dfs) Интернет
Значение по умолчанию IP-адрес Центров событий Интернет

Если в вашей рабочей области включен Azure Private Link, пользовательские маршруты должны использовать следующие положения и связать таблицу маршрутов с общедоступными и частными подсетями вашей виртуальной сети.

Источник Префикс адреса Тип следующего прыжка
Значение по умолчанию IP-адрес хранилища метаданных Интернет
Значение по умолчанию IP-адрес Blob-хранилища артефакта Интернет
Значение по умолчанию IP-адрес журнала хранилища BLOB Интернет
Значение по умолчанию IP-адрес Центров событий Интернет

Чтобы получить IP-адреса, необходимые для определяемых пользователем маршрутов, используйте таблицы и инструкции в регионах Azure Databricks, в частности: