Пользовательские параметры маршрута для Azure Databricks

Если рабочая область Azure Databricks развернута в вашу собственную виртуальную сеть (VNet), можно использовать настраиваемые маршруты, также известные как пользовательские маршруты (UDR), чтобы обеспечить правильность маршрутизации сетевого трафика для рабочей области. Например, если вы подключите виртуальную сеть к локальной сети, трафик может направляться через локальную сеть и не сможет получить доступ к плоскости управления Azure Databricks. Эту проблему могут решить определяемые пользователем маршруты.

Определяемые пользователем маршруты (UDR) требуются для каждого типа исходящего подключения из Виртуальной сети. Вы можете использовать оба тега служб Azure и IP-адреса для настройки сетевых политик доступа на маршрутах, заданных пользователем. Databricks рекомендует использовать теги службы Azure, чтобы предотвратить сбои служб из-за изменений IP-адресов.

Настройка пользовательских маршрутов с тегами сервисов Azure

Databricks рекомендует использовать теги службы Azure, представляющие группу префиксов IP-адресов из данной службы Azure. Microsoft управляет префиксами адресов, охватываемым тегом службы, и автоматически обновляет тег службы по мере изменения адресов. Это помогает предотвратить сбои служб из-за изменений IP-адресов и удаляет необходимость периодически искать эти IP-адреса и обновлять их в таблице маршрутов. Однако если политики организации запрещают теги служб, можно также указать маршруты в качестве IP-адресов.

Используя теги служб, определяемые пользователем маршруты должны использовать следующие правила и связать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Тег службы Azure Databricks представляет IP-адреса для необходимых исходящих подключений к плоскости управления Azure Databricks, безопасного подключения кластера (SCC) и веб-приложения Azure Databricks. Кроме того, необходимо открыть порт 3306 для исходящего трафика в группе безопасности сети, чтобы разрешить подключение к устаревшему хранилищу метаданных Hive.

Тег службы служба хранилища Azure представляет IP-адреса для хранилища BLOB-объектов артефактов и хранилища BLOB-объектов журналов. Тег службы Центры событий Azure представляет собой необходимые выходящие подключения для ведения журнала событий в центре событий Azure.

Некоторые теги служб позволяют более детально контролировать, ограничив диапазоны IP-адресов указанным регионом. Например, таблица маршрутов для рабочей области Azure Databricks в регионах западной части США может выглядеть следующим образом:

Чтобы получить теги служб, необходимые для определяемых пользователем маршрутов, см. теги службы виртуальной сети.

Настройка определяемых пользователем маршрутов с IP-адресами

Databricks рекомендует использовать теги служб Azure, но если политики вашей организации не разрешают использование тегов служб, можно использовать IP-адреса для определения контроля доступа к сети на маршрутах, определяемых пользователями.

Сведения зависят от того, включена ли для рабочей области Служба безопасного подключения кластера (SCC):

• Если для рабочей области включено безопасное подключение кластера, вам потребуется определяемый пользователем маршрут, чтобы разрешить кластерам подключаться к ретранслятору с защитным подключением кластера на уровне управления. Не забудьте включить системы, отмеченные как ретрансляция IP-адресов SCC для вашего региона.
• Если для рабочей области отключено безопасное подключение кластера, то существует входящее подключение от Control Plane NAT, однако TCP SYN-ACK низкого уровня для этого подключения с технической точки зрения рассматриваются как исходящие данные, для них требуется определяемый пользователем маршрут. Не забудьте включить системы, помеченные как NAT IP-адреса для уровня управления в вашем регионе.

Определяемые пользователем маршруты должны использовать следующие правила и связать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Если в рабочей области включена Приватный канал Azure, определяемые пользователем маршруты должны использовать следующие правила и связать таблицу маршрутов с общедоступными и частными подсетями виртуальной сети.

Чтобы получить IP-адреса, необходимые для определяемых пользователем маршрутов, используйте таблицы и инструкции в Azure Databricks регионах, в частности:

• Адреса плоскости управления Azure Databricks
• IP-адрес корневого хранилища DBFS
• хранилище метаданных, хранилище BLOB-объектов артефактов, хранилище системных таблиц, хранилище BLOB-объектов журнала и IP-адреса конечных точек Центров событий