Настройка частного подключения классической вычислительной плоскости к Azure Databricks

Используйте Приватный канал Azure для создания безопасного соединения Приватный канал с классической вычислительной плоскостью для рабочей области Azure Databricks. Это подключение обеспечивает безопасность трафика между кластерами на классической вычислительной плоскости и основных службах на уровне управления Azure Databricks.

• Для включения гибридного доступа и входящего подключения к Azure Databricks см. раздел Configure inbound Приватный канал для рабочих пространств.
• Сведения о подключении из бессерверной вычислительной плоскости к ресурсам Azure см. в статье "Настройка частного подключения к ресурсам Azure".

Почему стоит выбрать только классическое подключение вычислительной плоскости с частной связью?

Настройка подключения к классической вычислительной инфраструктуре Приватный канал обеспечивает критически важные преимущества для безопасности и соблюдения требований в среде обработки данных.

• Enhanced security: запрещает Azure Databricks кластерам взаимодействовать с плоскостем управления через общедоступный Интернет.
• Требования к соответствию: помогает соответствовать строгим нормативным требованиям и корпоративным требованиям, которые требуют, чтобы весь внутренний облачный трафик оставался в частной сети.
• Контроль утечки данных. Защита подключения области вычислений снижает риск утечки данных.
• Исключение общедоступных IP-адресов: Работает с безопасным подключением к кластеру, чтобы включить полностью частную вычислительную среду без общедоступных IP-адресов на ваших кластерах.

Обзор архитектуры

В классической настройке Приватный канал для вычислительной плоскости вы развертываете частную конечную точку непосредственно в виртуальной сети вашего рабочего пространства. Эта конечная точка предоставляет кластерам Azure Databricks частный путь к службам плоскости управления, таким как ретранслятор защищённого подключения к кластеру. Все потоки трафика осуществляются по опорной сети Microsoft и никогда не используют общедоступный интернет.

Требования

• Рабочая среда должна быть на тарифе Premium.
• У вас есть рабочая область Azure Databricks, развернутая с внедрением виртуальной сети.
• Необходимо иметь разрешения Azure для создания частных конечных точек и управления записями DNS.

Конфигурации сети

• Транзитная виртуальная сеть, настроенная для следующего вида:
  • Он выступает в качестве основной транзитной точки для всех пользователей или клиента, подключающихся к сети Azure.
  • Он обеспечивает централизованное подключение для локальных или других внешних сетей.
  • Он управляет общими службами и содержит основной маршрут для исходящего интернет-трафика (исходящего трафика).
• Выделенная подсеть должна существовать в виртуальной сети рабочей области специально для частных конечных точек. Если он не существует, создайте его.
• Частные зоны DNS управляются Azure DNS.

Лучшие практики

Azure Databricks рекомендует следующее для устойчивой и управляемой настройки:

• Архитектура. Сеть должна соответствовать архитектуре, рекомендуемой корпорацией Майкрософт. См. топологию сети Hub-spoke в Azure.
• Изолированная рабочая область проверки подлинности. Для повышения устойчивости создайте отдельную рабочую область проверки подлинности браузера в транзитной виртуальной сети. Эта выделенная рабочая область размещает browser_authentication частную конечную точку и предотвращает одну точку сбоя при удалении других рабочих областей.

Пути конфигурации

Выберите путь, соответствующий вашему сценарию:

Вариант 1. Настройка для новой рабочей области

Вариант 1. Настройка для новой рабочей области

Выполните следующие действия, чтобы создать новую рабочую область Azure Databricks с классическим Приватный канал-соединением контрольной плоскости.

Создайте группу ресурсов

1. На портале Azure выберите группы ресурсов и нажмите кнопку "Создать".
2. Назовите группу ресурсов. Убедитесь, что регион соответствует региону, в котором развернута виртуальная сеть.

Создание виртуальной сети

Создайте управляемую клиентом виртуальную сеть или виртуальную сеть рабочей области в собственной подписке Azure. При выборе внедрения виртуальной сети Azure Databricks развертывает вычислительные ресурсы непосредственно в вашей частной защищенной сети. Вам нужна эта виртуальная сеть на шаге 3.

1. Перейдите в виртуальные сети и нажмите кнопку "Создать".
2. Назначьте ее только что созданной группе ресурсов и укажите описательное имя.
3. Выберите регион, в котором нужно разместить рабочую область Azure Databricks.
4. Определите пространство IP-адресов для виртуальной сети, например 10.10.0.0/16. Вам будет предложено создать начальную подсеть с собственным диапазоном, например 10.10.1.0/24.
5. Выберите Рецензирование + Создать, затем Создать.

Создание рабочей области

1. На портале Azure найдите и выберите Azure Databricks. Нажмите кнопку "Создать".
2. Выберите только что созданную группу ресурсов. Убедитесь, что регион соответствует группе ресурсов и виртуальной сети.
3. Azure Databricks рекомендует добавить "managed" в качестве префикса в имя управляемой группы ресурсов .
4. На вкладке "Сеть" настройте следующее:
   1. Развертывание рабочей области Azure Databricks с помощью безопасного подключения к кластеру (нет общедоступного IP-адреса): нажмите кнопку "Да".
   2. Разверните рабочую область Azure Databricks в собственной виртуальной сети: выберите 'Да'.
   3. Выберите созданную ранее виртуальную сеть рабочей области.
   4. Создайте две подсети для рабочей области. Azure Databricks рекомендует именовать каждую подсеть легко идентифицируемой, напримерprivate-worker-subnet.public-host-subnet
   5. Разрешить доступ к общедоступной сети: выберите "Включить".
   6. Обязательные правила NSG: выберите "Нет правил Azure Databricks".
   7. Разверните рабочую область Azure Databricks с помощью шлюза NAT: выберите "Нет".

Создание частной конечной точки

1. Перейдите к частным конечным точкам.
   1. В разделе "Частные конечные точки" нажмите кнопку "Добавить".
2. Настройка конечной точки для databricks_ui_api:
   1. Имя: Введите описательное имя, например private-endpoint-front-end-ui.
   2. Целевой вложенный ресурс: Выберите databricks_ui_api.
   3. Виртуальная сеть: Выберите виртуальную сеть рабочей области.
      • Виртуальная сеть рабочей области и ее выделенная подсеть для частных конечных точек обеспечивают безопасный, прямой сетевой путь, позволяющий рабочей области в частном порядке получать доступ к своим классическим службам слоя вычислений.
   4. Область: Проверьте соответствие региона рабочей области Azure Databricks.

После развертывания перейдите к общим шагам.

Вариант 2. Настройка существующей рабочей области

Вариант 2. Настройка существующей рабочей области

Обновление параметров сети рабочей области

1. Перейдите в рабочую область Azure Databricks на портале Azure.
2. В разделе "Параметры" щелкните "Сеть".
3. Убедитесь, что для безопасного подключения к кластеру (нет общедоступного IP-адреса) задано значение "Да".
4. Измените обязательные правила NSG на NoAzureDatabricksRules.
5. Нажмите кнопку Сохранить. Обновление сети может занять более 15 минут.

Создание частной конечной точки в виртуальной сети рабочей области

1. На вкладке "Сеть " рабочей области выберите подключения к частной конечной точке.
2. Щелкните Частная конечная точка.
3. Выберите группу ресурсов для конечной точки, укажите имя, например my-workspace-fe-pe, и убедитесь, что регион соответствует рабочей области.
4. На вкладке "Ресурсы" установите целевой подресурс в databricks_ui_api.
5. Выберите виртуальную сеть, связанную с рабочей областью.
6. Выберите подсеть приватной конечной точки.
7. Убедитесь, что для интеграции с частной зоной DNS задано значение "Да". Azure автоматически выбирает privatelink.azuredatabricks.net зону. Если он еще не существует, Azure отображает новую privatelink.azuredatabricks.net зону.

Общие шаги

Проверка DNS

Если вы используете встроенную частную интеграцию DNS Azure, Azure автоматически создает запись DNS-адресов для рабочей области.

1. Проверьте записи частной зоны DNS:
   1. На портале Azure найдите и перейдите в частную зону DNS с именем privatelink.azuredatabricks.net.
   2. Проверьте наличие следующих A записей и укажите частные IP-адреса конечных точек:
      1. Запись пользовательского интерфейса рабочей области или API:
         • Имя: уникальный идентификатор рабочей области, например adb-xxxxxxxxxxxxxxxx.x
         • Значение: частный IP-адрес частной databricks_ui_api конечной точки.
      2. Запись проверки подлинности браузера:
         • Имя: pl-auth.<your_region>. Это имя записи необходимо пользовательскому интерфейсу для завершения процесса аутентификации. Необходимо следовать формату, pl-auth чтобы DNS-имя можно было правильно разрешить для частных конечных точек.
         • Значение: частный IP-адрес частной browser_authentication конечной точки.

Проверьте подключение Приватный канал классической плоскости вычислений

Проверьте подключение к классической вычислительной плоскости Приватный канал, запустив кластер.

1. Войдите в рабочую область Azure Databricks.
2. Перейдите к разделу "Вычисления " на боковой панели.
3. Нажмите кнопку "Создать вычисления", присвойте ей имя и нажмите кнопку "Создать".

Запуск кластера может занять несколько минут. Успешный запуск кластера — это хорошая проверка, но для полного подтверждения работы подключения необходимо выполнить простую команду запроса или команды из записной книжки.

• Если кластер не запускается через 10–15 минут, а журнал событий кластера отображает ошибку, например Cluster terminated. Reason: Control Plane Request Failure, настройка Приватный канал неправильно настроена. Ознакомьтесь с инструкциями на этой странице, чтобы устранить проблему.