Настройка входящей приватной ссылки

На этой странице приведены инструкции по настройке входящего частного подключения, которая защищает подключение между пользователями и рабочими областями Azure Databricks.

Зачем выбрать входящее подключение?

Независимо от того, используете ли вы бессерверные или классические вычисления, пользователи должны подключаться к Azure Databricks. Организации предпочитают подключаться к Azure Databricks по нескольким причинам, включая следующие:

  • Улучшенная безопасность: Ограничив доступ ко всем частным конечным точкам и отключив общедоступный доступ, можно свести к минимуму область атаки и проверить все взаимодействия пользователей с Azure Databricks через безопасную частную сеть.
  • Требования к соответствию: Многие организации имеют строгие мандаты на соответствие требованиям, которые требуют, чтобы весь трафик данных и плоскости управления оставался в своих границах частной сети, даже для служб SaaS, таких как Azure Databricks.
  • Упрощенная сетевая архитектура (для конкретных вариантов использования): Если вы используете только бессерверные вычисления или основное взаимодействие с Azure Databricks осуществляется через веб-интерфейс или ИНТЕРФЕЙСы REST API, и у вас нет немедленной необходимости в частном подключении к источникам данных из Azure Databricks (для которого требуется классическое подключение частного канала вычислительной плоскости), настройка только для входящего трафика упрощает общую структуру сети.
  • Защита от кражи данных: Предотвращая общедоступный доступ и заставляя весь трафик через частные конечные точки, снижается риск кражи данных, обеспечивая доступ только к трафику из проверенных сетевых сред.

Модель подключения

Вы можете настроить частное подключение одним из двух способов:

  • Нет общедоступного доступа: эта конфигурация отключает весь общедоступный доступ к рабочей области. Весь трафик пользователя должен исходить из виртуальной сети, подключенной через частную конечную точку. Эта модель необходима для полной приватизации трафика. Для полной приватизации трафика также требуется классическое подключение Приватный канал плоскости вычислений. Ознакомьтесь с концепциями Приватного канала Azure.
  • Гибридный доступ: приватный канал активен, но общедоступный доступ по-прежнему включен с помощью элементов управления входящего трафика на основе контекста и списков доступа к IP-адресам. Элементы управления входящего трафика на основе контекста позволяют ограничить доступ на основе удостоверения, типа запроса и сетевого источника. Это позволяет безопасно разрешать доступ из доверенных общедоступных источников (например, статических корпоративных IP-адресов), а также использовать приватный канал для частного подключения.

В этом руководстве объясняется, как реализовать модель гибридного доступа . Мы достигаем этого с помощью стандартной топологии сети концентратора и периферийной сети.

Обзор архитектуры

Эта модель использует транзитную виртуальную сеть:

  • Транзитная виртуальная сеть. Это центральная виртуальная сеть, содержащая все частные конечные точки, необходимые для доступа клиента к рабочим областям и проверке подлинности браузера. Рабочая область проверки подлинности браузера также подключается к этой виртуальной сети.

Сетевая архитектура Приватный канал Azure.

Перед тем как начать

Ознакомьтесь со следующими предварительными условиями и рекомендациями.

Требования

Конфигурации сети

  • Транзитная виртуальная сеть, настроенная для следующего вида:
    • Он выступает в качестве основной транзитной точки для всех пользователей или клиента, подключающихся к сети Azure.
    • Он обеспечивает централизованное подключение для локальных или других внешних сетей.
    • Он управляет общими службами и содержит основной маршрут для исходящего интернет-трафика (исходящего трафика).
  • Частные зоны DNS управляются Azure DNS.

Лучшие практики

Azure Databricks рекомендует следующее для устойчивой и управляемой настройки:

  • Архитектура. Сеть должна соответствовать архитектуре, рекомендуемой корпорацией Майкрософт. См. топологию сети Hub-spoke в Azure.
  • Изолированная рабочая область проверки подлинности. Для повышения устойчивости создайте отдельную рабочую область проверки подлинности браузера в транзитной виртуальной сети. Эта выделенная рабочая область должна размещать частную конечную точку проверки подлинности браузера, предотвращая одну точку сбоя, если другие рабочие области удаляются. См. шаг 3. Создание browser_authentication рабочей области.

Настройка частного подключения для существующей рабочей области

Перед началом работы необходимо остановить все вычислительные ресурсы, такие как кластеры, пулы или классические хранилища SQL. Вычислительные ресурсы рабочей области не должны быть запущены, иначе попытка обновления завершится ошибкой. Azure Databricks рекомендует планировать время обновления на период простоя.

  1. На странице "Рабочие области" выберите "Вычисления".
  2. Выберите каждый активный вычислительный кластер и в правом верхнем углу нажмите кнопку "Завершить".

Шаг 1. Проверьте рабочую среду с подключенной виртуальной сетью и включённым общедоступным доступом

  1. Перейдите в рабочую область Azure Databricks на портале Azure.
  2. В разделе обзора рабочей области убедитесь, что рабочая область Azure Databricks использует собственную виртуальную сеть:
    1. В разделе "Параметры" выберите вкладку "Сеть ". Подтвердите следующие параметры:
      1. Безопасное подключение к кластеру (без общедоступного IP-адреса) включено.
      2. Разрешить доступ к общедоступной сетифункция включена.

Шаг 2. Создание databricks_ui_api частной конечной точки

  1. На вкладке "Сеть " рабочей области выберите подключения к частной конечной точке.
  2. Щелкните значок Частная конечная точка.
  3. Выберите группу ресурсов для конечной точки, укажите имя, например my-workspace-fe-pe. Убедитесь, что регион соответствует рабочей области.
  4. Нажмите кнопку "Далее": ресурс.
  5. Задайте целевой подресурс на databricks_ui_api.
  6. Нажмите кнопку "Далее": виртуальная сеть.
  7. Выберите транзитную виртуальную сеть. Транзитная виртуальная сеть — это отдельная уже существующая виртуальная сеть в вашей сетевой архитектуре, которая управляет трафиком и защищает исходящий трафик, часто содержащий центральный брандмауэр.
  8. Выберите подсеть, в которую размещаются частные конечные точки.
  9. Нажмите Далее и убедитесь, что Интеграция с частной зоной DNS установлена на Да. Он должен автоматически выбрать privatelink.azuredatabricks.net зону.

Примечание.

Свяжите частную зону DNS с транзитной виртуальной сетью и для лучшей организации поместите ее в отдельную группу ресурсов с другими частными зонами DNS.

Шаг 3. Создание browser_authentication рабочей области

Создайте частную конечную точку для браузерной аутентификации, чтобы поддерживать единый вход по частному сетевому пути. Azure Databricks рекомендует разместить эту конечную точку в выделенной частной рабочей области веб-проверки подлинности.

Создайте группу ресурсов

  1. На портале Azure перейдите к группам ресурсов и выберите их.
  2. Нажмите кнопку + Создать.
  3. Укажите имя группы ресурсов, например web-auth-rg-eastus.
  4. Для региона выберите тот же регион Azure, в котором развернуты рабочие области Databricks.
  5. Щелкните Обзор + создание, затем Создать.

Создание виртуальной сети

  1. На портале Azure найдите и выберите Виртуальные сети.
  2. Нажмите кнопку + Создать.
  3. На вкладке "Основы" выберите только что созданную группу ресурсов и присвойте виртуальной сети описательное имя, например web-auth-vnet-eastus.
  4. Убедитесь, что регион соответствует группе ресурсов.
  5. На вкладке IP-адресов определите пространство IP-адресов для виртуальной сети, например 10.20.0.0/16. Вам также будет предложено создать начальную подсеть.
  6. Нажмите кнопку "Рецензирование и создание", а затем "Создать".

Создание и защита частной рабочей области веб-проверки подлинности

  1. На портале Azure найдите и выберите Azure Databricks. Нажмите кнопку + Создать.
  2. На вкладке "Основные сведения" настройте следующее:
    1. Выберите только что созданную группу ресурсов .
    2. Присвойте рабочей области описательное имя, например WEB_AUTH_DO_NOT_DELETE_<region>.
    3. Выберите тот же регион, что и группа ресурсов и виртуальная сеть.
  3. Нажмите кнопку "Далее:Сеть " и настройте следующее:
    1. Развертывание рабочей области Azure Databricks с помощью безопасного подключения к кластеру (нет общедоступного IP-адреса): нажмите кнопку "Да".
    2. Разверните рабочую область Azure Databricks в собственной виртуальной сети: выберите 'Да'.
    3. Виртуальная сеть: выберите только что созданную виртуальную сеть. Вам будет предложено определить диапазоны подсети.
    4. Доступ к общедоступной сети: выберите "Отключено".
    5. Обязательные правила NSG: выберите NoAzureDatabricksRules.
  4. Щелкните Обзор + создание, затем Создать.

После создания рабочей области защитите ее от случайного удаления.

  1. На портале Azure перейдите в только что созданную рабочую область.
  2. Перейдите в раздел "Параметры" и выберите "Блокировки".
  3. Выберите + Добавить.
  4. Задайте для типа блокировки значение Delete и укажите описательное имя блокировки.
  5. Нажмите кнопку ОК.

Примечание.

  • Не запускайте рабочие нагрузки Databricks, такие как кластеры и задания, в этой рабочей области.
  • Не добавляйте частные конечные точки, кроме browser_authentication. В частности, не создавайте конечную точку databricks_ui_api для этой рабочей области.

Создание частной конечной точки browser_authentication

После создания рабочей области необходимо создать частную browser_authentication конечную точку, чтобы подключить ее к транзитной виртуальной сети.

  1. На вкладке Сеть пространства для веб-аутентификации выберите подключения к частным конечным точкам.
  2. Щелкните значок Частная конечная точка.
  3. Выберите группу ресурсов для конечной точки, укажите имя, например web-auth-browser-auth-pe. Убедитесь, что регион соответствует рабочей области.
  4. Нажмите кнопку "Далее": ресурс.
  5. Задайте целевой подресурс на browser_authentication.
  6. Нажмите кнопку "Далее": виртуальная сеть.
  7. Выберите транзитную виртуальную сеть (ту же виртуальную сеть, используемую на шаге 2 для конечной databricks_ui_api точки).
  8. Выберите подсеть, в которую размещаются частные конечные точки.
  9. Нажмите Далее и убедитесь, что Интеграция с частной зоной DNS установлена на Да. Он должен автоматически выбрать privatelink.azuredatabricks.net зону.
  10. Завершите создание конечной точки.

Шаг 4. Настройка и проверка DNS

После развертывания частных конечных точек необходимо убедиться, что DNS правильно разрешает URL-адреса Azure Databricks на новые частные IP-адреса.

  1. Проверьте записи частной зоны DNS:
    1. На портале Azure найдите и перейдите в частную зону DNS с именем privatelink.azuredatabricks.net.
    2. Проверьте наличие следующих A записей и укажите частные IP-адреса конечных точек:
      1. Запись пользовательского интерфейса рабочей области или API:
        • Имя: уникальный идентификатор рабочей области, например adb-xxxxxxxxxxxxxxxx.x
        • Значение: приватный IP-адрес конечной точки приватной сети databricks_ui_api.
      2. Запись проверки подлинности браузера:
        • Имя: выберите описательное имя, например pl-auth.<your_region>.
        • Значение: приватный IP-адрес конечной точки приватной сети browser_authentication.

Шаг 5. Проверка доступа к частной сети

Убедитесь, что вы можете получить доступ к рабочей области через частное сетевое подключение.

Из подключенной сети

Если локальная сеть уже подключается к виртуальной сети Azure через VPN или ExpressRoute, тест прост:

  • На компьютере откройте веб-браузер и перейдите непосредственно в URL-адрес рабочей области Azure Databricks, чтобы войти в систему. Успешный вход подтверждает работоспособность вашего защищённого подключения.

Использование тестовой виртуальной машины

Если вы не можете получить доступ к виртуальной сети рабочей области из текущего расположения, создайте временную виртуальную машину (поле перехода) для тестирования:

  1. Создайте виртуальную машину: На портале Azure создайте виртуальную машину Windows. Разместите ее в подсеть, используя ту же транзитную виртуальную сеть, в которой вы настроили входящую частную конечную точку.
  2. Подключитесь к виртуальной машине: Используйте клиент удаленного рабочего стола для подключения к новой виртуальной машине.
  3. Тестирование из виртуальной машины: После подключения к виртуальной машине откройте веб-браузер, перейдите на портал Azure и найдите рабочую область Azure Databricks.
  4. Запустите рабочую область: Нажмите кнопку "Запустить рабочую область". Успешный вход подтверждает, что доступ внутри вашей частной виртуальной сети работает корректно.

Проверка DNS с помощью nslookup

  1. Подключитесь к виртуальной машине в настроенной виртуальной сети или локальной сети через VPN или Azure ExpressRoute. Ваш компьютер должен иметь возможность использовать частный DNS Azure.
  2. Откройте командную строку или терминал и используйте nslookup для проверки разрешения DNS.
# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Настраиваемая конфигурация DNS

При использовании частной входящей конечной точки с собственным пользовательским DNS необходимо убедиться, что URL-адрес рабочей области и URL-адреса Single Sign-On (единый вход) разрешаются правильно в IP-адрес частной конечной точки.

Самый надежный метод — настроить DNS-сервер для пересылки запросов для всех доменов Databricks во внутренний DNS Azure.

  1. Настройте условное перенаправление для следующих доменов на ваш DNS-сервер Azure:
    • *.azuredatabricks.net
    • *.privatelink.azuredatabricks.net
    • *.databricksapps.com
  2. Убедитесь, что виртуальная сеть ссылается на частную зону DNS Azure.

Это позволяет Azure автоматически определять все необходимые имена узлов, включая URL-адреса для единого входа и рабочей области, на IP-адрес вашей частной конечной точки.

Альтернатива: ручные A-записи

Если условное перенаправление не является параметром, необходимо вручную создать записи DNS A .

  1. URL-адрес рабочей области:A Создайте запись, сопоставляющую ваш URL-адрес рабочей области, например adb-1111111111111.15.azuredatabricks.net, к IP-адресу частной конечной точки.
  2. URL-адрес проверки подлинности единого входа:A Создайте сопоставление записей с URL-адресом регионального единого входа, например westus.pl-auth.azuredatabricks.netс тем же IP-адресом частной конечной точки.

В некоторых регионах Azure используется несколько экземпляров контрольной плоскости для единой аутентификации. Возможно, потребуется создать несколько A записей для проверки подлинности. Обратитесь к группе учетной записи Azure Databricks, чтобы получить полный список доменов для вашего региона.

Дальнейшие шаги

  • Last updated on