Поделиться через

Azure Private Link для Azure Data Factory

ПРИМЕНЯЕТСЯ К: Azure Data Factory Azure Synapse Analytics

Совет

Попробуйте Data Factory в Microsoft Fabric, универсальное аналитическое решение для предприятий. Microsoft Fabric охватывает все, от перемещения данных до обработки и анализа данных в режиме реального времени, бизнес-аналитики и отчетности. Узнайте, как бесплатно запустить новую пробную версию !

С помощью Приватного канала Azure можно подключаться к развертыванию различных платформ как служб (PaaS) в Azure через частную конечную точку. Частная конечная точка — это частный IP-адрес в определенной виртуальной сети и подсети. Список развертываний PaaS, поддерживающих функции Private Link, смотрите в документации по Private Link.

Защита обмена данными между сетями клиентов и Фабрикой данных

Виртуальную сеть Azure можно настроить как логическое представление сети в облаке. Такой подход дает следующие преимущества:

  • Вы можете защитить ресурсы Azure от атак в общедоступных сетях.
  • Вы позволяете сетям и фабрике данных безопасно взаимодействовать друг с другом.

Локальные сети можно также подключать к виртуальной сети. Настройте VPN-подключение по протоколу IPsec (подключение типа "сеть — сеть"). Можно также настроить подключение Azure ExpressRoute. Это частное пиринговое соединение.

Вы также можете установить локальную среду выполнения интеграции на локальном компьютере или в виртуальной машине в виртуальной сети. Это позволит вам:

  • выполнять действия копирования между облачными хранилищами данных и хранилищем данных в частной сети;
  • Распределять трансформационные задачи на вычислительные ресурсы в локальной сети или виртуальной сети Azure.

Между Фабрикой данных Azure и виртуальной сетью клиента требуется несколько коммуникационных каналов, как показано в следующей таблице.

Домен Порт Описание
adf.azure.com 443 Портал Data Factory необходим для разработки и мониторинга.
*.{region}.datafactory.azure.net 443 Необходим саморазмещенному компоненту интеграции для подключения к Data Factory.
*.servicebus.windows.net 443 Требуется локальной среде выполнения интеграции для интерактивной разработки.
download.microsoft.com 443 Требуется от самостоятельно размещенного IR для скачивания обновлений.

Примечание.

Отключение доступа к общедоступной сети применяется только к локальной среде выполнения интеграции, а не к среде выполнения интеграции Azure или среде выполнения интеграции SQL Server Integration Services.

Связь со службой "Фабрика данных" осуществляется с помощью Приватного канала и обеспечивает безопасную закрытую связь.

Схема, показывающая архитектуру Private Link для Data Factory.

Включение службы "Приватный канал" для каждого из предыдущих каналов связи обеспечивает следующие функциональные возможности.

  • Поддерживается:

    • Вы можете осуществлять разработку и мониторинг на портале Фабрики Данных в виртуальной сети, даже если вы блокируете весь исходящий трафик. Если вы создали частную конечную точку для портала, другие пользователи по-прежнему могут получить доступ к порталу фабрики данных через общедоступную сеть.
    • Командная связь между локальным средством интеграции и службой "Фабрика данных" может безопасно осуществляться в среде частной сети. Трафик между локальной средой IR и Фабрикой данных передается по приватному каналу.

  • В настоящее время не поддерживается:

    • Интерактивная разработка, в которой используется локальная среда выполнения (IR), например проверка подключения, просмотр списка папок и списка таблиц, получение схемы и предварительный просмотр данных, осуществляется через Private Link. Обратите внимание, что трафик проходит через приватную ссылку, если включена автономная интерактивная разработка. См. автономная интерактивная авторская работа.

    Примечание.

    Не поддерживается функция "Получить IP" и "Отправить лог", если включена автономная интерактивная разработка.

    • Новая версия среды выполнения интеграции, размещенной на собственном сервере, которую можно автоматически скачать из Центра загрузки Microsoft, если включено автоматическое обновление, не поддерживается в настоящее время.

    Для функций, которые в настоящее время не поддерживаются, необходимо настроить ранее упомянутый домен и порт в виртуальной сети или в корпоративном брандмауэре.

    Подключение к Фабрике данных через закрытую конечную точку применимо только к локальной среде выполнения интеграции в фабрике данных. Эта функция не поддерживается в Azure Synapse Analytics.

Предупреждение

Если вы включаете Private Link в Data Factory и одновременно блокируете общий доступ, следует хранить свои учетные данные в Azure Key Vault, чтобы обеспечить их безопасность.

Настройка частной конечной точки для обмена данными между локальной средой выполнения интеграции и Фабрикой данных

В этом разделе описывается, как настроить частную конечную точку для обмена данными между локальной интеграционной средой выполнения и Фабрикой данных.

Частная конечная точка создается в виртуальной сети для обмена данными между локальной средой выполнения интеграции и службой Фабрики данных. Следуйте шагам в разделе "Настройка ссылки частной конечной точки для Data Factory".

Убедитесь, что конфигурация DNS правильна

Следуйте инструкциям в изменениях DNS для частных конечных точек, чтобы проверить или настроить параметры DNS.

Добавьте полные доменные имена Azure Relay и центра загрузки в список разрешений брандмауэра

Если локальная среда выполнения интеграции установлена на виртуальной машине в виртуальной сети, разрешите исходящий трафик к указанным ниже полным доменным именам в NSG виртуальной сети.

Если ваш локально развернутый службы интеграции (IR) установлен на компьютере в локальной среде, разрешите исходящий трафик к нижеприведенным полным доменным именам в брандмауэре вашей локальной среды и в NSG виртуальной сети.

Домен Порт Описание
*.servicebus.windows.net 443 Требуется локальной среде выполнения интеграции для интерактивной разработки
download.microsoft.com 443 Требуется самостоятельно размещенному IR для загрузки обновлений

Если вы не разрешаете предшествующий исходящий трафик в брандмауэре и группе безопасности сети, самостоятельно размещённый IR отображается с ограниченным состоянием. Но вы по-прежнему можете использовать ее для выполнения действий. Не работают только интерактивная разработка и автоматическое обновление.

Примечание.

Если одна фабрика данных (общая) имеет локальную среду IR, и эту локальную среду IR используют также другие фабрики данных (связанные), необходимо создать частную конечную точку для общей фабрики данных. Другие связанные центры обработки данных могут использовать эту частную ссылку для обмена данными между установленным локально IR и Фабрикой данных.

Примечание.

В настоящее время мы не поддерживаем создание частной связи между локальной средой выполнения интеграции и рабочей областью Synapse Analytics. И локальная среда выполнения интеграции по-прежнему может взаимодействовать с Synapse, даже если защита от кражи данных включена в рабочей области Synapse.

Изменения DNS для частных конечных точек

При создании частной конечной точки запись ресурса DNS CNAME для фабрики данных обновляется на псевдоним в поддомене с префиксом privatelink. По умолчанию мы также создадим частную зону DNS, соответствующую поддомену приватного канала , с записями ресурсов DNS A для частных конечных точек.

Когда вы пытаетесь разрешить URL-адрес конечной точки фабрики данных из внешней сети с использованием частной конечной точки, он разрешается в общедоступную конечную точку службы Фабрики данных. Если разрешение выполняется из виртуальной сети, в которой размещается эта конечная точка, то к качестве URL-адреса конечной точки Azure Purview используется IP-адрес частной конечной точки.

В приведенном выше примере записи ресурсов DNS для Фабрики данных DataFactoryA при разрешении вне виртуальной сети, в которой размещается частная конечная точка, будут следующими:

Имя. Тип значение
ДатаФабричА. {регион}.datafactory.azure.net CNAME < Общедоступная конечная точка Фабрики данных >
< Общедоступная конечная точка Фабрики данных > а < Общедоступный IP-адрес Фабрики данных >

Записи ресурсов DNS для DataFactoryA (если они разрешаются в виртуальной сети, в которой размещена частная конечная точка) будут следующими:

Имя. Тип значение
ДатаФабричА. {регион}.datafactory.azure.net CNAME ДатаФабричА. {регион}.privatelink.datafactory.azure.net
ДатаФабричА. {регион}.privatelink.datafactory.azure.net а < IP-адрес частной конечной точки >

При использовании пользовательского DNS-сервера в сети клиенты должны иметь возможность разрешить полное доменное имя для конечной точки фабрики данных в IP-адрес частной конечной точки. Необходимо настроить DNS-сервер для делегирования поддомена Private Link в частную DNS-зону для виртуальной сети. Можно также настроить A-записи для DataFactoryA.{region}.datafactory.azure.net, указав IP-адрес частного конечного узла.

Примечание.

В настоящее время существует только одна конечная точка портала Фабрики данных, поэтому для портала в зоне DNS существует только одна частная конечная точка. При попытке создать вторую или последующую частную конечную точку портала ранее созданная частная запись DNS для портала будет перезаписана.

В этом разделе вы настроите ссылку для частной конечной точки для Data Factory.

Вы можете выбрать, следует ли подключить локальную среду IR к фабрике данных, выбрав общедоступную конечную точку или частную конечную точку на этапе создания фабрики данных, показанную здесь:

Снимок экрана: блокировка общедоступного доступа к локальной среде IR.

Выбор можно изменить в любое время после создания на странице портала фабрики данных на панели "Сеть ". После включения частной конечной точки необходимо также добавить частную конечную точку в фабрику данных.

Для частной конечной точки требуется виртуальная сеть и подсеть для канала. В данном примере виртуальная машина внутри подсети используется для запуска саморазмещенного IR, подключаясь через приватную конечную точку.

Создание виртуальной сети

При отсутствии виртуальной сети, которую можно использовать с вашей частной конечной точкой, необходимо создать ее и назначить ей подсеть.

  1. Войдите на портал Azure.

  2. В левом верхнем углу экрана выберите "Создать ресурс>Сетевые возможности>Виртуальная сеть, или найдите Виртуальная сеть в строке поиска.

  3. В разделе "Создание виртуальной сети" введите или выберите эту информацию на вкладке "Основные сведения ":

    Настройка Ценность
    Сведения о проекте
    Подписка Выберите свою подписку Azure.
    Группа ресурсов Выберите группу ресурсов для виртуальной сети.
    Сведения об экземпляре
    Имя. Укажите имя виртуальной сети.
    Область/регион Важный: Выберите тот же регион, который использует частная конечная точка.

  4. Перейдите на вкладку "IP-адреса" или нажмите кнопку "Далее": IP-адреса в нижней части страницы.

  5. На вкладке IP-адресов введите следующие сведения:

    Настройки значение
    Диапазон IPv4-адресов Введите 10.1.0.0/16.

  6. В разделе "Имя подсети" выберите слово по умолчанию.

  7. В разделе "Изменить подсеть" введите следующие сведения:

    Настройки значение
    Имя подсети Укажите имя своей подсети.
    Диапазон адресов подсети Введите 10.1.0.0/24.

  8. Нажмите кнопку "Сохранить".

  9. Выберите вкладку "Просмотр и создание" или нажмите кнопку "Просмотр и создание".

  10. Нажмите кнопку "Создать".

Создание виртуальной машины для локальной среды IR

Необходимо также создать или назначить существующую виртуальную машину для запуска самостоятельно размещаемой службы интеграции в новой подсети, созданной на предыдущих этапах.

  1. В левом верхнем углу портала выберите Создать ресурс>Вычисления>Виртуальная машина или найдите Виртуальная машина в поле поиска.

  2. В разделе "Создание виртуальной машины" введите или выберите значения на вкладке "Основные сведения ":

    Настройки значение
    Сведения о проекте
    Подписка Выберите свою подписку Azure.
    Группа ресурсов Выберите группу ресурсов.
    Сведения об экземпляре
    Имя виртуальной машины Введите имя виртуальной машины.
    Область/регион Выберите регион, используемый для виртуальной сети.
    Параметры доступности Выберите "Не требуется избыточность инфраструктуры".
    Изображение Выберите Windows Server 2019 Datacenter — 1-го поколения или любой другой образ Windows, поддерживающий самостоятельно размещаемый Интерфейс Работы (IR).
    Спотовый экземпляр Azure Нажмите кнопку "Нет".
    Размер Выберите размер виртуальной машины или используйте значение по умолчанию.
    Учетная запись администратора
    Имя пользователя Введите имя пользователя.
    Пароль Введите пароль.
    Подтверждение пароля Повторно введите пароль.

  3. Перейдите на вкладку "Сеть" или нажмите кнопку "Далее: Диски">"Далее: Сеть".

  4. На вкладке "Сеть" выберите или введите:

    Настройки значение
    Сетевой интерфейс
    Виртуальная сеть Выберите созданную ранее виртуальную сеть.
    Подсеть Выберите созданную подсеть.
    Общедоступный IP-адрес Выберите "Нет".
    Группа безопасности сети сетевого адаптера Базовый.
    Общедоступные входящие порты Выберите "Нет".

  5. Выберите "Рецензирование и создание".

  6. Просмотрите параметры и нажмите кнопку "Создать".

Примечание.

Azure предоставляет IP-адрес исходящего доступа по умолчанию для виртуальных машин, которые либо не назначены общедоступным IP-адресом, либо находятся в серверном пуле внутренней подсистемы балансировки нагрузки Azure. Механизм IP-адреса исходящего трафика по умолчанию предоставляет исходящий IP-адрес, который нельзя настроить.

IP-адрес исходящего доступа по умолчанию отключен при возникновении одного из следующих событий:

  • Общедоступный IP-адрес назначается виртуальной машине.
  • Виртуальная машина размещается в серверном пуле стандартной подсистемы балансировки нагрузки с правилами исходящего трафика или без нее.
  • Ресурс шлюза NAT Azure назначается подсети виртуальной машины.

Виртуальные машины, созданные с помощью масштабируемых наборов виртуальных машин в гибком режиме оркестрации, не имеют исходящего доступа по умолчанию.

Дополнительные сведения об исходящих подключениях в Azure см. в статье об исходящем доступе по умолчанию в Azure и использовании преобразования исходящих сетевых адресов (SNAT) для исходящих подключений.

Создание частной конечной точки

В последнюю очередь необходимо создать частную конечную точку в Data Factory.

  1. На странице портала Azure для фабрики данных выберите>сетевые подключения к частной конечной точке , а затем выберите +Частная конечная точка.

    Снимок экрана: панель подключений к частной конечной точке, используемая для создания частной конечной точки.

  2. На вкладке "Основы" для создания частной конечной точки введите или выберите следующие сведения:

    Настройки значение
    Сведения о проекте
    Подписка Выберите свою подписку.
    Группа ресурсов Выберите группу ресурсов.
    Сведения об экземпляре
    Имя. Введите имя конечной точки.
    Область/регион Выберите регион виртуальной сети, созданной в предыдущем шаге.

  3. Выберите вкладку "Ресурс" или кнопку "Далее" в нижней части экрана.

  4. В поле "Ресурс" введите или выберите следующие сведения:

    Настройки значение
    Способ подключения Выберите "Подключиться к ресурсу Azure" в моем каталоге.
    Подписка Выберите свою подписку.
    Тип ресурса Выберите Microsoft.Datafactory/factories.
    Ресурс Выберите вашу фабрику данных.
    Целевой подресурс Если вы хотите использовать частную конечную точку для обмена данными между локальной средой IR и фабрикой данных, выберите объект datafactory в качестве целевого подресурса. Если вы хотите использовать частную конечную точку для разработки и мониторинга фабрики данных в виртуальной сети, выберите портал в качестве целевого подресурса.

  5. Выберите вкладку "Конфигурация" или кнопку "Далее" в нижней части экрана.

  6. В разделе "Конфигурация" введите или выберите следующие сведения:

    Настройки значение
    Сети
    Виртуальная сеть Выберите созданную ранее виртуальную сеть.
    Подсеть Выберите созданную подсеть.
    Частная интеграция DNS
    Интегрировать с частной зоной DNS Оставьте значение по умолчанию "Да".
    Подписка Выберите свою подписку.
    Частные зоны DNS Оставьте значение по умолчанию в обоих подресурсах Target: 1. datafactory: (Новое) privatelink.datafactory.azure.net. 2. портал: (Новое) privatelink.adf.azure.com.

  7. Выберите "Рецензирование и создание".

  8. Нажмите кнопку "Создать".

Если вы хотите ограничить доступ к ресурсам Фабрики данных в подписках по приватному каналу, выполните действия на портале, описанные в используйте портал для создания приватной ссылки для управления ресурсами в Azure.

Известная проблема

Невозможно получить доступ к ресурсу PaaS, если обе стороны имеют доступ к приватному каналу и частной конечной точке. Это известное ограничение Private Link и частных конечных точек.

Например, клиент A использует приватную ссылку для доступа к порталу фабрики данных A в виртуальной сети A. Если фабрика данных A не блокирует общедоступный доступ, клиент B может получить доступ к порталу фабрики данных A в виртуальной сети B через общедоступную сеть. Но если клиент Б создает частную конечную точку для фабрики данных Б в виртуальной сети Б, клиент Б больше не может получить доступ к фабрике данных A через общедоступную сеть в виртуальной сети Б.

Связанный контент