Стандартный метод внедрения виртуальной сети

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

При использовании SQL Server Integration Services (SSIS) в Фабрике данных Azure или конвейерах Synapse среду выполнения интеграции (IR) Azure-SSIS можно присоединить к виртуальной сети двумя способами: стандартным и ускоренным. При использовании стандартного метода необходимо настроить виртуальную сеть в соответствии со следующими требованиями:

• Убедитесь в том, что Microsoft.Batch зарегистрирован как поставщик ресурсов в подписке Azure, которая использует виртуальную сеть для подключения вашей среды Azure-SSIS IR. Подробные инструкции см. в разделе Регистрация пакетной службы Azure в качестве поставщика ресурсов.

• Убедитесь в том, что пользователю, создающему среду Azure-SSIS IR, предоставлены необходимые разрешения управления доступом на основе ролей (RBAC) для присоединения к виртуальной сети или подсети. Дополнительные сведения см. в разделе Выбор разрешений для виртуальной сети ниже.

• Выберите подходящую подсеть в виртуальной сети, к которой будет присоединена среда Azure-SSIS IR. Дополнительные сведения см. в разделе Выбор подсети ниже.

В зависимости от конкретного сценария можно также настроить следующее.

• Если вы хотите использовать собственные статические общедоступные IP-адреса (BYOIP) для исходящего трафика среды Azure-SSIS IR, см. раздел Настройка статических общедоступных IP-адресов ниже.

• Если вы хотите использовать собственный сервер службы доменных имен (DNS) в виртуальной сети, см. раздел Настройка пользовательского DNS-сервера ниже.

• Если вы хотите использовать группу безопасности сети (NSG) для ограничения входящего и исходящего трафика в подсети, см. раздел Настройка группы безопасности сети ниже.

• Если вы хотите использовать определяемые пользователем маршруты (UDR) для аудита и проверки исходящего трафика, см. раздел Настройка определяемых пользователем маршрутов ниже.

• У группы ресурсов виртуальной сети (или группы ресурсов общедоступных IP-адресов, если вы их используете) должна быть возможность создавать и удалять определенные сетевые ресурсы Azure. Дополнительные сведения см. в разделе Настройка соответствующей группы ресурсов.

• Если вы настраиваете среду Azure-SSIS IR, как описано в статье о выборочной установке среды Azure-SSIS IR, наш внутренний процесс управления узлами будет использовать частные IP-адреса из предопределенного диапазона 172.16.0.0–172.31.255.255. Поэтому убедитесь в том, что диапазоны частных IP-адресов ваших виртуальных или локальных сетей не конфликтуют с этим диапазоном.

Ниже приведена схема, на которой показаны необходимые подключения для Azure-SSIS IR:

Выбор разрешений для виртуальной сети

Чтобы обеспечить стандартное внедрение в виртуальную сеть, пользователю, создающему среду Azure-SSIS IR, необходимо предоставить разрешения RBAC на присоединение к виртуальной сети или подсети.

• Если вы присоединяете среду Azure-SSIS IR к виртуальной сети Azure Resource Manager, есть два варианта:

  • Использовать встроенную роль Сетевой участник. Эта роль предоставляет разрешение Microsoft.Network/*, область применения которого намного шире, чем требуется для этой задачи.

  • Создайте настраиваемую роль, которая включает только необходимое разрешение Microsoft.Network/virtualNetworks/*/join/action. Если вы хотите также использовать собственные статические общедоступные IP-адреса для среды Azure-SSIS IR при присоединении ее к виртуальной сети Azure Resource Manager, то включите в роль разрешение Microsoft.Network/publicIPAddresses/*/join/action.

  • Подробные инструкции см. в разделе Предоставление разрешений для виртуальной сети.

• Если вы присоединяете Azure-SSIS IR к классической виртуальной сети, мы рекомендуем использовать встроенную роль Участник классических виртуальных машин. В противном случае нужно будет создать настраиваемую роль, которая включает разрешение на присоединение к виртуальной сети. Необходимо также назначить MicrosoftAzureBatch для этой встроенной или настраиваемой роли.

Выберите подсеть

Чтобы включить стандартную интеграцию с виртуальной сетью, необходимо выбрать подходящую подсеть для присоединения Azure-SSIS IR.

• Не выбирайте GatewaySubnet, так как он предназначен для шлюзов виртуальных сетей.

• В выбранной подсети должно быть как минимум вдвое больше доступных IP-адресов, чем узлов Azure-SSIS IR. Это необходимо для предотвращения сбоев при развертывании исправлений и обновлений для Azure-SSIS IR. Кроме того, Azure резервирует некоторые IP-адреса в каждой подсети, так что они недоступны для использования. Первый и последний IP-адреса резервируются для соответствия требованиям протокола и еще три адреса — для служб Azure. Дополнительные сведения см. в разделе Ограничения на использование IP-адресов подсети.

• Не используйте подсеть, которая монопольно используется другими службами Azure (например, Управляемым экземпляром SQL Azure, Службой приложений и т. д.).

Настройка статических общедоступных IP-адресов

Если вы хотите использовать собственные статические общедоступные IP-адреса для исходящего трафика среды Azure-SSIS IR, присоединяемой к виртуальной сети, чтобы разрешить их в брандмауэрах, убедитесь в том, что они соответствуют указанным ниже требованиям.

• Необходимо указать ровно два неиспользуемых адреса, которые еще не связаны с другими ресурсами Azure. Дополнительный экземпляр будет использоваться при периодическом обновлении вашего Azure-SSIS IR. Обратите внимание, что один общедоступный IP-адрес не может быть общим для нескольких активных сред Azure-SSIS IR.

• Оба должны быть статическими и стандартного типа. Дополнительные сведения см. в разделе Номера SKU общедоступного IP-адреса.

• Обоим адресам должно соответствовать DNS-имя. Если вы не указали DNS-имя при создании адресов, это можно сделать на портале Azure.

  

• Они и виртуальная сеть должны находиться в одной подписке и в одном регионе.

Настройка пользовательского DNS-сервера

Если вы хотите использовать DNS-сервер в виртуальной сети для разрешения частных имен узлов, сделайте так, чтобы этот сервер также мог разрешать глобальные имена узлов Azure (например, хранилище BLOB-объектов Azure с именем <your storage account>.blob.core.windows).

Рекомендуется настроить собственный DNS-сервер для пересылки неразрешенных DNS-запросов на IP-адрес рекурсивных сопоставителей Azure (168.63.129.16).

Дополнительные сведения см. в разделе Разрешение имен DNS-сервером.

Настройка группы безопасности сети

Если вы хотите использовать группу безопасности сети (NSG) в подсети, к которой присоединена среда Azure-SSIS IR, разрешите следующий входящий и исходящий трафик:

Настройка определяемых пользователем маршрутов

Если вы хотите проводить аудит или проверку исходящего трафика из Azure-SSIS IR, можно использовать определяемые пользователем маршруты (UDR), чтобы перенаправлять его на локальное устройство брандмауэра с помощью принудительного туннелирования Azure ExpressRoute, который объявляет маршрут BGP 0.0.0.0/0 в виртуальную сеть, на сетевой виртуальный модуль (NVA) в качестве брандмауэра или в службу Брандмауэра Azure.

Для этого должны быть выполнены приведенные ниже условия.

• Трафик между службой управления пакетной службой Azure и средой Azure-SSIS IR не может маршрутизироваться на устройство или в службу брандмауэра.

• Устройство или служба брандмауэра должны разрешать исходящий трафик, необходимый для Azure-SSIS IR.

Если трафик между службой управления пакетной службой Azure и средой Azure-SSIS IR маршрутизируется на устройство или в службу брандмауэра, он нарушается из-за проблемы с асимметричной маршрутизацией. Маршруты, настраиваемые пользователем, должны быть определены для этого трафика, чтобы он мог проходить через те же маршруты, по которым поступил. Вы можете настроить определяемые пользователем маршруты для маршрутизации трафика между службой управления пакетной службой Azure и средой Azure-SSIS IR с типом следующей пересылки как Интернет.

Например, если среда Azure-SSIS IR расположена в южной части Соединенного Королевства и вы хотите проверять исходящий трафик через Брандмауэр Azure, сначала можно получить диапазоны IP-адресов с тегом службы BatchNodeManagement.UKSouth по ссылке для скачивания диапазонов IP-адресов тега службы или через интерфейс API обнаружения тегов служб. Затем настройте указанные ниже UDR для диапазонов IP-адресов с типом следующего перехода Интернет и маршрута 0.0.0.0/0 с типом следующего перехода Виртуальное устройство.

Чтобы добавить определяемые пользователем маршруты (UDR) для управления службой Azure Batch, выполните следующий скрипт PowerShell:

$Location = "[location of your Azure-SSIS IR]"
$RouteTableResourceGroupName = "[name of Azure resource group that contains your route table]"
$RouteTableResourceName = "[resource name of your route table]"
$RouteTable = Get-AzRouteTable -ResourceGroupName $RouteTableResourceGroupName -Name $RouteTableResourceName
$ServiceTags = Get-AzNetworkServiceTag -Location $Location
$BatchServiceTagName = "BatchNodeManagement." + $Location
$UdrRulePrefixForBatch = $BatchServiceTagName
if ($ServiceTags -ne $null)
{
    $BatchIPRanges = $ServiceTags.Values | Where-Object { $_.Name -ieq $BatchServiceTagName }
    if ($BatchIPRanges -ne $null)
    {
        Write-Host "Start adding UDRs to your route table..."
        for ($i = 0; $i -lt $BatchIPRanges.Properties.AddressPrefixes.Count; $i++)
        {
            $UdrRuleName = "$($UdrRulePrefixForBatch)_$($i)"
            Add-AzRouteConfig -Name $UdrRuleName `
                -AddressPrefix $BatchIPRanges.Properties.AddressPrefixes[$i] `
                -NextHopType "Internet" `
                -RouteTable $RouteTable `
                | Out-Null
            Write-Host "Add $UdrRuleName to your route table..."
        }
        Set-AzRouteTable -RouteTable $RouteTable
    }
}
else
{
    Write-Host "Failed to fetch Azure service tag, please confirm that your location is valid."
}

Следуя указаниям в разделе Настройка группы безопасности сети выше, необходимо реализовать аналогичные правила на устройстве или в службе брандмауэра, чтобы разрешить исходящий трафик из Azure-SSIS IR.

• При использовании Брандмауэра Azure:

  • Необходимо открыть порт 443 для исходящего трафика TCP с тегом службы AzureCloud в качестве назначения.

  • При использовании сервера или Управляемого экземпляра Базы данных SQL Azure для размещения SSISDB необходимо открыть порты 1433, 11000–11999 для исходящего трафика TCP с тегом службы SQL/VirtualNetwork в качестве назначения.

  • Если вы используете хранилище BLOB Azure для хранения стандартных скриптов и файлов настройки, необходимо открыть порт 443 для исходящего трафика TCP, указав тег службы Storage/VirtualNetwork в качестве назначения.

  • Если необходим доступ к службе "Файлы Azure", следует открыть порт 445 для исходящего трафика TCP с тегом службы Storage/VirtualNetwork в качестве назначения.

• При использовании другого устройства или службы брандмауэра:

  • Необходимо открыть порт 443 для исходящего трафика TCP с адресом 0.0.0.0/0 или указанными ниже полными доменными именами среды Azure в качестве назначения.

    Среда Azure	Полное доменное имя
    Общедоступная служба Azure	Фабрика данных Azure (управление) *.frontend.clouddatahub.net Узел пакетной службы Azure (управление) BatchNodeManagement.<регион> Служба хранилища Azure (управление) *.blob.core.windows.net *.table.core.windows.net Реестр контейнеров Azure (Выборочная установка) *.azurecr.io Центры событий (логирование) *.servicebus.windows.net Служба ведения журнала Майкрософт (для внутреннего использования) gcs.prod.monitoring.core.windows.net prod.warmpath.msftcloudes.com azurewatsonanalysis-prod.core.windows.net
    Azure для государственных организаций	Фабрика данных Azure (управление) *.frontend.datamovement.azure.us Узел пакетной службы Azure (управление) BatchNodeManagement.<регион> Служба хранилища Azure (управление) *.blob.core.usgovcloudapi.net *.table.core.usgovcloudapi.net Реестр контейнеров Azure (Выборочная установка) *.azurecr.us Центры событий (ведение журнала) *.servicebus.usgovcloudapi.net Служба ведения журнала Майкрософт (для внутреннего использования) fairfax.warmpath.usgovcloudapi.net azurewatsonanalysis.usgovcloudapp.net
    Microsoft Azure, управляемый 21Vianet	Фабрика данных Azure (управление) *.frontend.datamovement.azure.cn Узел пакетной службы Azure (управление) BatchNodeManagement.<регион> Служба хранилища Azure (управление) *.blob.core.chinacloudapi.cn *.table.core.chinacloudapi.cn Реестр контейнеров Azure (Выборочная установка) *.azurecr.cn Центры событий (ведение журнала) *.servicebus.chinacloudapi.cn Служба ведения журнала Майкрософт (для внутреннего использования) mooncake.warmpath.chinacloudapi.cn azurewatsonanalysis.chinacloudapp.cn

  • Если вы используете сервер или Управляемый экземпляр Базы данных SQL Azure для размещения SSISDB, необходимо открыть порты 1433, 11000–11999 для исходящего трафика TCP с адресом 0.0.0.0/0 или полным доменным именем сервера либо Управляемого экземпляра Базы данных SQL Azure в качестве назначения.

  • Если вы используете контейнер BLOB-объектов службы хранилища Azure для хранения стандартных скриптов и файлов выборочной установки, необходимо открыть порт 443 для исходящего трафика TCP с адресом 0.0.0.0/0 или полным доменным именем Хранилища BLOB-объектов Azure в качестве назначения.

  • Если вам необходим доступ к службе "Файлы Azure", следует открыть порт 445 для исходящего трафика TCP с адресом 0.0.0.0/0 или полным доменным именем службы "Файлы Azure" в качестве назначения.

• Если вы настраиваете конечную точку службы виртуальной сети для Azure Storage/Container Registry/Event Hubs/SQL, включив ресурсы Microsoft.Storage/Microsoft.ContainerRegistry/Microsoft.EventHub/Microsoft.Sql в вашей подсети, весь трафик между вашим Azure-SSIS IR и этими службами в одном регионе или в связанных регионах будет перенаправляться через базовую сеть Azure, а не через ваше устройство или службу брандмауэра.

• Необходимо открыть порт 80 для исходящего трафика TCP с следующими сайтами загрузки списка отзыва сертификатов в качестве назначения:

  • crl.microsoft.com:80
  • mscrl.microsoft.com:80
  • crl3.digicert.com:80
  • crl4.digicert.com:80
  • ocsp.digicert.com:80
  • cacerts.digicert.com:80

  При использовании сертификатов с разными списками отзыва сертификатов следует также добавить их сайты скачивания в качестве назначения. Дополнительные сведения см. в статье Список отзыва сертификатов.

  Если вы запретите этот трафик, вы можете столкнуться со снижением производительности при запуске Azure-SSIS IR и утратить возможность проверки списков отзыва сертификатов при использовании сертификатов, чего не рекомендуется делать с точки зрения безопасности.

Если проводить аудит или проверку исходящего трафика из Azure-SSIS IR не нужно, можно использовать определяемые пользователем маршруты, чтобы принудительно маршрутизировать весь трафик с типом следующего прыжка Интернет.

• При использовании Azure ExpressRoute можно настроить пользовательский маршрут для 0.0.0.0/0 в вашей подсети с типом следующего перехода Интернет.

• При использовании сетевого виртуального адаптера можно изменить существующий определяемый пользователем маршрут для маршрута 0.0.0.0/0 в подсети, чтобы сменить тип следующего прыжка с Виртуальный модуль на Интернет.

Настройка соответствующей группы ресурсов

Чтобы обеспечить стандартное внедрение в виртуальную сеть, в среде Azure-SSIS IR необходимо создать определенные сетевые ресурсы в той же группе ресурсов, к которой относится виртуальная сеть. К этим ресурсам относятся:

• балансировщик нагрузки Azure с именем <Guid>-azurebatch-cloudserviceloadbalancer.
• общедоступный IP-адрес Azure с именем <Guid>-azurebatch-cloudservicepublicip;
• Группа безопасности сети (NSG) с именем <Guid>-azurebatch-cloudservicenetworksecuritygroup.

Эти ресурсы будут созданы при запуске Azure-SSIS IR. Они будут удалены после остановки Azure-SSIS IR. Если вы используете собственные статические общедоступные IP-адреса для Azure-SSIS IR, они не будут удалены при остановке Azure-SSIS IR. Чтобы предотвратить блокировку или остановку Azure-SSIS IR, не используйте эти ресурсы для других целей.

Убедитесь в отсутствии блокировки ресурсов в группе ресурсов и подписке, к которым принадлежат виртуальная сеть и ваши статические общедоступные IP-адреса. Если вы настроили блокировку только для чтения или удаления, запуск и остановка среды Azure-SSIS IR завершатся ошибкой или она перестанет отвечать на запросы.

Убедитесь в том, что у вас нет назначения Политики Azure, запрещающей создавать следующие ресурсы в группе ресурсов и подписке, к которым принадлежат виртуальная сеть и ваши статические общедоступные IP-адреса:

• Microsoft.Network/LoadBalancers
• Microsoft.Network/NetworkSecurityGroups
• Microsoft.Network/PublicIPAddresses

Убедитесь в том, что квота ресурсов для вашей подписки достаточна для этих ресурсов. В частности, для каждой среды Azure-SSIS IR, создаваемой в виртуальной сети, необходимо зарезервировать вдвое больше этих ресурсов, так как при периодическом обновлении Azure-SSIS IR будут использоваться дополнительные ресурсы.

Вопросы и ответы

• Как защитить общедоступный IP-адрес, открытый в моей среде Azure-SSIS IR для входящих подключений? Можно ли удалить общедоступный IP-адрес?

  В настоящее время общедоступный IP-адрес создается автоматически, когда Azure-SSIS IR присоединяется к виртуальной сети. У нас есть группа безопасности сети уровня сетевого адаптера, разрешающая входящие подключения к Azure-SSIS IR только службе управления пакетной службой Azure. Вы также можете указать NSG уровня подсети для защиты входящего трафика.

  Если вы не хотите открывать общедоступный IP-адрес, вместо присоединения Azure-SSIS IR к виртуальной сети можно настроить локальную среду IR в качестве прокси для вашей среды Azure-SSIS IR.

• Можно ли добавить общедоступный IP-адрес своей среды Azure-SSIS IR в список разрешений брандмауэра для своих источников данных?

  Теперь вы можете использовать собственные статические общедоступные IP-адреса для среды Azure-SSIS IR. В этом случае вы можете добавить свои IP-адреса в список разрешений брандмауэра для своих источников данных. Вы также можете воспользоваться другими вариантами, позволяющими защитить доступ к данным из Azure-SSIS IR в зависимости от вашего сценария.

  • Если ваш источник данных локальный, после подключения виртуальной сети к локальной сети и присоединения Azure-SSIS IR к подсети виртуальной сети вы можете добавить диапазон частных IP-адресов этой подсети в список разрешений брандмауэра для своего источника данных.

  • Если вашим источником данных является служба Azure, которая поддерживает конечные точки службы для виртуальной сети, можно настроить конечную точку службы для виртуальной сети в подсети виртуальной сети и присоединить Azure-SSIS IR к этой подсети. Затем можно добавить правило виртуальной сети с этой подсетью в брандмауэр для своего источника данных.

  • Если вашим источником данных является облачная служба, не входящая в состав Azure, вы можете с помощью определяемого пользователем маршрута (UDR) маршрутизировать исходящий трафик из среды Azure-SSIS IR на статический общедоступный IP-адрес через сетевой виртуальный модуль (NVA) или брандмауэр Azure. Затем можно добавить статический общедоступный IP-адрес сетевого виртуального модуля или Брандмауэра Azure в список разрешений брандмауэра для вашего источника данных.

  • Если ни один из указанных вариантов вам не подходит, можно настроить локальную среду IR в качестве прокси для среды Azure-SSIS IR. Затем можно добавить статический общедоступный IP-адрес компьютера, на котором размещена локальная среда IR, в список разрешений брандмауэра для источника данных.

• Зачем нужно предоставлять два статических общедоступных адреса, если я хочу использовать для Azure-SSIS IR собственные адреса?

  Azure-SSIS IR автоматически обновляется на регулярной основе. Во время обновления создаются новые узлы, а старые удаляются. Однако во избежание простоя старые узлы не удаляются, пока новые не будут готовы. Поэтому ваш первый статический общедоступный IP-адрес, используемый старыми узлами, не освобождается немедленно, и для создания новых узлов нам нужен второй статический адрес.

• Я использую собственные статические общедоступные IP-адреса для среды Azure-SSIS IR, но почему у нее по-прежнему нет доступа к моим источникам данных?

  Убедитесь в том, что два статических общедоступных IP-адреса добавлены в список разрешений брандмауэра для ваших источников данных. При каждом обновлении вашей среды Azure-SSIS IR ее статический общедоступный IP-адрес меняется с одного из двух, предоставленных вами, на другой. Если добавить в список разрешений только один из них, доступ к данным для среды Azure-SSIS IR после обновления будет нарушен.

  Если вашим источником данных является служба Azure, проверьте, настроена ли она с конечными точками службы для виртуальной сети. В этом случае трафик из среды Azure-SSIS IR к вашему источнику данных будет переключаться на частные IP-адреса, управляемые службами Azure, и добавление собственных статических общедоступных IP-адресов в список разрешений брандмауэра для источника данных не возымеет никакого эффекта.

Связанный контент

• Присоединение Azure-SSIS IR к виртуальной сети через интерфейс Azure Data Factory
• Присоединение Azure-SSIS IR к виртуальной сети с помощью Azure PowerShell

Дополнительные сведения о среде выполнения Azure-SSIS IR см. в следующих статьях:

• Azure-SSIS IR. В этой статье содержатся общие базовые сведения о средах выполнения интеграции, включая Azure-SSIS IR.
• Руководство: развертывание пакетов SSIS в Azure. Это руководство содержит пошаговые инструкции для создания среды Azure-SSIS IR. В нем для размещения SSISDB используется сервер Базы данных SQL Azure.
• Создание Azure-SSIS IR. Эта статья дополняет собой руководство. В ней приводятся инструкции по использованию сервера Базы данных SQL Azure, настроенного с конечной точкой службы для виртуальной сети, правилом брандмауэра для IP-адресов или частной конечной точкой, либо использованию Управляемого экземпляра SQL Azure, который присоединяется к виртуальной сети для размещения SSISDB. В статье объясняется, как присоединить Azure-SSIS IR к виртуальной сети.
• Мониторинг среды выполнения Azure-SSIS IR. Из этой статьи вы узнаете, как получать и интерпретировать информацию об Azure-SSIS IR.
• Manage an Azure-SSIS integration runtime (Управление средой выполнения интеграции Azure SSIS). В этой статье поясняется, как остановить, запустить и удалить Azure-SSIS IR. В ней также показано, как масштабировать Azure-SSIS IR, добавляя новые узлы.