управляемая виртуальная сеть Фабрики данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье рассматриваются управляемая виртуальная сеть и управляемые частные конечные точки в Фабрике данных Azure.

Управляемая виртуальная сеть

При создании среды выполнения интеграции Azure в управляемой виртуальной сети Фабрики данных подготавливается среда выполнения интеграции с управляемой виртуальной сетью. В ней используются частные конечные точки для безопасного подключения к поддерживаемым хранилищам данных.

Создание среды выполнения интеграции в управляемой виртуальной сети обеспечивает изолированность и безопасность процесса интеграции данных.

Преимущества использования управляемой виртуальной сети:

• Благодаря управляемой виртуальной сети можно перенести нагрузку, связанную с управлением виртуальной сетью, в Фабрику данных. Вам не нужно создавать подсеть для среды выполнения интеграции, которая в конечном итоге могла бы использовать множество частных IP-адресов из вашей виртуальной сети и потребовала бы предварительного планирования сетевой инфраструктуры.
• Для безопасной интеграции данных не требуются глубокие знания о сетях Azure. Наоборот, инженерам данных значительно проще приступить к извлечению, преобразованию и загрузке данных с учетом всех требований к безопасности.
• Управляемая виртуальная сеть вместе с управляемыми частными конечными точками обеспечивает защиту от кражи данных.

В настоящее время управляемая виртуальная сеть поддерживается только в регионе Фабрики данных.

Включить управляемую виртуальную сеть в фабрике данных можно двумя способами:

1. во время создания фабрики данных;

2. в среде выполнения интеграции.

Управляемые частные конечные точки

Управляемые частные конечные точки — это частные конечные точки, созданные в управляемой виртуальной сети Фабрики данных с установкой приватного канала для доступа к ресурсам Azure. Фабрика данных управляет этими частными конечными точками от вашего имени.

Фабрика данных поддерживает приватные каналы. Вы можете использовать Приватный канал Azure для доступа к службам Azure PaaS (платформа как услуга), таким как служба хранилища Azure, Azure Cosmos DB и Azure Synapse Analytics.

При использовании приватного канала трафик между вашими хранилищами данных и управляемой виртуальной сетью полностью проходит через магистральную сеть Майкрософт. Приватный канал защищает от угроз кражи данных. Чтобы установить приватный канал для ресурса, создайте частную конечную точку.

Частная конечная точка использует частный IP-адрес в управляемой виртуальной сети, по сути перемещая службу в нее. Частная конечная точка сопоставляется с конкретным ресурсом в Azure, а не со всей службой. Клиенты могут ограничить возможности подключения к определенному ресурсу, утверждаемому их организацией. Дополнительные сведения см. в статье Сведения о приватных каналах и частных конечных точках.

1. Убедитесь, что в фабрике данных включена управляемая виртуальная сеть.
2. Создайте новую управляемую частную конечную точку в Центре управления.

3. При создании управляемой частной конечной точки в Фабрике данных подключение к ней создается в состоянии ожидания. Инициируется рабочий процесс утверждения. Владелец ресурса для приватного канала должен утвердить или отклонить это подключение.

4. Если владелец утверждает подключение, устанавливается приватный канал. В противном случае приватный канал не будет установлен. В любом случае состояние подключения к управляемой частной конечной точке будет обновлено.

Только управляемая частная конечная точка в утвержденном состоянии может передавать трафик на определенный ресурс приватного канала.

Интерактивная разработка

Возможности интерактивной разработки используются для таких операций, как тестирование подключения, просмотр списка папок и списка таблиц, получение схемы и предварительный просмотр данных. Вы можете включить интерактивную разработку при создании или изменении среды выполнения интеграции Azure, которая находится в виртуальной сети, управляемой Фабрикой данных Azure. Серверная служба будет предварительно выделять вычислительные ресурсы для операций интерактивной разработки. В противном случае вычислительные ресурсы будут выделяться при каждом выполнении любой интерактивной операции, что займет больше времени. Срок жизни для интерактивной разработки составляет 60 минут по умолчанию. Это означает, что она автоматически отключается через 60 минут после последней операции интерактивной разработки. Вы можете изменить значение срока жизни в соответствии с фактическими потребностями.

Срок жизни

Действие копирования

По умолчанию каждое действие копирования запускает новое вычисление на основе конфигурации в действии копирования. Если управляемая виртуальная сеть включена, время запуска холодных вычислений занимает несколько минут, а перемещение данных начинается только после его окончания. Если конвейеры содержат несколько последовательных действий копирования или имеется много действий копирования в цикле foreach, которые невозможно выполнять параллельно, можно включить значение срока жизни (TTL) в конфигурации среды выполнения интеграции Azure. Указание значения срока жизни и количества DIU, необходимых для действия копирования, сохраняет соответствующие вычисления активными в течение определенного периода времени после завершения его выполнения. Если в течение срока жизни запускается какое-либо новое действие копирования, оно будет использовать уже существующие вычисления, и время запуска значительно уменьшится. После выполнения второго действия копирования вычисления снова будут оставаться активными в течение срока жизни. У вас есть гибкость, чтобы выбрать из предварительно определенных размеров вычислительных ресурсов, начиная от небольших до средних и больших. Кроме того, можно настроить размер вычислительных ресурсов на основе конкретных требований и потребностей в режиме реального времени.

Выбранный в TTL параметр DIU будет использоваться для выполнения всех действий копирования, при этом размер DIU не будет автоматически масштабироваться в соответствии с фактическими потребностями. Таким образом, выбранное значение DIU должно быть достаточным.

Конвейер и внешние действия

Как и в случае с копией, вы можете настроить размер вычислительных ресурсов и длительность TTL в соответствии с вашими требованиями. Однако, в отличие от копирования, обратите внимание, что конвейер и внешний TTL не могут быть отключены.

В таблице ниже можно использовать ссылку, чтобы определить оптимальное количество узлов для выполнения конвейеров и внешних действий.

Сравнение различных значений сроков жизни

В таблице ниже перечислены различия между типами сроков жизни.

Создание управляемой виртуальной сети с помощью Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Исходящее подключение

Поддерживаемые источники данных и службы

Следующие службы имеют встроенную поддержку частных конечных точек. Их можно подключить через приватный канал из управляемой виртуальной сети Фабрики данных:

• Azure Databricks
• Функции Azure (План "Премиум")
• Azure Key Vault
• Машинное обучение Azure
• Приватный канал Azure
• Microsoft Purview

Сведения о поддержке источников данных см. в обзоре соединителя. Вы можете работать со всеми источниками данных, поддерживаемыми Фабрикой данных, через общедоступную сеть.

Локальные источники данных

Сведения о доступе к локальным источникам данных из управляемой виртуальной сети через частную конечную точку см. в статье Учебник. Получение доступа к локальному серверу SQL Server из управляемой виртуальной сети Фабрики данных с помощью частной конечной точки.

Исходящие подключения через общедоступную конечную точку из управляемой виртуальной сети Фабрики данных

Все порты открыты для исходящих подключений.

Известные проблемы и ограничения

Создание связанной службы для Key Vault

При создании связанной службы для Key Vault ссылка на среду выполнения интеграции отсутствует. По этой причине при создании связанной службы Key Vault создать частную конечную точку невозможно. Однако вы можете создать частную конечную точку для Key Vault при создании связанной службы для хранилищ данных, которая ссылается на Key Vault и среду выполнения интеграции с включенной управляемой виртуальной сетью.

• Операция Тестирование подключения для связанной службы Key Vault только проверяет формат URL-адреса, но не выполняет никаких сетевых операций.
• Столбец Использование частной конечной точки всегда отображается как пустой, даже если вы создали для Key Vault частную конечную точку.

Создание связанной службы Azure HDInsight

Столбец Использование частной конечной точки всегда отображается как пустой, даже если вы создаете частную конечную точку для HDInsight с помощью службы Приватного канала и подсистемы балансировки нагрузки с переадресацией портов.

Полное доменное имя (FQDN) Azure HDInsight

Если вы создали пользовательскую службу приватного канала, полное доменное имя должно заканчиваться azurehdinsight.net без приватного канала в доменном имени при создании частной конечной точки. Если вы используете приватный канал в доменном имени, убедитесь, что он действителен, и вы можете устранить его.

Ограничения доступа в управляемой виртуальной сети с частными конечными точками

Невозможно получить доступ к ресурсу PaaS, если обе стороны имеют доступ к приватному каналу и частной конечной точке. Это известное ограничение приватного канала и частной конечной точки.

Предположим, у вас есть управляемая частная конечная точка для учетной записи хранения A. Вы также можете обращаться к учетной записи хранения B через общедоступную сеть в той же управляемой виртуальной сети. Однако если у учетной записи хранения B есть подключение к частной конечной точке из другой управляемой виртуальной сети или виртуальной сети клиента, вы не сможете получить доступ к учетной записи хранения B в управляемой виртуальной сети через общедоступную сеть.

Связанный контент

Ознакомьтесь со следующими руководствами:

• Создание конвейера копирования с использованием управляемой виртуальной сети и частных конечных точек
• Создание конвейера потока данных для сопоставления с использованием управляемой виртуальной сети и частных конечных точек