Фабрика данных Azure управляемая виртуальная сеть

ПРИМЕНИМО К: Фабрика данных Azure Azure Synapse Analytics

В этой статье описываются управляемые виртуальные сети и управляемые частные конечные точки в Фабрика данных Azure.

Управляемая виртуальная сеть

При создании среды выполнения интеграции Azure в управляемой виртуальной сети фабрики данных среда выполнения интеграции подготавливается с помощью управляемой виртуальной сети. Он использует частные конечные точки для безопасного подключения к поддерживаемым хранилищам данных.

Создание среды выполнения интеграции в управляемой виртуальной сети гарантирует изоляцию и безопасность процесса интеграции данных.

Преимущества использования управляемой виртуальной сети:

• С помощью управляемой виртуальной сети можно выгрузить бремя управления виртуальной сетью в фабрику данных. Вам не нужно создавать подсеть для среды выполнения интеграции, которая в конечном итоге может использовать множество частных IP-адресов из виртуальной сети и потребует предварительного планирования сетевой инфраструктуры.
• Для безопасной интеграции данных не нужны глубокие знания Azure network. Вместо этого начать с безопасного извлечения, преобразования и загрузки (ETL) гораздо проще для инженеров по данным.
• Управляемая виртуальная сеть вместе с управляемыми частными конечными точками защищает от кражи данных.

Фабрика данных поддерживает управляемую виртуальную сеть только в том же регионе, что и фабрика данных.

Существует два способа включения управляемой виртуальной сети в фабрике данных:

1. Включите управляемую виртуальную сеть во время создания фабрики данных.

2. Включите управляемую виртуальную сеть в среде выполнения интеграции.

Управляемые частные конечные точки

Управляемые частные конечные точки — это приватные конечные устройства, которые вы создаёте в управляемой виртуальной сети Data Factory и устанавливают приватную связь с ресурсами Azure. Data Factory управляет этими частными конечными точками за вас.

Фабрика данных поддерживает частные ссылки. Вы можете использовать Приватный канал Azure для доступа к сервисам Azure platform as a service (PaaS), таким как служба хранилища Azure, Azure Cosmos DB и Azure Synapse Analytics.

При использовании приватного канала трафик между хранилищами данных и управляемой виртуальной сетью проходит полностью через магистральную сеть Microsoft. Приватный канал защищает от рисков кражи данных. Вы устанавливаете приватный канал к ресурсу, создавая частную конечную точку.

Частная конечная точка использует приватный IP-адрес в управляемой виртуальной сети для подключения сервиса к нему. Частные конечные точки сопоставляются с определенным ресурсом в Azure, а не всей службой. Вы можете ограничить подключение к конкретному ресурсу, который одобряет ваша организация. Дополнительные сведения см. в разделе "Частные ссылки" и "Частные конечные точки".

1. Убедитесь, что в фабрике данных включена управляемая виртуальная сеть.

2. Создайте новую управляемую приватную конечную точку в Manage Hub.

   

3. Когда вы создаёте управляемую частную конечную точку в Data Factory, вы создаёте приватное соединение в состоянии ожидания . Это состояние запускает рабочий процесс одобрения. Владелец ресурса приватной ссылки отвечает за утверждение или отклонение соединения.

   

4. Если владелец одобряет соединение, устанавливается приватное соединение. В противном случае приватная ссылка не устанавливается. В любом случае управляемая приватная конечная точка обновляется в соответствии с состоянием подключения.

   

Только управляемая частная конечная точка в утвержденном состоянии может отправлять трафик в определенный ресурс приватного канала.

Интерактивная разработка

Интерактивные возможности авторства поддерживают такие функции, как тестирование соединения, просмотр списков папок и таблиц, получение схем и предпросмотр данных. Вы можете включить интерактивное авторство при создании или редактировании интеграционного пространства Azure в управляемой виртуальной сети Фабрика данных Azure. Бэкенд-сервис предварительно выделяет вычисления для интерактивных функций авторинга. В противном случае вычислительный ресурс выделяется каждый раз при выполнении интерактивной операции, что занимает больше времени. Время жизни (TTL) для интерактивного авторинга по умолчанию составляет 60 минут, то есть система автоматически отключается через 60 минут после последней операции интерактивного авторинга. Вы можете изменить значение TTL в зависимости от своих потребностей.

Время жизни

Задача копирования

По умолчанию каждая активность копирования запускает новый вычислительный файл на основе конфигурации копирования. При включённой управляемой виртуальной сети время запуска холодных вычислений занимает несколько минут, и перемещение данных не может начаться до завершения. Если ваши конвейеры содержат несколько последовательных действий копирования или у вас много копирования в цикле Foreach, и вы не можете запускать их все параллельно, вы можете включить значение time to live (TTL) в конфигурации интеграции Azure Runtime. Указание значения TTL и числа единиц интеграции данных (DIU), необходимых для операции копирования, позволяет сохранить соответствующие вычисления живыми в течение определённого времени после завершения выполнения. Если новая активность копирования начинается во время TTL, она повторно использует существующие вычисления, и время запуска значительно сокращается. После завершения второго копирования вычисления снова остаются активными в течение TTL-времени. Вы можете выбрать из заранее определённых размеров вычислительных данных — от малых до средних и больших. В качестве альтернативы можно настроить размер вычислительной системы в зависимости от ваших требований и потребностей в реальном времени.

Data Factory использует выбранный вами DIU в TTL для выполнения всех операций копирования. Размер DIU не автоматически масштабируется в соответствии с реальными потребностями, поэтому нужно выбирать достаточно DIU.

Потоковая линия и внешняя активность

Подобно копии, вы можете настроить размер вычислительной системы и длительность TTL под свои требования. Однако, в отличие от копирования, вы не можете отключить конвейер и внешний TTL.

Используйте следующую таблицу в качестве ориентира для определения оптимального количества узлов для запуска как конвейеров, так и внешних активностей.

Сравнение различных TTL

В следующей таблице приведены различия между типами TTL:

Создание управляемой виртуальной сети с помощью Azure PowerShell

$subscriptionId = ""
$resourceGroupName = ""
$factoryName = ""
$managedPrivateEndpointName = ""
$integrationRuntimeName = ""
$apiVersion = "2018-06-01"
$privateLinkResourceId = ""

$vnetResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default"
$privateEndpointResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/managedVirtualNetworks/default/managedprivateendpoints/${managedPrivateEndpointName}"
$integrationRuntimeResourceId = "subscriptions/${subscriptionId}/resourceGroups/${resourceGroupName}/providers/Microsoft.DataFactory/factories/${factoryName}/integrationRuntimes/${integrationRuntimeName}"

# Create managed Virtual Network resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${vnetResourceId}" -Properties @{}

# Create managed private endpoint resource
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${privateEndpointResourceId}" -Properties @{
        privateLinkResourceId = "${privateLinkResourceId}"
        groupId = "blob"
    }

# Create integration runtime resource enabled with virtual network
New-AzResource -ApiVersion "${apiVersion}" -ResourceId "${integrationRuntimeResourceId}" -Properties @{
        type = "Managed"
        typeProperties = @{
            computeProperties = @{
                location = "AutoResolve"
                dataFlowProperties = @{
                    computeType = "General"
                    coreCount = 8
                    timeToLive = 0
                }
            }
        }
        managedVirtualNetwork = @{
            type = "ManagedVirtualNetworkReference"
            referenceName = "default"
        }
    }

Исходящее подключение

Поддерживаемые источники данных и службы

Следующие службы имеют встроенную поддержку частных конечных точек. Они могут быть подключены по частному подключению из управляемой виртуальной сети Data Factory.

• Azure Databricks
• Функции Azure (план "Премиум")
• Azure Key Vault
• Машинное обучение Azure
• Приватный канал Azure
• Microsoft Purview.

Сведения о поддержке источников данных см. в обзоре соединителя. Доступ к всем источникам данных, поддерживаемым фабрикой данных, можно получить через общедоступную сеть.

Локальные источники данных

Сведения о доступе к локальным источникам данных из управляемой виртуальной сети с помощью частной конечной точки см. в статье Доступ к локальному серверу SQL из управляемой виртуальной сети фабрики данных с помощью частной конечной точки.

Исходящие сообщения через общедоступную конечную точку из управляемой виртуальной сети хранилища данных

Все порты открыты для исходящего взаимодействия.

Ограничения и известные проблемы

Создание связанной службы для Key Vault

При создании связанной службы для Key Vault нет ссылки на среду выполнения интеграции. Поэтому во время создания связанной службы Key Vault нельзя создавать частные конечные точки. При создании связанной службы для хранилищ данных, которая ссылается на Key Vault, и эта связанная служба использует среду выполнения интеграции с включенной управляемой виртуальной сетью, вы можете создать частную конечную точку для Key Vault на этапе создания.

• Test connection: Эта операция для связанной службы Key Vault проверяет только формат URL-адреса, но не выполняет никаких сетевых операций.
• Using private endpoint: Этот столбец всегда отображается как пустой, даже если вы создаете частную конечную точку для Key Vault.

Создание связанной службы Azure HDInsight

Столбец "Использование частной конечной точки" всегда отображается как пустой, даже если вы создаете частную конечную точку для HDInsight с помощью службы приватного канала и подсистемы балансировки нагрузки с перенаправлением портов.

Полностью квалифицированное доменное имя (FQDN) Azure HDInsight

Если вы создали кастомный приватный сервис ссылки, FQDN должен заканчиваться на azurehdinsight.net без ведущей приватной ссылки в доменном имени при создании приватной конечной точки. Если вы используете privatelink в доменном имени, убедитесь, что она валидна и вы сможете решить проблему.

Ограничения доступа в управляемой виртуальной сети с частными конечными точками

Вы не можете получить доступ к каждому PaaS-ресурсу, когда обе стороны открыты к приватной ссылке и приватной конечной точке. Эта проблема — известное ограничение для частных и частных конечных точек.

Например, у вас есть управляемая частная конечная точка для учетной записи хранения A. Вы также можете получить доступ к учетной записи хранения B через общедоступную сеть в той же управляемой виртуальной сети. Но если учетная запись хранения B имеет подключение к частной конечной точке из другой управляемой виртуальной сети или виртуальной сети клиента, вы не сможете получить доступ к учетной записи хранения B в управляемой виртуальной сети через общедоступную сеть.

Связанный контент

Ознакомьтесь со следующими руководствами:

• Создание конвейера копирования с помощью управляемой виртуальной сети и частных конечных точек
• Создание конвейера сопоставления данных с помощью управляемой виртуальной сети и частных конечных точек