Мониторинг среды выполнения интеграции в фабрике данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Среда выполнения интеграции — это инфраструктура вычислений, которую Фабрика данных Azure (ADF) использует для обеспечения интеграции данных в разных сетевых средах. В фабрике данных предусмотрено три типа сред выполнения интеграции:

• Среда выполнения интеграции Azure
• Локальная среда выполнения интеграции
• Интеграционная среда выполнения для Azure-SQL Server Integration Services (SSIS)

Чтобы получить сведения о состоянии экземпляра среды выполнения интеграции, выполните следующую команду PowerShell:

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName MyDataFactory -ResourceGroupName MyResourceGroup -Name MyAzureIR -Status

Командлет возвращает различные сведения для разных типов сред выполнения интеграции. В этой статье объясняются свойства и статусы для каждого типа интеграционной среды выполнения.

Среда выполнения интеграции Azure

Вычислительный ресурс для интеграционной среды выполнения Azure управляется в полностью эластичном режиме в Azure. В следующей таблице приведены описания свойств, возвращаемых командой Get-AzDataFactoryV2IntegrationRuntime:

Свойства

В следующей таблице приведены описания свойств, возвращаемых командлетом для среды выполнения интеграции Azure:

Состояние

В следующей таблице приведены возможные состояния среды выполнения интеграции Azure:

Локальная среда выполнения интеграции

В этом разделе приведены описания свойств, возвращаемых командлетом Get-AzDataFactoryV2IntegrationRuntime.

Свойства

В следующей таблице приведены описания свойств наблюдения каждого узла:

Некоторые параметры свойств имеют смысл при наличии двух или более узлов в локальной среде выполнения интеграции (то есть в сценарии горизонтального увеличения масштаба).

Ограничение количества одновременных заданий

Значение по умолчанию для предельного числа одновременно выполняемых заданий установлено на основе размера компьютера. Факторы, используемые для вычисления этого значения, зависят от объема оперативной памяти и количества ядер ЦП компьютера. Поэтому чем больше количество ядер и объем памяти, тем выше предельное число одновременных заданий по умолчанию.

Увеличьте масштаб системы, увеличив количество узлов. При увеличении количества узлов предельным числом одновременно выполняемых заданий является сумма предельных значений одновременных заданий всех доступных узлов. Например, если один узел позволяет запускать не более двенадцати одновременно выполняемых заданий, то добавив три похожих узла, вы сможете выполнять 48 одновременных заданий (то есть 4 x 12). Предельное число одновременно выполняемых заданий рекомендуется увеличить, только если на каждом узле прослеживается низкое потребление ресурсов при использовании значений по умолчанию.

Вы можете переопределить полученное значение по умолчанию на портале Azure. Выберите "Автор" > Подключения > Среды выполнения интеграции > Редактировать > Узлы > Измените число параллельных заданий на каждом узле. Для этого можно также использовать команду PowerShell update-Azdatafactoryv2integrationruntimenode.

Состояние (на одном узле)

В следующей таблице приведены возможные состояния узла локальной среды выполнения интеграции:

Узел может быть неактивным, если он не может подключиться к другим узлам.

Состояние (общая локальная среда выполнения интеграции)

В следующей таблице приведены возможные состояния локальной среды выполнения интеграции. Это статус зависит от статусов всех узлов среды выполнения.

Используйте командлет Get-AzDataFactoryV2IntegrationRuntimeMetric, чтобы получить JSON-пакет, содержащий подробные свойства саморазмещённой среды выполнения интеграции, и их значения на момент выполнения командлета.

Get-AzDataFactoryV2IntegrationRuntimeMetric -name $integrationRuntimeName -ResourceGroupName $resourceGroupName -DataFactoryName $dataFactoryName | ConvertTo-Json 

Пример выходных данных (предполагается, что с этой локальной средой выполнения интеграции связаны два узла):

{
	"IntegrationRuntimeName":  "<Name of your integration runtime>",
    "ResourceGroupName":  "<Resource Group Name>",
    "DataFactoryName":  "<Data Factory Name>",
    "Nodes":  [
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		},
		{
			"NodeName":  "<Node Name>",
			"AvailableMemoryInMB":  <Value>,
			"CpuUtilization":  <Value>,
			"ConcurrentJobsLimit":  <Value>,
			"ConcurrentJobsRunning":  <Value>,
			"MaxConcurrentJobs":  <Value>,
			"SentBytes":  <Value>,
			"ReceivedBytes":  <Value>
		}

	]
} 

Azure-SSIS Integration Runtime

Среда выполнения интеграции Azure SSIS — это полностью управляемый кластер виртуальных машин (или узлов) Azure, выделенных для выполнения пакетов SSIS. Выполнять пакеты SSIS в интеграционной среде Azure-SSIS можно различными методами: с использованием SQL Server Data Tools (SSDT), специально настроенных для работы с Azure, программы командной строки AzureDTExec, T-SQL в SQL Server Management Studio (SSMS) или агент SQL Server, а также действий по выполнению пакетов SSIS в конвейерах ADF. Среда интеграции Azure-SSIS не выполняет никаких других действий ADF. После развертывания можно отслеживать общие свойства и состояния узла с помощью Azure PowerShell, портала Microsoft Azure и Azure Monitor.

Мониторинг среды выполнения интеграции Azure SSIS с помощью Azure PowerShell

Используйте следующий командлет Azure PowerShell, чтобы отслеживать общие и относящиеся к узлу свойства и состояния IR Azure-SSIS.

Get-AzDataFactoryV2IntegrationRuntime -DataFactoryName $DataFactoryName -Name $AzureSSISName -ResourceGroupName $ResourceGroupName -Status

Свойства

В следующей таблице приведены описания свойств, возвращаемых описанным выше командлетом для среды выполнения интеграции (IR) Azure-SSIS.

Состояние (для каждого узла IR Azure-SSIS)

В следующей таблице приведены возможные состояния узла интеграции Azure-SSIS.

Общее состояние среды интеграции Azure-SSIS

В следующей таблице приведены возможные общие состояния для Azure-SSIS IR. Общее состояние, в свою очередь, зависит от совокупного состояния всех узлов, принадлежащих среде выполнения интеграции Azure-SSIS.

Мониторинг среды выполнения интеграции Azure SSIS на портале Azure

Чтобы отслеживать среду выполнения интеграции Azure-SSIS на портале Azure, перейдите на страницу Среда выполнения интеграции в центре Мониторинг в пользовательском интерфейсе ADF, где можно просмотреть все среды выполнения интеграции.

Далее выберите имя среды выполнения интеграции Azure-SSIS, чтобы открыть страницу мониторинга, где можно просмотреть свойства и состояния для конкретного узла или всех узлов. На этой странице в зависимости от настройки параметров "Общие", "Развертывание" и "Дополнительно" для Azure-SSIS IR можно найти различные информационные и функциональные плитки.

Информационные плитки TYPE (Тип) и REGION (Регион) показывают тип и регион среды выполнения интеграции Azure-SSIS соответственно.

На информационной плитке NODE SIZE (Размер узла) отображается SKU (редакция SSIS_категория ВМ_серия ВМ), количество ядер ЦП и размер ОЗУ на один узел для интеграционной среды выполнения Azure-SSIS.

На информационной плитке RUNNING / REQUESTED NODE(S) производится сравнение количества узлов, работающих в данный момент, с общим количеством узлов, запрошенных ранее для вашего механизма выполнения интеграции Azure-SSIS.

На информативной плитке DUAL STANDBY PAIR / ROLE (Пара/роль двойного резервирования) отображается имя вашей пары двойного резервирования Azure-SSIS IR, которая синхронизирована с группой переключения управляемого экземпляра SQL Azure для обеспечения непрерывности бизнес-процессов и аварийного восстановления (BCDR), а также текущее состояние первичной или вторичной роли Azure-SSIS IR. При переключении на отказ SSISDB ваши основные и вторичные интеграционные среды Azure-SSIS сменяют друг друга в роли (см. раздел Настройка интеграционной среды Azure-SSIS для BCDR).

Функциональные плитки подробно описаны ниже.

Плитка STATUS

На плитке STATUS (Состояние) на странице мониторинга среды выполнения интеграции Azure-SSIS можно увидеть ее общее состояние, например Выполняется или Остановлено. Если выбрать состояние Выполняется, откроется окно с действующей кнопкой Стоп, чтобы остановить интеграционную среду Azure-SSIS. Если выбрать состояние Остановлено, откроется окно с активной кнопкой Запуск, чтобы запустить среду выполнения интеграции Azure-SSIS. Во всплывающем окне также имеется кнопка Выполнить пакет SSIS, которая позволяет автоматически создать конвейер ADF с операцией "Выполнить пакет SSIS", работающий в среде выполнения интеграции Azure-SSIS (см. раздел Запуск пакетов SSIS как операции выполнения пакета SSIS в конвейерах ADF). Текстовое поле Идентификатор ресурса позволяет скопировать идентификатор ресурса среды выполнения интеграции Azure-SSIS (/subscriptions/YourAzureSubscription/resourcegroups/YourResourceGroup/providers/Microsoft.DataFactory/factories/YourADF/integrationruntimes/YourAzureSSISIR). Суффикс идентификатора ресурса IR Azure-SSIS, который содержит имена ADF и IR Azure-SSIS, формирует идентификатор кластера, который можно использовать для приобретения дополнительных премиум/лицензированных компонентов SSIS от независимых поставщиков программного обеспечения и их связывания с IR Azure-SSIS (см. статью Установка премиум/лицензированных компонентов на IR Azure-SSIS).

Плитка SSISDB SERVER ENDPOINT (Конечная точка сервера SSISDB)

Если вы используете модель развертывания проекта, где пакеты хранятся в SSISDB, размещенной на сервере Базы данных SQL Azure или управляемом экземпляре, вы увидите плитку SSISDB SERVER ENDPOINT (Конечная точка сервера SSISDB) на странице мониторинга среды выполнения интеграции Azure-SSIS (см. статью Настройка параметров развертывания среды выполнения интеграции Azure-SSIS). На этой плитке можно выбрать ссылку, указывающую на сервер Базы данных SQL Azure или управляемый экземпляр, чтобы открыть окно, где можно скопировать конечную точку сервера из текстового поля и использовать ее при подключении из SSMS для развертывания, настройки, запуска и управления пакетами. Во всплывающем окне можно также выбрать ссылку See your База данных SQL Azure or managed instance settings (Просмотреть Базу данных SQL Azure или параметры управляемого экземпляра), чтобы перенастроить или изменить размер SSISDB на портале Azure.

Плитка PROXY / STAGING (Прокси-сервер и промежуточная среда)

Если вы загружаете, устанавливаете и настраиваете Self-Hosted IR (SHIR) в качестве прокси для вашей среды выполнения Azure-SSIS для доступа к локальным данным, вы увидите плитку PROXY / STAGING на странице мониторинга среды выполнения Azure-SSIS (см. Настройка SHIR в качестве прокси для среды выполнения Azure-SSIS). На этой плитке можно выбрать ссылку, указывающую на SHIR, чтобы открыть страницу мониторинга. Вы также можете выбрать другую ссылку, обозначая Хранилище BLOB-объектов Azure для промежуточного хранения, чтобы перенастроить связанную службу.

Плитка VALIDATE VNET / SUBNET

Если вы присоедините свою IR Azure-SSIS к виртуальной сети (VNet), на странице мониторинга IR Azure-SSIS вы увидите плитку VALIDATE VNET / SUBNET (см. статью Присоединение IR Azure-SSIS к виртуальной сети). На этом разделе можно выбрать ссылку, обозначающую вашу виртуальную сеть (VNet) и подсеть. Это откроет окно, где вы сможете скопировать идентификатор ресурса VNet (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/virtualNetworks/YourARMVNet) и имя подсети из текстовых полей. Также вы можете проверить конфигурации VNet и подсети для проверки того, что необходимый входящий и исходящий сетевой трафик, а также управление вашим Azure-SSIS IR не блокируются.

Элемент "Диагностика подключения"

На плитке DIAGNOSE CONNECTIVITY (Диагностика подключения) на странице "Мониторинг среды выполнения интеграции Azure-SSIS" можно выбрать ссылку Проверить подключение, чтобы открыть окно, где можно проверить подключения между средой выполнения интеграции Azure-SSIS и соответствующими пакетами, конфигурациями, хранилищами данных, а также службами управления, используя полные доменные имена (FQDN) или IP-адрес и назначенный порт (см. статью Тестирование подключений из среды выполнения интеграции Azure-SSIS).

Плитка "Статические общедоступные IP-адреса"

Если вы используете для среды выполнения интеграции Azure-SSIS собственные статические общедоступные IP-адреса, на странице мониторинга среды выполнения интеграции Azure-SSIS вы увидите плитку STATIC PUBLIC IP ADDRESSES (Статические общедоступные IP-адреса) (см. статью Использование собственных статических общедоступных IP-адресов для среды выполнения интеграции Azure-SSIS). На этой плитке можно выбрать ссылки, обозначающие первые или вторые статические IP-адреса для среды выполнения интеграции Azure-SSIS, чтобы вызвать всплывающее окно, где можно будет скопировать идентификатор ресурса (/subscriptions/YourAzureSubscription/resourceGroups/YourResourceGroup/providers/Microsoft.Network/publicIPAddresses/YourPublicIPAddress) из текстового поля. Во всплывающем окне можно также выбрать ссылку See your first/second static public IP address settings (Просмотреть первые или вторые параметры статического общедоступного IP-адреса) для управления первым или вторым статическим общедоступным IP-адресом на портале Azure.

Плитка PACKAGE STORES (Пакетные хранилища)

Если вы используете модель развертывания пакетов, когда пакеты хранятся в файловой системе, файлах Azure или базе данных SQL Server (MSDB), размещенной в Управляемом экземпляре SQL Azure, и управляются с помощью хранилищ пакетов среды выполнения интеграции Azure-SSIS, на странице мониторинга среды выполнения интеграции Azure-SSIS отображается плитка PACKAGE STORES (Хранилища пакетов) (см. раздел Настройка параметров развертывания среды выполнения интеграции Azure-SSIS). На этой панели можно выбрать ссылку, обозначающую число хранилищ пакетов, прикрепленных к Azure-SSIS Runtime, чтобы открыть окно, где можно перенастроить связанные службы для хранилищ пакетов Azure-SSIS Runtime на основе файловой системы, Файлов Azure или базы данных MSDB, размещенных в управляемом экземпляре Azure SQL.

Плитка ERROR(S) (Ошибки)

Если возникли проблемы с запуском или остановкой либо с обслуживанием или обновлением среды выполнения интеграции Azure-SSIS, на странице мониторинга среды выполнения интеграции Azure-SSIS вы увидите дополнительную плитку ERROR(S) (Ошибки). На этой плитке можно выбрать ссылку, указывающую число ошибок, создаваемых средой выполнения интеграции Azure-SSIS, во всплывающем окне, где можно просмотреть более подробные сведения об этих ошибках и скопировать их для поиска рекомендуемых решений в нашем руководстве по устранению неполадок (см. раздел Устранение неполадок среды выполнения интеграции Azure-SSIS).

Мониторинг среды выполнения интеграции Azure SSIS с помощью Azure Monitor

Сведения о мониторинге среды выполнения интеграции Azure-SSIS с помощью Azure Monitor см. в статье Мониторинг операций служб SSIS с помощью Azure Monitor.

Дополнительная информация о среде выполнения интеграции Azure-SSIS

Дополнительные сведения о среде выполнения интеграции SSIS Azure см. в следующих разделах:

• Azure-SSIS интеграционная среда выполнения . В этой статье содержатся общие сведения о средах выполнения интеграции в целом, включая IR Azure SSIS.
• Учебник: Развертывание пакетов SSIS в Azure. Эта статья содержит пошаговые инструкции по созданию Azure-SSIS IR с использованием Базы данных SQL Azure для размещения каталога SSIS (SSISDB).
• Создание среды выполнения интеграции Azure SSIS. Эта статья дополняет соответствующее руководство, а также содержит инструкции по использованию Управляемого экземпляра SQL Azure (предварительная версия) для размещения SSISDB.
• Manage an Azure-SSIS integration runtime (Управление средой выполнения интеграции Azure SSIS). В этой статье поясняется, как запустить, остановить и удалить Azure-SSIS IR. Здесь также показано, как увеличить масштаб, добавив дополнительные узлы.
• Присоедините Azure-SSIS IR к виртуальной сети Эта статья содержит инструкции по присоединению вашего Azure-SSIS IR к виртуальной сети.

Связанный контент

В следующих статьях представлены сведения о способах мониторинга конвейеров:

• Быстрый старт: создание фабрики данных
• Monitor data factories using Azure Monitor (Мониторинг фабрик данных с помощью Azure Monitor)