Справочник по данным мониторинга Фабрика данных Azure

В этой статье содержатся все справочные сведения о мониторинге для этой службы.

Дополнительные сведения о данных, которые можно собирать для Фабрика данных Azure и способах его использования, см. в разделе "Мониторинг фабрики данных".

Метрики

В этом разделе перечислены все автоматически собранные метрики платформы для этой службы. Эти метрики также являются частью глобального списка всех метрик платформы, поддерживаемых в Azure Monitor.

Сведения о хранении метрик см. в обзоре метрик Azure Monitor.

Поддерживаемые метрики для Microsoft.DataFactory/datafactory/datafactories

В следующей таблице перечислены метрики, доступные для типа ресурса Microsoft.DataFactory/datafactories.

• Все столбцы могут не присутствовать в каждой таблице.
• Некоторые столбцы могут находиться за пределами области просмотра страницы. Выберите "Развернуть таблицу ", чтобы просмотреть все доступные столбцы.

Заголовки таблиц

• Категория — группа метрик или классификация.
• Метрика — отображаемое имя метрик, как оно отображается в портал Azure.
• Имя в REST API — имя метрики, указанное в REST API.
• Единица измерения.
• Агрегирование — тип агрегирования по умолчанию. Допустимые значения: среднее (среднее), минимальное (минимальное), максимальное (максимальное), общее (сумма), число.
• Измерения - , доступные для метрики.
• Интервалы интервалов - времени, по которым выборка метрики выполняется. Например, указывает, PT1M что метрика выборка выполняется каждую минуту, каждые 30 минут, PT30MPT1H каждый час и т. д.
• Экспорт DS— можно ли экспортировать метрики в журналы Azure Monitor с помощью параметров диагностики. Сведения об экспорте метрик см. в статье "Создание параметров диагностики" в Azure Monitor.

Поддерживаемые метрики для Microsoft.DataFactory/фабрик

В следующей таблице перечислены метрики, доступные для типа ресурса Microsoft.DataFactory/фабрик.

• Все столбцы могут не присутствовать в каждой таблице.
• Некоторые столбцы могут находиться за пределами области просмотра страницы. Выберите "Развернуть таблицу ", чтобы просмотреть все доступные столбцы.

Заголовки таблиц

• Категория — группа метрик или классификация.
• Метрика — отображаемое имя метрик, как оно отображается в портал Azure.
• Имя в REST API — имя метрики, указанное в REST API.
• Единица измерения.
• Агрегирование — тип агрегирования по умолчанию. Допустимые значения: среднее (среднее), минимальное (минимальное), максимальное (максимальное), общее (сумма), число.
• Измерения - , доступные для метрики.
• Интервалы интервалов - времени, по которым выборка метрики выполняется. Например, указывает, PT1M что метрика выборка выполняется каждую минуту, каждые 30 минут, PT30MPT1H каждый час и т. д.
• Экспорт DS— можно ли экспортировать метрики в журналы Azure Monitor с помощью параметров диагностики. Сведения об экспорте метрик см. в статье "Создание параметров диагностики" в Azure Monitor.

Измерения метрик

Дополнительные сведения о измерениях метрик см. в разделе "Многомерные метрики".

Эта служба имеет следующие измерения, связанные с ее метриками.

Microsoft.DataFactory/datafactories

• pipelineName
• activityName

Microsoft.DataFactory/factories;

• ActivityType
• PipelineName
• FailureType
• Имя.
• IntegrationRuntimeName
• ContainerName
• DagFile
• DagId
• ComputeNodeSize
• Работа
• Оператор
• Пул
• TaskId
• Штат
• NodeName
• ОтмененоBy
• RunId

Журналы ресурсов

В этом разделе перечислены типы журналов ресурсов, которые можно собирать для этой службы. Раздел извлекает из списка всех типов категорий журналов ресурсов, поддерживаемых в Azure Monitor.

Поддерживаемые журналы ресурсов для Microsoft.DataFactory/фабрик

Таблицы журналов Azure Monitor

В этом разделе перечислены таблицы журналов Azure Monitor, относящиеся к этой службе, которые доступны для запроса Log Analytics с помощью запросов Kusto. Таблицы содержат данные журнала ресурсов и, возможно, больше в зависимости от собираемых и перенаправленных к ним данных.

Фабрики данных

Microsoft.DataFactory/factories;

• AzureActivity
• AzureMetrics
• AzureDiagnostics
• ADFActivityRun
• ADFPipelineRun
• ADFTriggerRun
• ADFSandboxActivityRun
• ADFSandboxPipelineRun
• ADFSSISIntegrationRuntimeLogs
• ADFSSISPackageEventMessageContext
• ADFSSISPackageEventMessagesages
• ADFSSISPackageExecutableStatistics
• ADFSSISPackageExecutionComponentPhases
• ADFSSISPackageExecutionDataStatistics

Мониторинг и схемы Log Analytics для журналов и событий

В этом разделе перечислены атрибуты, используемые схемами Azure Monitor и Log Analytics для мониторинга журналов и событий.

Log Analytics наследует схему от Azure Monitor со следующими исключениями:

• Первая буква в имени каждого столбца задается прописной буквой. Например, корреляция имен столбцов в Monitor — CorrelationId в Log Analytics.

• Нет столбца level.

• Столбец динамических свойств сохраняется в виде следующего динамического типа BLOB-объекта JSON.

  Столбец Azure Monitor	Столбец Log Analytics	Тип
  $.properties.UserProperties	UserProperties	Динамический
  $.properties.Annotations	Заметки	Динамический
  $.properties.Input	Входные данные	Динамический
  $.properties.Output	Выходные данные	Динамический
  $.properties.Error.errorCode	ErrorCode	INT
  $.properties.Error.message	ErrorMessage	строка
  $.properties.Error	Ошибка	Динамический
  $.properties.Predecessors	Предшественники	Динамический
  $.properties.Parameters	Параметры	Динамический
  $.properties.SystemParameters	SystemParameters	Динамический
  $.properties.Tags	Теги	Динамический

Атрибуты журналов выполнения действий

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "activityRunId":"",
   "pipelineRunId":"",
   "resourceId":"",
   "category":"ActivityRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "activityName":"",
   "start":"",
   "end":"",
   "properties":
       {
          "Input": "{
              "source": {
                "type": "BlobSource"
              },
              "sink": {
                "type": "BlobSink"
              }
           }",
          "Output": "{"dataRead":121,"dataWritten":121,"copyDuration":5,
               "throughput":0.0236328132,"errors":[]}",
          "Error": "{
              "errorCode": "null",
              "message": "null",
              "failureType": "null",
              "target": "CopyBlobtoBlob"
        }
    }
}

Атрибуты журналов выполнения конвейеров

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "runId":"",
   "resourceId":"",
   "category":"PipelineRuns",
   "level":"Informational",
   "operationName":"",
   "pipelineName":"",
   "start":"",
   "end":"",
   "status":"",
   "location": "",
   "properties":
    {
      "Parameters": {
        "<parameter1Name>": "<parameter1Value>"
      },
      "SystemParameters": {
        "ExecutionStart": "",
        "TriggerId": "",
        "SubscriptionId": ""
      },
      "Predecessors": [
            {
                "Name": "",
                "Id": "",
                "InvokedByType": ""
            }
        ]
    }
}

Атрибуты журналов запуска триггеров

{
   "Level": "",
   "correlationId":"",
   "time":"",
   "triggerId":"",
   "resourceId":"",
   "category":"TriggerRuns",
   "level":"Informational",
   "operationName":"",
   "triggerName":"",
   "triggerType":"",
   "triggerEvent":"",
   "start":"",
   "status":"",
   "properties":
   {
      "Parameters": {
        "TriggerTime": "",
       "ScheduleTime": ""
      },
      "SystemParameters": {}
    }
}

Журналы среды выполнения интеграции SSIS

Ниже приведены атрибуты журнала для операций запуска, остановки и обслуживания (IR) среды выполнения интеграции SQL Server Integration Services (SSIS).

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "resultType": "",
   "properties": {
      "message": ""
   },
   "resourceId": ""
}

Атрибуты журнала контекста сообщения о событиях SSIS

Ниже приведены атрибуты журнала условий, связанные с сообщениями о событиях, создаваемыми при выполнении пакетов IR SSIS. Они сообщают подобную информацию в виде таблицы или представления контекста сообщений о событиях в каталоге служб SSIS (SSISDB), отображающих значения времени выполнения многих свойств пакета служб SSIS. Они создаются при выборе уровня ведения журнала Basic/Verbose и удобны для отладки или проверки соответствия.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "contextDepth": "",
      "packagePath": "",
      "contextType": "",
      "contextSourceName": "",
      "contextSourceId": "",
      "propertyName": "",
      "propertyValue": ""
   },
   "resourceId": ""
}

Атрибуты журнала сообщений о событиях служб SSIS

Ниже приведены атрибуты журнала сообщений о событиях, создаваемых при выполнении пакетов IR служб SSIS. Они предоставляют аналогичные сведения в таблице или сообщениях о событиях SSISDB, в которых показан подробный текст или метаданные сообщений о событиях. Они создаются на любом уровне ведения журнала, за исключением None.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "operationId": "",
      "messageTime": "",
      "messageType": "",
      "messageSourceType": "",
      "message": "",
      "packageName": "",
      "eventName": "",
      "messageSourceName": "",
      "messageSourceId": "",
      "subcomponentName": "",
      "packagePath": "",
      "executionPath": "",
      "threadId": ""
   }
}

Атрибуты журнала статистики исполняемых объектов служб SSIS

Ниже приведены атрибуты журнала статистики исполняемых объектов, создаваемые выполнениями пакетов служб SSIS для IR служб SSIS, где исполняемые объекты — это контейнеры или задачи в потоке управления пакетами. Они сообщают подобную информацию в виде таблицы или представления статистики исполняемых объектов SSISDB, которая показывает строку для каждого выполняемого исполняемого файла, включая его итерации. Они создаются на любом уровне ведения журнала, кроме None, и полезны для выявления узких мест или сбоев на уровне задач.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "executionPath": "",
      "startTime": "",
      "endTime": "",
      "executionDuration": "",
      "executionResult": "",
      "executionValue": ""
   },
   "resourceId": ""
}

Атрибуты журнала фаз исполняемого компонента служб SSIS

Ниже приведены атрибуты журнала статистики времени выполнения для компонентов потока данных, созданных при выполнении пакетов SSIS в IR служб SSIS. Они представляют подобную информацию в виде таблицы или представления этапов выполнения SSISDB, которые показывают время, затраченное компонентами потока данных на все этапы выполнения. Они создаются при выборе уровня ведения журнала Performance/Verbose и удобны для сбора статистики выполнения потока данных.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "subcomponentName": "",
      "phase": "",
      "startTime": "",
      "endTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

Атрибуты журнала статистики данных выполнения SSIS

Ниже приведены атрибуты журнала перемещений данных через каждый участок конвейеров потоков данных от вышестоящих до нижестоящих компонентов, которые создаются при выполнении пакетов SSIS в IR служб SSIS. Они сообщают подобную информацию в виде таблицы или представления статистики данных выполнения SSISDB, показывающих количество строк данных, перемещаемых с помощью задач потока данных. Они создаются при выборе уровня ведения журнала Verbose и удобны для вычисления пропускной способности потока данных.

{
   "time": "",
   "operationName": "",
   "category": "",
   "correlationId": "",
   "dataFactoryName": "",
   "integrationRuntimeName": "",
   "level": "",
   "properties": {
      "executionId": "",
      "packageName": "",
      "taskName": "",
      "dataflowPathIdString": "",
      "dataflowPathName": "",
      "sourceComponentName": "",
      "destinationComponentName": "",
      "rowsSent": "",
      "createdTime": "",
      "executionPath": ""
   },
   "resourceId": ""
}

Журнал действий

В связанной таблице перечислены операции, которые можно записать в журнале действий для этой службы. Эти операции представляют собой подмножество всех возможных операций поставщика ресурсов в журнале действий.

Дополнительные сведения о схеме записей журнала действий см . в схеме журнала действий.

• Операции поставщика ресурсов Microsoft.DataFactory

Связанный контент

• Мониторинг фабрики данных
• Мониторинг ресурсов Azure с помощью Azure Monitor
• Программный мониторинг с помощью пакета SDK