Мониторинг рабочей области для задания копирования в Microsoft Fabric

Мониторинг рабочей области обеспечивает доступ к журналу для всех элементов в рабочей области, включая задания копирования. Он хранит журналы выполнения в хранилище событий мониторинга, чтобы можно было запрашивать и анализировать их с помощью KQL (язык запросов Kusto). Задание копирования создает таблицу мониторинга CopyJobActivityRunDetailsLogs , которая регистрирует одну запись для каждой исходной таблицы или сопоставления объектов в выполнении задания копирования.

Включение мониторинга рабочей области

  1. В рабочей области Fabric выберите "Параметры рабочей области", а затем перейдите на вкладку "Мониторинг ".

    Скриншот параметров рабочей области, показывающий возможность включения мониторинга рабочей области.

  2. Включите журналирование активности рабочей области. При этом создается хранилище событий в рабочей области для хранения журналов. Fabric также создает базу данных KQL только для чтения в хранилище событий для мониторинга данных.

    Снимок экрана: элементы, созданные из мониторинга рабочей области.

  3. Перейдите в базу данных KQL. Его можно найти по ссылке базы данных мониторинга в параметрах мониторинга или в рабочей области.

Просмотр логов выполнения действий copyJobActivityRunDetailsLogs

Таблица CopyJobActivityRunDetailsLogs записывает сведения о выполнении каждого задания копирования на уровне отдельного действия. Задание копирования может содержать несколько сопоставлений таблиц или объектов, и каждое сопоставление создает свою собственную активность. Например, если задание копирования перемещает данные из трех исходных таблиц в три целевые таблицы, таблица содержит три записи выполнения действий для каждого выполнения задания — по одному для каждой пары "источник — назначение". Эта таблица позволяет отслеживать общее состояние выполнения, пропускную способность, метрики перемещения данных и диагностировать проблемы для каждого перемещения данных из источника в место назначения.

Схема CopyJobActivityRunDetailsLogs

В следующей таблице описывается схема CopyJobActivityRunDetailsLogs:

Имя столбца Тип столбца Описание
Отметка времени datetime Метка времени (UTC) в момент создания записи журнала.
ItemId струна Уникальный идентификатор элемента задачи на копирование.
ТипЭлемента струна Тип элемента, который фиксирует операцию.
НазваниеЭлемента струна Имя элемента задания Копирования.
CopyJobRunId (идентификатор выполнения копирования) струна Уникальный идентификатор выполнения родительского задания копирования.
WorkspaceId струна Уникальный идентификатор рабочей области Fabric, содержащей элемент.
Название рабочего пространства струна Имя рабочей области, содержащей элемент.
КапаситиАйДи струна Уникальный идентификатор емкости, в которую размещается элемент.
НазваниеЕмкости струна Имя емкости, в которую размещается элемент.
Регион струна Регион Azure, в котором была выполнена операция.
Идентичность струна Идентичность, связанная с операцией.
ИдентификаторАрендатораКлиента струна Идентификатор арендатора клиента.
НазваниеТаблицыМониторингаРабочегоПространства струна Имя таблицы, к которой принадлежат записи.
Продолжительность (мс) long Время в миллисекундах, затраченное выполнением действия.
Состояние струна Состояние выполнения действия.
Идентификатор запуска (RunId) струна Уникальный идентификатор выполнения действия.
Запланированное время datetime Запланированное время начала выполнения действия.
StartTime datetime Фактическое время начала выполнения активности.
EndTime datetime Фактическое время окончания выполнения действия.
SourceConnectionType струна Тип подключения источника данных.
Тип источника струна Тип источника данных.
ИмяИсточника струна Имя источника данных.
ТипСоединенияНазначения струна Тип подключения назначения данных.
Тип назначения струна Тип назначения данных.
Имя назначения струна Имя назначения данных.
ПрочитанныеСтроки long Количество строк, считываемых из источника.
СтрокЗаписано long Число строк, записанных в место назначения.
FilesRead long Количество файлов, считываемых из источника.
ЗаписанныеФайлы long Количество файлов, записанных в место назначения.
DataReadKB long Объем данных, считываемых в килобайтах.
DataWrittenKB long Объем данных, записанных в килобайтах.
Пропускная способность в байтах в секунду long Пропускная способность данных в байтах в секунду.
ErrorCode струна Код ошибки, если выполнение действия завершилось сбоем.
Тип отказа струна Тип сбоя, если выполнение действия завершилось сбоем.

Примеры запросов KQL для CopyJobActivityRunDetailsLogs

Суммировать активность выполнения задания копирования по статусу.

CopyJobActivityRunDetailsLogs
| summarize count() by Status

Определение неудачных запусков активности задания копирования

CopyJobActivityRunDetailsLogs
| where Status == "Failed"
| order by Timestamp desc
| project Timestamp, ItemName, WorkspaceName, StartTime, EndTime, Status, SourceName, DestinationName, ErrorCode, FailureType

Анализ производительности задания копирования

CopyJobActivityRunDetailsLogs
| where Status == "Succeeded"
| project Timestamp, ItemName, DurationMs, DataReadKB, DataWrittenKB, ThroughputBytesPerSec, RowsRead, RowsWritten
| order by Timestamp desc

Просмотр сведений о действии для определенного запуска задания копирования

CopyJobActivityRunDetailsLogs
| where CopyJobRunId == "<your-copy-job-run-id>"
| project Timestamp, SourceName, DestinationName, Status, DurationMs, RowsRead, RowsWritten, ErrorCode
| order by Timestamp asc

Поиск неудачных действий и их кодов ошибок

CopyJobActivityRunDetailsLogs
| where Status == "Failed"
| project Timestamp, ItemName, SourceName, DestinationName, ErrorCode, FailureType
| order by Timestamp desc

Анализ перемещения данных по каждой операции

CopyJobActivityRunDetailsLogs
| where Status == "Succeeded"
| project Timestamp, SourceName, DestinationName, RowsRead, RowsWritten, DataReadKB, DataWrittenKB, ThroughputBytesPerSec
| order by DataReadKB desc

Связанный контент

  • Last updated on