Как отслеживать выполнение конвейера в Microsoft Fabric

В этом руководстве описаны способы проверки выполнения конвейера или мониторинга выполнения конвейера. Независимо от того, хотите ли вы просто узнать, как все происходит, или вам нужно выявить и устранить определенные проблемы, мы покажем вам, как отслеживать ход выполнения, выявить проблемы на ранней стадии и убедиться, что все работает гладко. Мониторинг помогает оставаться под контролем, чтобы вы могли обнаруживать проблемы, прежде чем они разрастаются и держать рабочие процессы в нужном русле.

Мониторинг запусков конвейера

1. Чтобы отслеживать выполнение конвейера, наведите указатель мыши на конвейер в рабочей области. Это действие приводит к появлению трех точек справа от имени конвейера.

   

2. Выберите три точки, чтобы найти список параметров. Затем выберите "Просмотр журнала выполнения". Это действие открывает панель в правой части экрана с вашими последними запусками и их статусами.

   

   

3. Выберите "Перейти к центру мониторинга" на предыдущем снимку экрана, чтобы просмотреть дополнительные сведения и результаты фильтрации. Используйте фильтр для поиска конкретных запусков конвейера на основе нескольких критериев.

   

4. Выберите один из запусков конвейера, чтобы просмотреть подробные сведения. Вы можете просмотреть, как выглядит конвейер, и просмотреть дополнительные свойства, такие как идентификатор выполнения или ошибки, если выполнение конвейера завершилось сбоем.

   

5. Если в конвейерах выполняется более 2000 действий, выберите Загрузить больше, чтобы просмотреть дополнительные результаты на той же странице мониторинга.

   

   

6. Используйте фильтр для фильтрации по состоянию действия или параметрам столбца для изменения столбцов, отображаемых в представлении мониторинга.

   

   

   Можно также найти имя действия, тип действия или идентификатор выполнения действия с помощью поля "Фильтр по ключевым словам ".

   

   

7. Если вы хотите экспортировать данные мониторинга, выберите "Экспорт в CSV".

   

8. Чтобы найти дополнительные сведения о запусках конвейера входных данных и выходных данных, выберите ссылки входных или выходных данных справа от соответствующей строки в записях активности.

9. Вы можете выбрать Обновить конвейер, чтобы внести изменения в ваш конвейер на этом экране. Этот выбор перенаправит вас обратно на холст конвейера.

10. Вы также можете повторно запустить конвейер. Вы можете повторно запустить весь конвейер или начать его с момента неудавшегося действия.

11. Чтобы просмотреть сведения о производительности, выберите действие из списка запусков действий. Всплывающее окно с деталями производительности.

Дополнительные сведения можно найти в разделе "Длительность" и "Дополнительно".

Представление Ганта

Переключение на представление Ганта дает четкий визуальный способ отслеживания выполнения конвейера с течением времени. Каждое выполнение отображается в виде строки, сгруппированной по имени конвейера, и длина строки показывает, сколько времени занимает выполнение. Это отличный способ определить закономерности, сравнить длительность и быстро увидеть, что и когда работает. Это представление упрощает мониторинг, позволяя вам обнаружить задержки, перекрытия или что-либо необычное с первого взгляда.

Длина полосы связана с длительностью конвейера. Чтобы просмотреть дополнительные сведения, можно выбрать панель.

Мониторинг рабочего пространства для конвейеров

Мониторинг рабочей области обеспечивает видимость на уровне журнала для всех элементов в рабочей области, включая конвейеры.

1. Чтобы включить мониторинг рабочей области, перейдите в раздел "Параметры рабочей области " в рабочей области Fabric и выберите "Мониторинг".

2. Добавьте хранилище событий мониторинга и включите логирование активности рабочей области. Fabric создает базу данных KQL в хранилище событий в рабочей области для хранения журналов.

   

3. Перейдите к созданной базе данных KQL. Это можно найти в ссылке базы данных мониторинга в параметрах мониторинга или найти базу данных в рабочей области.

   

4. В базе данных KQL таблица ItemJobEventLogs записывает события уровня конвейера, происходящие в рабочей области (мы называем этот мониторинг L1). Журналы включают имя конвейера, состояние выполнения, метки времени и системную диагностику.

   

Используйте запросы KQL в хранилище событий мониторинга для анализа:

• Тенденции успеха и сбоя
• Метрики производительности
• Сведения об ошибке для устранения неполадок

Связанный контент

• Быстрый старт: Создание первого конвейера для копирования данных
• Краткое руководство. Создание первого потока данных 2-го поколения для получения и преобразования данных