Запуск, планирование или использование событий для активации конвейера

Работа конвейера начинается, когда конвейер запускается и операции выполняются.

Запуск конвейера можно выполнять тремя способами:

• Запуск по запросу: выберите "Запустить " в редакторе конвейера, чтобы активировать немедленный запуск. Перед началом конвейера необходимо сохранить все изменения.

  

• Запланированные запуски: настройка автоматических запусков на основе времени и частоты. При создании расписания необходимо указать даты начала и окончания, частоту и часовой пояс.

  

• Запуски на основе событий: используйте триггеры событий для запуска конвейера при возникновении определенных событий, таких как новые файлы, поступающие в озеро данных или изменения в базе данных.

  

Выполнение конвейера по запросу

Чтобы вручную запустить конвейер, выберите Выполнить, находящуюся в верхнем баннере на вкладке Главная.

Вы также можете выбрать расписание в верхнем баннере вкладки "Главная " и выбрать "Запустить сейчас ", чтобы активировать немедленный запуск.

Перед запуском конвейера вам будет предложено сохранить изменения. Нажмите кнопку "Сохранить и запустить ", чтобы продолжить.

После сохранения изменений пакет обработки будет запущен. Ход выполнения можно просмотреть на вкладке "Выходные данные" в нижней части холста.

После завершения действия в запуске в углу действия появится зеленая галочка.

После выполнения всего конвейера и обновления состояния на успешно, у вас будет успешный запуск конвейера!

Запланированные запуски конвейера

При планировании выполнения конвейера можно задать несколько конкретных расписаний для каждого конвейера, чтобы данные были подготовлены и доступны при необходимости.

Выберите "Расписание", найденный в верхнем баннере вкладки "Главная ", а затем нажмите кнопку "Добавить расписание ", чтобы просмотреть параметры. По умолчанию ваш конвейер не установлен в расписание.

На странице конфигурации расписания можно указать тип расписания, частоту расписания, даты начала и время окончания и часовой пояс.

Фиксированное расписание

После настройки фиксированного расписания нажмите кнопку "Сохранить ", чтобы задать расписание.

Расписание на основе интервала (предварительная версия)

Расписания на основе интервалов (предварительная версия) позволяют настраивать фиксированные, не перекрывающиеся интервалы для запуска конвейеров.

После настройки расписания на основе интервала (предварительная версия) нажмите кнопку "Сохранить ", чтобы задать расписание.

Вы можете добавить до 20 расписаний для одного конвейера, нажав кнопку "Добавить расписание " еще раз после сохранения первого расписания. Каждое расписание может иметь разные частоты и время начала и окончания.

Если у вас настроено расписание на основе интервала, вы увидите два новых параметра в редакторе выражений конвейера в разделе Параметры триггера, называемые "Время начала окна" и "Время окончания окна".

Управление запланированными запусками

Вы можете управлять запланированными запусками, выбрав "Расписание " в верхнем баннере вкладки "Главная ". Оттуда можно изменить существующие расписания или включить или отключить расписания с помощью переключателя переключателя.

Чтобы удалить фиксированное расписание, щелкните значок редактирования (карандаш) рядом с расписанием, которое нужно удалить. В области "Изменить расписание" выберите "Удалить расписание " в нижней части области.

Чтобы удалить расписание на основе интервала, щелкните значок удаления (корзина) рядом с расписанием, которое требуется удалить.

Настройка уведомлений об ошибках

Вы можете настроить отправку уведомлений по электронной почте при сбое запланированного запуска конвейера. Уведомления не отправляются для запусков по требованию.

Чтобы настроить уведомления о сбоях, откройте конвейер, выберите "Расписание " на верхней вкладке "Главная " и добавьте пользователей или группы в уведомления о сбоях.

Чтобы настроить уведомления о сбоях, откройте конвейер, перейдите на вкладку "Главная ", выберите "Расписание", а затем добавьте пользователей или группы в уведомления о сбоях.

Запуски конвейера на основе событий

Триггеры событий позволяют запускать pipelines при возникновении определенных событий, например при поступлении или удалении файлов в storage. Вы можете активировать конвейеры из событий файлов, событий задания и событий рабочей области. Если вы переходите с Azure Data Factory, вы найдете события хранения знакомыми.

Триггеры используют функции платформы Fabric, включая потоки событий и оповещения активатора данных. Триггеры можно создавать на панели управления конвейером или непосредственно в среде работы с Data Activator.

Настройка триггеров событий для хранилища

1. Нажмите кнопку "Триггер " на ленте "Главная " в верхней части холста конвейера.

   

2. Откроется панель "Задать оповещение ". Здесь можно определить источники событий для вашего триггера с помощью службы оповещений Data Activator. При необходимости можно добавить значения в параметры.

   

3. Выберите тип событий, которые вы хотите отслеживать. Выберите события OneLake для событий файлов OneLake, событий Azure Blob и т. д.

   

4. Выберите Source а затем Select events выберите события storage, которые вы хотите отслеживать.

   

5. Выберите подписку Azure и учетную запись Blob Storage.

6. Новый объект eventstream создается в рабочей области Fabric. Выберите правильную рабочую область в разделе "Сведения о потоке".

7. Нажмите кнопку Далее.

8. Выберите типы событий. Вы увидите множество вариантов событий помимо создания и удаления файлов.

   

9. Фильтрация событий для сопоставления определенных файлов и папок путем указания имени папки, имени файла, типа файла и контейнера с помощью поля Subject .

   

   Замечание

   Имя файла и имя папки являются частью поля "Тема ".

   Событие содержит эти данные верхнего уровня:

   Недвижимость	Тип	Description	Example
   source	струна	Полный путь к источнику событий. Это поле не может быть записано. Сетка событий предоставляет это значение.	/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account
   субъект	струна	Путь к объекту события, определённый издателем.	/blobServices/default/containers/my-file-system/blobs/new-file.txt
   type	струна	Один из зарегистрированных типов событий для этого источника событий.	Microsoft.Storage.BlobCreated
   time	струна	Время события определяется на основе времени UTC, используемого поставщиком.	2017-06-26T18:41:00.9584103Z
   id	струна	Уникальный идентификатор события.	00000000-0000-0000-0000-000000000000
   данные	объект	Данные событий хранилища Blob.	{{Объект данных}}
   specversion	струна	Версия спецификации схемы CloudEvents.	1.0

10. На панели конфигурации триггера выберите рабочую область для хранения элементов триггера, укажите имя конвейера, действие конвейера и назовите триггер как элемент Reflex.

11. Нажмите кнопку "Создать", чтобы создать триггер. Триггер становится активным в вашем конвейере и реагирует на определенные вами события хранилища.

    

Просмотр триггеров и управление ими

1. Чтобы просмотреть триггер, перейдите в список рабочих областей и найдите объект Reflex по имени в браузере Fabric.

2. Тип объекта — Reflex. Выберите триггер, чтобы открыть объект Reflex для просмотра и редактирования.

   

3. Чтобы просмотреть триггеры, которые являются частью вашего конвейера, используйте Представление триггеров> из меню конвейера.

   

Использование имен файлов триггеров и папок в выражениях

Имя файла и путь к папке можно использовать в вашем конвейере из событий хранилища, используя встроенные параметры триггера. Data Factory задает эти параметры при получении события хранилища.

Выберите вкладку параметров триггера в построителе выражений в конвейере, а фабрика данных автоматически анализирует имя файла и имена папок, позволяя динамически добавлять их в выражения конвейера.

Снимок экрана с диалоговым окном добавления динамического содержимого.

Эти встроенные параметры приходят из полей темы и раздела события файла и создаются автоматически для логики конвейера.

@pipeline()?.TriggerEvent?.FileName

Обратите внимание на ? после ссылки на объект pipeline(). Это обрабатывает значения NULL на языке выражений конвейера. Этот синтаксис необходим при тестировании конвейера, использующего параметры триггера, так как во время ручного тестирования параметры имени файла и папки не заданы, возвращая значение NULL. При активации конвейера из события файла вы увидите имя файла и имя папки, заполненные в этих полях.

Связанный контент

• Как мониторить выполнение конвейеров в Microsoft Fabric
• Быстрый старт: Создание первого конвейера для копирования данных
• возможности API REST для конвейеров в Fabric Data Factory