Краткое руководство. Создание задания Apache Airflow

Примечание.

Задание Apache Airflow работает под управлением Apache Airflow.

Apache Airflow — это платформа с открытым исходным кодом, используемая для программного создания, планирования и мониторинга сложных заданий. Он позволяет определить набор задач, которые называются операторами, которые можно объединить в ациклические графы (DAG) для представления конвейеров.

Задание Apache Airflow предоставляет простой и эффективный способ создания сред Apache Airflow и управления ими, что упрощает выполнение заданий оркестрации. В этом кратком руководстве мы создадим простое задание Apache Airflow, чтобы ознакомиться с средой и функциями задания Apache Airflow.

Создание задания Apache Airflow

  1. Можно использовать существующую рабочую область или создать новую рабочую область.

  2. Разверните раскрывающийся список + Новый элемент, а затем в разделе Фабрика данных выберите Задание Apache Airflow

    Снимок экрана: выбор задания Apache Airflow.

  3. Присвойте проекту подходящее имя и нажмите кнопку "Создать ".

Создание ФАЙЛА DAG

  1. Выберите новую карточку DAG , присвойте файлу имя и нажмите кнопку "Создать".

    Снимок экрана: имя ФАЙЛА DAG.

  2. Вам представлен стандартный код DAG. Файл можно изменить в соответствии с вашими требованиями.

    Снимок экрана: стандартный DAG-файл в Microsoft Fabric.

  3. Нажмите кнопку "Сохранить".

    Снимок экрана: сохранение DAG-файла в Microsoft Fabric.

Запуск DAG

  1. Начните с нажатия кнопки "Запустить DAG ".

    Снимок экрана: запуск DAG из пользовательского интерфейса рабочих процессов данных.

  2. После инициирования появится уведомление, указывающее, что запускается DAG.

  3. Чтобы отслеживать ход выполнения DAG, выберите "Просмотреть сведения " в центре уведомлений. Это действие перенаправит вас в пользовательский интерфейс Apache Airflow, где можно удобно отслеживать состояние и сведения о запуске DAG.

    Снимок экрана: переход к пользовательскому интерфейсу Apache Airflow из центра уведомлений.

Мониторинг DAG Apache Airflow в пользовательском интерфейсе Apache Airflow

Сохраненные файлы dag загружаются в пользовательский интерфейс Apache Airflow. Их можно отслеживать, нажав кнопку "Монитор" в Apache Airflow .

Снимок экрана: мониторинг DAG Airflow.

Снимок экрана: загруженный DAG Airflow.