Создайте триггер, который запускает конвейер в скользящем окне

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

Эта статья содержит шаги по созданию, запуску и мониторингу триггера "переворачивающегося" окна. Дополнительные сведения о триггерах и поддерживаемых типах см. в статье Выполнение конвейера и триггеры.

Триггер "переворачивающегося" окна — это тип триггера, который активируется с определенным интервалом начиная с указанного времени запуска, сохраняя состояние. Тумблирующие окна — это ряд фиксированных, неперекрывающихся и смежных интервалов времени. Триггер "переворачивающегося" окна имеет связь "один к одному" с конвейером и может ссылаться только на один конвейер.

Триггер скользящего окна — это более сложный вариант триггера расписания. Он предлагает набор функций для сложных сценариев, таких как (зависимость от других триггеров переворачивающегося окна, повторное выполнение неудачного задания и настройка повторных попыток пользователя для конвейеров). Дополнительные сведения о разнице между триггером расписания и триггером переворачивающегося окна см. в разделе "Сравнение типов триггеров".

Фабрика данных Azure и портал Azure Synapse

1. Чтобы создать оконный периодический триггер на портале Azure, перейдите на вкладку Триггеры и щелкните Создать.
2. После открытия области конфигурации триггера выберите "Переворачивающееся окно". Затем определите свойства триггера переворачивающегося окна.
3. По завершении выберите Сохранить.

Свойства типа триггера окна скольжения

"Переворачивающееся" окно имеет следующие свойства типа триггеров:

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
        "runtimeState": "<<Started/Stopped/Disabled - readonly>>",
        "typeProperties": {
            "frequency": <<Minute/Hour>>,
            "interval": <<int>>,
            "startTime": "<<datetime>>",
            "endTime": <<datetime - optional>>,
            "delay": <<timespan - optional>>,
            "maxConcurrency": <<int>> (required, max allowed: 50),
            "retryPolicy": {
                "count": <<int - optional, default: 0>>,
                "intervalInSeconds": <<int>>,
            },
            "dependsOn": [
                {
                    "type": "TumblingWindowTriggerDependencyReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan - optional>>,
                    "referenceTrigger": {
                        "referenceName": "MyTumblingWindowDependency1",
                        "type": "TriggerReference"
                    }
                },
                {
                    "type": "SelfDependencyTumblingWindowTriggerReference",
                    "size": <<timespan - optional>>,
                    "offset": <<timespan>>
                }
            ]
        },
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "parameter1": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter2": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "parameter3": "https://mydemo.azurewebsites.net/api/demoapi"
            }
        }
    }
}

В следующей таблице представлен высокоуровневый обзор основных элементов JSON, связанных с повторением и планированием триггера скользящего окна.

Системные переменные WindowStart и WindowEnd

В вашем определении WindowStart можно использовать переменные системы WindowEnd и триггера переворачивающегося окна (т. е. для части запроса). Передайте системные переменные в качестве параметров конвейера в определении триггера. В следующем примере показано, как передать эти переменные в качестве параметров.

{
    "name": "MyTriggerName",
    "properties": {
        "type": "TumblingWindowTrigger",
            ...
        "pipeline": {
            "pipelineReference": {
                "type": "PipelineReference",
                "referenceName": "MyPipelineName"
            },
            "parameters": {
                "MyWindowStart": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowStartTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                },
                "MyWindowEnd": {
                    "type": "Expression",
                    "value": "@{concat('output',formatDateTime(trigger().outputs.windowEndTime,'-dd-MM-yyyy-HH-mm-ss-ffff'))}"
                }
            }
        }
    }
}

Для использования значений переменных WindowStart и системных значений WindowEnd в определении конвейера используйте соответствующие параметры MyWindowStart и MyWindowEnd.

Порядок выполнения окон в сценарии с обратным заполнением

Если триггер startTime сработал в прошлом, то на основе формулы M=(CurrentTime- TriggerStartTime)/TumblingWindowSize триггер создает {M} запусков обратного заполнения параллельно, соблюдая параллелизм триггера, перед выполнением будущих запусков. Порядок выполнения для окон детерминирован — от самых старых до самых новых интервалов. В настоящее время это поведение изменить невозможно.

Имеющиеся элементы TriggerResource

Следующие моменты относятся к обновлению существующих TriggerResource элементов:

• Значение для frequency элемента (или размера окна) триггера вместе с interval элементом невозможно изменить после создания триггера. Это ограничение необходимо для правильного функционирования повторных triggerRun запусков и оценки зависимостей.
• Если значение элемента endTime триггера изменяется путем добавления или обновления, состояние уже обработанных окон не сбрасывается. Триггер учитывает новое endTime значение. Если новое endTime значение находится перед окнами, которые уже выполнены, триггер останавливается. В противном случае триггер останавливается при обнаружении нового endTime значения.

Повторные попытки, назначенные пользователем конвейеров

В случае сбоев конвейера триггер переворачивающегося окна может автоматически повторить выполнение указанного конвейера, используя те же входные параметры без вмешательства пользователя. retryPolicy Используйте свойство в определении триггера, чтобы указать это действие.

Зависимость триггера скользящего окна

Если вы хотите убедиться, что триггер скользящего окна выполняется только после успешного выполнения другого триггера скользящего окна в Data Factory, создайте зависимость триггера скользящего окна.

Отмена запуска переворачивающегося окна

Можно отменить запуски для триггера переворачивающегося окна, если конкретное окно находится в состоянии Ожидания, Ожидания зависимости, или Выполнения:

• Если окно находится в состоянии Запущено, отмените связанное выполнение конвейера, и запуск триггера помечается как отменено после этого.
• Если окно находится в состоянии ожидания или ожидания зависимости, вы можете отменить это состояние через мониторинг.

Вы также можете повторно запустить отмененное окно. Повторное выполнение принимает последние опубликованные определения триггера. Зависимости для указанного окна повторно вычисляются при повторном запуске.

Пример для Azure PowerShell и Azure CLI

Чтобы отслеживать запуски триггеров и конвейеров на портале Azure, см. Мониторинг конвейера.

Связанный контент

• Выполнение конвейера и триггеры
• Создание зависимости триггера скользящего окна
• Справочные метаданные триггера в запусках конвейера