Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Некоторые задания — это просто список задач, которые необходимо выполнить. Вы можете управлять порядком выполнения задач, указывая зависимости между ними. Задачи можно настроить для выполнения в последовательности или параллельном выполнении.
Однако можно также создавать потоки ветвления, включающие условные задачи, исправление ошибок или очистку. Инструмент Lakeflow Jobs предоставляет функции для управления потоком задач в пределах задания. В следующих разделах описаны способы управления потоком задач.
Повторы
Повторные попытки указывают, сколько раз следует повторно запустить определенную задачу, если задача завершается ошибкой. Ошибки часто временные и разрешаются с помощью перезапуска. Некоторые функции Azure Databricks, такие как эволюция схемы с использованием структурированной потоковой передачи, предполагают, что вы выполняете задания с повторными попытками, чтобы сбросить среду и позволить рабочему процессу продолжить.
Если вы указываете повторные попытки для задачи, задача перезапускается до указанного количества раз, если она сталкивается с ошибкой. Не все конфигурации заданий поддерживают повторные попытки задачи. См. Установите политику повторных попыток.
При выполнении в режиме непрерывного триггера Databricks автоматически выполняет повторные попытки с экспоненциальной задержкой. См. Как обрабатываются сбои для непрерывных заданий?.
Выполнить, если условные задачи
Можно использовать Выполнить, если тип задачи, чтобы указать условные условия для последующих задач на основе результатов других задач. Вы добавляете задачи в задание и задаете задачи, зависящие от предшествующих задач. На основе состояния этих задач можно настроить одну или несколько подчиненных задач для выполнения. Задания поддерживают следующие зависимости:
- Все успешно выполнено
- По крайней мере один добился успеха
- Ошибок нет
- Все готово
- По крайней мере один сбой
- Всё провалилось
См. настройка зависимостей задач
Условные задачи if/else
Можно использовать тип задачи If/else, чтобы указать условные условия на основе некоторого значения. См. раздел Добавление логики ветвления в задание с помощьюзадачи If/else.
Задания Lakeflow поддерживают taskValues, которые вы определяете в своей логике, и позволяют возвращать результаты некоторых вычислений или состояний из задачи в среду выполнения заданий. Можно определить условия If/else в отношении taskValues, параметров задания или динамических значений.
Задания Lakeflow поддерживают следующие операнды для условных условий:
==!=>>=<<=
См. также:
- Использование значений задач для передачи сведений между задачами
- Что такое ссылка на динамическое значение?
- Параметризовать задания
Для каждой задачи
Используйте задачу For each для выполнения другой задачи в цикле, передавая другой набор параметров каждой итерации задачи.
Чтобы добавить задачу For each в задание, необходимо определить задачу For each и вложенную задачу . Вложенная задача — это задача, выполняемая для каждой итерации задачи For each и является одним из стандартных типов задач Databricks. Для передачи параметров в вложенную задачу поддерживаются несколько методов.
См. Используйте задачу For each для выполнения другой задачи в цикле.
Отключенные задачи
Отключите задачу, чтобы пропустить ее во время выполнения, не удалив ее из задания. Задача сохраняет свою конфигурацию и журнал выполнения, а Lakeflow Jobs оценивают задачи, выполняемые после, в зависимости от их Run if условий, чтобы определить, выполняются ли они также.