Установка значения возврата конвейера в Azure Data Factory и Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В парадигме конвейера вызова-дочернего конвейера можно использовать активность Set Variable для возврата значений из дочернего конвейера в вызывающий конвейер. В следующем сценарии присутствует дочерний конвейер через Действие выполнения конвейера. И мы стремимся получить информацию из дочернего конвейера, чтобы затем использовать ее в вызывающем конвейере.

Введите возвращаемое значение конвейера, словарь пар значений ключей, который позволяет обмен данными между дочерними конвейерами и родительским конвейером.

Предпосылка — вызов дочернего конвейера

В качестве предварительного условия к вашему проекту требуется Действие выполнения конвейера, вызывающее дочерний конвейер, с функцией ожидания завершения, включенной для действия.

Настройка значения возврата в дочернем конвейере

Мы расширили действие Set Variable, чтобы включить системные переменные Возвращаемое значение конвейера. Их не нужно определять на уровне конвейера (в отличие от других переменных, используемых в конвейере).

1. Выполните поиск элемента Set Variable на панели действий конвейера и перетащите действие Set Variable на холст конвейера.
2. Выберите действие "Задать переменную" на холсте, если оно еще не выбрано, а затем выберите его вкладку "Переменные", чтобы изменить сведения.
3. Выберите возвращаемое значение Pipeline как тип переменной.
4. Выберите "Создать" , чтобы добавить новую пару значений ключа.
5. Количество пар "ключ-значение", которые можно добавить, ограничено только ограничением размера возвращаемого JSON (4 МБ).

Существует несколько вариантов для типов значений, включая

Значение типа объекта определяется следующим образом:

[{"key": "myKey1", "value": {"type": "String", "content": "hello world"}}, 
 {"key": "myKey2", "value": {"type": "String", "content": "hi"}}
]

Извлечение значения в процессе вызова потока обработки

Возвращаемое значение конвейера дочернего конвейера становится выходным результатом действия «Выполнение действия конвейера». Вы можете получить сведения с помощью @activity('Execute Pipeline1').output.pipelineReturnValue.keyName. Вариант использования не имеет ограничений. Например, можно использовать

• Значение int из дочернего конвейера для определения периода ожидания активности.
• Строковое значение, определяющее URL-адрес для веб-действия.
• Набор данных значения выражения для скриптовой активности, предназначенный для ведения журнала.

При ссылке на возвращаемые значения потока имеется два заметных примечания.

1. С типом "Object" вы можете углубиться во вложенный JSON-объект, например, @activity('Execute Pipeline1').output.pipelineReturnValue.keyName.nextLevelKey
2. С помощью типа Array можно указать индекс в списке через @activity('Execute Pipeline1').output.pipelineReturnValue.keyName[0]. Число индексируется с нуля, то есть начинается с 0.

Особые соображения

• Хотя в конвейере можно включить несколько действий установки возвращаемого значения конвейера, важно убедиться, что в конвейере выполняется только один из них.

  

  Чтобы избежать ранее описанной проблемы отсутствующего ключа при вызове потока данных, мы рекомендуем использовать один и тот же список ключей для всех ветвей в дочернем потоке данных. Рекомендуется использовать типы NULL для ключей, не имеющих значений, в определенной ветви.

• Язык выражений Фабрика данных Azure напрямую не поддерживает встроенные объекты JSON. Вместо этого необходимо правильно объединить строки и выражения.

  Например, для следующего выражения JSON:

  {
    "datetime": "@{utcnow()}",
    "date": "@{substring(utcnow(),0,10)}",
    "year": "@{substring(utcnow(),0,4)}",
    "month": "@{substring(utcnow(),5,2)}",
    "day": "@{substring(utcnow(),8,2)}"
  }
  

  Эквивалентным будет выражение в Azure Data Factory следующее:

  @{
    concat(
      '{',
      '"datetime": "', utcnow(), '", ',
      '"date": "', substring(utcnow(),0,10), '", ',
      '"year": "', substring(utcnow(),0,4), '", ',
      '"month": "', substring(utcnow(),5,2), '", ',
      '"day": "', substring(utcnow(),8,2), '"',
      '}'
    )
  }
  

Связанный контент

Узнайте больше о другой связанной активности управления потоком:

• Установка действия переменной
• Добавление действия переменной