Параметры фабрики данных в Microsoft Fabric

В этом документе описывается, как использовать параметры в конвейерах для Data Factory в Fabric.

Использование параметров, выражений и функций в конвейерах Data Factory в Fabric

В этом документе мы сосредоточимся на обучении фундаментальных концепций с различными примерами для изучения возможности создания параметризованных конвейеров данных в Фабрике данных в Fabric. Параметризация и динамические выражения могут сэкономить огромное время и обеспечить гораздо более гибкое решение Extract, Transform, Load (ETL) или Extract, Load, Transform (ELT), что значительно снижает затраты на обслуживание решения и ускоряет реализацию новых функций в существующих конвейерах. Эти преимущества обусловлены тем, что параметризация сводит к минимуму объем жесткого кодирования и увеличивает количество многократно используемых объектов и процессов в решении.

Основные понятия параметров и выражений

Параметры можно использовать для передачи внешних значений в конвейеры. После того как параметр передается в ресурс, его нельзя изменить. Параметризуя ресурсы, их можно повторно использовать с разными значениями каждый раз. Параметры можно использовать отдельно или как часть выражений. Значения параметров в определении могут быть литеральными или выражениями, которые вычисляются во время выполнения.

Выражения могут отображаться в любом месте строкового значения и всегда создавать другое строковое значение. Здесь пароль является параметром конвейера в выражении. Если значение параметра является выражением, текст выражения извлекается путем удаления объекта at-sign (@). Если требуется литеральная строка, которая начинается с @, она должна быть экранирована с помощью @@. В следующих примерах показано, как вычисляются выражения.

Выражения также могут отображаться внутри строк, используя функцию интерполяции строк, где выражения упаковываются в @{ ... }. Например, следующая строка включает значения параметров и литеральные строковые значения:

"Имя: @{pipeline().parameters.firstName} Фамилия: @{pipeline().parameters.lastName}"

С помощью интерполяции строк результат всегда является строкой. Например, если вы определили myNumber как 42 и myString как foo:

Примеры использования параметров в выражениях

Создание и использование параметров

Чтобы создать параметры, выберите фон холста редактора конвейера, а затем вкладку параметров окна свойств в нижней части. Нажмите кнопку + Создать, чтобы добавить новый параметр в конвейер, присвойте ему имя, тип данных и значение по умолчанию:

Затем можно использовать параметр в любом месте конвейера, где поддерживается динамическое содержимое. В этом примере параметр используется для динамического задания имени хранилища данных Lakehouse на вкладке Источник страниц свойств действия копирования.

Отображается окно добавления динамического содержимого, позволяющее указать любое динамическое содержимое, включая параметры, системные переменные, функцииили переменные конвейера. В этом примере выбран ранее определенный параметр, а окно динамического содержимого автоматически заполняется правильным выражением для ссылки на параметр.

Пример сложного выражения

В следующем примере показан сложный случай, который ссылается на глубинное подполе результатов деятельности. Чтобы ссылаться на параметр конвейера, вычисляющий подфилд, используйте синтаксис [] вместо оператора dot(.) (как и подфилд1 и подфилд2).

@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*

Редактор динамического содержимого

Редактор динамического содержимого автоматически экранирует символы в вашем содержимом после завершения редактирования. Например, следующее содержимое в редакторе контента представляет собой интерполяцию строк с функцией выражения:

@{toUpper('myData')}

Редактор динамического содержимого преобразует предыдущее содержимое в следующее выражение:

MYDATA

Использование функций и переменных в выражениях

Можно вызывать функции и использовать переменные в выражениях. В следующих разделах содержатся сведения о функциях, которые можно использовать в выражении.

Переменные области конвейера

Эти системные переменные можно ссылаться в любом месте конвейера JSON.

Строковые функции

Для работы со строками можно использовать эти функции строк, а также некоторые функции коллекций . Строковые функции работают только на строках.

Функции коллекции

Для работы с коллекциями, как правило, массивами, строками и иногда словарями можно использовать эти функции коллекции.

Логические функции

Эти функции полезны в условиях, их можно использовать для оценки любого типа логики.

Функции преобразования

Эти функции используются для преобразования между каждым из собственных типов на языке:

• струна
• целое число
• плавать
• булев
• Массивы
• Словари

Математические функции

Эти функции можно использовать для обоих типов чисел: целых чисел и чисел с плавающей запятой.

Функции даты

Связанное содержимое

• язык выражений