Параметры фабрики данных в Microsoft Fabric

В этом руководстве показано, как использовать параметры в конвейерах фабрики данных в Fabric. Это простой способ сделать рабочие процессы более гибкими и удобными для управления.

Использование параметров, выражений и функций в конвейерах Data Factory в Fabric

В этом руководстве описаны основы создания параметризованных конвейеров в Фабрике данных для Fabric, используя четкие примеры. Используя параметры и динамические выражения, вы можете сэкономить много времени и создавать гибкие решения ETL (извлечение, преобразование, загрузка) или ELT (извлечение, загрузка, преобразование). Эти методы сокращают жесткое программирование и помогают повторно использовать объекты и процессы, что упрощает обслуживание конвейеров и развертывание новых функций быстрее.

Основные понятия параметров и выражений

Параметры можно использовать для передачи внешних значений в конвейеры. После установки параметра он остается неизменным во время выполнения и не может быть изменен. С помощью параметров можно повторно использовать один конвейер с разными значениями каждый раз. Их можно использовать самостоятельно или внутри выражений, и эти значения могут быть фиксированными или вычисляемыми при выполнении pipeline.

Выражения можно размещать в любом месте строкового значения и всегда возвращать другое строковое значение. Например, если используется @password, конвейер обрабатывает пароль как параметр. Если значение является выражением, просто удалите @, чтобы получить фактическое содержимое. И если вам нужна строка, которая начинается с @, просто экранируйте её, введя @@. Ниже приведены несколько примеров, в которых показано, как это работает на практике.

Выражения также могут отображаться внутри строк, используя функцию интерполяции строк, где выражения упаковываются в @{ ... }. Например, следующая строка включает значения параметров и литеральные строковые значения:

"Имя: @{pipeline().parameters.firstName} Фамилия: @{pipeline().parameters.lastName}"

С помощью интерполяции строк результат всегда является строкой. Например, если вы определили myNumber как 42 и myString как foo:

Примеры использования параметров в выражениях

Создание и использование параметров

Чтобы создать параметры, выберите фон холста редактора конвейера, а затем вкладку параметров окна свойств в нижней части. Нажмите кнопку + Создать, чтобы добавить новый параметр в конвейер, присвойте ему имя, тип данных и значение по умолчанию:

Затем можно использовать параметр в любом месте конвейера, где поддерживается динамическое содержимое. В этом примере параметр используется для динамического задания имени хранилища данных Lakehouse на вкладке Источник страниц свойств действия копирования.

Отображается окно добавления динамического содержимого, позволяющее указать любое динамическое содержимое, включая параметры, системные переменные, функцииили переменные конвейера. В этом примере выбран ранее определенный параметр, а окно динамического содержимого автоматически заполняется правильным выражением для ссылки на параметр.

Как параметризировать подключения

Для параметризации подключений в конвейерах требуется использовать GUID подключения, который требуется заменить динамически.

1. Прежде чем динамически изменить подключение в конвейере, необходимо получить GUID для подключения, которое вы хотите задать.
2. Перейти к параметрам | Управление подключениями и шлюзами
3. Найдите имя подключения и щелкните многоточие рядом с именем подключения.
4. Выберите параметры и скопируйте идентификатор подключения
5. Использование строкового параметра для вставки GUID в этот параметр для использования в динамическом выражении

Пример сложного выражения

В следующем примере показан сложный случай, который ссылается на глубинное подполе результатов деятельности. Чтобы ссылаться на параметр конвейера, вычисляющий подфилд, используйте синтаксис [] вместо оператора dot(.) (как и подфилд1 и подфилд2).

@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*

Редактор динамического содержимого

Редактор динамического содержимого автоматически экранирует символы в вашем содержимом после завершения редактирования. Например, следующее содержимое в редакторе контента представляет собой интерполяцию строк с функцией выражения:

@{toUpper('myData')}

Редактор динамического содержимого преобразует предыдущее содержимое в следующее выражение:

MYDATA

Использование функций и переменных в выражениях

Можно вызывать функции и использовать переменные в выражениях. В следующих разделах содержатся сведения о функциях, которые можно использовать в выражении.

Переменные области конвейера

Эти системные переменные можно ссылаться в любом месте конвейера JSON.

Строковые функции

Для работы со строками можно использовать эти функции строк, а также некоторые функции коллекций . Строковые функции работают только на строках.

Функции коллекции

Для работы с коллекциями, как правило, массивами, строками и иногда словарями можно использовать эти функции коллекции.

Логические функции

Эти функции полезны в условиях, их можно использовать для оценки любого типа логики.

Функции преобразования

Эти функции используются для преобразования между каждым из собственных типов на языке:

• string
• integer
• float
• boolean
• arrays
• dictionaries

Математические функции

Эти функции можно использовать для обоих типов чисел: целых чисел и чисел с плавающей запятой.

Функции работы с датами

Связанный контент

• Язык выражений