Параметры фабрики данных в Microsoft Fabric

В этой статье показано, как использовать параметры в конвейерах фабрики данных в Fabric, чтобы можно было создавать гибкие и многократно используемые рабочие процессы.

Использование параметров, выражений и функций в конвейерах фабрики данных

В этом разделе описаны основы создания параметризованных конвейеров в фабрике данных для Fabric, используя четкие примеры по пути. Параметры и динамические выражения помогают экономить время и позволяют создавать гибкие решения Extract, Transform, Load (ETL) или Extract, Load, Transform (ELT). Они снижают жесткое программирование и позволяют повторно использовать объекты и процессы, что упрощает обслуживание конвейеров и позволяет быстрее отправлять новые функции.

Основные понятия параметров и выражений

Параметры можно использовать для передачи внешних значений в конвейеры. После задания параметра его значение остается неизменным на протяжении всего выполнения. Параметры позволяют повторно использовать один конвейер с разными значениями каждый раз. Параметры можно использовать отдельно или внутри выражений; их значения могут быть либо фиксированными, либо вычисляться при запуске конвейера.

Выражения можно размещать в любом месте строкового значения и всегда возвращать другое строковое значение. Например, если используется @password, конвейер обрабатывает пароль как параметр. Если значение является выражением, удалите @, чтобы получить фактическое содержимое. Чтобы использовать строку, начинающуюся с @, экранируйте ее, введя @@. В следующих примерах показано, как это работает на практике.

Выражения также могут отображаться внутри строк с помощью интерполяции строк, где выражения упаковываются в @{ ... }. Например, следующая строка включает значения параметров и литеральные строковые значения:

"Имя: @{pipeline().parameters.firstName} Фамилия: @{pipeline().parameters.lastName}"

Интерполяция строк всегда возвращает строку. Например, если вы определяете myNumber как 42 и myString как foo:

Примеры выражений параметров

Создание и использование параметров

Чтобы создать параметры, выберите фон холста редактора конвейера и перейдите на вкладку "Параметры " окна свойств внизу. Выберите +Создать , чтобы добавить параметр в конвейер, и присвойте ему имя, тип данных и значение по умолчанию:

Затем можно использовать параметр в любом месте, где конвейер поддерживает динамическое содержимое. В этом примере параметр динамически задаёт имя хранилища данных Lakehouse на вкладке Source на страницах свойств операции Copy.

Откроется окно "Добавить динамическое содержимое". Используйте его для указания любого типа динамического содержимого, включая параметры, системные переменные, функции или переменные конвейера. В этом примере вы выбираете параметр, определенный ранее, и окно динамического содержимого автоматически заполняется правильным выражением для ссылки на него.

Параметризация подключений

Чтобы параметризировать подключения в конвейерах, используйте глобальный уникальный идентификатор (GUID) подключения, который требуется заменить динамически.

1. Перед тем как динамически изменить подключение в конвейере, получите GUID подключения, которое вы хотите задать.
2. Перейдите к разделу "Параметры>управления подключениями и шлюзами".
3. Найдите имя подключения и выберите рядом с ним многоточие (...).
4. Выберите "Параметры" и скопируйте идентификатор подключения.
5. Вставьте GUID в строковый параметр и наведите ссылку на этот параметр в динамическом выражении.

Пример сложного выражения

Следующее выражение ссылается на глубокое подполе выходных данных действия. Чтобы сослаться на параметр конвейера, который принимает значение подполя, используйте синтаксис [] вместо оператора точки (.), как в случае с subfield1 и subfield2.

@activity('*activityName*').output.*subfield1*.*subfield2*[pipeline().parameters.*subfield3*].*subfield4*

Редактор динамического содержимого

Редактор динамического содержимого автоматически экранирует символы в вашем содержимом после завершения редактирования. Например, следующее содержимое в редакторе контента представляет собой интерполяцию строк с функцией выражения:

@{toUpper('myData')}

Редактор динамического содержимого преобразует предыдущее содержимое в следующее выражение:

MYDATA

Использование функций и переменных в выражениях

Можно вызывать функции и использовать переменные в выражениях. В следующих разделах содержатся сведения о функциях, которые можно использовать в выражении.

Переменные области конвейера

На эти системные переменные можно ссылаться в любом месте JSON конвейера.

Строковые функции

Для работы с строками используйте эти строковые функции, а также некоторые функции коллекции. Строковые функции работают только на строках.

Функции коллекции

Для работы с такими коллекциями, как массивы, строки и словари, используйте эти функции коллекции.

Логические функции

Используйте эти функции внутри условий для оценки любого типа логики.

Функции преобразования

Используйте эти функции для преобразования значений одного из встроенных типов данных в другой в языке:

• string
• integer
• float
• boolean
• arrays
• dictionaries

Математические функции

Используйте эти функции с обоими типами чисел: целыми числами и плавающей запятой.

Функции работы с датами

Связанный контент

• Язык выражений