Создание и выполнение действий функций обработки пользовательских данных в конвейерах

Запустите пользовательские функции Python в рамках автоматизированных рабочих процессов данных, добавив действие пользовательских функций данных в конвейер Fabric. Эта интеграция позволяет централизировать бизнес-логику в функциях и вызывать их во время запланированных процессов ETL, устраняя необходимость дублировать код в записных книжках и сценариях.

Когда следует использовать функции в конвейерах

Добавьте действие функций пользовательских данных в конвейер, когда это необходимо:

• Применение бизнес-правил во время перемещения данных: проверка, очистка или преобразование данных по мере прохождения конвейера. Например, стандартизация категорий продуктов или применение правил ценообразования перед загрузкой в склад.
• Планирование повторного использования логики: выполнение той же бизнес-логики в расписании без поддержки отдельной инфраструктуры.

Предпосылки

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

• Рабочая область Fabric с активной емкостью или пробной емкостью.
• Элемент пользовательских данных с хотя бы одной функцией.

Добавьте элемент "Функции" в конвейер

Пайплайны предоставляют визуальный способ оркестрации активностей по перемещению и преобразованию данных. В этом разделе вы создадите конвейер и добавьте в него действие "Функции". В более поздней части вы настраиваете действие специально для пользовательских функций данных.

Чтобы создать конвейер с активностью "Functions", выполните следующие действия:

1. В рабочем пространстве выберите + Новый элемент.

2. В диалоговом окне «Создать элемент» найдите Pipeline и выберите его.

3. В диалоговом окне "Создать конвейер" введите имя конвейера и нажмите кнопку "Создать".

4. На домашней странице конвейера выберите вкладку "Действия ".

5. На ленте "Действия" щелкните значок ... (многоточие), чтобы просмотреть дополнительные действия.

6. Найдите Функции в списке действий под Orchestrate, а затем выберите Функции, чтобы добавить действие Функций на холст конвейера.

   

Настройка активности для функций данных пользователя

После добавления активности функций на холст настройте её для вызова функции работы с пользовательскими данными.

Настройка общих параметров

1. Выберите активность функций на холсте.

2. Перейдите на вкладку "Общие ".

3. Введите название действия.

   

4. При необходимости настройте параметры повторных попыток и укажите, передаете ли вы безопасные входные или выходные данные.

Настройка параметров функции

1. Выберите вкладку Параметры.

2. Выберите функции пользовательских данных Fabric как тип.

3. В раскрывающемся списке "Подключение" выберите подключение, которое вы хотите использовать. Если нужное подключение не отображается, нажмите кнопку "Обзор всех".

4. В диалоговом окне "Выбор источника данных для начала" найдите функции пользовательских данных и выберите его. Вы увидите его в разделе "Новые источники".

5. В диалоговом окне "Подключение к источнику данных" можно сохранить имя подключения и учетные данные по умолчанию. Убедитесь, что вы вошли в систему, а затем нажмите кнопку "Подключить".

   

   Замечание

   Если у вас уже есть подключение, оно может быть выбрано в диалоговом окне. Вы можете сохранить существующее подключение или выбрать "Создать новое подключение " в раскрывающемся списке, чтобы создать новое.

6. Вернитесь к параметрам действия, выберите UserDataFunctions в раскрывающемся списке "Подключение ". Это только что созданное соединение.

   

7. Выберите рабочую область , содержащую элемент функций данных пользователя.

8. Выберите имя элемента функций данных пользователя .

9. Выберите функцию , которую требуется вызвать.

10. Укажите входные параметры для выбранной функции. Вы можете использовать статические значения или динамический контент из выражений конвейера.

    

    Замечание

    Чтобы ввести динамическое содержимое, выберите поле, которое нужно заполнить, а затем нажмите клавиши ALT+SHIFT+D , чтобы открыть построитель выражений.

Передача динамических параметров

Чтобы передать значения из других действий конвейера или переменных в функцию:

1. Выберите поле, которое поддерживает динамическое содержимое, например поле "Значение " для параметра, показанного name ранее.

2. Нажмите клавиши ALT+SHIFT+D , чтобы открыть построитель выражений.

3. Используйте выражения конвейера для ссылки на переменные, параметры или выходные данные из предыдущих действий. Например, используйте @pipeline().parameters.PipelineName для передачи параметра конвейера в функцию.

   

Дополнительные сведения о выражениях конвейера см. в разделе "Выражения и функции".

Использование выходных данных функции в последующих действиях

Возвращаемое значение функции доступно в выходных данных действия. Чтобы ссылаться на выходные данные в последующих действиях, выполните следующие действия:

1. Добавьте еще одну операцию в ваш поток после операции "Функции".

2. Выберите действие "Функции" и перетащите его выходные данные "После успешного выполнения " (зеленая галочка справа от действия) в новое действие. Это создает зависимость, чтобы новое действие выполнялось после успешного завершения функции.

3. Выберите новое действие и найдите поле, которое поддерживает динамическое содержимое.

4. Нажмите клавиши ALT+SHIFT+D , чтобы открыть построитель выражений.

5. Используйте выражение @activity('YourFunctionActivityName').output для ссылки на возвращаемое значение функции. Например, имя действия функции — Functions1, и вы можете использовать @activity('Functions1').output для ссылки на его выходные данные.

   

Точная структура выходных данных зависит от того, что возвращает ваша функция. Например, если функция возвращает словарь, вы можете получить доступ к определенным свойствам, таким как @activity('YourFunctionActivityName').output.propertyName.

Сохранение и запуск конвейера

После настройки действия "Функции" и любых других действий для конвейера:

1. Выберите вкладку "Главная " в верхней части редактора конвейера.
2. Нажмите кнопку "Сохранить", чтобы сохранить конвейер.
3. Выберите "Запустить ", чтобы запустить конвейер немедленно, или выберите "Расписание ", чтобы настроить повторяющееся расписание.

После выполнения можно отслеживать выполнение конвейера и просматривать журнал выполнения с вкладки "Выходные данные " под холстом. Дополнительные сведения см. в разделе "Мониторинг запусков конвейера".

Связанный контент

• Узнайте о модели программирования функций работы с пользовательскими данными
• Использование параметров в конвейерах фабрики данных в Fabric
• Общие сведения о концепции запуска конвейера
• Как мониторить выполнение конвейеров в Microsoft Fabric