Поделиться через


Преобразование данных путем запуска записной книжки

Используйте действие Notebook для запуска записных книжек, создаваемых в Microsoft Fabric в рамках конвейеров фабрики данных. Записные книжки позволяют запускать задания Apache Spark для привлечения, очистки или преобразования данных в рамках рабочих процессов данных. Это легко добавить действие Notebook в конвейеры данных в Fabric, и в этом руководстве описано, как выполнить каждый шаг.

Необходимые компоненты

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

Создание задачи в блокноте

  1. Создайте конвейер в рабочей области.

  2. Найдите записную книжку в области действий конвейера и выберите ее, чтобы добавить ее на холст конвейера.

    Снимок экрана: пользовательский интерфейс Fabric с выделенной областью действий и действием Notebook.

  3. Выберите новое действие Notebook на холсте, если оно еще не выбрано.

    Снимок экрана: вкладка

    Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Настройка параметров записной книжки

Выберите вкладку "Параметры", выберите существующую записную книжку в раскрывающемся списке "Записная книжка" и при необходимости укажите все параметры, передаваемые в записную книжку.

Снимок экрана: вкладка

Установка тега сеанса

Чтобы свести к минимуму время выполнения задания записной книжки, можно при необходимости задать тег сеанса. Установка тега сеанса позволяет Spark повторно использовать уже существующий сеанс, что минимизирует время запуска. Любое произвольное строковое значение можно использовать для тега сеанса. Если сеанс не существует, новый будет создан с помощью значения тега.

Снимок экрана: вкладка

Примечание.

Чтобы использовать тег сеанса, необходимо включить режим высокой параллелизма для конвейера с несколькими записными книжками. Этот параметр можно найти в режиме высокой параллелизма для параметров Spark в параметрах рабочей области.

Снимок экрана: вкладка

Сохранение и запуск или планирование конвейера

Перейдите на вкладку "Главная " в верхней части редактора конвейера и нажмите кнопку "Сохранить", чтобы сохранить конвейер. Выберите "Запустить ", чтобы запустить его напрямую, или запланировать его. Вы также можете просмотреть журнал выполнения здесь или настроить другие параметры.

Снимок экрана: вкладка