Преобразование данных путем выполнения действия определения задания Spark

Действие «Определение задания Spark» в Data Factory для Microsoft Fabric позволяет устанавливать соединения с заданиями Spark и запускать их непосредственно из конвейера.

Необходимые условия

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

• У вас должен быть доступ к арендатору Microsoft Fabric с выделенной capacity. Вы можете try Fabric с помощью бесплатной пробной версии.
• Назначенное этой емкости пространство Fabric workspace.

Добавьте действие для определения задания Spark в конвейер через пользовательский интерфейс.

1. Создайте конвейер в рабочей области.

2. Найдите определение задания Spark на карточке главного экрана и выберите его, или выберите действие на панели действий для его добавления на холст конвейера.

   • Создание активности на главном экране:

     

   • Создание действия на панели действий:

     

3. Выберите новое действие Spark Job Definition на холсте редактора конвейера, если оно еще не выбрано.

   

   Ознакомьтесь с руководством по настройке параметров общие параметры, чтобы настроить параметры, найденные на вкладке Общие параметры.

Параметры действия определения задания Spark

Откройте вкладку Settings в области свойств действия, а затем выберите рабочую область Fabric, содержащую определение задания Spark, которое вы хотите запустить.

Здесь можно настроить подключение, рабочую область и определение задания Spark. Если определение задания Spark еще не существует, можно создать новое определение задания Spark из редактора конвейера, нажав кнопку +Создать рядом с определением задания Spark.

Вы можете выбрать подключение сервисного принципала (SPN) или идентификатора рабочей области (WI). Выбранное подключение определяет, как выполняется проверка подлинности задания Notebook или Spark во время выполнения конвейера.

После задания имени и выбора создания вы перейдете в определение задания Spark, чтобы задать конфигурации.

Настройка проверки подлинности подключения

На вкладке Settings в разделе Connection выберите требуемое Fabric подключение для проверки подлинности. Если подключение не существует, создайте его, выбрав Просмотреть все и затем Задание Spark в Новом источнике.

Расширенные настройки

Во вкладке Настройки можно настроить дополнительные параметры в разделе Расширенные настройки.

Вы также можете параметризировать параметры этих полей для организации объекта определения задания Spark. Переданные значения переопределяют исходные конфигурации определения задания Spark.

Известные ограничения

Текущие ограничения в действии определения заданий Spark для фабрики данных Fabric перечислены здесь. Этот раздел подлежит изменению.

• Хотя мы поддерживаем мониторинг действия с помощью вкладки вывода, вы еще не можете отслеживать определение задания Spark на более детальном уровне. Например, ссылки на страницу мониторинга, состояние, длительность и предыдущие запуски определения задания Spark недоступны непосредственно в Data Factory. Однако более подробные сведения можно просмотреть на странице мониторинга определения заданий Spark.
• Подробный мониторинг уровня выполнения доступен на странице мониторинга определения заданий Spark. Метод проверки подлинности (SPN или WI), используемый для выполнения, не влияет на поведение мониторинга.
• Пользователи должны использовать подключение SPN или WI для функции мониторинга URL SJD.

Сохраните и запустите конвейер или запланируйте его выполнение

Перейдите на вкладку "Главная " в верхней части редактора конвейера и нажмите кнопку "Сохранить", чтобы сохранить конвейер. Выберите "Выполнить" , чтобы запустить его напрямую или запланировать выполнение в определенный момент времени или интервалы. Дополнительные сведения о запусках конвейера см. в статье "Планирование запусков конвейера".

После выполнения можно отслеживать выполнение конвейера и просматривать журнал выполнения с вкладки "Выходные данные " под холстом.

Связанное содержимое

Как контролировать выполнение конвейера