Действие Power Query в Фабрике данных Azure

Действие Power Query позволяет создавать и выполнять mash-ups Power Query для выполнения обработки данных в большом масштабе в конвейере фабрики данных. Вы можете создать комбинацию данных Power Query из меню "Новые ресурсы" или добавить активность Power в конвейер.

Вы можете работать непосредственно в редакторе mash-up Power Query, чтобы выполнить интерактивное исследование данных, а затем сохранить работу. После завершения вы можете выполнить действие Power Query и добавить его в конвейер. Фабрика данных Azure автоматически масштабирует и операционализирует обработку данных с использованием среды работы потока данных Spark в Фабрике данных Azure.

Создание действия Power Query с пользовательским интерфейсом

Чтобы использовать действие Power Query в конвейере, выполните следующие действия.

1. Найдите Power Query в панели действий конвейера и перетащите активность Power Query на холст конвейера.

2. Выберите новое действие Power Query на холсте, если оно еще не выбрано, и выберите вкладку "Параметры", чтобы изменить его сведения.

   

3. Выберите существующий Power Query и нажмите кнопку "Открыть" или нажмите кнопку "Создать", чтобы создать новый Power Query, открыв редактор Power Query.

4. Выберите существующий набор данных или нажмите кнопку "Создать", чтобы определить новую. Используйте богатые возможности Power Query непосредственно в интерфейсе редактирования конвейера, чтобы преобразовать набор данных по мере необходимости. Вы можете добавить несколько запросов из нескольких наборов данных в редакторе и использовать их впоследствии.

   

5. После определения одного или нескольких запросов Power Query на предыдущем шаге можно также указать расположения приемника для любого или всех или всех из них на вкладке приемника для действия Power Query.

   

6. Вы также можете использовать выходные данные действия Power Query в качестве входных данных для других действий. Ниже приведен пример действия For Each, который ссылается на выходные данные ранее определенного свойства Power Query для его свойства Items. Его элементы поддерживают динамическое содержимое, где можно ссылаться на любые выходные данные из Power Query, используемые в качестве входных данных.

   

7. Отображаются все выходные данные действий и их можно использовать при определении динамического содержимого, выбрав их в области построителя выражений конвейера .

   

Перевод в скрипт обработки данных

Чтобы добиться масштабирования с помощью вашего действия Power Query, Фабрика данных Azure преобразует M скрипт в скрипт потока данных, чтобы вы могли выполнять ваш Power Query в масштабе, используя среду Spark потока данных Фабрики данных Azure. Создайте поток данных с помощью подготовки данных без кода. Список доступных функций см. в статье о функциях преобразования.

Настройки

• Power Query: выберите существующий Power Query для выполнения или создания нового.
• Запустите в Azure IR: выберите одну из существующих сред выполнения интеграции Azure, чтобы определить среду вычислений для Power Query, или создайте новую.
• Тип вычислений: если выбрать среду выполнения интеграции автоматического разрешения по умолчанию, можно выбрать тип вычислений для применения к вычислительным ресурсам кластера Spark для выполнения Power Query.
• Количество ядер: Если вы выберете среду выполнения интеграции по умолчанию для автоматического разрешения, то сможете указать количество ядер, применяемых к вычислительным ресурсам кластера Spark для выполнения запроса Power Query.

Приемник

Выберите набор данных, который вы хотите использовать для размещения преобразованных данных после выполнения скрипта Power Query M в Spark. Дополнительные сведения о настройке приемников см. в документации по приемникам потоков данных.

У вас есть возможность направить ваш выходной поток в несколько мест назначения. Нажмите кнопку "плюс" (+), чтобы добавить в запрос дополнительные приемники. Вы также можете направлять выходные данные каждого отдельного запроса из действия Power Query в разные места назначения.

Картирование

На вкладке "Сопоставление" вы можете настроить параметры сопоставления столбцов из выходных данных действия Power Query с целевой схемой вашего выбранного приемника. Дополнительные сведения о сопоставлении столбцов см. в документации по сопоставлению приемников потока данных.

Связанный контент

Дополнительные сведения о принципах обработки данных с помощью Power Query в Фабрике данных Azure