Краткое руководство. Перемещение и преобразование данных с помощью потоков данных и конвейеров данных

В этом руководстве вы узнаете, как интерфейс потока данных и конвейера данных может создать мощное и комплексное решение фабрики данных.

Необходимые компоненты

Чтобы приступить к работе, необходимо иметь следующие предварительные требования:

• Учетная запись клиента с активной подпиской. Создайте бесплатную учетную запись.
• Убедитесь, что у вас есть рабочая область с поддержкой Microsoft Fabric: создайте рабочую область, которая не является моей рабочей областью по умолчанию.
• База данных SQL Azure с данными таблицы.
• Учетная запись служба хранилища BLOB-объектов.

Потоки данных по сравнению с конвейерами

Потоки данных 2-го поколения позволяют использовать интерфейс с низким кодом и преобразования данных и преобразования на основе искусственного интеллекта для упрощения очистки, подготовки и преобразования данных с большей гибкостью, чем любой другой инструмент. Конвейеры данных позволяют создавать гибкие рабочие процессы данных, соответствующие вашим корпоративным потребностям. В конвейере можно создать логические группировки действий, выполняющих задачу, которая может включать вызов потока данных для очистки и подготовки данных. Хотя между этими двумя функциями перекрываются некоторые функции, выбор которых используется для конкретного сценария, зависит от того, требуется ли полное богатство конвейеров или можно использовать более простые, но более ограниченные возможности потоков данных. Дополнительные сведения см. в руководстве по принятию решений Fabric

Преобразование данных с помощью потоков данных

Выполните следующие действия, чтобы настроить поток данных.

Шаг 1. Создание потока данных

1. Выберите рабочую область с поддержкой Fabric и нажмите кнопку "Создать". Затем выберите dataflow 2-го поколения.

   

2. Откроется окно редактора потоков данных. Выберите импорт из SQL Server карта.

   

Шаг 2. Получение данных

1. В диалоговом окне Подключение источника данных введите сведения для подключения к базе данных SQL Azure, а затем нажмите кнопку "Далее". В этом примере используется пример базы данных AdventureWorksLT , настроенный при настройке базы данных SQL Azure в предварительных требованиях.

   

2. Выберите данные, которые вы хотите преобразовать, а затем нажмите кнопку "Создать". В этом кратком руководстве выберите SalesLT.Customer из примера данных AdventureWorksLT , предоставленных для базы данных SQL Azure, а затем кнопку "Выбрать связанные таблицы ", чтобы автоматически включить две другие связанные таблицы.

   

Шаг 3. Преобразование данных

1. Если он не выбран, нажмите кнопку представления диаграммы в нижней части страницы или выберите представление диаграммы в меню "Вид" в верхней части редактора Power Query. Любой из этих параметров может переключить представление схемы.

   

2. Щелкните правой кнопкой мыши запрос Клиента SalesLT или выберите вертикальный многоточие справа от запроса, а затем выберите запросы слияния.

   

3. Настройте слияние, выбрав таблицу SalesLTOrderHeader в качестве правой таблицы для слияния, столбец CustomerID из каждой таблицы в качестве столбца соединения и левый внешний в качестве типа соединения. Затем нажмите кнопку "ОК ", чтобы добавить запрос слияния.

   

4. Нажмите кнопку "Добавить назначение данных", которая выглядит как символ базы данных со стрелкой над ним, из только что созданного запроса слияния. Затем выберите базу данных SQL Azure в качестве типа назначения.

   

5. Укажите сведения о подключении к базе данных SQL Azure, где будет опубликован запрос слияния. В этом примере можно использовать базу данных AdventureWorksLT , используемую в качестве источника данных для назначения.

   

6. Выберите базу данных для хранения данных и укажите имя таблицы, а затем нажмите кнопку "Далее".

   

7. Параметры по умолчанию можно оставить в диалоговом окне "Выбор параметров назначения" и просто нажать кнопку "Сохранить" без внесения изменений.

   

8. Нажмите кнопку "Опубликовать " на странице редактора потоков данных, чтобы опубликовать поток данных.

   

Перемещение данных с помощью конвейеров данных

Теперь, когда вы создали поток данных 2-го поколения, его можно использовать в конвейере. В этом примере данные, созданные из потока данных, копируются в текстовый формат в учетной записи Хранилище BLOB-объектов Azure.

Шаг 1. Создание конвейера данных

1. В рабочей области выберите "Создать", а затем выберите конвейер данных.

   

2. Присвойте конвейеру имя и нажмите кнопку "Создать".

   

Шаг 2. Настройка потока данных

1. Добавьте новое действие потока данных в конвейер данных, выбрав поток данных на вкладке "Действия ".

   

2. Выберите поток данных на холсте конвейера, а затем вкладку Параметры. Выберите поток данных, созданный ранее в раскрывающемся списке.

   

3. Нажмите кнопку "Сохранить", а затем выполните запуск потока данных, чтобы первоначально заполнить ее объединенную таблицу запросов, разработанную на предыдущем шаге.

   

Шаг 3. Добавление действия копирования с помощью помощник копирования

1. Выберите " Копировать данные на холсте", чтобы открыть средство помощника по копированию, чтобы приступить к работе. Или выберите "Использовать копию помощник" в раскрывающемся списке "Копирование данных" на вкладке "Действия" на ленте.

   

2. Выберите источник данных, выбрав тип источника данных. В этом руководстве вы используете База данных SQL Azure, используемые ранее при создании потока данных для создания нового запроса слияния. Прокрутите вниз ниже примеров предложений данных и выберите вкладку Azure, а затем База данных SQL Azure. Нажмите кнопку Далее, чтобы продолжить.

   

3. Создайте подключение к источнику данных, выбрав "Создать новое подключение". Введите необходимые сведения о подключении на панели и введите AdventureWorksLT для базы данных, где мы создали запрос слияния в потоке данных. Затем выберите Далее.

   

4. Выберите таблицу, созданную на предыдущем шаге потока данных, и нажмите кнопку "Далее".

   

5. Для назначения выберите Хранилище BLOB-объектов Azure и нажмите кнопку "Далее".

   

6. Создайте подключение к месту назначения, нажав кнопку "Создать новое подключение". Укажите сведения о подключении, а затем нажмите кнопку "Далее".

   

7. Выберите путь к папке и укажите имя файла, а затем нажмите кнопку "Далее".

   

8. Нажмите кнопку "Далее" , чтобы принять формат файла по умолчанию, разделитель столбцов, разделитель строк и тип сжатия, при необходимости включая заголовок.

   

9. Завершите настройку параметров. Затем просмотрите и нажмите кнопку "Сохранить и запустить ", чтобы завершить процесс.

   

Шаг 5. Проектирование конвейера данных и сохранение для выполнения и загрузки данных

1. Чтобы выполнить действие копирования после действия потока данных, перетащите действие "Успешно" в действие "Копирование". Действие копирования выполняется только после успешного выполнения действия потока данных.

   

2. Нажмите кнопку "Сохранить", чтобы сохранить конвейер данных. Затем выберите "Выполнить" , чтобы запустить конвейер данных и загрузить данные.

   

Планирование выполнения конвейера

Завершив разработку и тестирование конвейера, вы можете запланировать его автоматическое выполнение.

1. На вкладке "Главная " окна редактора конвейера выберите "Расписание".

   

2. Настройте расписание по мере необходимости. Пример здесь планирует выполнение конвейера ежедневно в 8:00 до конца года.

   

Связанный контент

В этом примере показано, как создать и настроить поток данных 2-го поколения, чтобы создать запрос слияния и сохранить его в базе данных SQL Azure, а затем скопировать данные из базы данных в текстовый файл в Хранилище BLOB-объектов Azure. Вы научились выполнять следующие задачи:

Затем перейдите к дополнительным сведениям о мониторинге выполнения конвейера.