Копирование данных с помощью операции копирования

В конвейере можно использовать действие копирования для копирования данных между хранилищами данных в облаке. После копирования данных можно использовать другие действия в конвейере для преобразования и анализа данных.

Действие копирования подключается к источникам и местам назначения данных, а затем эффективно переносит данные между ними. Вот как служба обрабатывает процесс копирования:

1. Подключается к источнику: создает безопасное подключение для чтения данных из исходного хранилища данных.
2. Обрабатывает данные: обрабатывает сериализацию/десериализацию, сжатие или декомпрессию, сопоставление столбцов и преобразования типов данных на основе конфигурации.
3. Записывает данные в место назначения: передает обработанные данные в целевое хранилище данных.
4. Предоставляет мониторинг: отслеживает операцию копирования и предоставляет подробные журналы и метрики для устранения неполадок и оптимизации.

Prerequisites

Чтобы приступить к работе, необходимо выполнить следующие предварительные требования:

• Учетная запись клиента Microsoft Fabric с активной подпиской. Создайте учетную запись бесплатно .
• Рабочая область с поддержкой Microsoft Fabric.

Добавление действия копирования с помощью помощника по копированию

Выполните следующие действия, чтобы настроить действие копирования с помощью помощника по копированию.

Начните с ассистента копирования

1. Откройте существующий конвейер или создайте новый конвейер.

2. Выберите " Копировать данные на холсте", чтобы открыть средство помощника по копированию, чтобы приступить к работе. Или выберите «Использовать помощника по копированию» из раскрывающегося меню «Копирование данных» на вкладке «Действия» на ленте.

   

Настройка источника

1. Выберите тип источника данных из категории. Вы будете использовать хранилище объектов BLOB в Azure как пример. Выберите хранилище Blob-объектов Azure.

   

2. Создайте подключение к источнику данных, выбрав "Создать новое подключение".

   

   После нажатия кнопки "Создать новое подключение" введите необходимые сведения о подключении и нажмите кнопку "Далее". Сведения о создании подключения для каждого типа источника данных можно найти в каждой статье об этом соединителе.

   Если у вас уже есть подключения, можно выбрать существующее подключение и выбрать подключение в раскрывающемся списке.

   

3. Выберите файл или папку, скопированные на этом шаге конфигурации источника, и нажмите кнопку "Далее".

   

Настройка назначения

1. Выберите тип источника данных из категории. Вы будете использовать хранилище объектов BLOB в Azure как пример. Вы можете создать новое подключение к новой учетной записи Azure Blob Storage, следуя шагам из предыдущего раздела, или используйте существующее подключение из раскрывающегося списка соединений. Возможности тестового подключения и редактирования доступны для каждого выбранного подключения.

   

2. Настройте и сопоставьте исходные данные с целевым хранилищем. Затем нажмите кнопку "Далее", чтобы завершить конфигурации назначения.

   

   

   Note

   В одном действие Copy можно использовать только один локальный шлюз данных. Если источник и приемник являются локальными источниками данных, они должны использовать один и тот же шлюз. Чтобы переместить данные между локальными источниками данных с разными шлюзами, необходимо скопировать данные с помощью первого шлюза в промежуточный источник облака в одном действии копирования. Затем можно использовать еще одну операцию копирования для копирования из промежуточного облачного источника с помощью второго шлюза.

Просмотрите и создайте задачу копирования

1. Просмотрите параметры действия копирования на предыдущих шагах и нажмите кнопку "ОК ", чтобы завершить работу. Вы также можете вернуться к предыдущим шагам, чтобы изменить параметры при необходимости в средстве.

   

После завершения задача копирования будет добавлена в рабочую область конвейера. Все параметры, включая дополнительные параметры для этого действия копирования, доступны на вкладках при выборе.

Теперь вы можете сохранить поток с помощью этой единственной операции копирования или продолжить проектирование вашего потока.

Добавьте действие копирования непосредственно

Выполните следующие действия, чтобы напрямую добавить действие копирования.

Добавление действия копирования

1. Откройте существующий конвейер или создайте новый конвейер.

2. Добавьте действие копирования, выбрав "Добавить действие конвейера" или "Копировать данные" Добавить на холст на вкладке "Действия".

   

Настройка общих параметров на вкладке "Общие"

Сведения о настройке общих параметров см. в разделе "Общие".

Настройка источника на вкладке "Источник"

1. В разделе "Подключение" выберите существующее подключение или нажмите кнопку "Дополнительно ", чтобы создать новое подключение.

   

   1. Выберите тип источника данных в всплывающем окне. Вы будете использовать База данных SQL Azure в качестве примера. Выберите База данных SQL Azure и нажмите кнопку Продолжить.

      

   2. Он переходит на страницу создания подключения. Введите необходимые сведения о подключении на панели и нажмите кнопку "Создать". Сведения о создании подключения для каждого типа источника данных можно найти в каждой статье об этом соединителе.

      

   3. После создания подключения вы вернеесь на страницу конвейера. Затем выберите "Обновить" , чтобы получить подключение, созданное в раскрывающемся списке. Вы также можете выбрать существующее подключение к базе данных SQL Azure непосредственно в раскрывающемся списке, если вы уже создали его раньше. Возможности тестового подключения и редактирования доступны для каждого выбранного подключения. Затем выберите База данных SQL Azure в типе подключения.

2. Укажите таблицу для копирования. Выберите предварительный просмотр данных , чтобы просмотреть исходную таблицу. Вы также можете использовать запрос и хранимую процедуру для чтения данных из источника.

3. Разверните параметры Advanced для более подробных настроек, таких как время ожидания запроса или секционирование. (Дополнительные параметры зависят от соединителя.)

Настройка назначения на вкладке назначения

1. В разделе "Подключение" выберите существующее подключение или нажмите кнопку "Дополнительно ", чтобы создать новое подключение. Это может быть ваше внутреннее высококлассное хранилище данных из рабочей среды, такое как Lakehouse, или внешние хранилища данных. В этом примере мы используем Lakehouse.

2. После создания подключения вы вернеесь на страницу конвейера. Затем выберите "Обновить" , чтобы получить подключение, созданное в раскрывающемся списке. Вы также можете выбрать существующее подключение Lakehouse непосредственно в раскрывающемся списке, если вы уже создали его раньше.

3. Укажите таблицу или настройте путь к файлу, чтобы определить файл или папку в качестве назначения. Здесь выберите таблицы и укажите таблицу для записи данных.

4. Разверните Дополнительно для выбора расширенных параметров, таких как максимальное количество строк в файле или операции с таблицей. (Дополнительные параметры зависят от соединителя.)

Теперь можно сохранить конвейер с помощью этого действия копирования или продолжить проектирование конвейера.

Настройте сопоставления во вкладке "Сопоставления"

Если используемый соединитель поддерживает сопоставление, перейдите на вкладку "Сопоставление ", чтобы настроить сопоставление.

1. Выберите "Импорт схем" , чтобы импортировать схему данных.

   

2. Вы можете видеть, что отображается автоматическое сопоставление. Укажите исходный столбец и столбец назначения. Если вы создаете новую таблицу в назначении, вы можете настроить имя столбца назначения здесь. Если вы хотите записать данные в существующую целевую таблицу, нельзя изменить существующее имя столбца назначения . Вы также можете просмотреть тип исходных и целевых столбцов.

   

Вы также можете выбрать +Создать сопоставление , чтобы добавить новое сопоставление, выбрать "Очистить ", чтобы очистить все параметры сопоставления, и выбрать "Сбросить ", чтобы сбросить все столбец источника сопоставления.

Сопоставление типов данных

Действия копирования в конвейерах и задания копирования выполняют сопоставление типов источников с типами назначения с использованием следующей последовательности:

1. Преобразуйте исходные типы данных в промежуточные типы данных, используемые фабрикой данных Fabric.
2. Автоматически преобразуйте промежуточный тип данных в соответствии с соответствующими типами назначения.
3. Преобразуйте промежуточные типы данных в собственные типы данных назначения.

Действия копирования в конвейерах и задания копирования в настоящее время поддерживают следующие промежуточные типы данных: Boolean, Byte, Byte array, Datetime, DatetimeOffset, Decimal, Double, GUID, Int16, Int32, Int64, SByte, Single, String, Timespan, UInt16, UInt32 и UInt64.

Следующие преобразования типов данных поддерживаются между промежуточными типами от источника до назначенного места.

Дата и время включает DateTime, DateTimeOffset, Date и Time.

(2) Float-Point включает Single и Double.

(3) Integer включает SByte, Byte, Int16, UInt16, Int32, UInt32, Int64 и UInt64.

Чтобы узнать подробные преобразования типов данных для определенного соединителя, перейдите в статью конфигурации действия копирования для этого соединителя, доступную здесь.

Настройка других параметров на вкладке "Параметры"

Вкладка "Параметры" содержит параметры производительности, промежуточного хранения и т. д.

Описание каждого параметра см. в следующей таблице.

Настройка параметров в операции копирования

Параметры можно использовать для управления поведением конвейера и его действиями. Вы можете использовать Добавить динамическое содержимое для указания параметров свойств операции копирования. Давайте рассмотрим указание Lakehouse/Data Warehouse в качестве примера, чтобы понять, как его использовать.

1. В исходном или целевом расположении выберите "Использовать динамическое содержимое " в раскрывающемся списке "Подключение".

2. В всплывающей области "Добавить динамическое содержимое " на вкладке "Параметры " выберите +.

   

3. Укажите имя параметра и присвойте ему значение по умолчанию, если требуется, или можно указать значение параметра при активации в конвейере.

   

   Значение параметра должно быть идентификатором подключения Lakehouse/Data Warehouse. Чтобы получить его, откройте ваш Управление подключениями и шлюзами, выберите подключение Lakehouse или Хранилище данных, которое вы хотите использовать, и откройте настройки, чтобы получить идентификатор подключения. Если вы хотите создать новое подключение, можно выбрать +Создать на этой странице или перейти к просмотру страницы данных в раскрывающемся списке "Подключение ".

4. Нажмите кнопку "Сохранить", чтобы вернуться в область "Добавить динамическое содержимое". Затем выберите параметр, чтобы он появился в поле выражения. Затем выберите OK. Вы перейдете обратно на страницу пайплайна и увидите, что выражение параметра указано после Connection.

   

5. Укажите идентификатор Lakehouse или хранилища данных. Чтобы найти идентификатор, перейдите в Lakehouse или хранилище данных в рабочей области. Идентификатор отображается в URL-адресе после /lakehouses/ или /datawarehouses/.

   • Идентификатор Lakehouse:

     

   • Идентификатор хранилища:

     

6. Укажите строку подключения SQL для хранилища данных.

Связанный контент

• Обзор соединителей
• Мониторинг запусков конвейера