Перемещение данных из базы данных Azure SQL в Lakehouse с помощью помощника по копированию

В этом руководстве описаны шаги по перемещению данных в Lakehouse.

Два подхода предложено с использованием помощника по копированию:

1. Первый подход перемещает исходные данные в целевые таблицы с разностным форматом.
2. Второй подход перемещает исходные данные в целевые файлы.

Предварительные требования

Чтобы начать, необходимо выполнить следующие предварительные условия:

• Учетная запись клиента с активной подпиской. Создайте учетную запись бесплатно .
• Создается рабочая область.
• Lakehouse создается в вашей рабочей области.

Переместите файлы в Lakehouse как таблицы в формате Delta с помощью помощника по копированию

Чтобы установить copy activity, выполните следующие действия.

Шаг 1. Начните с помощника копирования

1. Откройте существующий конвейер или создайте новый конвейер.

2. Выберите помощник по копированию данных на рабочей области, чтобы открыть мастер и начать работу. Или выберите «Использовать помощника по копированию» из раскрывающегося списка «Копирование данных» на вкладке «Действия» на ленте.

   

Шаг 2. Настройка источника

1. Выберите источник данных, выбрав тип источника данных. В этом руководстве мы будем использовать Azure SQL Database в качестве примера. Для поиска и выбора Azure SQL Database откройте экран Выбор источника данных.

   

2. Создайте подключение к источнику данных, заполнив необходимые сведения о подключении на панели.

   

   После заполнения необходимых сведений о подключении на панели нажмите кнопку "Далее".

   Если вы еще не выбрали базу данных изначально, список баз данных будет представлен для выбора.

   

3. Выберите таблицы, которые необходимо переместить. Затем выберите Далее.

   

Шаг 3. Настройка назначения

1. Выберите Lakehouse в качестве места назначения и нажмите кнопку "Далее".

   

   Введите имя Lakehouse, а затем нажмите кнопку "Создать и подключиться".

   

2. Настройте и сопоставите исходные данные с целевой таблицей Lakehouse. Выберите Таблицы для корневой папки и Загрузите в новую таблицу для параметров загрузки. Укажите имя таблицы и нажмите кнопку "Далее".

   

3. Проверьте конфигурацию и снимите флажок "Начать передачу данных". Затем нажмите кнопку "Далее ", чтобы завершить работу помощника.

   

Шаг 4. Сохранение конвейера и его запуск для загрузки данных

1. Выберите "Запустить" на панели инструментов "Главная", а затем нажмите кнопку "Сохранить и запустить" при появлении запроса.

   

2. Для каждого выполняемого действия можно выбрать соответствующую ссылку действия на вкладке "Выходные данные" после запуска конвейера, чтобы просмотреть сведения о действии. В этом случае у нас есть 2 отдельных действия копирования, которые выполнялись — по одному для каждой таблицы, скопированной из SQL Azure в Lakehouse. При выборе ссылки с подробной информацией о задаче можно увидеть, сколько данных было считано и записано и сколько места было использовано в исходном и конечном расположении, а также скорость передачи данных и другие сведения.

   

Шаг 5. Просмотр таблиц из Lakehouse

1. Перейдите в Lakehouse и обновите Lake view, чтобы увидеть последние загруженные данные.

2. Перейдите в представление таблицы, чтобы просмотреть данные в таблице.

   

   Примечание.

   В настоящее время данные попадают в папки "Таблицы Lakehouse" (управляемая область) только в разностном формате. Эти файлы автоматически регистрируются как таблица и становятся видимыми в представлении таблиц в обозревателе Lakehouse. Только папки первого слоя в таблицах будут зарегистрированы в виде разностной таблицы. Просмотр или потоковое чтение из таблицы Lakehouse еще не поддерживаются. Данные, которые загружаются в ту же таблицу, будут добавлены. Удаление и обновление таблиц еще не поддерживается.

Связанный контент

В этом примере показано, как переместить данные из базы данных Azure SQL в Lakehouse с помощью Copy Assistant в Data Factory для Microsoft Fabric. Вы научились выполнять следующие задачи:

Затем перейдите к дополнительным сведениям о мониторинге запусков конвейера.