Поделиться через

Узнайте, как создать задание копирования в Фабрике данных для Microsoft Fabric

В этой статье описывается создание задания копирования в Фабрике данных для Microsoft Fabric.

Создайте задание копирования для загрузки данных из базы данных

Выполните следующие действия, чтобы создать новое задание копирования для приема данных из базы данных успешно и легко:

  1. Создайте новую рабочую область или используйте существующую рабочую область.

  2. Выберите +Создать элемент, щелкните значок "Копировать задание ", назовите задание копирования и нажмите кнопку "Создать".

    Screenshot showing where to navigate to the Data Factory home page and create a new Copy job.

  3. Выберите хранилища данных для копирования данных. В этом примере выберите базу данных SQL Azure.

    Снимок экрана: выбор источника данных для задания копирования.

  4. Введите путь к серверу и учетные данные для подключения к базе данных SQL Azure. Вы можете безопасно копировать данные в среде виртуальной сети с помощью локального или виртуального шлюза.

    Снимок экрана: место ввода учетных данных.

  5. Выберите таблицы и столбцы для копирования. Используйте поле поиска для быстрого определения определенных таблиц и столбцов, которые требуется скопировать.

    Снимок экрана: выбор таблиц и столбцов для задания копирования.

  6. Выберите целевое хранилище. В этом примере выберите другую базу данных SQL Azure.

    Снимок экрана, показывающий, где выбрать целевое хранилище для задания копирования.

  7. (Необязательно) Выберите метод Update (Обновить) для записи данных в целевое хранилище. При выборе слияния укажите необходимые столбцы ключей.

    Снимок экрана: место обновления метода.

    Снимок экрана: обновление метода.

  8. (Необязательно) Настройте сопоставление таблиц или столбцов для переименования таблиц или столбцов в назначении или применения преобразований типов данных. По умолчанию данные копируются с тем же именем таблицы, именем столбца и типом данных, что и источник.

    Снимок экрана: место указания сопоставлений таблиц.

    Снимок экрана: место указания сопоставлений столбцов.

  9. Выберите режим копирования: полная копия данных или добавочная копия. В этом примере выберите добавочную копию и укажите добавочный столбец для каждой таблицы для отслеживания изменений. Дополнительные сведения об инкрементном столбце. Нажмите кнопку предварительного просмотра, чтобы выбрать правильный инкрементный столбец.

    Примечание.

    При выборе режима добавочного копирования задание копирования изначально выполняет полную нагрузку и впоследствии выполняет добавочные копии в последующих запусках.

    Снимок экрана: место для выбора режима задания копирования.

  10. Просмотрите сводку задания, установите параметр запуска в расписание и нажмите кнопку "Сохранить и запустить".

    Снимок экрана: место для просмотра и сохранения только что созданного задания копирования.

  11. Задание копирования начнется немедленно. Первый запуск будет копировать начальный полный моментальный снимок, а последующие запуски автоматически копируют только измененные данные с момента последнего запуска.

    Вы можете легко выполнить и отслеживать состояние задания. Вы можете нажать кнопку "Запустить ", чтобы активировать задание копирования в любое время, независимо от того, настроено ли оно однократно или по расписанию. При активации по запросу он также автоматически копирует только измененные данные с момента последнего запуска.

    Панель встроенного мониторинга четко отображает ключевые метрики из последней версии выполнения в режиме реального времени, включая количество строк и длительность копирования для каждой таблицы и т. д. Узнайте больше о мониторинге задания копирования

    Снимок экрана: панель заданий копирования, в которой можно отслеживать журнал выполнения.

  12. Можно легко изменить задание копирования, включая добавление или удаление таблиц и столбцов для копирования, настройки расписания или настройки дополнительных параметров. Некоторые изменения, такие как обновление добавочного столбца, сбрасывают инкрементальную копию, чтобы начать с начальной полной загрузки в следующем запуске.

    Снимок экрана, показывающий как редактировать задачу копирования.

Создайте задачу копирования для импорта файлов из хранилища данных

Выполните следующие действия, чтобы создать новую задачу копирования для переноса файлов из хранилища успешно и легко:

  1. Создайте новую рабочую область или используйте существующую рабочую область.

  2. Выберите +Создать элемент, щелкните значок "Копировать задание ", назовите задание копирования и нажмите кнопку "Создать".

    Screenshot showing where to navigate to the Data Factory home page and create a new Copy job.

  3. Выберите хранилища данных для копирования данных. В этом примере выберите Azure Data Lake Storage 2-го поколения.

    Снимок экрана: выбор источника хранилища для задания копирования.

  4. Введите URL-адрес хранилища и учетные данные для подключения к Azure Data Lake Storage 2-го поколения. Вы можете безопасно копировать данные в среде виртуальной сети с помощью локального или виртуального шлюза.

    Снимок экрана: место ввода учетных данных для хранилища.

  5. Выберите папку или файлы для копирования. Вы можете скопировать всю папку со всеми файлами или одним файлом. Выберите Не зависящий от схемы (двоичная копия), если вы хотите скопировать файлы в другое хранилище без анализа схемы, что значительно повышает производительность копирования.

    Снимок экрана, показывающий, где выбрать папку для задания копирования.

  6. Выберите целевое хранилище. В этом примере выберите Lakehouse.

    Снимок экрана, показывающий, где выбрать целевое хранилище хранилища для задания копирования.

  7. Выберите путь к папке в целевом хранилище. Выберите "Сохранить иерархию ", чтобы сохранить ту же структуру папок, что и исходная, или "Плоская иерархия ", чтобы поместить все файлы в одну папку.

    Снимок экрана: выбор целевой папки.

  8. Выберите режим копирования: полная копия данных или добавочная копия. В этом примере выберите добавочную копию. Это означает, что задание копирования сначала выполняет полную нагрузку для копирования всех файлов, а затем копирует только новые или обновленные файлы в последующих запусках.

    Снимок экрана: выбор режима задания копирования для хранилища.

  9. Просмотрите сводку задания, установите параметр запуска в расписание и нажмите кнопку "Сохранить и запустить".

    Снимок экрана, где можно просмотреть и сохранить вновь созданную задачу копирования в хранилище.

  10. Задание копирования начнется немедленно. Первый запуск выполняет полную нагрузку для копирования всех файлов, а затем копирует только новые или обновленные файлы в последующих запусках.

    Вы можете легко выполнить и отслеживать состояние задания. Вы можете нажать кнопку "Запустить ", чтобы активировать задание копирования в любое время, независимо от того, настроено ли оно однократно или по расписанию. При активации по запросу он также автоматически копирует только новые или обновленные файлы с момента последнего запуска.

    Встроенная панель мониторинга в режиме реального времени четко отображает ключевые метрики из последнего запуска, включая количество файлов, продолжительность копирования и т. д. Узнайте больше о мониторинге задания копирования

    Снимок экрана: панель заданий копирования, в которой можно отслеживать журнал выполнения для перемещения данных между хранилищем.

  11. Вы можете легко изменить задание копирования, включая обновление папок и файлов для копирования, настройки расписания и многое другое.

    Снимок экрана, показывающий, как изменить задачу копирования данных для хранилища данных.

Известные ограничения

  • Режим добавочного копирования пока не может работать с некоторыми хранилищами данных, включая Fabric Lakehouse в качестве источника. Скоро появятся.
  • Удаление строк невозможно записать из исходного хранилища.
  • При копировании файлов в расположения хранилища пустые файлы будут созданы в месте назначения, если данные не загружаются из источника.

Связанный контент