Копирование нескольких папок с помощью Фабрика данных Azure

ПРИМЕНИМО К: Фабрика данных Azure Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Фабрика данных Azure с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

В этой статье описывается шаблон решения, в котором можно использовать несколько действий по копированию контейнеров или каталогов между хранилищами на основе файлов, где каждое действие копирования должно привести к копированию одного контейнера или каталога.

Примечание.

Если вы хотите копировать файлы из одного контейнера, эффективнее создать конвейер с одним действием копирования с помощью Средства копирования данных. Шаблон в этой статье больше, чем необходимо для простого сценария.

Информация о шаблоне решения

Этот шаблон перечисляет папки из заданной родительской папки в исходном хранилище. Затем все папки копируются в целевое хранилище.

Шаблон состоит из трех действий.

  • GetMetadata проверяет исходное хранилище и получает список вложенных папок из заданной родительской папки.
  • ForEach получает список вложенных папок из действия GetMetadata, а затем выполняет итерацию по списку и передает каждую папку в действие Copy.
  • Действие Copy копирует каждую секцию из исходного хранилища в целевое хранилище.

Ниже описаны параметры, которые определяет шаблон.

  • SourceFileFolder — это часть пути к родительской папке вашего хранилища источников данных: SourceFileFolder/SourceFileDirectory, где вы можете получить список вложенных папок.
  • SourceFileDirectory — это часть пути к родительской папке вашего хранилища источников данных: SourceFileFolder/SourceFileDirectory, где вы можете получить список вложенных папок.
  • DestinationFileFolder — это часть пути к родительской папке: DestinationFileFolder/DestinationFileDirectory, куда в целевом хранилище будут скопированы файлы.
  • DestinationFileDirectory — это часть пути к родительской папке: DestinationFileFolder/DestinationFileDirectory, куда в целевом хранилище будут скопированы файлы.

Если вы хотите скопировать несколько контейнеров в корневых папках между хранилищами, вы можете ввести все четыре параметра как /. Таким образом, вы будете реплицировать все между хранилищами данных.

Использование шаблона решения

  1. Перейдите к шаблону Копирование нескольких контейнеров файлов между файловыми хранилищами. Создайте новое подключение к исходному хранилищу. Исходное хранилище — это место, из которого необходимо скопировать файлы из нескольких контейнеров.

    Создание нового подключения к источнику

  2. Создайте новое подключение к целевому хранилищу.

    Создать новое подключение к месту назначения

  3. Выберите Использовать этот шаблон.

    Использовать этот шаблон

  4. Вы увидите поток обработки, как показано в следующем примере:

    Отображение конвейера

  5. Выберите Отладка, введите Параметры, а затем нажмите Готово.

    Запуск конвейера

  6. Просмотрите результаты.

    Просмотр результатов