Настройка папки для операции копирования

В этой статье описывается, как использовать действие копирования в конвейере для копирования данных из и в папку.

Необходимые условия

Чтобы скопировать данные из папки, необходимо настроить локальный шлюз данных. Дополнительные сведения см. в статье Как получить доступ к локальным источникам данных в Data Factory.

Поддерживаемые форматы

Соединитель папок поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

Поддерживаемые исходные форматы

• Формат Avro
• Двоичный формат
• Формат разделённого текста
• Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемые форматы назначения

• Формат Avro
• Двоичный формат
• Формат разделённого текста
• Формат JSON
• Формат ORC
• Формат Parquet

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Картирование
• Settings

Общие сведения

Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Исходный материал

Следующие свойства поддерживаются для папки на вкладке "Источник " действия копирования.

Требуются следующие свойства:

• Подключение. Выберите подключение к папке из списка подключений. Если подключение не существует, создайте новое подключение к папке.

• Тип пути к файлу: можно выбрать путь к файлу, фильтр файлов, путь к файлу с подстановочными символами или список файлов. Конфигурация для каждого параметра:

  • Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать, или указать путь вручную.

  • Фильтр файлов: собственный фильтр на стороне файлового сервера, который обеспечивает лучшую производительность, чем фильтр подстановочных знаков.

    • Путь к папке: укажите путь к папке.
    • Фильтр файлов: используется * для сопоставления нуля или нескольких символов, а ? также для сопоставления с нулевым или одним символом. Узнайте больше о синтаксисе и заметках в разделе Примечания.

  • Путь к файлу с подстановочными знаками: укажите пути к подстановочным знакам.

    • Пути к подстановочным знакам: укажите папку или путь к файлу с подстановочными знаками для фильтрации исходных папок или файлов.

      Допустимые подстановочные знаки: * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используется ^ для обхода, если имя папки содержит подстановочные знаки или этот escape-символ внутри.

      • Путь к папке подстановочных знаков: укажите путь к папке с подстановочными знаками для фильтрации исходных папок.

      • Имя файла с маской: укажите имя файла с маской в пути к вашей папке (или путь к папке с маской) для фильтрации исходных файлов.

  • Список файлов: указывает, что требуется скопировать заданный набор файлов.

    • Путь к папке: укажите путь к папке.
    • Путь к списку файлов: указывает на текстовый файл, содержащий список файлов, которые требуется скопировать, один файл на строку, который является относительным путем к указанному пути к файлу.

• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Параметры различных форматов файлов см. в статьях в поддерживаемом формате.

Следующие свойства являются необязательными:

• Рекурсивно: укажите, считываются ли данные рекурсивно из вложенных папок или только из указанной папки. Это свойство выбрано по умолчанию и не применяется при настройке списка файлов.
• Удаление файлов после завершения. Указывает, удаляются ли двоичные файлы из исходного хранилища после успешного перехода в целевое хранилище. Удаление выполняется для каждого файла отдельно. Это свойство допустимо только в сценарии копирования двоичных файлов.

В разделе "Дополнительно" можно указать следующие поля:

• Фильтр по последнему изменению: файлы фильтруются на основе последних измененных дат. Это свойство не применяется при настройке типа пути к файлу в качестве списка файлов.

  • Время начала (UTC): файлы выбираются, если время последнего изменения больше или равно заданному времени.

  • Время окончания (UTC): файлы выбираются, если время последнего изменения меньше настроенного времени.

  Если время начала (UTC) имеет значение даты и времени, но время окончания (UTC) равно NULL, это означает, что будут выбраны файлы, последние измененные атрибуты которых больше или равно значению datetime. Если время окончания (UTC) имеет значение даты и времени, но время начала (UTC) равно NULL, это означает, что файлы, последние измененные атрибуты которых меньше значения datetime будут выбраны. Свойства могут иметь значение NULL, что означает, что к данным не будет применен фильтр атрибутов файлов.

• Включение обнаружения секций: укажите, следует ли анализировать секции из пути к файлу и добавлять их в качестве дополнительных исходных столбцов. Он не выбирается по умолчанию и не поддерживается при использовании двоичного формата файла.

  • Корневой путь к партициям: Если обнаружение партиций включено, укажите абсолютный корневой путь, чтобы читать партицированные папки как столбцы данных.

    Если параметр не задан (по умолчанию), происходит следующее.

    • При использовании пути к файлу или списка файлов в источнике корневой путь секции — это настроенный путь.
    • При использовании фильтра папок с подстановочными знаками корневой путь раздела – это часть пути перед первым подстановочным знаком.

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

Место назначения

Следующие свойства поддерживаются для папки на вкладке "Назначение " действия копирования.

Требуются следующие свойства:

• Подключение. Выберите подключение к папке из списка подключений. Если подключение не существует, создайте новое подключение к папке.

• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать или заполнить путь вручную.

• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Параметры различных форматов файлов см. в статьях в поддерживаемом формате.

Следующие свойства являются необязательными:

В разделе "Дополнительно" можно указать следующие поля:

• Поведение копирования: определяет поведение копирования, если источник является файлами из файлового хранилища данных. Вы можете выбрать поведение из раскрывающегося списка.

  • Уплощение иерархии: все файлы из исходной папки находятся на первом уровне целевой папки. У целевых файлов есть автоматически созданные имена.
  • Слияние файлов: объединить все файлы из исходной папки в один файл. Если указано имя файла, то объединенный файл получает указанное имя. В противном случае это автоматически созданное имя файла.
  • Сохранение иерархии (по умолчанию): сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла к исходной папке идентичен относительному пути целевого файла к целевой папке.

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

Картирование

Чтобы настроить вкладку "Сопоставление", перейдите к разделу "Настройка сопоставлений" на вкладке "Сопоставление".

Settings

Для настройки вкладки перейдите к Настройка других параметров на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о процессе копирования в папке.

Исходная информация

Сведения о назначении

Связанный контент

• Общие сведения о соединителе папок