Настройка Azure Files в процессе копирования

В этой статье рассматривается, как использовать действие копирования данных в конвейере для копирования данных из файлов Azure и в них.

Поддерживаемые форматы

Файлы Azure поддерживают следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Картирование
• Settings

General

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Исходный материал

Следующие свойства поддерживаются для файлов Azure на вкладке "Источник " действия копирования.

Требуются следующие свойства:

• Подключение. Выберите подключение к файлам Azure из списка подключений. Если подключение не существует, создайте новое подключение к службе "Файлы Azure", нажав кнопку "Создать".

• Тип пути к файлу: можно выбрать путь к файлу, префикс, подстановочный путь к файлу, список файлов в качестве типа пути к файлу. Конфигурация каждого параметра:

  • Путь к файлу: если выбрать этот тип, данные можно скопировать из указанного пути к папке или файлу.

  • Префикс: префикс имени файла в указанной общей папке для фильтрации исходных файлов. Выбраны файлы с именем, начинающийся с fileshare_in_connection/this_prefix . Он использует серверный фильтр для файлов Azure, который обеспечивает лучшую производительность, чем стандартный фильтр.

    

  • Путь к файлу с подстановочными знаками: укажите папку или путь к файлу с подстановочными знаками для фильтрации исходных папок или файлов.

    Допустимые подстановочные знаки : * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования, если в имени папки присутствует подстановочный знак или символ экранирования. Дополнительные примеры см. в примерах фильтров папок и файлов.

    

    Путь к папке подстановочных знаков: укажите путь к папке с подстановочными знаками для фильтрации исходных папок.

    Имя файла с подстановочными знаками: укажите имя файла с подстановочными знаками в настроенном пути к папке с подстановочными знаками для фильтрации исходных файлов.

  • Список файлов: указывает заданный набор файлов для копирования. В списке путей к файлу введите или перейдите к текстовому файлу, включающее список файлов, которые нужно скопировать, один файл на строку, который является относительным путем к каждому файлу.

    При использовании этого параметра не указывайте имя файла. Дополнительные примеры см. в примерах списка файлов.

    

    • Путь к папке: укажите путь к папке. Это обязательно.

    • Путь к списку файлов: укажите путь к текстовому файлу, который содержит список файлов, которые нужно скопировать.

• Рекурсивно: укажите, считываются ли данные рекурсивно из вложенных папок или только из указанной папки. Обратите внимание, что если выбран Рекурсивно, а назначение — это файловое хранилище, то пустая папка или вложенная папка не копируются и не создаются в месте назначения. Это свойство выбрано по умолчанию и не применяется при настройке пути к списку файлов.

• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Фильтр по последнему изменению: файлы фильтруются на основе последних измененных дат. Это свойство не применяется при настройке типа пути к файлу в качестве списка файлов.

  • Время начала (UTC): файлы выбираются, если время последнего изменения больше или равно заданному времени.

  • Время окончания (UTC): файлы выбираются, если время последнего изменения меньше настроенного времени.

    Если время начала (UTC) имеет значение datetime, но время окончания (UTC) равно NULL, это означает, что файлы, последние измененные атрибуты которых больше или равно значению даты и времени будут выбраны. Если время окончания (UTC) имеет значение datetime, но время начала (UTC) равно NULL, это означает, что файлы, последние измененные атрибуты которых меньше значения datetime будут выбраны. Свойства могут иметь значение NULL, что означает, что к данным не будет применен фильтр атрибутов файлов.

• Включение обнаружения секций: укажите, следует ли анализировать секции из пути к файлу и добавлять их в качестве дополнительных исходных столбцов. Он не выбирается по умолчанию и не поддерживается при использовании двоичного формата файла.

  • Корневой путь секционирования: Если обнаружение разделов включено, укажите абсолютный корневой путь, чтобы читать секционированные папки в виде столбцов данных.

    Если он не указан, по умолчанию

    • При использовании пути к файлу или списка файлов в источнике корневой путь секции — это настроенный путь.
    • При использовании фильтра папок с подстановочными знаками корневой путь раздела – это часть пути перед первым подстановочным знаком.

    Например, если вы настраиваете путь как root/folder/year=2020/month=08/day=27, следующим образом:

    • Если указать корневой путь секции в качестве root/folder/year=2020, действие копирования создаст еще два столбца месяца и день со значением "08" и "27" соответственно, в дополнение к столбцам внутри файлов.
    • Если корневой путь секции не указан, дополнительный столбец не будет создан.

  

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Дополнительные столбцы: добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта.

Место назначения

Следующие свойства поддерживаются для файлов Azure на вкладке "Назначение " действия копирования.

Требуются следующие свойства:

• Связь: Выберите подключение к файлам Azure из списка подключений. Если подключение не существует, создайте новое подключение к файлам Azure, нажав кнопку "Создать".
• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать или заполнить путь вручную.
• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Поведение копирования: определяет поведение копирования, если источник является файлами из файлового хранилища данных. Вы можете выбрать поведение из раскрывающегося списка.

  

  • Уплощение иерархии: все файлы из исходной папки находятся на первом уровне целевой папки. У целевых файлов есть автоматически созданные имена.
  • Слияние файлов: объединить все файлы из исходной папки в один файл. Если указано имя файла, то оно присваивается объединенному файлу. В противном случае это автоматически созданное имя файла.
  • Сохранение иерархии: сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла к исходной папке идентичен относительному пути целевого файла к целевой папке.

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Максимальное количество строк для каждого файла: при записи данных в папку можно выбрать запись в несколько файлов и указать максимальные строки для каждого файла. Укажите максимальные строки, которые требуется записать для каждого файла.

Картирование

Чтобы настроить конфигурацию вкладки "Сопоставление ", перейдите к разделу "Настройка сопоставлений" на вкладке сопоставления. Если в качестве формата файла выбран двоичный файл, сопоставление не будет поддерживаться.

Settings

Сведения о настройке вкладки "Параметры " см. в разделе "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о действии копирования в файлах Azure.

Исходная информация

Сведения о назначении

Связанный контент

• Общие сведения о файлах Azure