Настройка Azure Data Lake Storage 2-го поколения в действии копирования

В этой статье описывается, как использовать действие копирования в конвейере данных для копирования данных из Azure Data Lake Storage 2-го поколения.

Поддерживаемые форматы

Azure Data Lake Storage 2-го поколения поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Сопоставление
• Параметры

Общие

Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Оригинал

Следующие свойства поддерживаются для Azure Data Lake Storage 2-го поколения на вкладке "Источник" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".

• Подключение. Выберите подключение Azure Data Lake Storage 2-го поколения из списка подключений. Если подключение отсутствует, создайте новое Azure Data Lake Storage 2-го поколения подключение, нажав кнопку "Создать".

• тип Подключение ion: выберите Azure Data Lake Storage 2-го поколения.

• Тип пути к файлу: вы можете выбрать путь к файлу, Wild карта путь к файлу или список файлов в качестве типа пути к файлу. Конфигурация каждого из этих параметров:

  • Путь к файлу. Если выбрать этот тип, данные можно скопировать из указанной файловой системы или папки или пути к файлу, указанному ранее.

  • Путь к файлу wild карта: если выбрать этот тип, укажите путь к файловой системе и Wild карта.

    • Файловая система: имя файловой системы Azure Data Lake Storage 2-го поколения.

    • Путь к wild карта: укажите папку или путь к файлу с помощью диких карта символов в указанной файловой системе для фильтрации исходных папок или файлов.

      Допустимые знаки подстановки: * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования знаков, если имя папки содержит подстановочный знак или этот escape-символ. Дополнительные примеры см. в примерах фильтров папок и файлов.

      

      • Путь к папке Wild карта: укажите путь к папке с дикими карта символами в указанной файловой системе для фильтрации исходных папок.

      • Wild карта имя файла: укажите имя файла с дикими карта символами в указанной файловой системе + путь к папке (или путь к папке wild карта), чтобы фильтровать исходные файлы.

  • Список файлов: указывает, что требуется скопировать заданный набор файлов. Укажите путь к папке и путь к списку файлов, чтобы указать текстовый файл, содержащий список файлов, которые нужно скопировать, один файл на строку, который является относительным путем к пути. Дополнительные примеры см. в примерах списка файлов.

    

    • Путь к папке: укажите путь к папке в указанной файловой системе. Оно должно указываться обязательно.

    • Путь к списку файлов: укажите путь к текстовому файлу, который содержит список файлов, которые нужно скопировать.

• Рекурсивно: укажите, считываются ли данные рекурсивно из вложенных папок или только из указанной папки. Обратите внимание, что если выбран рекурсивно , а назначение — это файловое хранилище, пустая папка или вложенная папка не копируется или не создается в месте назначения. Это свойство выбрано по умолчанию и не применяется при настройке пути к списку файлов.

• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите Параметры, чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Фильтр по последнему изменению: файлы фильтруются на основе последних измененных дат. Это свойство не применяется при настройке типа пути к файлу в качестве списка файлов.

  • Время начала (UTC): файлы выбираются, если время последнего изменения больше или равно заданному времени.

  • Время окончания (UTC): файлы выбираются, если время последнего изменения меньше настроенного времени.

  Если время начала (UTC) имеет значение datetime, но время окончания (UTC) равно NULL, это означает, что файлы, последние измененные атрибуты которых больше или равно значению даты и времени будут выбраны. Если время окончания (UTC) имеет значение datetime, но время начала (UTC) равно NULL, это означает, что файлы, последние измененные атрибуты которых меньше значения datetime будут выбраны. Свойства могут иметь значение NULL, что означает, что к данным не будет применен фильтр атрибутов файлов.

• Включение обнаружения секций: укажите, следует ли анализировать секции из пути к файлу и добавлять их в качестве дополнительных исходных столбцов. Он не выбирается по умолчанию и не поддерживается при использовании двоичного формата файла.

  • Корневой путь к секционированиям. Если обнаружение секций включено, укажите абсолютный корневой путь, чтобы читать секционированные папки в виде столбцов данных.

    Если параметр не задан (по умолчанию), происходит следующее.

    • При использовании пути к файлу или списка файлов в источнике корневой путь секции — это настроенный путь.
    • При использовании фильтра папки wild карта корневой путь секции является вложенным путем до первого дикого карта.

    Например, если вы настраиваете путь следующим root/folder/year=2020/month=08/day=27образом:

    • Если указать корневой путь секции в качестве root/folder/year=2020, действие копирования создаст еще два столбца месяца и день со значением "08" и "27" соответственно, в дополнение к столбцам внутри файлов.
    • Если корневой путь секции не указан, дополнительный столбец не будет создан.

  

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего.

Назначение

Следующие свойства поддерживаются для Azure Data Lake Storage 2-го поколения на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".
• Подключение. Выберите подключение Azure Data Lake Storage 2-го поколения из списка подключений. Если подключение отсутствует, создайте новое Azure Data Lake Storage 2-го поколения подключение, нажав кнопку "Создать".
• тип Подключение ion: выберите Azure Data Lake Storage 2-го поколения.
• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать или заполнить путь вручную.
• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите Параметры, чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Поведение копирования: определяет поведение копирования, если источник является файлами из файлового хранилища данных. Вы можете выбрать поведение из раскрывающегося списка.

  

  • Неструктурированный иерархия: все файлы из исходной папки находятся на первом уровне целевой папки. У целевых файлов есть автоматически созданные имена.
  • Файлы слияния: объединяет все файлы из исходной папки в один файл. Если указано имя файла, то оно присваивается объединенному файлу. В противном случае это автоматически созданное имя файла.
  • Сохранение иерархии: сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла в исходной папке идентичен относительному пути целевого файла в целевой папке.

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Размер блока (МБ): укажите размер блока в МБ, используемый для записи данных в Azure Data Lake Storage 2-го поколения. Дополнительные сведения см. в разделе "Блочные BLOB-объекты". Допустимое значение — от 4 до 100 МБ.

  По умолчанию размер блока определяется автоматически на основе типа и данных исходного хранилища. Для не двоичного копирования в Azure Data Lake Storage 2-го поколения размер блока по умолчанию составляет 100 МБ так, чтобы вместить не более 4,75-ТБ данных. Это может быть неоптимальным, если данные не большие. Вы можете явно указать размер блока, в то время как убедитесь, что размер блока (МБ)*50000 достаточно велик для хранения данных, в противном случае выполнение действия копирования завершится ошибкой.

• Метаданные: задайте пользовательские метаданные при копировании в место назначения. Каждый объект в массиве metadata представляет дополнительный столбец. name определяет имя ключа метаданных, а value указывает значение данных этого ключа. Если используется функция сохранения атрибутов, указанные метаданные будут объединять или перезаписывать с метаданными исходного файла.

  Допустимые значения:

  • $$LASTMODIFIED: зарезервированная переменная указывает на хранение последнего изменения исходных файлов. Применяется только к источнику на основе файлов с двоичным форматом.
  • Выражение
  • Статическое значение

  

Сопоставление

Чтобы настроить конфигурацию вкладки "Сопоставление ", перейдите к разделу "Настройка сопоставлений" на вкладке сопоставления. Если в качестве формата файла выбран двоичный файл, сопоставление не поддерживается.

Настройки

Для конфигурации вкладки Параметры перейдите к разделу "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о действии копирования в Azure Data Lake Storage 2-го поколения.

Сведения об источнике

Сведения о назначении

Связанный контент

• Настройка подключения Azure Data Lake Storage 2-го поколения