Настройка HDFS для потока в операции копирования

В этой статье рассматривается использование действия копирования в процессе для переноса данных из системы HDFS и в нее для проекта.

Поддерживаемые форматы

Hdfs for Pipeline поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат разделённого текста
• Формат Excel
• Формат Айсберга
• Формат JSON
• Формат ORC
• Формат файла Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Картирование
• Настройки

Общая информация

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Исходный материал

Следующие свойства поддерживаются для HDFS для Pipeline на вкладке "Источник" действия копирования.

Требуются следующие свойства:

• Подключение. Выберите hdfs для подключения к конвейеру из списка подключений. Если подключение не существует, создайте новое соединение HDFS для конвейера.

• Тип пути к файлу: можно выбрать путь к файлу, путь с подстановочными знаками или список файлов в качестве типа пути к файлу. Конфигурация каждого из этих параметров:

  • Путь к файлу: если выбрать этот тип, данные можно скопировать из указанного пути к папке или файлу.

  • Путь к файлу с подстановочными знаками: укажите путь к папке с подстановочными знаками для фильтрации исходных папок. Допустимые знаки подстановки: * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^, чтобы экранировать, если в имени папки или файла есть подстановочный знак или этот символ экранирования. Дополнительные примеры см. в примерах фильтров папок и файлов.

    • Путь к папке подстановочных знаков: укажите путь к папке с подстановочными знаками для фильтрации исходных папок.

    • Имя файла с подстановочными знаками: укажите имя файла с подстановочными знаками в сконфигурированной папке или папке с подстановочными знаками для фильтрации исходных файлов.

      

  • Список файлов: указывает на копирование указанного набора файлов. Укажите текстовый файл со списком файлов, которые необходимо скопировать, по одному файлу в строке (каждая строка должна содержать относительный путь к заданному в наборе данных пути).
    При использовании этого параметра не указывайте имя файла в наборе данных. Больше примеров см. в разделе Примеры списка файлов.

    • Путь к папке: укажите путь к папке. Это обязательно.

    • Путь к списку файлов: укажите путь к текстовому файлу, который содержит список файлов, которые нужно скопировать.

      

• Рекурсивно: укажите, считываются ли данные рекурсивно из вложенных папок или только из указанной папки. Обратите внимание, что если выбран Рекурсивно, а назначение — это файловое хранилище, пустая папка или вложенная папка не копируется или не создается в пункте назначения. Это свойство выбрано по умолчанию и не применяется при настройке пути к списку файлов.

• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Фильтр по последнему изменению: файлы фильтруются на основе последних измененных дат. Это свойство не применяется при настройке типа пути к файлу в качестве списка файлов.

  • Время начала (UTC): файлы выбираются, если время последнего изменения больше или равно заданному времени.

  • Время окончания (UTC): файлы выбираются, если время последнего изменения меньше настроенного времени.

• Включение обнаружения секций: для файлов, секционированных, укажите, следует ли анализировать секции из пути к файлу и добавлять их в качестве дополнительных исходных столбцов.

  • Корневой путь к партициям: Если обнаружение партиций включено, укажите абсолютный корневой путь, чтобы читать партицированные папки как столбцы данных.

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Укажите значение только в том случае, если требуется ограничить одновременные подключения.

• Используйте DistCp HDFS: укажите, следует ли включить группу свойств HDFS DistCp.

  • Конечная точка ResourceManager: конечная точка YARN (Yet Another Resource Negotiator).

  • Путь временного скрипта: Путь к папке, используемый для хранения временного скрипта команды DistCp. Файл сценария создается, а после завершения задания копирования он удаляется.

  • Параметры DistCp: дополнительные параметры, предоставляемые команде DistCp.

  

• Дополнительные столбцы: добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта.

Картирование

Чтобы настроить конфигурацию вкладки "Сопоставление ", перейдите к разделу "Настройка сопоставлений" на вкладке сопоставления.

Настройки

Сведения о настройке вкладки "Параметры " см. в разделе "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о действии копирования в HDFS для конвейера.

Исходная информация

Связанный контент

• Общие сведения о HDFS для потока данных