Настройка FTP в задаче копирования

В этой статье описывается, как использовать действие копирования в конвейере для копирования данных из FTP.

Поддерживаемые форматы

FTP поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Картирование
• Settings

General

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Исходный материал

Перейдите на вкладку Источник, чтобы настроить источник операции копирования. См. следующее содержимое для подробной конфигурации.

Требуются следующие три свойства:

• Подключение. Выберите FTP-подключение из списка подключений. Если подключение не существует, создайте новое FTP-подключение, нажав кнопку "Создать".

• Тип пути к файлу: выберите из пути к файлу, пути с подстановочными знаками или списка файлов в зависимости от того, как вы хотите читать файлы.

  • Путь к файлу: если выбрать этот тип, укажите путь к исходному файлу. Вы можете выбрать Обзор, чтобы выбрать исходные файлы, или ввести путь к файлу вручную.

  • Путь к подстановочным файлам: если выбрать этот тип, укажите пути подстановочных знаков для фильтрации исходных папок или файлов.

    Допустимые подстановочные знаки : * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования, если в имени папки присутствует подстановочный знак или символ экранирования. Дополнительные примеры см. в примерах фильтров папок и файлов.

    

    Путь к папке подстановочных знаков: укажите путь к папке с подстановочными знаками для фильтрации исходных папок.

    Имя файла подстановочного знака: укажите имя файла с подстановочными знаками в заданной папкеPath/путь к папке подстановочных знаков для фильтрации исходных файлов.

  • Список файлов: если выбрать этот тип, укажите путь к папке и путьк списку файлов , чтобы копировать заданный набор файлов. Наведите указатель на текстовый файл, содержащий список файлов, которые требуется скопировать, один файл на строку. Дополнительные примеры см. в примерах списка файлов.

    Путь к папке: укажите путь к исходной папке. Это обязательно.
    Путь к списку файлов: укажите путь к текстовому файлу, который содержит список файлов, которые нужно скопировать.

    

• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Фильтр по последнему изменению: файлы фильтруются на основе последних измененных дат. Это свойство не применяется при настройке типа пути к файлу в качестве списка файлов.

  • Время начала (UTC): файлы выбираются, если время последнего изменения больше или равно заданному времени.
  • Время окончания (UTC): файлы выбираются, если время последнего изменения меньше настроенного времени.

  Если время начала (UTC) имеет значение datetime, но время окончания (UTC) равно NULL, это означает, что файлы, последние измененные атрибуты которых больше или равно значению даты и времени будут выбраны. Если время окончания (UTC) имеет значение datetime, но время начала (UTC) равно NULL, это означает, что файлы, последние измененные атрибуты которых меньше значения datetime будут выбраны. Свойства могут иметь значение NULL, что означает, что к данным не будет применен фильтр атрибутов файлов.

• Отключить чанкование: чанкование предназначено для оптимизации производительности и выполняется в фоновом режиме. Этот параметр позволяет отключить фрагментирование в каждом файле. При копировании данных из FTP служба сначала пытается получить длину файла, а затем разделить файл на несколько частей и считывать их параллельно. Укажите, поддерживает ли ваш FTP-сервер получение длины файла или возможность чтения с определённого смещения. По умолчанию он не выбирается.

• Включение обнаружения секций: укажите, следует ли анализировать секции из пути к файлу и добавлять их в качестве дополнительных исходных столбцов. Он не выбирается по умолчанию и не поддерживается при использовании двоичного формата файла.

  • Корневой путь секционирования: Если обнаружение разделов включено, укажите абсолютный корневой путь, чтобы читать секционированные папки в виде столбцов данных.
    Если он не указан, по умолчанию

    • При использовании пути к файлу или списка файлов в источнике корневой путь секции — это настроенный путь.
    • При использовании фильтра папок с подстановочными знаками корневой путь раздела – это часть пути перед первым подстановочным знаком.

    Например, если вы настраиваете путь как root/folder/year=2020/month=08/day=27, следующим образом:

    • Если указать корневой путь секции в качестве root/folder/year=2020, действие копирования создаст еще два столбца месяца и день со значением "08" и "27" соответственно, в дополнение к столбцам внутри файлов.
    • Если корневой путь секции не указан, дополнительный столбец не будет создан.

    

• Используйте двоичную передачу: укажите, следует ли использовать режим двоичной передачи. Выберите его, чтобы использовать двоичный режим (по умолчанию) или отменить выбор, чтобы использовать ASCII.

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Дополнительные столбцы: добавьте дополнительные столбцы данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего варианта. Дополнительные сведения см. в разделе Добавление дополнительных столбцов во время копирования.

Картирование

Сведения о настройке вкладки "Сопоставление " см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление". Если в качестве формата файла выбран двоичный файл, сопоставление не будет поддерживаться.

Settings

Для настройки вкладки перейдите к Настройка других параметров на вкладке "Параметры".

Сводка таблицы

В следующей таблице содержатся дополнительные сведения о действии копирования в FTP.

Исходный материал

Связанный контент

• Общие сведения о соединителе FTP