Настройте SFTP в операции копирования

В этой статье описывается, как использовать действие копирования в конвейере данных для копирования данных из SFTP.

Поддерживаемые форматы

SFTP поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат разделённого текста
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Картирование
• Настройки

Общая информация

Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Источник

Перейдите на вкладку Источник, чтобы настроить источник операции копирования. См. следующее содержимое для подробной конфигурации.

Следующие три свойства обязательны:

• тип хранилища данных: выберите внешний.

• Подключение. Выберите подключение SFTP из списка подключений. Если подключение не существует, создайте новое подключение SFTP, нажав кнопку "Создать".

• Тип пути к файлам: Выберите из пути к файлу, подстановочного пути к файлам и списка файлов, в зависимости от способа, которым вы хотите читать файлы.

  • Путь к файлу: если выбрать этот тип, укажите путь к исходному файлу. Вы можете выбрать Обзор, чтобы выбрать исходные файлы, или ввести путь к файлу вручную.

  • Путь файла-шаблона: если выбрать этот тип, укажите пути с подстановочными знаками для фильтрации ваших исходных папок или файлов.

    Допустимые подстановочные знаки : * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования знаков, если имя папки содержит подстановочный знак или этот escape-символ. Дополнительные примеры см. в примерах фильтров папок и файлов.

    

    Путь к папке подстановочных знаков: укажите путь к папке с подстановочными знаками для фильтрации исходных папок.

    Имя файла подстановочного знака: укажите имя файла с подстановочными знаками в заданном пути к папке или путь к папке подстановочных знаков для фильтрации исходных файлов.

  • Список файлов: если выбрать этот тип, укажите путь к папке и путьк списку файлов , чтобы копировать заданный набор файлов. Наведите указатель на текстовый файл, содержащий список файлов, которые требуется скопировать, один файл на строку. Дополнительные примеры см. в примерах списка файлов.

    • Путь к папке: укажите путь к исходной папке. Это необходимо.
      

    • Путь к списку файлов: укажите путь к текстовому файлу, который содержит список файлов, которые нужно скопировать.

      

• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Фильтруйте по последнему изменению: файлы фильтруются на основе указанных вами дат последнего изменения. Это свойство не применяется при настройке типа пути к файлу в качестве списка файлов.

  • Время начала (UTC): файлы выбираются, если время последнего изменения больше или равно заданному времени.
  • Время окончания (UTC): файлы выбираются, если время последнего изменения меньше настроенного времени.

  Если время начала (UTC) имеет значение datetime, но время окончания (UTC) равно NULL, это означает, что файлы, атрибут последнего изменения которых больше или равен значению даты и времени, выбираются. Если время окончания (UTC) имеет значение даты и времени, но время начала (UTC) равно NULL, это означает, что выбираются те файлы, последние изменения которых были сделаны до указанного времени. Свойства могут иметь значение NULL, что означает, что к данным не применяется фильтр атрибутов файлов.

• Отключить разбиение на части: Разбиение на части предназначено для оптимизации производительности и выполняется автоматически. Этот параметр позволяет отключить чанкование в каждом файле. При копировании данных с SFTP-сервера служба пытается сначала получить длину файла, а затем разделить этот файл на несколько частей и считывать их параллельно. Укажите, поддерживает ли ваш SFTP-сервер получение длины файла или поиск для чтения с определенным смещением. По умолчанию он не выбирается.

• Включение обнаружения секций: укажите, следует ли анализировать секции из пути к файлу и добавлять их в качестве дополнительных исходных столбцов. Он не выбирается по умолчанию и не поддерживается при использовании двоичного формата файла.

  • Корневой путь к партициям: Если обнаружение партиций включено, укажите абсолютный корневой путь, чтобы читать партицированные папки как столбцы данных.
    Если это не указано, используется значение по умолчанию

    • При использовании пути к файлу или списка файлов в источнике корневой путь секции — это настроенный путь.
    • При использовании фильтра папок с подстановочными знаками корневой путь раздела — это подпуть перед первым подстановочным знаком.

    Например, если вы настраиваете путь следующим образом root/folder/year=2020/month=08/day=27:

    • Если указать корневой путь раздела как root/folder/year=2020, действие копирования создает еще два столбца, названные "месяц" и "день", со значениями "08" и "27" соответственно, в дополнение к столбцам, уже содержащимся в файлах.
    • Если корневой путь секции не указан, дополнительный столбец не создается.

    

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Укажите значение только в том случае, если требуется ограничить одновременные подключения.

• Дополнительные столбцы: добавление дополнительных столбцов данных для хранения относительного пути или статического значения исходных файлов. Выражение поддерживается для последнего. Дополнительные сведения см. в описании добавления дополнительных столбцов во время копирования.

Назначение

Перейдите на вкладку Пункт назначения, чтобы настроить место назначения для действия копирования. См. следующее содержимое для подробной конфигурации.

• тип хранилища данных: выберите внешний.
• Подключение. Выберите подключение SFTP из списка подключений. Если подключение не существует, создайте новое подключение SFTP, нажав кнопку "Создать".
• Путь к файлу: укажите путь к файлу для записи данных. Вы можете выбрать Обзор, чтобы выбрать исходные файлы или ввести путь к файлу вручную.
• Формат файла: выберите формат файла, примененный в раскрывающемся списке. Выберите "Параметры", чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Поведение копирования. Укажите поведение копирования, когда источник является файлами из файлового хранилища данных. Выберите из следующих свойств.

  • Плоская иерархия: все файлы из исходной папки находятся на первом уровне целевой папки. Целевые файлы имеют автоматически сформированные имена.
  • Объединить файлы: объединяет все файлы из исходной папки в один файл. Если указано имя файла, присвоенное объединенному файлу имя будет точно таким же. В противном случае присваивается автоматически созданное имя файла.
  • Сохранение иерархии (по умолчанию) — сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла в исходной папке идентичен относительному пути целевого файла в целевой папке.
  • Добавление динамического содержимого: выберите это, чтобы указать поведение копирования с помощью динамического содержимого.

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Укажите значение только в том случае, если требуется ограничить одновременные подключения.

• Время ожидания операции (минуты): укажите время ожидания для записи каждого блока на сервер SFTP. Значение по умолчанию 60 минут.

• Отправка с временным файлом: укажите, следует ли отправлять временные файлы и переименовывать их или напрямую записывать в целевую папку или расположение файла. По умолчанию она выбрана, а служба сначала записывает временные файлы, а затем переименовывает их после завершения отправки.

  Эта последовательность помогает (1) избегать конфликтов, которые могут привести к повреждению файла, если другие процессы записывают в один и тот же файл, и (2) убедитесь, что исходная версия файла существует во время передачи. Если SFTP-сервер не поддерживает операцию переименования, отключите этот параметр и следите за тем, чтобы не возникало параллельных операций записи в один целевой файл.

  Подсказка

  Если вы получаете сообщение об ошибке UserErrorSftpPathNotFound, UserErrorSftpPermissionDenied или SftpOperationFail при записи данных в SFTP, а пользователь SFTP, который используется, имеет необходимые разрешения, проверьте, работает ли операция переименования файла на сервере SFTP. Если это не так, отключите параметр "Отправить с временным файлом " и повторите попытку.

Картирование

Сведения о настройке вкладки "Сопоставление " см. в разделе "Настройка сопоставлений" на вкладке "Сопоставление". Если в качестве формата файла выбран двоичный файл, сопоставление не будет поддерживаться.

Настройки

Для настройки вкладки "Параметры" перейдите в и настройте другие параметры на вкладке "Параметры".

Сводка таблицы

В следующей таблице содержатся дополнительные сведения о действии копирования в SFTP.

Источник

Назначение

Связанный контент

• Общие сведения о соединителе SFTP