Настройка Хранилище BLOB-объектов Azure в действии копирования

В этой статье описывается, как использовать действие копирования в конвейере данных для копирования данных из Хранилище BLOB-объектов Azure.

Поддерживаемые форматы

Хранилище BLOB-объектов Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Сопоставление
• Параметры

Общие

Ознакомьтесь с руководством по общим параметрам, чтобы настроить вкладку "Общие параметры".

Оригинал

Следующие свойства поддерживаются для Хранилище BLOB-объектов Azure на вкладке "Источник" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".
• Подключение ion: выберите подключение Хранилище BLOB-объектов Azure из списка подключений. Если подключение отсутствует, создайте новое Хранилище BLOB-объектов Azure подключение, нажав кнопку "Создать".
• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать, или указать путь вручную.
• Параметры файла: выберите параметры файла, чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Тип пути к файлу: можно выбрать путь к файлу, префикс, Wild карта путь к файлу, список файлов в качестве типа пути к файлу. Конфигурация каждого параметра:

  • Путь к файлу. Если выбрать этот тип, данные можно скопировать из заданного контейнера или папки или пути к файлу, указанному ранее.

  • Префикс: префикс для имени большого двоичного объекта под заданным контейнером, настроенным для фильтрации исходных BLOB-объектов. Выбираются BLOB-объекты, имена которых начинаются с container/this_prefix. Он использует фильтр на стороне службы для хранилища BLOB-объектов.

    При использовании префикса и выбора копирования в место назначения на основе файлов с сохранением иерархии подпуть после последнего "/" в префиксе сохраняется. Например, у вас есть источник container/folder/subfolder/file.txtи настройка префикса как folder/sub, а затем сохраненный путь к subfolder/file.txtфайлу.

    

  • Путь к файлу wild карта: укажите папку или путь к файлу с помощью диких карта символов в контейнере BLOB-объектов для фильтрации исходных папок или файлов.

    Допустимые подстановочные знаки: * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования знаков, если имя папки содержит подстановочный знак или этот escape-символ. Дополнительные примеры см. в примерах фильтров папок и файлов.

    

    Путь к папке wild карта: укажите путь к папке с дикими карта символами в заданном контейнере для фильтрации исходных папок.

    Wild карта имя файла: укажите имя файла с дикими карта символами в заданном контейнере и пути к папке (или путь к папке wild карта), чтобы отфильтровать исходные файлы.

  • Список файлов: указывает заданный набор файлов для копирования. В списке путей к файлу введите или перейдите к текстовому файлу, включающее список файлов, которые нужно скопировать, один файл на строку, который является относительным путем к каждому файлу.

    При использовании этого параметра не указывайте имя файла. Дополнительные примеры см. в примерах списка файлов.

    

• Рекурсивно: если выбран этот проверка box, все файлы во входной папке и ее вложенных папках обрабатываются рекурсивно. Если вы отмените выбор проверка box, обрабатываются только те, которые находятся в выбранной папке. Этот параметр отключен при выборе одного файла.

• Удаление файлов после завершения. Если выбран этот проверка box, двоичные файлы удаляются из исходного хранилища после успешного перехода в целевое хранилище. Удаление файла выполняется для каждого файла, поэтому при сбое действия копирования вы заметите, что некоторые файлы уже скопированы в место назначения и удалены из источника, а другие по-прежнему остаются в исходном хранилище.

  Примечание.

  Это свойство допустимо только в сценарии копирования двоичных файлов.

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

Назначение

Следующие свойства поддерживаются для Хранилище BLOB-объектов Azure на вкладке "Назначение" действия копирования.

Требуются следующие свойства:

• Тип хранилища данных: выберите "Внешний".
• Подключение ion: Выберите Хранилище BLOB-объектов Azure подключение из списка подключений. Если подключение не существует, создайте новое подключение Хранилище BLOB-объектов Azure, нажав кнопку "Создать".
• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать или заполнить путь вручную.
• Параметры файла: выберите параметры файла, чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Поведение копирования: определяет поведение копирования, если источник является файлами из файлового хранилища данных. Вы можете выбрать "Добавить динамическое содержимое", "None", "FlattenHierarchy" или "Сохранить иерархию" в раскрывающемся списке.

  • Добавление динамического содержимого. Чтобы указать выражение для значения свойства, выберите " Добавить динамическое содержимое". Этот выбор открывает построитель выражений, где можно создавать выражения из поддерживаемых системных переменных, выходных данных действий, функций и пользовательских переменных или параметров. Для получения сведений о языке выражений перейдите к выражениям и функциям.

  • Нет. Выберите этот выбор, чтобы не использовать поведение копирования.

  • Неструктурированный иерархия: все файлы из исходной папки находятся на первом уровне целевой папки. У целевых файлов есть автоматически созданные имена.

  • Сохранение иерархии: сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла в исходной папке идентичен относительному пути целевого файла в целевой папке.

    

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Размер блока (МБ): укажите размер блока в мегабайтах, используемый для записи данных в блочные BLOB-объекты. Дополнительные сведения см. в раздел "О блочных BLOB-объектах".

• Метаданные: задайте пользовательские метаданные при копировании в место назначения. Каждый объект в массиве metadata представляет дополнительный столбец. name определяет имя ключа метаданных, а value указывает значение данных этого ключа. Если используется функция сохранения атрибутов, указанныеметаданные будут объединять или перезаписывать с метаданными исходного файла.

  Допустимые значения:

  • $$LASTMODIFIED: зарезервированная переменная указывает на сохранение времени последнего изменения исходных файлов. Она применяется к файловому источнику, который может быть только в двоичном формате.

  • Выражение

  • Статическое значение

    

Сопоставление

Чтобы настроить конфигурацию вкладки "Сопоставление ", перейдите к разделу "Настройка сопоставлений" на вкладке сопоставления. Если в качестве формата файла выбран двоичный файл, сопоставление не будет поддерживаться.

Настройки

Сведения о конфигурации вкладки Параметры см. в разделе "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о действии копирования в Хранилище BLOB-объектов Azure.

Сведения об источнике

Сведения о назначении

Связанный контент

• Настройка подключения Хранилище BLOB-объектов Azure