Настройка хранилища BLOB-объектов Azure в действии копирования

В этой статье описывается, как использовать действие копирования в конвейере для копирования данных из и в хранилище объектов Blob Azure.

Поддерживаемые форматы

Хранилище BLOB-объектов Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Поддерживаемая конфигурация

Для настройки каждой вкладки в действии копирования перейдите к следующим разделам соответственно.

• Общие сведения
• Источник
• Назначение
• Картирование
• Settings

General

Ознакомьтесь с руководством по общим параметрам , чтобы настроить вкладку "Общие параметры".

Исходный материал

Следующие свойства поддерживаются для хранилища BLOB-объектов Azure на вкладке Источник операции копирования.

Требуются следующие свойства:

• Подключение. Выберите подключение к хранилищу BLOB-объектов Azure из списка подключений. Если подключение не существует, создайте новое подключение к хранилищу BLOB-объектов Azure, нажав кнопку "Создать".
• Путь к файлу: нажмите кнопку "Обзор" , чтобы выбрать файл, который требуется скопировать, или указать путь вручную.
• Параметры файла: выберите параметры файла , чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Тип пути к файлу: можно выбрать путь к файлу, префикс, подстановочный путь к файлу, список файлов в качестве типа пути к файлу. Конфигурация каждого параметра:

  • Путь к файлу. Если выбрать этот тип, данные можно скопировать из заданного контейнера или папки или пути к файлу, указанному ранее.

  • Префикс: префикс для имени BLOB-объекта в данном контейнере, настроенном для фильтрации исходных BLOB-объектов. Бинарные большие объекты, имена которых начинаются с container/this_prefix, выбраны. Для хранилища блобов используется фильтр на стороне службы.

    При работе с префиксом и выбора копирования в файловую директорию с сохранением иерархической структуры сохраняется подпуть, следующий за последним '/' в префиксе. Например, у вас есть источник container/folder/subfolder/file.txt, и вы настраиваете префикс как folder/sub, тогда сохранённый путь к файлу – subfolder/file.txt.

    

  • Путь к файлу с подстановочными знаками: укажите папку или путь к файлу в пределах заданного вам контейнера для блобов, чтобы отфильтровать исходные папки и файлы.

    Допустимые подстановочные знаки : * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу). Используйте ^ для экранирования, если в имени папки присутствует подстановочный знак или символ экранирования. Дополнительные примеры см. в примерах фильтров папок и файлов.

    

    Путь к папке подстановочных знаков: укажите путь к папке с подстановочными знаками в заданном контейнере для фильтрации исходных папок.

    Имя файла с подстановочными знаками: укажите имя файла с подстановочными знаками в заданном контейнере и пути к папке (или путь к папке подстановочных знаков) для фильтрации исходных файлов.

  • Список файлов: указывает заданный набор файлов для копирования. В списке путей к файлу введите или перейдите к текстовому файлу, включающее список файлов, которые нужно скопировать, один файл на строку, который является относительным путем к каждому файлу.

    При использовании этого параметра не указывайте имя файла. Дополнительные примеры см. в примерах списка файлов.

    

• Рекурсивно: если установлен этот флажок, все файлы во входной папке и ее вложенных папках обрабатываются рекурсивно. Если снять флажок, обрабатываются только те файлы, которые находятся в выбранной папке. Этот параметр отключен при выборе одного файла.

• Удаление файлов после завершения. Если установлен этот флажок, двоичные файлы удаляются из исходного хранилища после успешного перехода в целевое хранилище. Удаление файла выполняется для каждого файла, поэтому при сбое действия копирования вы заметите, что некоторые файлы уже скопированы в место назначения и удалены из источника, а другие по-прежнему остаются в исходном хранилище.

  Замечание

  Это свойство допустимо только в сценарии копирования двоичных файлов.

• Максимальное число одновременных подключений: это свойство указывает верхний предел параллельных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

Место назначения

Следующие свойства поддерживаются для хранилища BLOB-объектов Azure на вкладке "Назначение " действия копирования.

Требуются следующие свойства:

• Связь: Выберите подключение к хранилищу BLOB-объектов Azure из списка подключений. Если подключение не существует, создайте новое подключение к хранилищу BLOB-объектов Azure, нажав кнопку "Создать".
• Путь к файлу: Нажмите кнопку "Обзор" , чтобы выбрать файл, который вы хотите скопировать или заполнить путь вручную.
• Параметры файла: выберите параметры файла , чтобы настроить формат файла. Сведения о параметрах различных форматов файлов см. в статьях в поддерживаемом формате .

В разделе "Дополнительно" можно указать следующие поля:

• Поведение копирования: определяет поведение копирования, если источник является файлами из файлового хранилища данных. Вы можете выбрать "Добавить динамическое содержимое", "None", "FlattenHierarchy" или "Сохранить иерархию " в раскрывающемся списке.

  • Добавление динамического содержимого. Чтобы указать выражение для значения свойства, выберите "Добавить динамическое содержимое". Этот выбор открывает построитель выражений, где можно создавать выражения из поддерживаемых системных переменных, выходных данных действий, функций и пользовательских переменных или параметров. Для получения сведений о языке выражений перейдите к выражениям и функциям.

  • Нет. Выберите этот выбор, чтобы не использовать поведение копирования.

  • Уплощение иерархии: все файлы из исходной папки находятся на первом уровне целевой папки. У целевых файлов есть автоматически созданные имена.

  • Сохранение иерархии: сохраняет иерархию файлов в целевой папке. Относительный путь исходного файла к исходной папке идентичен относительному пути целевого файла к целевой папке.

    

• Максимальное число одновременных подключений: верхний предел одновременных подключений, установленных в хранилище данных во время выполнения действия. Указывайте значение только при необходимости ограничить количество одновременных подключений.

• Размер блока (МБ): укажите размер блока в мегабайтах, используемый для записи данных в блочные BLOB-объекты. Дополнительные сведения см. в разделе О блочных BLOB-объектах.

• Метаданные: задайте пользовательские метаданные при копировании в место назначения. Каждый объект в массиве metadata представляет дополнительный столбец. name определяет имя ключа метаданных, а value указывает значение данных этого ключа. Если используетсяфункция сохранения атрибутов , указанные метаданные будут объединять или перезаписывать с метаданными исходного файла.

  Допустимые значения:

  • $$LASTMODIFIED: зарезервированная переменная указывает на необходимость сохранения времени последнего изменения исходных файлов. Она применяется к файловому источнику, который может быть только в двоичном формате.

  • выражение

  • Статическое значение

    

Картирование

Чтобы настроить конфигурацию вкладки "Сопоставление ", перейдите к разделу "Настройка сопоставлений" на вкладке сопоставления. Если в качестве формата файла выбран двоичный файл, сопоставление не будет поддерживаться.

Settings

Сведения о настройке вкладки "Параметры " см. в разделе "Настройка других параметров" на вкладке "Параметры".

Сводка таблицы

В следующих таблицах содержатся дополнительные сведения о копировании в Azure Blob Storage.

Исходная информация

Сведения о назначении

Связанный контент

• Настройка подключения к хранилищу BLOB-объектов Azure