Копирование и преобразование данных в Azure Data Lake Storage 2-го поколения с помощью Фабрика данных Azure или Azure Synapse Analytics

ПРИМЕНИМО К: Фабрика данных Azure Azure Synapse Analytics

Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) — это набор возможностей, предназначенных для аналитики больших данных, встроенных в хранилище BLOB-объектов Azure. С его помощью можно работать с данными с использованием парадигмы файловой системы или хранилища объектов.

В этой статье описывается, как использовать действие копирования для копирования данных из Azure Data Lake Storage 2-го поколения и использования Поток данных для преобразования данных в Azure Data Lake Storage 2-го поколения. Дополнительные сведения см. в вводной статье Фабрика данных Azure или Azure Synapse Analytics.

Поддерживаемые возможности

Этот соединитель Azure Data Lake Storage 2-го поколения поддерживается для следующих возможностей:

(1) Azure среды выполнения интеграции (2) локальная среда выполнения интеграции

Для функции действие Copy с помощью этого соединителя можно:

• Копируйте данные из или в Azure Data Lake Storage 2-го поколения с помощью ключа учетной записи, служебного принципала или управляемых удостоверений для аутентификации ресурсов Azure.
• копировать файлы "как есть" или создавать файлы с использованием поддерживаемых форматов файла и кодеков сжатия;
• сохранять метаданные файла во время копирования;
• Сохранить ACL при копировании из Azure Data Lake Storage 1-го поколения/Gen2.

Get started

Для выполнения действия копирования с конвейером можно использовать один из следующих средств или пакетов SDK:

• Средство копирования данных
• портал Azure
• SDK .NET
• пакет SDK Python
• Azure PowerShell
• REST API
• шаблон Azure Resource Manager

Создание связанной службы Azure Data Lake Storage 2-го поколения с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу Azure Data Lake Storage 2-го поколения в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрика данных Azure или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Azure Data Lake Storage 2-го поколения и выберите соединитель Azure Data Lake Storage 2-го поколения.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о свойствах, используемых для определения сущностей конвейера Фабрики данных и Synapse, относящихся к Data Lake Storage 2-го поколения.

Свойства линкованного сервиса

Соединитель Azure Data Lake Storage 2-го поколения поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах:

• Проверка подлинности на основе ключа учетной записи
• Аутентификация с использованием общего ключа доступа (SAS)
• Аутентификация учетной записи службы
• Проверка подлинности с помощью назначенного системой управляемого удостоверения
• Проверка подлинности с помощью назначаемого пользователем управляемого удостоверения

Проверка подлинности на основе ключа учетной записи

При использовании проверки подлинности на основе ключа учетной записи поддерживаются следующие свойства.

Example:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "accountkey": { 
                "type": "SecureString", 
                "value": "<accountkey>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Аутентификация с использованием общей подписи доступа (SAS)

Подпись общего доступа обеспечивает делегированный доступ к ресурсам в вашей учетной записи хранения. Вы можете использовать доступ с разделяемой подписью, чтобы предоставить клиенту ограниченные разрешения на работу с объектами в вашей учетной записи хранения в течение определенного времени.

Не нужно предоставлять совместный доступ к ключам доступа для учетной записи. Подписанный URL-адрес — это универсальный код ресурса (URI), который в своих параметрах запроса содержит все сведения, необходимые для доступа к ресурсу хранилища с прохождением аутентификации. Для доступа к ресурсам хранилища с помощью подписи общего доступа (SAS), клиенту нужно только передать SAS в соответствующий конструктор или метод.

Для получения дополнительной информации о подписях общего доступа см. статью Подписи общего доступа: понимание модели подписи общего доступа.

Следующие свойства поддерживаются для использования проверки подлинности на основе общей подписанной строки доступа.

Example:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource e.g. https://<accountname>.blob.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Example: сохраните ключ учетной записи в Azure Key Vault

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.blob.core.windows.net/>"
            },
            "sasToken": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference"
                },
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

При создании URI с подписью для совместного доступа следует учитывать следующее.

• Установите для объектов соответствующие разрешения на чтение и/или запись в зависимости от использования связанной службы (чтение, запись, чтение и запись).
• Задайте время окончания срока действия соответствующим образом. Убедитесь, что срок действия доступа к объектам хранилища не истекает в период активности конвейера.
• В зависимости от потребности URI следует создать для нужного контейнера или BLOB-объекта. URI подписанного URL-адреса для большого двоичного объекта позволяет Фабрике данных Azure или конвейеру Synapse получить доступ к определенному большому двоичному объекту. URI подписанного общего доступа к контейнеру хранилища больших двоичных объектов позволяет Azure Data Factory или конвейеру Synapse выполнять итерацию по большим двоичным объектам в этом контейнере. Чтобы предоставить доступ к большему или меньшему количеству объектов позднее или обновить URI подписанного URL-адреса, не забудьте обновить связанную службу с помощью нового URI.

Аутентификация сервисного субъекта

Чтобы использовать аутентификацию с помощью учетной записи службы, выполните следующие действия.

1. Зарегистрируйте приложение с помощью платформа удостоверений Майкрософт. Дополнительные сведения см. в статье Quickstart: регистрация приложения с помощью платформа удостоверений Майкрософт. Запишите эти значения, которые используются для определения связанной службы:

   • Идентификатор приложения
   • ключ приложения.
   • Идентификатор арендатора

2. Предоставьте сервисному принципалу правильное разрешение. Примеры того, как работают разрешения в Data Lake Storage 2-го поколения из списков управления доступом на файлы и каталоги Access

   • В "Обозреватель службы хранилища" предоставьте как минимум разрешение Execute для всех родительских папок и файловой системы, а также разрешение Read для файлов, которые необходимо копировать. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Модуль чтения данных BLOB-объектов хранилища.
   • В качестве конечного узла: В Обозреватель службы хранилища предоставьте разрешения, по крайней мере, Execute для всех вышестоящих папок и файловой системы, а также Write для папки назначения. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Участник для данных BLOB-объектов хранилища.

Приведенные ниже свойства поддерживаются в связанной службе.

Пример: использование аутентификации с помощью ключа учетной записи сервиса

Вы также можете хранить ключ учетной записи службы в Azure Key Vault.

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalCredential": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: использование аутентификации с помощью сертификата service principal

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "servicePrincipalId": "<service principal id>",
            "servicePrincipalCredentialType": "ServicePrincipalCert",
            "servicePrincipalCredential": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<AKV reference>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<certificate name in AKV>" 
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>" 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Проверка подлинности с помощью назначенного системой управляемого удостоверения

Фабрика данных или рабочая область Synapse могут быть связаны с управляемым удостоверением, назначаемым системой. Это системно назначенное управляемое удостоверение можно напрямую использовать для аутентификации Data Lake Storage 2-го поколения, аналогично использованию собственного Principal-службы. Он позволяет этой указанной фабрике или рабочей области получать доступ к данным и копировать их в или из Data Lake Storage 2-го поколения.

Для использования проверки подлинности с помощью управляемого удостоверения, назначаемого системой, выполните приведенные ниже действия.

1. Получите сведения об управляемом удостоверении, назначаемом системой, скопировав значение идентификатора объекта управляемого удостоверения, созданного вместе с рабочей областью Фабрики данных или Synapse.

2. Управляемому удостоверению, назначенному системой, предоставьте соответствующее разрешение. См. примеры работы разрешений в Data Lake Storage 2-го поколения из списков управления доступом на файлы и каталоги.

   • В "Обозреватель службы хранилища" предоставьте как минимум разрешение Execute для всех родительских папок и файловой системы, а также разрешение Read для файлов, которые необходимо копировать. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Модуль чтения данных BLOB-объектов хранилища.
   • В качестве конечного узла: В Обозреватель службы хранилища предоставьте разрешения, по крайней мере, Execute для всех вышестоящих папок и файловой системы, а также Write для папки назначения. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Участник для данных BLOB-объектов хранилища.

Приведенные ниже свойства поддерживаются в связанной службе.

Example:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Аутентификация при помощи назначаемого пользователем управляемого удостоверения

Фабрика данных может быть назначена с одним или несколькими управляемыми идентификациями, назначенными пользователем. Это управляемое удостоверение, назначаемое пользователем, можно использовать для проверки подлинности хранилища BLOB-объектов, что позволяет получать доступ к данным и копировать данные из Data Lake Storage 2-го поколения. Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Управляемые удостоверения для ресурсов Azure

Для использования аутентификации с помощью управляемой идентификации, назначенной пользователем, выполните приведенные ниже действия.

1. Создайте одну или несколько управляемых идентичностей, назначенных пользователем и предоставьте доступ к Azure Data Lake Storage 2-го поколения. См. примеры работы разрешений в Data Lake Storage 2-го поколения из списков управления доступом на файлы и каталоги.

   • В "Обозреватель службы хранилища" предоставьте как минимум разрешение Execute для всех родительских папок и файловой системы, а также разрешение Read для файлов, которые необходимо копировать. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Модуль чтения данных BLOB-объектов хранилища.
   • В качестве конечного узла: В Обозреватель службы хранилища предоставьте разрешения, по крайней мере, Execute для всех вышестоящих папок и файловой системы, а также Write для папки назначения. Можно также в Системе управления идентификацией и доступом (IAM) назначить по крайней мере роль Участник для данных BLOB-объектов хранилища.

2. Назначьте одно или несколько пользовательских управляемых удостоверений для вашей фабрики данных и создайте учетные данные для каждого подобного удостоверения.

Приведенные ниже свойства поддерживаются в связанной службе.

Example:

{
    "name": "AzureDataLakeStorageGen2LinkedService",
    "properties": {
        "type": "AzureBlobFS",
        "typeProperties": {
            "url": "https://<accountname>.dfs.core.windows.net", 
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
                }
            },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в разделе Наборы данных.

Фабрика данных Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• формат Excel
• Формат Айсберга
• Формат JSON
• Формат ORC
• Формат файла Parquet
• ФОРМАТ XML

Следующие свойства поддерживаются для Data Lake Storage 2-го поколения в настройках location в формате набора данных:

Example:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Свойства действие Copy

Полный список разделов и свойств, доступных для определения действий, см. в разделах конфигурации действий копирования и конвейеры и действия. В этом разделе представлен список свойств, поддерживаемых источником и приемником Data Lake Storage 2-го поколения.

Azure Data Lake Storage 2-го поколения в качестве исходного типа

Фабрика данных Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• формат Excel
• Формат JSON
• Формат ORC
• Формат файла Parquet
• ФОРМАТ XML

Существует несколько вариантов копирования данных из ADLS 2-го поколения:

• Скопируйте по указанному в наборе данных пути.
• фильтр с подстановочными знаками для пути к папке или имени файла (см. сведения в разделах wildcardFolderPath и wildcardFileName);
• Копируйте файлы, определенные в заданном текстовом файле как набор файлов, см. fileListPath.

Поддерживаются следующие свойства для Data Lake Storage 2-го поколения в настройках storeSettings в источнике копирования, основанном на формате:

Example:

"activities":[
    {
        "name": "CopyFromADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureBlobFSReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Data Lake Storage 2-го поколения в качестве типа приемника

Фабрика данных Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Айсберга
• Формат JSON
• Формат ORC
• Формат файла Parquet

Следующие свойства поддерживаются для Data Lake Storage 2-го поколения в параметрах storeSettings в приемнике копирования, основанном на формате.

Example:

"activities":[
    {
        "name": "CopyToADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureBlobFSWriteSettings",
                    "copyBehavior": "PreserveHierarchy",
                    "metadata": [
                        {
                            "name": "testKey1",
                            "value": "value1"
                        },
                        {
                            "name": "testKey2",
                            "value": "value2"
                        },
                        {
                            "name": "lastModifiedKey",
                            "value": "$$LASTMODIFIED"
                        }
                    ]
                }
            }
        }
    }
]

Примеры фильтров папок и файлов

В этом разделе описывается результирующее поведение пути папки и имени файла при использовании фильтров с подстановочными знаками.

Примеры списков файлов

В этом разделе описывается поведение, возникающее при указании пути к списку файлов в качестве источника для действия копирования.

Предположим, что у вас есть следующая исходная структура папок и вы хотите скопировать файлы, выделенные полужирным шрифтом:

Некоторые примеры рекурсивных и копирования поведения

В данном разделе описываются результаты выполнения операции копирования при использовании различных сочетаний значений recursive и copyBehavior.

Сохранение метаданных файла во время копирования

При копировании файлов из Amazon S3/объектов Azure Blob/Azure Data Lake Storage 2-го поколения в хранилище Azure Data Lake Storage 2-го поколения/объекты Azure Blob, вы можете выбрать сохранение метаданных файла вместе с данными. Подробнее см. в разделе Сохранение метаданных.

Сохранение списков управления доступом из Data Lake Storage 1-го поколения/Gen2

При копировании файлов из Azure Data Lake Storage 1-го поколения/2-го поколения в 2-го поколения можно сохранить списки управления доступом POSIX наряду с данными. Узнайте больше в сохранении списков управления доступом из Data Lake Storage 1-го поколения/Gen2 в Gen2.

Сопоставление свойств потока данных

При преобразовании данных в потоках данных сопоставления можно считывать и записывать файлы из Azure Data Lake Storage 2-го поколения в следующих форматах:

• Avro
• Общая Модель Данных
• Текст с разделителями
• Delta
• Excel
• JSON
• Parquet

Конкретные параметры приведены в документации для соответствующего формата. Дополнительные сведения см. в статьях Преобразование источника в потоке данных для сопоставления и Преобразование приемника в потоке данных для сопоставления.

Преобразование источника

В преобразовании источника можно прочитать из контейнера, папки или отдельного файла в Azure Data Lake Storage 2-го поколения. Настройки управления чтением файлов находятся на вкладке Параметры источника.

Шаблон пути подстановочных знаков: использование шаблона подстановочных знаков приводит к тому, что ADF выполняет цикл через каждую совпадающую папку и файл в рамках одного источника преобразования. Это эффективный способ обработки нескольких файлов в одном потоке. Добавьте несколько шаблонов сопоставления с подстановочными знаками с помощью значка плюса ("+"), который появляется при наведении указателя мыши на существующий шаблон с подстановочными знаками.

В исходном контейнере выберите файлы, соответствующие шаблону. В наборе данных можно указать только контейнер. Путь с подстановочными знаками должен также включать путь к папке из корневой папки.

Примеры подстановочных знаков:

• * — представляет любой набор символов;

• ** — представляет рекурсивную вложенность каталога;

• ? — заменяет один символ;

• [] — соответствует одному или нескольким символам в квадратных скобках;

• /data/sales/**/*.csv — возвращает все файлы CSV в папке /data/sales;

• /data/sales/20??/**/ — возвращает все файлы, созданные в 20 веке;

• /data/sales/*/*/*.csv — возвращает файлы CSV, расположенные двумя уровнями ниже папки /data/sales;

• /data/sales/2004/*/12/[XY]1?.csv — возвращает все файлы CSV, созданные в декабре 2004 года, которые начинаются с X или Y с двузначным числом в качестве префикса.

Корневой путь раздела. Если в источнике файлов имеются секционированные папки формата key=value (например, year=2019), то верхний уровень этого дерева секционированной папки можно назначить в качестве имени столбца в потоке данных.

Во-первых, задайте подстановочный знак, чтобы включить все пути, которые являются в секционированных папках, а также конечные файлы, которые вы хотите прочитать.

Для определения верхнего уровня структуры папок используйте параметр "Корневой путь раздела". При просмотре содержимого данных с помощью предварительного просмотра данных вы увидите, что ADF добавит разрешенные разделы, найденные на каждом уровне папок.

Список файлов: это набор файлов. Создайте текстовый файл, содержащий список файлов с их относительными путями для обработки. Укажите на этот текстовый файл.

Столбец для хранения имени файла: сохраните имя исходного файла в столбце в данных. Укажите здесь новое имя столбца для хранения строки имени файла.

После завершения: выберите, что делать с исходным файлом: ничего не делать, удалить или переместить его после запуска потока данных. Пути для перемещения являются относительными.

Чтобы переместить исходные файлы в другое расположение после обработки, сначала выберите "Переместить" для операции с файлом. Затем задайте исходную директорию. Если вы не используете подстановочные знаки в пути, исходным каталогом будет та же папка, что и исходная папка.

Если у вас есть исходный путь с подстановочным знаком, синтаксис будет выглядеть следующим образом.

/data/sales/20??/**/*.csv

Вы можете указать значение "from" в качестве исходной папки

/data/sales

И как параметр "to"

/backup/priorSales

В этом случае все файлы, источником которых является папка /data/sales, перемещаются в папку /backup/priorSales.

Фильтр по последнему изменению: вы можете фильтровать файлы, обрабатываемые путем указания диапазона дат последнего изменения. Все значения даты и времени указаны в формате UTC.

Включите запись измененных данных: Если задано значение true, вы получите новые или измененные файлы только из последнего запуска. При первом запуске всегда выполняется начальная загрузка данных, то есть получается полный моментальный снимок, а при следующих запусках записываются только новые или измененные файлы. Дополнительные сведения см. в разделе "Изменение записи данных".

Свойства синка

В преобразовании приемника можно записать в контейнер или папку в Azure Data Lake Storage 2-го поколения. Вкладка "Параметры" позволяет управлять записью файлов.

Очистить папку: определяет, очищается ли целевая папка перед записью данных.

Параметр имени файла: определяет, как целевые файлы именуются в целевой папке. Доступные параметры имени файла:

• По умолчанию: разрешить Spark именовать файлы на основе значений PART по умолчанию.
• Шаблон. Введите шаблон, который перечисляет выходные файлы на секцию. Например, при использовании шаблона loans[n].csv будут создаваться файлы loans1.csv, loans2.csv и т. д.
• На раздел: введите одно имя файла для каждого раздела.
• Как данные в столбце: задайте выходной файл значению столбца. Путь задается относительно контейнера набора данных, а не папки назначения. Если в наборе данных имеется путь к папке, он будет переопределен.
• Выходные данные в один файл: объединение секционированных выходных файлов в один именованный файл. Путь задается относительно папки набора данных. Помните, что операция слияния может завершиться ошибкой из-за размера узла. Этот параметр не рекомендуется использовать для больших наборов данных.

Заключить все в кавычки: определяет, следует ли заключать все значения в кавычки

umask

При необходимости можно установить флаги POSIX чтения, записи и выполнения для владельца, пользователя и группы для файлов.

Команды предварительной и последующей обработки

При необходимости можно выполнить команды файловой системы Hadoop до или после записи в приемник ADLS 2-го поколения. Поддерживаются следующие команды:

• cp
• mv
• rm
• mkdir

Examples:

• mkdir /folder1
• mkdir -p folder1
• mv /folder1/*.* /folder2/
• cp /folder1/file1.txt /folder2
• rm -r /folder1

Параметры также поддерживаются в построителе выражений, например:

mkdir -p {$tempPath}/commands/c1/c2 mv {$tempPath}/commands/*.* {$tempPath}/commands/c1/c2

По умолчанию папки создаются от имени пользователя или root. Для ссылки на контейнер верхнего уровня используйте "/".

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Свойства действия GetMetadata

Подробные сведения об этих свойствах см. в статье Действие GetMetadata.

Удалить свойства действия

Чтобы узнать подробности о свойствах, ознакомьтесь с Удалить активность.

Устаревшие модели

Устаревшая модель набора данных

Example:

{
    "name": "ADLSGen2Dataset",
    "properties": {
        "type": "AzureBlobFSFile",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "myfilesystem/myfolder",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Устаревшая модель источника процесса копирования

Example:

"activities":[
    {
        "name": "CopyFromADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ADLS Gen2 input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzureBlobFSSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Устаревшая модель приемника действия копирования

Example:

"activities":[
    {
        "name": "CopyToADLSGen2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ADLS Gen2 output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzureBlobFSSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

отслеживание изменений данных

Фабрика данных Azure может получать новые или измененные файлы только из Azure Data Lake Storage 2-го поколения, включив функцию Enable change data capture в преобразовании источника сопоставления потока данных. Этот параметр соединителя позволяет считывать только новые или обновленные файлы и применять преобразования перед загрузкой преобразованных данных в нужные целевые наборы.

Ни в коем случае не изменяйте имена конвейера и действия, чтобы контрольная точка последнего запуска всегда была доступна для анализа и получения изменений. При изменении имени конвейера или имени действия контрольная точка будет сброшена, и вы начнете заново с начала следующего запуска процесса.

При отладке конвейера также можно использовать параметр Включить отслеживание измененных данных. Контрольная точка будет сбрасываться при обновлении браузера во время отладки. После выполнения отладки вы можете опубликовать и активировать конвейер. Будет всегда начинаться с начала, независимо от предыдущей контрольной точки, зафиксированной при выполнении отладки.

В разделе мониторинга вы всегда можете повторно запустить поток. При этом изменения всегда берутся из записи контрольной точки в выбранном запуске конвейера.

Связанный контент

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.