Копирование данных из файлов Azure или в них с помощью Фабрики данных Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описан процесс копирования данных из Файлов Azure и обратно. Дополнительные сведения о Фабрике данных Azure см. во вводной статье.

Поддерживаемые возможности

Этот соединитель Файлов Azure поддерживает следующие возможности:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Данные можно скопировать из Файлов Azure в любое поддерживаемое хранилище-приемник или из любого поддерживаемого хранилища-источника в Файлы Azure. Список хранилищ данных, поддерживаемых действием копирования в качестве источников и приемников, приведен в разделе Поддерживаемые хранилища данных и форматы.

В частности, этот соединитель Файлов Azure поддерживает:

• Копирование файлов с использованием проверки подлинности через ключ учетной записи или подписанный общий доступ к сервису (SAS).
• Копирование файлов "как есть", анализ или создание файлов с использованием поддерживаемых форматов файлов и кодеков сжатия.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы для Файлов Azure с помощью пользовательского интерфейса

Выполните приведенные ниже действия, чтобы создать связанную службу для Файлов Azure с помощью пользовательского интерфейса на портале Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите файл и выберите соединитель для Azure Files с меткой Хранилище файлов Azure.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей, характерных для Файлов Azure.

Свойства связанной службы

Соединитель Файлов Azure поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах.

• Проверка подлинности на основе ключа учетной записи
• Аутентификация с использованием общей подписи доступа (SAS)
• Проверка подлинности с помощью назначенного системой управляемого удостоверения
• Проверка подлинности с помощью управляемой идентичности, назначенной пользователем

Проверка подлинности на основе ключа учетной записи

Azure Data Factory поддерживает следующие свойства для проверки подлинности с помощью ключа учетной записи Azure Files.

Пример:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey>;EndpointSuffix=core.windows.net;",
            "fileShare": "<file share name>"
        },
        "connectVia": {
          "referenceName": "<name of Integration Runtime>",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение ключа учетной записи в Azure Key Vault

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "connectionString": "DefaultEndpointsProtocol=https;AccountName=<accountname>;",
            "fileShare": "<file share name>",
            "accountKey": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }            
    }
}

Аутентификация подписи для общего доступа

Подпись общего доступа обеспечивает делегированный доступ к ресурсам в вашей учетной записи хранения. Вы можете использовать общую подпись доступа, чтобы предоставить клиенту ограниченные права доступа к объектам в вашей учетной записи хранения на определенное время. Дополнительную информацию о подписях общего доступа можно найти в статье Подписи общего доступа: Понимание модели подписей общего доступа.

Служба поддерживает следующие свойства для аутентификации с использованием подписей для совмещенного доступа:

Пример:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the resource e.g. https://<accountname>.file.core.windows.net/?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>"
            },
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример. Сохранение маркера SAS в Azure Key Vault

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "sasUri": {
                "type": "SecureString",
                "value": "<SAS URI of the Azure Storage resource without token e.g. https://<accountname>.file.core.windows.net/>"
            },
            "sasToken": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName with value of SAS token e.g. ?sv=<storage version>&st=<start time>&se=<expire time>&sr=<resource>&sp=<permissions>&sip=<ip range>&spr=<protocol>&sig=<signature>>" 
            },
            "fileShare": "<file share name>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Проверка подлинности с помощью назначенного системой управляемого удостоверения

Фабрику данных Azure или конвейер Synapse можно связать с назначаемым системой управляемым удостоверением для ресурсов Azure, которое представляет этот ресурс для проверки подлинности в других службах Azure. Назначаемое системой управляемое удостоверение можно использовать для аутентификации в Azure Files. Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Что такое управляемые удостоверения для ресурсов Azure?.

Чтобы использовать аутентификацию управляемого удостоверения, назначаемого системой, выполните следующие действия.

1. Получите сведения о назначаемой системой управляемой идентификации, скопировав значение идентификатора объекта назначаемой системой управляемой идентификации, созданного вместе с рабочей областью Azure Data Factory или Synapse.

2. Предоставьте разрешение управляемому удостоверению в Azure Files. Дополнительные сведения о ролях см. в этой статье.

   • В качестве источника в управлении доступом (IAM) предоставьте как минимум роль Storage File Data Privileged Reader.
   • В качестве приемника в Управлении доступом (IAM) предоставьте как минимум роль Привилегированного участника данных файлов хранилища.

Эти свойства поддерживаются для связанной службы Azure Files:

Пример:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.file.core.windows.net/",
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Аутентификация с использованием управляемого удостоверения, назначенного пользователем

Фабрике данных может быть назначено одно или несколько пользовательских управляемых удостоверений. Это управляемое удостоверение, назначаемое пользователем, можно использовать для проверки подлинности Azure Files, что позволяет получать доступ к данным и копировать данные в или из Azure Files. Дополнительные сведения об управляемых удостоверениях для ресурсов Azure см. в статье Что такое управляемые удостоверения для ресурсов Azure?.

Чтобы использовать аутентификацию с управляемым удостоверением, назначенным пользователем, выполните следующие шаги.

1. Создайте одно или несколько управляемых удостоверений с назначением пользователем и предоставьте разрешения в Azure Files. Дополнительные сведения о ролях см. в этой статье.

   • В качестве источника в управлении доступом (IAM) предоставьте как минимум роль Привилегированного чтения данных файла хранилища.
   • В качестве приемника в Управление доступом (IAM) предоставьте не менее роль привилегированного участника данных файлового хранилища.

2. Назначьте одно или несколько управляемых пользователями удостоверений хранилищу данных и создайте учетные данные для каждого такого удостоверения.

Эти свойства поддерживаются для службы, связанной с Azure Files.

Пример:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {            
            "serviceEndpoint": "https://<accountName>.file.core.windows.net/",
            "credential": {
                "referenceName": "credential1",
                "type": "CredentialReference"
            },
            "fileShare": "<file share name>",
            "snapshot": "<snapshot version>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Устаревшая модель

Пример:

{
    "name": "AzureFileStorageLinkedService",
    "properties": {
        "type": "AzureFileStorage",
        "typeProperties": {
            "host": "\\\\<storage name>.file.core.windows.net\\<file service name>",
            "userid": "AZURE\\<storage name>",
            "password": {
                "type": "SecureString",
                "value": "<storage access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных.

Фабрика данных Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Ниже перечислены свойства, которые поддерживаются для Azure Files в настройках location в формате-ориентированных наборах данных:

Пример:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Azure File Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureFileStorageLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Свойства операции копирования

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры. Этот раздел содержит список свойств, поддерживаемых источником и приемником Файлов Azure.

Файлы Azure как источник

Фабрика данных Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Делимитированный текстовый формат
• Формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Ниже перечислены свойства, которые поддерживаются для Файлов Azure в настройках storeSettings в источнике копирования на основе формата:

Пример:

"activities":[
    {
        "name": "CopyFromAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AzureFileStorageReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Файлы Azure как приемник

Фабрика данных Azure поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• Формат JSON
• Формат ORC
• Формат Parquet

Ниже перечислены свойства, которые поддерживаются для Файлов Azure в настройках storeSettings в приемнике копирования на основе формата:

Пример:

"activities":[
    {
        "name": "CopyToAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "AzureFileStorageWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

Примеры фильтров папок и файлов

В этом разделе описывается поведение пути папки и имени файла при использовании фильтров с подстановочными знаками.

Примеры списков файлов

В этом разделе описывается поведение, возникающее при указании пути к списку файлов в качестве источника для действия копирования.

Предположим, что у вас есть следующая исходная структура папок и вы хотите скопировать файлы, выделенные полужирным шрифтом:

Примеры «recursive» и «copyBehavior»

В данном разделе описываются результаты выполнения операции копирования при использовании различных сочетаний значений recursive и copyBehavior.

Свойства поисковой активности

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Свойства активности GetMetadata

Подробные сведения об этих свойствах см. в статье Действие GetMetadata.

Удалить свойства активности

Чтобы узнать подробности о свойствах, ознакомьтесь с Удалить действие.

Устаревшие модели

Устаревшая модель набора данных

Пример:

{
    "name": "AzureFileStorageDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<Azure File Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Устаревшая модель источника для операции копирования

Пример:

"activities":[
    {
        "name": "CopyFromAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Azure File Storage input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Устаревшая модель приемника данных для копирования

Пример:

"activities":[
    {
        "name": "CopyToAzureFileStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure File Storage output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

Связанный контент

Список хранилищ данных, которые поддерживаются как источники и потребители для действия копирования, см. в поддерживаемых хранилищах данных.