Копирование данных из хранилища, совместимого с Amazon S3, с помощью Azure Data Factory или Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

В этой статье описывается, как копировать данные из хранилища, совместимого с Amazon Simple Storage Service (Amazon S3). Дополнительные сведения см. в вводных статьях по Azure Data Factory и Synapse Analytics.

Поддерживаемые возможности

Соединитель хранилища, совместимого с Amazon S3, поддерживает следующие возможности:

(1) Azure среды выполнения интеграции (2) локальная среда выполнения интеграции

В частности, этот соединитель хранилища, совместимого с Amazon S3, поддерживает копирование файлов "как есть" или анализ файлов с использованием поддерживаемых форматов файлов и кодеков сжатия. Для проверки подлинности запросов в S3 соединитель использует подпись AWS версии 4. Данный соединитель хранилища, совместимого с Amazon S3, можно использовать для копирования данных из любого поставщика хранилища, совместимого с S3. Укажите соответствующий URL-адрес службы в конфигурации связанной службы.

Необходимые разрешения

Для копирования данных из хранилища, совместимого с Amazon S3, убедитесь в том, что вам предоставлены следующие разрешения для операций с объектами Amazon S3: s3:GetObject и s3:GetObjectVersion.

Если для разработки вы используете пользовательский интерфейс, для выполнения таких операций, как тестирование подключения к связанной службе и просмотр из корня, требуются дополнительные разрешения s3:ListAllMyBuckets и s3:ListBucket/s3:GetBucketLocation. Если вы не хотите предоставлять эти разрешения, можно выбрать в пользовательском интерфейсе параметры "Тестирование подключения к пути к файлу" или "Просмотр по указанному пути".

Полный список разрешений Amazon S3 см. в статье, посвященной назначению разрешений в политике на сайте AWS.

Начало работы

Для выполнения действия копирования с конвейером можно использовать один из следующих средств или пакетов SDK:

• Средство копирования данных
• портал Azure
• SDK .NET
• пакет SDK Python
• Azure PowerShell
• REST API
• шаблон Azure Resource Manager

Создание связанной службы для хранилища, совместимого с Amazon S3, с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу с совместимым хранилищем Amazon S3 в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Azure Data Factory или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск по запросу “Amazon” и найдите соединитель хранилища, совместимого с Amazon S3.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах приведены сведения о свойствах, которые используются для определения сущностей, относящихся к хранилищу, совместимому с Amazon S3.

Свойства связанной службы

Для службы, связанной с хранилищем, совместимым с Amazon S3, поддерживаются следующие свойства.

Пример:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных.

Azure Data Factory поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Следующие свойства поддерживаются для совместимых с Amazon S3 настроек location в наборе данных на основе формата.

Пример:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Свойства Copy activity

Полный список разделов и свойств, используемых для определения действий, обратитесь к статье Конвейеры. Этот раздел содержит список свойств, поддерживаемых источником хранилища, совместимого с Amazon S3.

Хранилище, совместимое с Amazon S3, как тип источника

Azure Data Factory поддерживает следующие форматы файлов. Дополнительные сведения о параметрах с учетом форматирования см. в соответствующих статьях.

• Формат Avro
• Двоичный формат
• Формат текста с разделителями
• формат Excel
• Формат JSON
• Формат ORC
• Формат Parquet
• ФОРМАТ XML

Ниже перечислены свойства, которые поддерживаются для хранилища, совместимого с Amazon S3, в параметрах storeSettings в источнике копирования на основе формата.

Пример:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Примеры фильтров папок и файлов

В этом разделе описывается итоговое поведение пути папки и имени файла при использовании фильтров с подстановочными знаками.

Примеры списков файлов

В этом разделе описывается поведение при использовании пути списка файлов в источнике операции копирования.

Предположим, что у вас есть следующая исходная структура папок и вы хотите скопировать файлы, выделенные полужирным шрифтом:

Свойства операции поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Свойства активности GetMetadata

Подробные сведения об этих свойствах см. в статье Действие GetMetadata.

Удалить свойства активности

Чтобы узнать подробности о свойствах, проверьте раздел Удаление действий.

Связанный контент

Список хранилищ данных, поддерживаемых Copy activity в качестве источников и приемников, см. в разделе Сопортированные хранилища данных.