Сохранение метаданных и списков управления доступом с помощью действия копирования в Azure Data Factory или Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

При использовании действия копирования в Azure Data Factory или Synapse Analytics для копирования данных из источника в приемник можно также сохранить метаданные и списки управления доступом в следующих сценариях.

Сохранение метаданных для миграции озера

При переносе данных из одного хранилища данных в другое, включая Amazon S3, Azure Blob-объект, Azure Data Lake Storage Gen2 и Azure Files, можно выбрать сохранение метаданных файлов одновременно с данными.

Copy activity поддерживает сохранение следующих атрибутов во время копирования данных:

  • Все указанные клиентом метаданные
  • Следующие пять встроенных системных свойств хранилища данных: contentType, contentLanguage (за исключением Amazon S3), contentEncoding, contentDisposition, cacheControl.

Управление различиями в метаданных: Amazon S3 и Azure Storage разрешают разные наборы символов в ключах, указанных клиентом метаданных. Если вы сохраните метаданные с помощью действия Copy, служба автоматически заменит недопустимые символы символом "_".

При копировании файлов "как есть" из Amazon S3/Azure Data Lake Storage Gen2/Azure Blob Storage/Azure Files в Azure Data Lake Storage Gen2/Azure Blob Storage/Azure Files в двоичном формате можно найти параметр "Preserve" на вкладке "Copy Activity" в разделе "Settings" для создания действий или на странице "Settings" в инструменте копирования данных.

Операция копирования сохранять метаданные

Ниже приведен пример конфигурации JSON действия "Копировать" (см. preserve):

"activities":[
    {
        "name": "CopyAndPreserveMetadata",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AmazonS3ReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings": {
                    "type": "AzureBlobFSWriteSettings"
                }
            },
            "preserve": [
                "Attributes"
            ]
        },
        "inputs": [
            {
                "referenceName": "<Binary dataset Amazon S3/Azure Blob/ADLS Gen2 source>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Binary dataset for Azure Blob/ADLS Gen2 sink>",
                "type": "DatasetReference"
            }
        ]
    }
]

Сохранение списков управления доступом из хранилища Data Lake Storage 1-го/2-го поколения в 2-го поколения

При обновлении с Azure Data Lake Storage Gen1 до 2-го поколения или копирования данных между ADLS 2-го поколения можно сохранить списки управления доступом POSIX (ACL) вместе с файлами данных. Дополнительные сведения об управлении доступом см. в разделе Управление доступом в Azure Data Lake Storage Gen1 и Управление доступом в Azure Data Lake Storage Gen2.

Copy activity поддерживает сохранение следующих типов списков управления доступом во время копирования данных. Можно выбрать один или несколько типов.

  • ACL: копирование и сохранение списков управления доступом POSIX для файлов и каталогов. Копируются все существующие ACL из источника в приемник.
  • Владелец: копирование и сохранение пользователя-владельца файлов и каталогов. Требуется доступ суперпользователя к приемнику Data Lake Storage Gen2.
  • Группа: копирование и сохранение группы-владельца файлов и каталогов. Требуется доступ суперпользователя к хранилищу данных Data Lake Storage Gen2 или доступ владельца (если владелец также является участником целевой группы).

Если указать копирование из папки, служба реплицирует ACL для указанной папки, а также файлы и каталоги в ней, если для параметра задано значение recursive true. Если указать копирование из одного файла, то ACL для этого файла будут скопированы.

Примечание.

При использовании действия копирования для сохранения списков управления доступом из Data Lake Storage Gen1/2-го поколения в 2-го поколения существующие списки управления доступом для соответствующих папок и файлов приемника 2-го поколения будут перезаписаны.

Внимание

При сохранении списков управления доступом убедитесь, что вы предоставляете достаточное количество разрешений для работы службы с Data Lake Storage Gen2 учетной записью приемника. Например, используйте аутентификацию с ключом учетной записи или назначьте роль Владельца данных BLOB-хранилища учетной записи службы или управляемому удостоверению.

При настройке источника как Data Lake Storage первого или второго поколения с двоичным форматом или параметром двоичного копирования и приемника как Data Lake Storage второго поколения с двоичным форматом или параметром двоичного копирования, вы можете найти параметр Preserve на странице Settings в средстве копирования данных или на вкладке Copy Activity>Settings для разработки действий.

Data Lake Storage Gen1/Gen2 до Gen2: Сохранение ACL

Ниже приведен пример конфигурации JSON действия "Копировать" (см. preserve):

"activities":[
    {
        "name": "CopyAndPreserveACLs",
        "type": "Copy",
        "typeProperties": {
            "source": {
                "type": "BinarySource",
                "storeSettings": {
                    "type": "AzureDataLakeStoreReadSettings",
                    "recursive": true
                }
            },
            "sink": {
                "type": "BinarySink",
                "storeSettings": {
                    "type": "AzureBlobFSWriteSettings"
                }
            },
            "preserve": [
                "ACL",
                "Owner",
                "Group"
            ]
        },
        "inputs": [
            {
                "referenceName": "<Binary dataset name for Azure Data Lake Storage Gen1/Gen2 source>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Binary dataset name for Azure Data Lake Storage Gen2 sink>",
                "type": "DatasetReference"
            }
        ]
    }
]

Связанный контент

См. другие статьи о действиях копирования:

  • Last updated on