Копирование и преобразование данных в Базе данных Azure для PostgreSQL с помощью Фабрики данных Azure или Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как использовать действие копирования в конвейерах Фабрики данных Azure и Synapse Analytics для копирования данных из Базы данных Azure для PostgreSQL и обратно. И как использовать поток данных для преобразования данных в Базе данных Azure для PostgreSQL. Дополнительные сведения см. в вводных статьях о Фабрике данных Azure и Synapse Analytics.

Этот соединитель предназначен только для службы База данных Azure для PostgreSQL. Чтобы скопировать данные из универсальной базы данных PostgreSQL, расположенной в локальной среде или в облаке, используйте соединитель PostgreSQL.

Поддерживаемые возможности

Этот соединитель Базы данных Azure для PostgreSQL поддерживается для следующих возможностей.

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Три действия выполняются в Azure Database for PostgreSQL Single Server, Flexible Server и Azure Cosmos DB для PostgreSQL.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы для базы данных Azure для PostgreSQL с помощью интерфейса

Используйте следующие шаги, чтобы создать связанную службу для базы данных Azure PostgreSQL в пользовательском интерфейсе Azure Portal.

1. Перейдите на вкладку "Управление" в Фабрике данных Azure или рабочей области Synapse и выберите "Связанные службы", затем щелкните "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск "PostgreSQL" и выберите коннектор Azure для базы данных PostgreSQL.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к коннектору Azure Database для PostgreSQL.

Свойства связанного сервиса

Соединитель Базы данных Azure для PostgreSQL версии 2.0 поддерживает протокол TLS 1.3 и несколько режимов SSL. Ознакомьтесь с этим разделом , чтобы обновить версию соединителя базы данных SQL Azure с версии 1.0. Чтобы узнать подробности о свойстве, см. соответствующие разделы.

• Версия 2.0
• Версия 1.0

Версия 2.0

Следующие свойства поддерживаются для связанной службы Базы данных Azure для PostgreSQL при применении версии 2.0.

Обычная проверка подлинности

Пример:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Пример:

Сохранение пароля в Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Проверка подлинности с помощью назначенного системой управляемого удостоверения

Фабрика данных или рабочая область Synapse может быть связана с управляемым удостоверением, назначаемое системой , которое представляет службу при проверке подлинности в других ресурсах в Azure. Это управляемое удостоверение можно использовать для аутентификации базы данных PostgreSQL в Azure. С помощью этого удостоверения назначенная рабочая область Фабрики или Synapse может обращаться к данным и копировать их из вашей базы данных или в нее.

Чтобы использовать управляемую идентичность, назначенную системой, выполните следующие шаги.

1. Фабрика данных или рабочая область Synapse может быть связана с управляемым удостоверением, назначенным системой. Дополнительные сведения, создание управляемого удостоверения, назначаемого системой

2. Данные базы данных Azure для PostgreSQL с системно назначенной управляемой идентичностью Включено.

   

3. В ресурсе Базы данных Azure для PostgreSQL в разделе "Безопасность"

   1. Выберите аутентификацию

   2. Выберите метод проверки подлинности только Microsoft Entra или аутентификация PostgreSQL и Microsoft Entra.

   3. Выберите + Добавить администраторов Microsoft Entra

   4. Добавьте системно назначаемое управляемое удостоверение для ресурса Azure Data Factory в качестве одного из администраторов Microsoft Entra

      

4. Настройка связанной службы Базы данных Azure для PostgreSQL.

Пример:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "SystemAssignedManagedIdentity"
        }
    }
}

Аутентификация с использованием управляемого удостоверения, назначенного пользователем

Фабрика данных или рабочая область Synapse может быть связана с управляемым удостоверением, назначаемое пользователем , которое представляет службу при проверке подлинности в других ресурсах в Azure. Это управляемое удостоверение можно использовать для аутентификации базы данных PostgreSQL в Azure. С помощью этого удостоверения назначенная рабочая область Фабрики или Synapse может обращаться к данным и копировать их из вашей базы данных или в нее.

Чтобы использовать назначаемую пользователем проверку подлинности с управляемым удостоверением, в дополнение к общим свойствам, описанным в предыдущем разделе, укажите следующие свойства:

Кроме того, необходимо выполнить следующие действия.

1. Обязательно создайте ресурс управляемого удостоверения, назначаемого пользователем , на портале Azure. Дополнительные сведения см. в руководстве по управлению управляемыми удостоверениями, назначаемыми пользователем.

2. Назначьте пользовательское управляемое удостоверение для ресурса базы данных Azure PostgreSQL

   1. В базе данных Azure для сервера PostgreSQL в разделе "Безопасность"

   2. Выберите аутентификацию

   3. Проверьте, является ли метод аутентификации только Microsoft Entra или PostgreSQL и Microsoft Entra

   4. Выберите ссылку "Добавить администраторов Microsoft Entra" и выберите управляемое удостоверение, назначаемое пользователем

      

3. Назначьте управляемое удостоверение, назначенное пользователем вашему ресурсу Фабрики данных Azure

   1. Выберите "Параметры" и "Управляемые удостоверения"

   2. На вкладке "Назначаемый пользователем" выберите ссылку + Добавить и выберите управляемое пользователем удостоверение.

      

4. Настройка связанной службы Базы данных Azure для PostgreSQL.

Пример:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "UserAssignedManagedIdentity",
            "credential": {
                "referenceName": "<your credential>",
                "type": "CredentialReference"
            }
        }
    }
}

Аутентификация служебного принципала

Пример:

Ключ представителя службы

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalKey": "<service principal key>"
        }
    }
}

Пример:

Сертификат субъекта-службы

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalEmbeddedCert": "<service principal certificate>",
            "servicePrincipalEmbeddedCertPassword": "<service principal embedded certificate password>"
        }
    }
}

Версия 1.0

Следующие свойства поддерживаются для связанной службы Базы данных Azure для PostgreSQL при применении версии 1.0.

Типичная строка подключения — host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>. Ниже приведены дополнительные свойства, которые вы можете установить в вашем случае:

Пример:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>"
        }
    }
}

Пример:

Сохранение пароля в Azure Key Vault

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в разделе Наборы данных. Этот раздел содержит список свойств, поддерживаемых в наборах данных в Базе данных Azure для PostgreSQL.

Чтобы скопировать данные из базы данных Azure для PostgreSQL, задайте для свойства type набора данных значение AzurePostgreSqlTable. Поддерживаются следующие свойства:

Пример:

{
    "name": "AzurePostgreSqlDataset",
    "properties": {
        "type": "AzurePostgreSqlTable",
        "linkedServiceName": {
            "referenceName": "<AzurePostgreSql linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Свойства операции копирования

Полный список разделов и свойств, доступных для определения действий, см. в разделе Конвейеры и действия. Этот раздел содержит список свойств, поддерживаемых источником базы данных Azure для PostgreSQL.

База данных Azure для PostgreSQL в качестве источника

Чтобы скопировать данные из базы данных Azure для PostgreSQL, задайте для типа источника в действии копирования значение AzurePostgreSqlSource. В разделе действия копирования source поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyFromAzurePostgreSql",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<AzurePostgreSql input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzurePostgreSqlSource",
                "query": "<custom query e.g. SELECT * FROM mytable>",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

База данных Azure для PostgreSQL в качестве приемника

Для копирования данных в Базу данных Azure для PostgreSQL можно использовать следующие свойства, поддерживаемые в разделе sink для действия копирования:

Пример:

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeMethod": "CopyCommand",
                "writeBatchSize": 1000000
            }
        }
    }
]

Параллельное копирование из Базы данных Azure для PostgreSQL

Соединитель Базы данных Azure для PostgreSQL при выполнении копирования данных производит встроенное секционирование для параллельного копирования данных. Параметры секционирования данных можно найти на вкладке Источник действия Copy.

Если включено копирование с секционированием, действие Copy выполняет параллельные запросы к источнику Базы данных Azure для PostgreSQL для загрузки данных по секциям. Степень параллелизма определяется с помощью параметра parallelCopies для действия копирования. Например, если parallelCopies имеет значение 4, служба будет создавать и выполнять четыре запроса с учетом указанного способа и параметров секционирования, где каждый запрос извлекает часть данных из Базы данных Azure для PostgreSQL.

Рекомендуется включить параллельную копию с секционированием данных, особенно при загрузке большого объема данных из базы данных Azure для PostgreSQL. Ниже приведены рекомендуемые конфигурации для разных сценариев. При копировании данных в хранилище данных на основе файлов рекомендуется записывать в папку в виде нескольких файлов (только указать имя папки), в этом случае производительность лучше, чем запись в один файл.

Ниже приведены рекомендации по загрузке данных с параметром секционирования.

1. Чтобы избежать неравномерного распределения данных, выбирайте в качестве столбца секционирования отличительный столбец (например, первичный ключ или уникальный ключ).
2. Если таблица имеет встроенную секцию, используйте параметр секционирования "Физические секции таблицы" для повышения производительности.
3. Если для копирования данных используется Azure Integration Runtime, то в параметре Единицы интеграции данных (DIU) можно задать большее значение (>4), чтобы задействовать больше вычислительных ресурсов. Ознакомьтесь со сценариями использования этого механизма.
4. "Степень параллелизма копирования" управляет количеством разделов. Установка слишком большого значения этого числа может нанести вред производительности. Рекомендуется задать это число как (DIU или количество узлов локальной среды IR) * (от 2 до 4).

Пример. Полная загрузка из большой таблицы с физическими секциями

"source": {
    "type": "AzurePostgreSqlSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Пример: запрос с секционированием по динамическому диапазону

"source": {
    "type": "AzurePostgreSqlSource",
    "query": "SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Сопоставление свойств потока данных

При преобразовании данных в потоке данных для сопоставления можно выполнять операции чтения и записи в таблицах из Базы данных Azure для PostgreSQL. Дополнительные сведения см. в описаниях преобразования источника и преобразования приемника в разделе, посвященном потокам данных для сопоставления. Можно выбрать использование набора данных Базы данных Azure для PostgreSQL или встроенного набора данных в качестве типа источника и приемника.

Преобразование источника

В таблице ниже перечислены свойства, поддерживаемые источником Базы данных Azure для PostgreSQL. Изменить эти свойства можно на вкладке Source options (Параметры источника).

Пример сценария исходных данных для Azure Database for PostgreSQL

При использовании Базы данных Azure для PostgreSQL в качестве типа источника связанным сценарием потока данных будет:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzurePostgreSQLSource

Преобразование приемника

В таблице ниже перечислены свойства, поддерживаемые приемником Базы данных Azure для PostgreSQL. Вы можете изменить эти свойства на вкладке Параметры приемника.

• Включите инкрементное извлечение: Используйте этот параметр, чтобы указать ADF обрабатывать только строки, которые изменились с момента последнего выполнения конвейера.

• Добавочный столбец. При использовании функции добавочного извлечения необходимо выбрать дату и время или числовый столбец, который вы хотите использовать в качестве подложки в исходной таблице.

• Начните чтение с начала: установка этого параметра с добавочным извлечением указывает ADF считывать все строки при первом выполнении конвейера с включенным добавочным извлечением.

Пример сценария приемника Базы данных Azure для PostgreSQL

Сценарий потока данных, связанный с использованием базы данных Azure для PostgreSQL в качестве типа приемника, будет следующим:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzurePostgreSqlSink

Свойства операции поиска данных

Дополнительные сведения о свойствах см. в статье об действии поиска.

Обновление коннектора базы данных Azure для PostgreSQL

На странице "Изменить связанную службу " выберите 2.0 в разделе "Версия " и настройте связанную службу, указав свойства связанной службы версии 2.0.

Связанный контент

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.