Копирование данных из IBM Informix с помощью Azure Data Factory или Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

Совет

Data Factory в Microsoft Fabric — это следующее поколение Azure Data Factory с более простой архитектурой, встроенным ИИ и новыми функциями. Если вы не знакомы с интеграцией данных, начните с Fabric Data Factory. Существующие рабочие нагрузки ADF могут обновляться до Fabric для доступа к новым возможностям в области обработки и анализа данных, аналитики в режиме реального времени и отчетов.

В этой статье описывается, как использовать действие копирования в конвейере Azure Data Factory или Synapse Analytics для копирования данных из хранилища данных IBM Informix. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Соединитель Informix предназначен для следующих возможностей:

Поддерживаемые возможности IR
Копирование данных (источник/приемник) (2)
Операция поиска (2)

(1) Azure среды выполнения интеграции (2) локальная среда выполнения интеграции

Список хранилищ данных, поддерживаемых в качестве источников и приемников для действия "копирования", приведен в таблице Поддерживаемые хранилища данных.

Предварительные условия

Чтобы использовать этот соединитель Informix, сделайте следующее:

  • Настройте автономную среду выполнения интеграции. См. статью Self-hosted Integration Runtime для получения подробной информации.
  • Скачайте 64-разрядный пакет SDK клиента для Informix, чтобы создать подключение ODBC для хранилища данных на компьютере Integration Runtime. Подробные сведения о скачивании и установке пакета SDK см. в этой статье или запросите руководство по установке драйвера в группе поддержки IBM.

Начало работы

Для выполнения действия копирования с конвейером можно использовать один из следующих средств или пакетов SDK:

Создание связанной службы для Informix с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для Informix в пользовательском интерфейсе портала Azure.

  1. Перейдите на вкладку "Управление" в рабочей области Azure Data Factory или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

  2. Выполните поиск по слову "Informix" и выберите соединитель Informix.

    Снимок экрана: соединитель Informix.

  3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

    Снимок экрана: конфигурация связанной службы для Informix.

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к соединителю Informix.

Свойства связанной службы

Для связанной службы Informix поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
тип Для свойства type необходимо задать значение Informix Да
connectionString Строка подключения ODBC, за исключением части учетных данных. Вы можете указать строку подключения или использовать системное доменное имя (имя источника данных), настроенное на компьютере Integration Runtime (необходимо также указать учетные данные в связанной службе соответствующим образом).
Вы также можете поместить пароль в Azure Key Vault и извлечь конфигурацию password из connection string. Дополнительные сведения см. в разделе Store credentials in Azure Key Vault.
Да
тип аутентификации Тип проверки подлинности, используемый для подключения к хранилищу данных Informix.
Допустимые значения: Basic, Anonymous.
Да
userName При использовании обычной проверки подлинности укажите имя пользователя. Нет
пароль Укажите пароль для учетной записи пользователя, заданной для userName. Пометьте это поле как SecureString, чтобы безопасно хранить его, или ссылаться на секрет, хранящийся в Azure Key Vault. Нет
учетные данные Часть учетных данных доступа строки подключения, указанная в формате "свойство-значение", специфичном для драйвера. Пометьте это поле в качестве SecureString. Нет
connectVia Integration Runtime для подключения к хранилищу данных. Требуется Self-hosted Integration Runtime, как упомянуто в разделе Prerequisites. Да

Пример:

{
    "name": "InformixLinkedService",
    "properties": {
        "type": "Informix",
        "typeProperties": {
            "connectionString": "<Informix connection string or DSN>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Informix.

Для копирования данных из Informix поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
тип Для свойства type набора данных необходимо задать значение InformixTable Да
имяТаблицы Имя таблицы в Informix. Нет для источника (если в источнике активности указано свойство query).
Да для раковины.

Пример

{
    "name": "InformixDataset",
    "properties": {
        "type": "InformixTable",
        "linkedServiceName": {
            "referenceName": "<Informix linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Свойства Copy activity

Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры. В этом разделе содержится список свойств, поддерживаемых источником Informix.

Informix в качестве источника

Для копирования данных из Informix в разделе source для действия копирования поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
тип Свойство type источника действия копирования должно иметь значение InformixSource Да
запрос Используйте пользовательский запрос для чтения данных. Например: "SELECT * FROM MyTable". Нет (если для набора данных задано свойство tableName)

Пример:

"activities":[
    {
        "name": "CopyFromInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Informix input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "InformixSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Informix в качестве приемника

Для копирования данных в Informix в разделе sink для действия копирования поддерживаются следующие свойства:

Свойство Описание: Обязательное поле
тип Свойство type для приемника активности копирования должно иметь значение InformixSink Да
writeBatchTimeout Время ожидания до выполнения операции пакетной вставки, пока не завершится срок ее действия.
Допустимые значения: промежуток времени. Пример: 00:30:00 (30 минут).
Нет
writeBatchSize Вставляет данные в таблицу SQL, когда размер буфера достигает значения writeBatchSize.
Допустимые значения: целое число (количество строк).
Нет (по умолчанию — 0 (автоматическое обнаружение))
preCopyScript Перед записью данных в хранилище данных при каждом запуске указывайте SQL-запрос для выполнения операции копирования. Это свойство можно использовать для очистки предварительно загруженных данных. Нет
 максимальное количество одновременно подключенных соединений Верхний предел одновременных подключений, установленных в хранилище данных во время выполнения активности. Указывайте значение только при необходимости ограничить количество одновременных подключений.  Нет

Пример:

"activities":[
    {
        "name": "CopyToInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Informix output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "InformixSink"
            }
        }
    }
]

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Список хранилищ данных, поддерживаемых в качестве источников и приемников для операции копирования, смотрите в разделе поддерживаемые хранилища данных.