Копирование данных из Vertica с помощью Azure Data Factory или Synapse Analytics

ПРИМЕНИМО К: Azure Data Factory Azure Synapse Analytics

В этой статье описывается, как использовать действие копирования в конвейере Azure Data Factory или Synapse Analytics для копирования данных из Vertica. Это продолжение статьи об обзоре действия копирования, в которой представлены общие сведения о действии копирования.

Поддерживаемые возможности

Соединитель Vertica поддерживается для следующих возможностей:

(1) Azure среды выполнения интеграции (2) локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для копирования, можно найти в таблице Поддерживаемые хранилища данных.

Служба предоставляет встроенный драйвер для обеспечения подключения, поэтому вам не нужно вручную устанавливать какой-либо драйвер с помощью этого соединителя.

Для версии 2.0 необходимо установить драйвер ODBC Vertica вручную. Для версии 1.0 служба предоставляет встроенный драйвер для включения подключения, поэтому вам не нужно вручную устанавливать драйвер.

Предварительные условия

Если хранилище данных находится в локальной сети, виртуальной сети Azure или Amazon Virtual Private Cloud, необходимо настроить самостоятельно размещаемую среду выполнения интеграции для подключения к нему. Если вы используете версию 2.0, локальная версия среды выполнения интеграции должна быть 5.44.8984.1 или более поздней.

Дополнительные сведения о вариантах и механизмах обеспечения сетевой безопасности, поддерживаемых Фабрикой данных, см. в статье Стратегии получения доступа к данным.

Для версии 1.0

Если хранилище данных является управляемой облачной службой данных, можно использовать Azure Integration Runtime. Если доступ ограничен IP-адресами, утвержденными в правилах брандмауэра, вы можете добавить в список разрешений IP-адреса Azure Integration Runtime.

Вы также можете использовать функцию управляемой среды выполнения интеграции виртуальной сети в Azure Data Factory для доступа к локальной сети без установки и настройки локальной среды выполнения интеграции.

Установка драйвера ODBC Vertica для версии 2.0

Чтобы использовать соединитель Vertica с версией 2.0, установите драйвер Vertica ODBC на компьютере под управлением локальной среды выполнения интеграции, выполнив следующие действия:

1. Скачайте настройку клиента Vertica для драйвера ODBC из клиентских драйверов | OpenText™ Vertica™. Рассмотрим Windows системную настройку в качестве примера:

   

2. Откройте скачанный .exe, чтобы начать процесс установки. 

   

3. Выберите драйвер ODBC в списке компонентов Vertica, а затем нажмите кнопку "Далее ", чтобы начать установку.

   

4. После успешного завершения процесса установки можно перейти в меню "Пуск" —> Администратор источников данных ODBC, чтобы подтвердить успешную установку.

   

Начало работы

Конвейер с действием копирования можно создать с помощью пакета SDK .NET, пакета SDK Python, Azure PowerShell, REST API или шаблона Azure Resource Manager. Пошаговые инструкции по созданию конвейера с помощью copy activity см. в руководстве Copy activity/c0.

Создание связанной службы для Vertica с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для Vertica в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Azure Data Factory или Synapse и выберите "Связанные службы", а затем нажмите кнопку "Создать".

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск Vertica и выберите коннектор Vertica.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к соединителю Vertica.

Свойства связанной службы

Если вы используете версию 2.0, для связанной службы Vertica поддерживаются следующие свойства:

Пример:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Example: хранение пароля в Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

При использовании версии 1.0 поддерживаются следующие свойства:

Пример:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе содержится список свойств, поддерживаемых набором данных Vertica.

Чтобы скопировать данные из Vertica, установите свойство type набора данных VerticaTable. Поддерживаются следующие свойства:

Пример

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства Copy activity

Для получения полного списка доступных разделов и свойств, используемых для определения действий, см. статью Pipelines. В этом разделе содержится список свойств, поддерживаемых Vertica как источником.

Vertica в качестве источника

Чтобы копировать данные из Vertica, установите тип источника VerticaSource в действии копирования. В разделе действия копирования source поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление соединителя Vertica

Ниже приведены шаги, которые помогут вам обновить версию Vertica:

1. Установите драйвер ODBC Vertica, выполнив действия, описанные в предварительных требованиях.
2. На странице "Изменить связанную службу" выберите версию 2.0 и настройте связанную службу, указав свойства связанной службы.
3. Примените локальную среду выполнения интеграции с версией 5.44.8984.1 или более поздней. Azure среда выполнения интеграции не поддерживается версией 2.0.

Различия между Vertica версии 2.0 и версией 1.0

Соединитель Vertica версии 2.0 предлагает новые функциональные возможности и совместим с большинством функций версии 1.0. В таблице ниже показаны различия функций между версией 2.0 и версией 1.0.

Связанный контент

Для получения списка хранилищ данных, поддерживаемых в качестве источников и приемников для действия копирования, см. Поддерживаемые хранилища данных.