Копирование данных из Vantage Teradata с помощью Фабрики данных Azure и Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как использовать действие копирования в конвейерах Фабрики данных Azure и Synapse Analytics для копирования данных из Teradata Vantage. Она основана на обзоре действия копирования.

Поддерживаемые возможности

Этот соединитель Teradata поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для операции копирования, приведен в таблице Поддерживаемые хранилища данных.

В частности, этот соединитель Teradata поддерживает:

• Teradata версии 14.10, 15.0, 15.10, 16.0, 16.10 и 16.20.
• Копирование данных с помощью базовой проверки подлинности, Windows или LDAP .
• Параллельное копирование из источника Teradata. Дополнительные сведения см. в разделе "Параллельная копия" из раздела Teradata .

Предпосылки

Если хранилище данных размещено в локальной сети, виртуальной сети Azure или виртуальном частном облаке Amazon, для подключения к нему нужно настроить локальную среду выполнения интеграции.

Если же хранилище данных представляет собой управляемую облачную службу данных, можно использовать Azure Integration Runtime. Если доступ предоставляется только по IP-адресам, утвержденным в правилах брандмауэра, вы можете добавить IP-адреса Azure Integration Runtime в список разрешений.

Вы также можете использовать функцию среды выполнения интеграции в управляемой виртуальной сети в Фабрике данных Azure для доступа к локальной сети без установки и настройки локальной среды выполнения интеграции.

Дополнительные сведения о вариантах и механизмах обеспечения сетевой безопасности, поддерживаемых Фабрикой данных, см. в статье Стратегии получения доступа к данным.

Для версии 2.0

Если вы его используете, на вашем сервере интеграции необходимо установить поставщик данных .NET версии 20.00.03.00 или более поздней.

Для версии 1.0

Если вы используете локальную среду выполнения интеграции, обратите внимание, что он предоставляет встроенный драйвер Teradata начиная с версии 3.18. Вам не нужно вручную устанавливать драйвер. Драйверу требуется "Распространяемый пакет Visual C++ 2012 с обновлением 4" на локальном компьютере среды выполнения интеграции. Если вы еще не установили его, скачайте его здесь.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы с Teradata с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу с Teradata в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Teradata и выберите соединитель Teradata.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к соединителю Teradata.

Свойства связанного сервиса

Соединитель Teradata теперь поддерживает версию 2.0. Ознакомьтесь с этим разделом , чтобы обновить версию соединителя Teradata с версии 1.0. Чтобы узнать подробности о свойстве, см. соответствующие разделы.

• Версия 2.0
• Версия 1.0

Версия 2.0

Связанная служба Teradata поддерживает следующие свойства при применении версии 2.0:

Дополнительные свойства подключения, которые можно задать в строке подключения в зависимости от сценария

Пример

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "password": "<password>", 
            "authenticationType": "<authentication type>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Версия 1.0

Связанная служба Teradata поддерживает следующие свойства при применении версии 1.0:

Дополнительные свойства подключения, которые можно задать в строке подключения в зависимости от сценария

Пример использования базовой проверки подлинности

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>;Uid=<username>;Pwd=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример использования проверки подлинности Windows

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>",
            "username": "<username>",
            "password": "<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример использования проверки подлинности LDAP

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>;MechanismName=LDAP;Uid=<username>;Pwd=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Предыдущая полезная нагрузка:

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "server": "<server>",
            "authenticationType": "<Basic/Windows>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

В этом разделе представлен список свойств, поддерживаемых набором данных Teradata. Полный список разделов и свойств, доступных для определения наборов данных, см. в разделе Наборы данных.

Чтобы скопировать данные из Teradata, поддерживаются следующие свойства:

Пример:

{
    "name": "TeradataDataset",
    "properties": {
        "type": "TeradataTable",
        "typeProperties": {},
        "schema": [],        
        "linkedServiceName": {
            "referenceName": "<Teradata linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Предыдущая полезная нагрузка:

{
    "name": "TeradataDataset",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": {
            "referenceName": "<Teradata linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Свойства операции копирования

В этом разделе представлен список свойств, поддерживаемых источником Teradata. Полный список разделов и свойств, доступных для определения действий, см. в разделе Конвейеры.

Teradata в качестве источника

Чтобы скопировать данные из Teradata, в разделе source задания копирования поддерживаются следующие свойства:

Пример: копирование данных с помощью простого запроса без секции

"activities":[
    {
        "name": "CopyFromTeradata",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Teradata input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "TeradataSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Параллельное копирование из Teradata

Коннектор Teradata предоставляет встроенную разбивку данных для параллельного копирования данных из Teradata. Вы можете найти параметры разбиения данных в таблице Source при выполнении операции копирования.

Когда вы включаете копирование с разделением, служба выполняет параллельные запросы к вашему источнику Teradata для загрузки данных по разделам. Степень параллелизма определяется с помощью параметра parallelCopies для действия копирования. Например, если вы установите parallelCopies на значение четыре, служба одновременно создаст и выполнит четыре запроса на основе указанной опции секционирования и настроек, и каждый запрос получит часть данных из Teradata.

Вам рекомендуется включить параллельное копирование с разделением данных, особенно если вы загружаете большой объем данных из вашей Teradata. Ниже приведены рекомендуемые конфигурации для разных сценариев. Если данные копируются в файловое хранилище данных, то рекомендуется сохранять данные в папку несколькими файлами (указывая только имя папки), так как производительность в таком случае будет выше, чем при записи в один файл.

Пример: запрос с хеш-разделением

"source": {
    "type": "TeradataSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfHashPartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "Hash",
    "partitionSettings": {
        "partitionColumnName": "<hash_partition_column_name>"
    }
}

Пример: запрос с секционированием по динамическому диапазону

"source": {
    "type": "TeradataSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Сопоставление типов данных для Teradata

При копировании данных из Teradata следующие сопоставления применяются из типов данных Teradata к внутренним типам данных, используемым службой. Чтобы узнать, как действие копирования сопоставляет исходную схему и типы данных с приемником, см. раздел Сопоставление схем и типов данных.

Свойства операции поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление соединителя Teradata

Ниже приведены действия, которые помогут обновить соединитель Teradata:

1. На странице "Изменить связанную службу" выберите версию 2.0 и настройте связанную службу, указав свойства связанной службы версии 2.0.

2. Сопоставление типов данных для связанной службы Teradata версии 2.0 отличается от сопоставления типов данных для версии 1.0. Сведения о последнем сопоставлении типов данных см. в разделе "Сопоставление типов данных" для Teradata.

Различия между соединителем Teradata версии 2.0 и версией 1.0

Соединитель Teradata версии 2.0 предлагает новые функциональные возможности и совместим с большинством функций версии 1.0. В следующей таблице показаны различия функций между версией 2.0 и версией 1.0.

Связанный контент

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.