Копирование данных из Presto с помощью Фабрики данных Azure или Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как использовать действие копирования в конвейере Фабрики данных Azure или Synapse Analytics для копирования данных из Presto. Статья обзор действий копирования содержит общие сведения о действиях копирования и является основой для этого материала.

Поддерживаемые возможности

Этот соединитель Presto поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для операции копирования, приведен в таблице Поддерживаемые хранилища данных.

Служба предоставляет встроенный драйвер для обеспечения подключения, поэтому вам не нужно вручную устанавливать какой-либо драйвер с помощью этого соединителя.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы для Presto с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для Presto в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Presto и выберите соединитель Presto.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о характеристиках, которые используются для определения сущностей Data Factory, специфичных для соединителя Presto.

Свойства связанного сервиса

Соединитель Presto теперь поддерживает версию 2.0. Ознакомьтесь с этим разделом, чтобы обновить версию соединителя Presto с версии 1.0. Чтобы узнать подробности о свойстве, см. соответствующие разделы.

• Версия 2.0
• Версия 1.0

Версия 2.0

Связанная служба Presto поддерживает следующие свойства при применении версии 2.0:

Пример:

{
    "name": "PrestoLinkedService",
    "properties": {
        "type": "Presto",
        "version" : "2.0",
        "typeProperties": {
            "host" : "<host>",
            "catalog" : "<catalog>",
            "port" : 8443,
            "authenticationType" : "LDAP",
            "username" : "<username>",
            "password": {
                 "type": "SecureString",
                 "value": "<password>"
            },
            "enableSsl": true,
            "enableServerCertificateValidation": true,
            "timeZoneID" : ""
        }
    }
}

Версия 1.0

Связанная служба Presto поддерживает следующие свойства при применении версии 1.0:

Пример:

{
    "name": "PrestoLinkedService",
    "properties": {
        "type": "Presto",
        "typeProperties": {
            "host" : "<host>",
            "serverVersion" : "0.148-t",
            "catalog" : "<catalog>",
            "port" : "<port>",
            "authenticationType" : "LDAP",
            "username" : "<username>",
            "password": {
                 "type": "SecureString",
                 "value": "<password>"
            },
            "timeZoneID" : "Europe/Berlin"
        }
    }
}

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных. В этом разделе представлен список свойств, поддерживаемых набором данных Presto.

Чтобы скопировать данные из Presto, задайте для свойства типа набора данных значение PrestoObject. Поддерживаются следующие свойства:

Пример

{
    "name": "PrestoDataset",
    "properties": {
        "type": "PrestoObject",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Presto linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства операции копирования

Для получения полного списка доступных разделов и свойств, используемых для определения действий, см. статью Pipelines. В этом разделе представлен список свойств, поддерживаемых источником Presto.

Presto в качестве источника

Чтобы скопировать данные из Presto, задайте тип источника в действии копирования в PrestoSource. В разделе действия копирования source поддерживаются следующие свойства:

Пример:

"activities":[
    {
        "name": "CopyFromPresto",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Presto input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "PrestoSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Сопоставление типов данных для Presto

При копировании данных из Presto следующие сопоставления применяются из типов данных Presto к внутренним типам данных, используемым службой. Чтобы узнать, как действие копирования сопоставляет исходную схему и типы данных с приемником, см. раздел Сопоставление схем и типов данных.

Свойства операции поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление соединителя Presto

Ниже приведены шаги, которые помогут обновить соединитель Presto:

1. На странице "Изменить связанную службу " выберите версию 2.0 и настройте связанную службу, указав свойства связанной службы версии 2.0.

2. Сопоставление типов данных для связанной службы Presto версии 2.0 отличается от сопоставления для версии 1.0. Сведения о последнем сопоставлении типов данных см. в разделе "Сопоставление типов данных" для Presto.

Различия между соединителем Presto версии 2.0 и версией 1.0

Соединитель Presto версии 2.0 предлагает новые функциональные возможности и совместим с большинством функций версии 1.0. В следующей таблице показаны различия функций между версией 2.0 и версией 1.0.

Связанный контент

Список хранилищ данных, поддерживаемых в качестве источников и приемников для операции копирования, см. Поддерживаемые хранилища данных.