Копирование данных из Oracle и обратно с помощью Фабрики данных Azure или Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как с помощью действия Copy в Фабрике данных Azure копировать данные в базу данных Oracle и из нее. Она основана на обзоре действия копирования.

Поддерживаемые возможности

Этот соединитель Oracle поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

В таблице Поддерживаемые хранилища данных и форматы перечислены хранилища данных, которые поддерживаются как источники или приемники для операции копирования.

В частности, этот соединитель Oracle поддерживает:

• Следующие версии базы данных Oracle для версии 2.0:
  • Oracle Database 19c и выше
  • Oracle Database 18c и выше
  • Oracle Database 12c и выше
• Следующие версии базы данных Oracle для версии 1.0:
  • Oracle 19c R1 (19.1) и более поздней версии
  • Oracle 18c R1 (18.1) и более поздней версии
  • Oracle 12c R1 (12.1) и более поздней версии
  • Oracle 11g R1 (11.1) и более поздней версии
  • Oracle 10g R1 (10.1)м
  • Oracle 9i R2 (9.2) и более поздней версии
  • Oracle 8i R3 (8.1.7) и более поздней версии
  • Сервис Oracle Database Cloud Exadata
• Параллельное копирование из источника Oracle. Дополнительные сведения см. в разделе Параллельное копирование из Oracle.

Предварительные условия

Если хранилище данных размещено в локальной сети, виртуальной сети Azure или виртуальном частном облаке Amazon, для подключения к нему нужно настроить локальную среду выполнения интеграции.

Если же хранилище данных представляет собой управляемую облачную службу данных, можно использовать Azure Integration Runtime. Если доступ предоставляется только по IP-адресам, утвержденным в правилах брандмауэра, вы можете добавить IP-адреса Azure Integration Runtime в список разрешений.

Вы также можете использовать функцию среды выполнения интеграции в управляемой виртуальной сети в Фабрике данных Azure для доступа к локальной сети без установки и настройки локальной среды выполнения интеграции.

Дополнительные сведения о вариантах и механизмах обеспечения сетевой безопасности, поддерживаемых Фабрикой данных, см. в статье Стратегии получения доступа к данным.

Среда выполнения интеграции содержит встроенный драйвер Oracle. Поэтому вам не нужно вручную устанавливать драйвер при копировании данных из базы данных Oracle и в нее.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы для Oracle с помощью пользовательского интерфейса

Выполните приведенные ниже действия, чтобы создать связанную службу для Oracle с помощью пользовательского интерфейса на портале Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Выполните поиск по запросу "Oracle" и выберите соединитель Oracle.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей, характерных для коннектора Oracle.

Свойства связанной службы

Соединитель Oracle версии 2.0 поддерживает TLS 1.3. Ознакомьтесь с этим разделом , чтобы обновить версию соединителя Oracle с версии 1.0. Сведения о свойстве см. в соответствующих разделах.

• Версия 2.0
• Версия 1.0

Версия 2.0

Связанная служба Oracle поддерживает следующие свойства при применении версии 2.0:

В зависимости от вашего случая можно задать следующие дополнительные свойства подключения в связанной службе.

Пример:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "password": "<password>", 
            "authenticationType": "<authentication type>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение пароля в Azure Key Vault

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "authenticationType": "<authentication type>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

server Конфигурация свойства

Для server свойства его можно указать в одном из следующих трех форматов:

В следующем списке показаны поддерживаемые параметры, используемые в server. Если вы используете параметры, которые не находятся в следующем списке, подключение завершается ошибкой.

• При использовании среды выполнения интеграции Azure:

  ведущий
  ПОРТ
  ПРОТОКОЛ
  Название_сервиса
  идентификатор безопасности (SID)
  INSTANCE_NAME
  СЕРВЕР
  ТАЙМАУТ СОЕДИНЕНИЯ
  Количество_повторных_попыток
  ЗАДЕРЖКА_ПОВТОРА
  SSL_VERSION
  SSL_SERVER_DN_MATCH (проверка соответствия имени сервера SSL)
  SSL_SERVER_CERT_DN

• При использовании локальной среды выполнения интеграции:

  ведущий
  ПОРТ
  ПРОТОКОЛ
  ВКЛЮЧИТЬ
  Время истечения срока
  ПЕРЕКЛЮЧЕНИЕ НА РЕЗЕРВ
  балансировка нагрузки
  Размер_буфера_приема
  SDU
  РАЗМЕР_БУФЕРА_ОТПРАВКИ
  исходный_маршрут
  ТИП_УСЛУГИ
  COLOCATION_TAG
  Префикс_ИД_ПОДКЛЮЧЕНИЯ
  Режим резервирования
  GLOBAL_NAME
  HS
  INSTANCE_NAME
  граница бассейна
  КЛАСС_ПОДКЛЮЧЕНИЯ_ПУЛА
  Имя пула
  ЧИСТОТА БАССЕЙНА
  База данных RDB
  Ключ шардирования
  ИД_КЛЮЧА_ШАРДИРОВАНИЯ
  SUPER_SHARDING_KEY
  СЕРВЕР
  Название_сервиса
  идентификатор безопасности (SID)
  ИМЯ_СЛУЖБЫ_ТУННЕЛЯ
  SSL_АУТЕНТИФИКАЦИЯ_КЛИЕНТА
  АЛИАС_SSL_СЕРТИФИКАТА
  SSL_CERTIFICATE_THUMBPRINT (Отпечаток сертификата SSL)
  SSL_VERSION
  SSL_SERVER_DN_MATCH (проверка соответствия имени сервера SSL)
  SSL_SERVER_CERT_DN
  МЕСТОПОЛОЖЕНИЕ_КАРМАНА
  ТАЙМАУТ СОЕДИНЕНИЯ
  Количество_повторных_попыток
  ЗАДЕРЖКА_ПОВТОРА
  TRANSPORT_CONNECT_TIMEOUT (тайм-аут подключения транспорта)
  RECV_TIMEOUT
  Компрессия
  УРОВНИ СЖАТИЯ

Версия 1.0

Связанная служба Oracle поддерживает следующие свойства при применении версии 1.0:

При наличии нескольких экземпляров Oracle для сценариев отказоустойчивости можно создать связанную службу Oracle и указать основной узел, порт, имя пользователя, пароль и т. д., а также добавить новые "Дополнительные свойства подключения" с именем свойства AlternateServers и значением (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>) — не пропускайте скобки и обращайте внимание на двоеточия (:) в качестве разделителя. Например, следующее значение альтернативных серверов определяет два альтернативных сервера баз данных для обеспечения надежности подключения: (HostName=AccountingOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Дополнительные свойства подключения, которые можно задать в строке подключения в зависимости от сценария

Включить шифрование для подключения Oracle можно двумя способами:

• Чтобы использовать шифрование 3DES и AES, на стороне сервера Oracle перейдите к Oracle Advanced Security (OAS) и настройте соответствующие параметры. Дополнительные сведения см. в этой документации по Oracle. Соединитель Oracle Application Development Framework (ADF) автоматически согласовывает метод шифрования таким образом, чтобы при установлении соединения с Oracle использовался тот метод шифрования, который вы настроили в OAS.

• Чтобы использовать TLS, настройте truststore проверку подлинности SSL-сервера, применяя один из следующих трех методов:

  • Метод 1 (рекомендуется):

    1. Установите TLS/SSL-сертификат, импортируя его в локальное хранилище сертификатов. Встроенный драйвер Oracle может загрузить необходимый сертификат из хранилища сертификатов.

    2. В службе настройте строку подключения Oracle с помощью EncryptionMethod=1.

  • Метод 2.

    1. Получите сведения о TLS/SSL-сертификате. Получите сведения о сертификате TLS/SSL, закодированном в формате правил кодирования DER или Конфиденциальной улучшенной почты (PEM).

       openssl x509 -inform (DER|PEM) -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -text
       

    2. В службе настройте строку подключения Oracle с EncryptionMethod=1 и соответствующим TrustStore значением. Например: Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore= data:// -----BEGIN CERTIFICATE-----<certificate content>-----END CERTIFICATE-----

       Примечание.

       • Значение поля TrustStore должно начинаться с data://.
       • При указании содержимого для нескольких сертификатов укажите содержимое каждого сертификата между -----BEGIN CERTIFICATE----- и -----END CERTIFICATE-----. Число дефисов (-----) должно быть одинаковым до и после обоих элементов BEGIN CERTIFICATE и END CERTIFICATE. Например:
         -----BEGIN CERTIFICATE-----<certificate content 1>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 2>-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----<certificate content 3>-----END CERTIFICATE-----
       • Поле TrustStore поддерживает содержимое до 8192 символов длиной.

  • Метод 3.

    1. truststore Создайте файл с сильными шифрами, такими как AES256.

       openssl pkcs12 -in [Full Path to the DER/PEM Certificate including the name of the DER/PEM Certificate] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -keypbe AES-256-CBC -certpbe AES-256-CBC -nokeys -export
       

    2. Поместите truststore файл на локальном компьютере среды выполнения интеграции. Например, поместите файл в C:\MyTrustStoreFile.

    3. В службе настройте строку подключения Oracle с EncryptionMethod=1 и соответствующим TrustStore/TrustStorePassword значением. Например, Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

Пример:

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение пароля в Azure Key Vault

{
    "name": "OracleLinkedService",
    "properties": {
        "type": "Oracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

В этом разделе содержится список свойств, поддерживаемых набором данных Oracle. Полный список разделов и свойств, доступных для определения наборов данных, см. в Наборы данных.

Чтобы скопировать данные из базы данных Oracle или в нее, установите для свойства type набора данных значение OracleTable. Поддерживаются следующие свойства.

Пример:

{
    "name": "OracleDataset",
    "properties":
    {
        "type": "OracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства активности копирования

Этот раздел содержит список свойств, поддерживаемых источником и приемником Oracle. Полный список разделов и свойств, доступных для определения действий, см. в разделе Конвейеры.

Oracle в качестве источника

Чтобы копировать данные из Oracle, установите тип источника в действии Copy — OracleSource. В разделе source действия копирования поддерживаются следующие свойства:

Пример: копирование данных с помощью простого запроса без секции

"activities":[
    {
        "name": "CopyFromOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Oracle в качестве хранилища данных

Чтобы скопировать данные в базу данных Oracle, в действии Copy задайте тип приемника OracleSink. В разделе sink действия Copy поддерживаются следующие свойства.

Пример:

"activities":[
    {
        "name": "CopyToOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Oracle output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OracleSink"
            }
        }
    }
]

Параллельное копирование из Oracle

Соединитель Oracle предоставляет встроенную функцию секционирования данных для параллельного копирования из Oracle. Параметры секционирования данных можно найти на вкладке Источник действия Copy.

Если включено копирование с секционированием, служба выполняет параллельные запросы к источнику Oracle для загрузки данных по секциям. Степень параллелизма определяется с помощью параметра parallelCopies для действия копирования. Например, если parallelCopies имеет значение 4, служба одновременно создаст и выполнит четыре запроса с учетом указанного способа и параметров секционирования, где каждый запрос извлекает часть данных из базы данных Oracle.

Рекомендуется включить параллельное копирование с секционированием данных, особенно при загрузке большого объема данных из базы данных Oracle. Ниже приведены рекомендуемые конфигурации для разных сценариев. Если данные копируются в файловое хранилище данных, то рекомендуется сохранять данные в папку несколькими файлами (указывая только имя папки), так как производительность в таком случае будет выше, чем при записи в один файл.

Пример: запрос с физической секцией

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Пример: запрос с секционированием по динамическому диапазону

"source": {
    "type": "OracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Сопоставление типов данных для Oracle

При копировании данных из Oracle и обратно в службе используются следующие сопоставления промежуточных типов данных. Чтобы узнать, как действие копирования сопоставляет исходную схему и типы данных с приемником, см. раздел Сопоставление схем и типов данных.

NUMBER(p,s) сопоставляется с соответствующим типом данных промежуточной службы версии 2.0 в зависимости от точности (p) и масштабирования (s):

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление соединителя Oracle

Ниже приведены действия, которые помогут обновить соединитель Oracle:

1. На странице "Изменить связанную службу " выберите 2.0 в разделе "Версия " и настройте связанную службу, указав свойства связанной службы версии 2.0.

   Для связанных с проверкой подлинности свойств, включая имя пользователя и пароль, укажите исходные значения в соответствующих полях версии 2.0. Другие свойства подключения, такие как узел, порт и имя службы Oracle или идентификатор безопасности Oracle в версии 1.0, теперь являются параметрами server свойства в версии 2.0.

   Например, если настроить связанную службу версии 1.0, как показано ниже:

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "typeProperties": { 
               "connectionString": "host=oraclesample.com;port=1521;servicename=db1" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   }
   

   Идентичная конфигурация связанной службы версии 2.0 с использованием именования Easy Connect (плюс ):

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "oraclesample.com:1521/db1",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   Идентичная конфигурация связанной службы версии 2.0 с помощью дескриптора соединителя :

   

   { 
       "name": "OracleLinkedService", 
       "properties": { 
           "type": "Oracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST= oraclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   Совет

   Azure Key Vault поддерживается для свойства server. Чтобы добавить ссылку Azure Key Vault, можно изменить JSON связанной службы, как показано ниже:
   

   Обратите внимание, что:

   • Если вы используете имя службы Oracle в версии 1.0, вы можете использовать простое именование (плюс) или дескриптор соединителя в качестве формата сервера в версии 2.0.

   • Если вы используете Oracle SID в версии 1.0, необходимо использовать Дескриптор Соединителя в качестве формата сервера в версии 2.0.

   • Для некоторых дополнительных свойств подключения в версии 1.0 мы предоставляем альтернативные свойства или параметры в свойстве server версии 2.0. См. таблицу ниже, чтобы обновить свойства версии 1.0.

     Версия 1.0	Версия 2.0
     метод шифрования	PROTOCOL (параметр в server)
     tnsnames-файл	TNS_ADMIN (переменная среды, поддерживаемая в локальной среде выполнения интеграции)
     имя_сервера	сервер
     активировать массовую загрузку Значение: 1, 0	включить пакетную загрузку Значение: истина, ложь
     Фетчтсвтзастаймштамп Значение: 1, 0	fetchTswtzAsTimestamp Значение: истина, ложь
     альтернативные серверы	DESCRIPTION_LIST (параметр в server)
     размер массива	размер выборки
     предел кешированного курсора	размерКэшаЗапросов
     количество_повторов_подключения	RETRY_COUNT (параметр в server)
     строка инициализации	initializationString
     время ожидания входа	CONNECT_TIMEOUT (параметр в server)
     версия криптопротокола	SSL_VERSION (параметр в server)
     truststore	WALLET_LOCATION (параметр в server)

     Например, если используется alternateservers в версии 1.0, можно задать DESCRIPTION_LIST параметр в свойстве сервера версии 2.0:

     Связанная служба версии 1.0 с помощью alternateservers:

     {
         "name": "OracleV1",
         "properties": {
             "type": "Oracle",
             "typeProperties": {
                 "connectionString": "host=oraclesample.com;port=1521;servicename=db1;alternateservers=(HostName= oraclesample2.com:PortNumber=1521:SID=db2,HostName=255.201.11.24:PortNumber=1522:ServiceName=db3)"
             }
         }
     }
     

     Идентичная связанная служба версии 2.0 с помощью DESCRIPTION_LIST параметра в дескрипторе соединителя:

     {
         "name": "OracleV2",
         "properties": {
             "type": "Oracle",
             "version": "2.0",
             "typeProperties": {
                 "server": "(DESCRIPTION_LIST=(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=oraclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=oraclesample2.com)(PORT=1521))(CONNECT_DATA=(SID=db2)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=255.201.11.24)(PORT=1522))(CONNECT_DATA=(SERVICE_NAME=db3))))",
                 "username": "<user name>",  
                 "password": "<password>",  
                 "authenticationType": "<authentication type>" 
             }
         }
     }
     

2. Сопоставление типов данных для связанной службы Oracle версии 2.0 отличается от сопоставления типов данных для версии 1.0. Сведения о последнем сопоставлении типов данных см. в разделе "Сопоставление типов данных" для Oracle.

   Дополнительное свойство supportV1DataTypes подключения в версии 2.0 может снизить трудности обновления, вызванные изменениями типа данных. Установка этого свойства для true обеспечивает согласованность типа данных в версии 2.0 с версией 1.0.

Различия между Oracle версии 2.0 и версией 1.0

Соединитель Oracle версии 2.0 предлагает новые функциональные возможности и совместим с большинством функций версии 1.0. В следующей таблице показаны различия функций между версией 2.0 и версией 1.0.