Копирование данных из Amazon RDS для Oracle с помощью Фабрики данных Azure или Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как с помощью действия Copy в Фабрике данных Azure копировать данные из базы данных Amazon RDS для Oracle. Она составлена на основе статьи Действие Copy в Фабрике данных Azure.

Поддерживаемые возможности

Данный соединитель Amazon RDS для Amazon RDS для Oracle поддерживается для следующих возможностей:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования, приведен в таблице Поддерживаемые хранилища данных и форматы.

В частности, этот соединитель Amazon RDS для Oracle поддерживает:

• Следующие версии базы данных Amazon RDS для Oracle версии 2.0:
  • Amazon RDS для Oracle 19c и выше
  • Amazon RDS для Oracle 18c и выше
  • Amazon RDS для Oracle 12c и выше
• Следующие версии базы данных Amazon RDS для Oracle версии 1.0:
  • Amazon RDS для Oracle 19c R1 (19.1) и более поздних версий;
  • Amazon RDS для Oracle 18c R1 (18.1) и более поздних версий;
  • Amazon RDS для Oracle 12c R1 (12.1) и более поздних версий;
  • Amazon RDS для Oracle 11c R1 (11.1) и более поздних версий.
• Параллельное копирование из источника Amazon RDS для Oracle. Дополнительные сведения см. в разделе Параллельное копирование из Amazon RDS для Oracle.

Необходимые компоненты

Если хранилище данных размещено в локальной сети, виртуальной сети Azure или виртуальном частном облаке Amazon, для подключения к нему нужно настроить локальную среду выполнения интеграции.

Если же хранилище данных представляет собой управляемую облачную службу данных, можно использовать Azure Integration Runtime. Если доступ предоставляется только по IP-адресам, утвержденным в правилах брандмауэра, вы можете добавить IP-адреса Azure Integration Runtime в список разрешений.

Вы также можете использовать функцию среды выполнения интеграции в управляемой виртуальной сети в Фабрике данных Azure для доступа к локальной сети без установки и настройки локальной среды выполнения интеграции.

Дополнительные сведения о вариантах и механизмах обеспечения сетевой безопасности, поддерживаемых Фабрикой данных, см. в статье Стратегии получения доступа к данным.

Среда выполнения интеграции содержит встроенный драйвер Amazon RDS для Oracle. Поэтому вам не нужно вручную устанавливать драйвер при копировании данных из базы данных Amazon RDS для Oracle.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы для Amazon RDS для Oracle с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для Amazon RDS для Oracle в пользовательском интерфейсе портала Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите Amazon RDS для Oracle и выберите соединитель Amazon RDS для Oracle.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей, характерных для соединителя Amazon RDS для Oracle.

Свойства связанной службы

Соединитель Amazon RDS для Oracle версии 2.0 поддерживает TLS 1.3. Ознакомьтесь с этим разделом , чтобы обновить версию соединителя Amazon RDS для Oracle с версии 1.0. Чтобы узнать подробности о свойстве, см. соответствующие разделы.

• Версия 2.0
• Версия 1.0

Версия 2.0

Связанная служба Amazon RDS для Oracle поддерживает следующие свойства при применении версии 2.0:

Дополнительные свойства подключения можно задать в связанной службе в соответствии с вашими требованиями.

Пример:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "password": "<password>", 
            "authenticationType": "<authentication type>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение пароля в Azure Key Vault

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>", 
            "username": "<user name>", 
            "authenticationType": "<authentication type>",
            "password": {
                "type": "AzureKeyVaultSecret",
                "store": {
                    "referenceName": "<Azure Key Vault linked service name>",
                    "type": "LinkedServiceReference"
                }, 
                "secretName": "<secretName>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

server Конфигурация свойства

Для server свойства его можно указать в одном из следующих трех форматов:

В следующем списке показаны поддерживаемые параметры, используемые в server. Если вы используете параметры, которые не находятся в следующем списке, подключение завершается ошибкой.

• При использовании среды выполнения интеграции Azure:

  ведущий
  ПОРТ
  ПРОТОКОЛ
  Название_сервиса
  идентификатор безопасности (SID)
  INSTANCE_NAME
  СЕРВЕР
  ТАЙМАУТ СОЕДИНЕНИЯ
  Количество_повторных_попыток
  ЗАДЕРЖКА_ПОВТОРА
  SSL_VERSION
  SSL_SERVER_DN_MATCH (проверка соответствия имени сервера SSL)
  SSL_SERVER_CERT_DN

• При использовании локальной среды выполнения интеграции:

  ведущий
  ПОРТ
  ПРОТОКОЛ
  ВКЛЮЧИТЬ
  Время истечения срока
  ПЕРЕКЛЮЧЕНИЕ НА РЕЗЕРВ
  балансировка нагрузки
  Размер_буфера_приема
  SDU
  РАЗМЕР_БУФЕРА_ОТПРАВКИ
  исходный_маршрут
  ТИП_УСЛУГИ
  COLOCATION_TAG
  Префикс_ИД_ПОДКЛЮЧЕНИЯ
  Режим резервирования
  GLOBAL_NAME
  HS
  INSTANCE_NAME
  граница бассейна
  КЛАСС_ПОДКЛЮЧЕНИЯ_ПУЛА
  Имя пула
  ЧИСТОТА БАССЕЙНА
  База данных RDB
  Ключ шардирования
  ИД_КЛЮЧА_ШАРДИРОВАНИЯ
  SUPER_SHARDING_KEY
  СЕРВЕР
  Название_сервиса
  идентификатор безопасности (SID)
  ИМЯ_СЛУЖБЫ_ТУННЕЛЯ
  SSL_АУТЕНТИФИКАЦИЯ_КЛИЕНТА
  АЛИАС_SSL_СЕРТИФИКАТА
  SSL_CERTIFICATE_THUMBPRINT (Отпечаток сертификата SSL)
  SSL_VERSION
  SSL_SERVER_DN_MATCH (проверка соответствия имени сервера SSL)
  SSL_SERVER_CERT_DN
  МЕСТОПОЛОЖЕНИЕ_КАРМАНА
  ТАЙМАУТ СОЕДИНЕНИЯ
  Количество_повторных_попыток
  ЗАДЕРЖКА_ПОВТОРА
  TRANSPORT_CONNECT_TIMEOUT (тайм-аут подключения транспорта)
  RECV_TIMEOUT
  Компрессия
  УРОВНИ СЖАТИЯ

Версия 1.0

Связанная служба Amazon RDS для Oracle поддерживает следующие свойства при применении версии 1.0:

При наличии нескольких экземпляров Amazon RDS для Oracle для сценария отработки отказа можно создать связанную службу Amazon RDS для Oracle и указать основной узел, порт, имя пользователя, пароль и т. д., а также добавить новое значение "Дополнительные свойства подключения" с именем свойства AlternateServers и значением (HostName=<secondary host>:PortNumber=<secondary port>:ServiceName=<secondary service name>) — не пропускайте скобки и обращайте внимание на двоеточия (:) в качестве разделителя. Например, следующее значение альтернативных серверов определяет два альтернативных сервера баз данных для отработки отказа подключения: (HostName=AccountingAmazonRdsForOracleServer:PortNumber=1521:SID=Accounting,HostName=255.201.11.24:PortNumber=1522:ServiceName=ABackup.NA.MyCompany).

Дополнительные свойства подключения, которые можно задать в строке подключения в зависимости от сценария

Включить шифрование для подключения Amazon RDS для Oracle можно двумя способами:

• Чтобы использовать шифрование 3DES и AES, на стороне сервера Amazon RDS для Oracle перейдите к Oracle Advanced Security (OAS) и настройте соответствующие параметры. Дополнительные сведения см. в этой документации по Oracle. Соединитель Amazon RDS для Oracle Application Development Framework (ADF) автоматически согласовывает метод шифрования таким образом, чтобы при установлении соединения с Amazon RDS для Oracle использовался тот метод шифрования, который вы настроили в OAS.

• Использование TLS:

  1. Получите сведения о TLS/SSL-сертификате. Получите сведения о SSL-сертификате в кодировке Distinguished Encoding Rules( DER) и сохраните выходные данные (----- Begin Certificate … End Certificate -----) как текстовый файл.

     openssl x509 -inform DER -in [Full Path to the DER Certificate including the name of the DER Certificate] -text
     

     Пример. Извлеките сведения о сертификате из файла DERcert.cer и сохраните выходные данные в файле cert.txt.

     openssl x509 -inform DER -in DERcert.cer -text
     Output:
     -----BEGIN CERTIFICATE-----
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
     XXXXXXXXX
     -----END CERTIFICATE-----
     

  2. Создайте keystore или truststore. Следующая команда создает файл truststore, с паролем или без него, в формате PKCS-12.

     openssl pkcs12 -in [Path to the file created in the previous step] -out [Path and name of TrustStore] -passout pass:[Keystore PWD] -nokeys -export
     

     Пример. Создайте файл truststore в формате PKCS-12 с именем MyTrustStoreFile и паролем.

     openssl pkcs12 -in cert.txt -out MyTrustStoreFile -passout pass:ThePWD -nokeys -export  
     

  3. Поместите файл truststore на компьютер в локальной среде IR. Например, по адресу C:\MyTrustStoreFile.

  4. В службе настройте строку подключения Amazon RDS для Oracle с помощью EncryptionMethod=1 и соответствующего значения TrustStore/TrustStorePassword. Например, Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;EncryptionMethod=1;TrustStore=C:\\MyTrustStoreFile;TrustStorePassword=<trust_store_password>.

Пример:

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;Password=<password>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример: хранение пароля в Azure Key Vault

{
    "name": "AmazonRdsForOracleLinkedService",
    "properties": {
        "type": "AmazonRdsForOracle",
        "typeProperties": {
            "connectionString": "Host=<host>;Port=<port>;Sid=<sid>;User Id=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Свойства набора данных

В этом разделе содержится список свойств, поддерживаемых набором данных Amazon RDS для Oracle. Полный список разделов и свойств, доступных для определения наборов данных, см. в разделе Наборы данных в фабрике данных Azure.

Чтобы скопировать данные из базы данных Amazon RDS для Oracle или в нее, установите для свойства type набора данных значение AmazonRdsForOracleTable. Поддерживаются следующие свойства.

Пример:

{
    "name": "AmazonRdsForOracleDataset",
    "properties":
    {
        "type": "AmazonRdsForOracleTable",
        "schema": [],
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        },
        "linkedServiceName": {
            "referenceName": "<Amazon RDS for Oracle linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действия копирования

В этом разделе содержится список свойств, поддерживаемых источником Amazon RDS для Oracle. Полный список разделов и свойств, доступных для определения действий, см. в разделе Конвейеры и действия в фабрике данных Azure.

Использование Amazon RDS для Oracle в качестве источника

Чтобы копировать данные из Amazon RDS для Oracle, установите в действии Copy тип источника AmazonRdsForOracleSource. В разделе source действия копирования поддерживаются следующие свойства:

Пример: копирование данных с помощью простого запроса без секции

"activities":[
    {
        "name": "CopyFromAmazonRdsForOracle",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Amazon RDS for Oracle input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRdsForOracleSource",
                "convertDecimalToInteger": false,
                "oracleReaderQuery": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Параллельное копирование из Amazon RDS для Oracle

Соединитель Amazon RDS для Oracle обеспечивает встроенное секционирование данных для копирования данных из Amazon RDS для Oracle в параллельном режиме. Параметры секционирования данных можно найти на вкладке Источник действия Copy.

Если включено копирование с секционированием, служба выполняет параллельные запросы к источнику Amazon RDS для Oracle для загрузки данных по секциям. Степень параллелизма определяется с помощью параметра parallelCopies для действия копирования. Например, если parallelCopies имеет значение 4, служба одновременно создаст и выполнит четыре запроса с учетом указанного способа и параметров секционирования, где каждый запрос извлекает часть данных из базы данных Amazon RDS для Oracle.

Рекомендуется включить параллельное копирование с секционированием данных, особенно при загрузке большого объема данных из Amazon RDS для Oracle. Ниже приведены рекомендуемые конфигурации для разных сценариев. Если данные копируются в файловое хранилище данных, то рекомендуется сохранять данные в папку несколькими файлами (указывая только имя папки), так как производительность в таком случае будет выше, чем при записи в один файл.

Пример: запрос с физической секцией

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> PARTITION(\"?AdfTabularPartitionName\") WHERE <your_additional_where_clause>",
    "partitionOption": "PhysicalPartitionsOfTable",
    "partitionSettings": {
        "partitionNames": [
            "<partitionA_name>",
            "<partitionB_name>"
        ]
    }
}

Пример: запрос с секционированием по динамическому диапазону

"source": {
    "type": "AmazonRdsForOracleSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Сопоставление типов данных для Amazon RDS для Oracle

При копировании данных из Amazon RDS для Oracle в службу используются следующие промежуточные сопоставления типов данных. Чтобы узнать, как действие копирования сопоставляет исходную схему и типы данных с приемником, см. раздел Сопоставление схем и типов данных.

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Обновление соединителя Amazon RDS для Oracle

Ниже приведены шаги, которые помогут обновить соединитель Amazon RDS для Oracle:

1. На странице "Изменить связанную службу " выберите версию 2.0 и настройте связанную службу, указав свойства связанной службы версии 2.0.

   Для связанных с проверкой подлинности свойств, включая имя пользователя и пароль, укажите исходные значения в соответствующих полях версии 2.0. Другие свойства подключения, такие как хост, порт и Amazon RDS для Oracle Service Name/Amazon RDS для Oracle SID в версии 1.0, теперь являются параметрами server свойства в версии 2.0.

   Например, если настроить связанную службу версии 1.0, как показано ниже:

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "typeProperties": { 
               "connectionString": "host=amazonrdsfororaclesample.com;port=1521;servicename=db1" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   }
   

   Идентичная конфигурация связанной службы версии 2.0 с использованием именования Easy Connect (плюс ):

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "amazonrdsfororaclesample.com:1521/db1",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   Идентичная конфигурация связанной службы версии 2.0 с помощью дескриптора соединителя :

   

   { 
       "name": "AmazonRdsForOracleLinkedService", 
       "properties": { 
           "type": "AmazonRdsForOracle", 
           "version": "2.0", 
           "typeProperties": { 
               "server": "(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST= amazonrdsfororaclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))",  
               "username": "<user name>",  
               "password": "<password>",  
               "authenticationType": "<authentication type>" 
           }, 
           "connectVia": { 
               "referenceName": "<name of Integration Runtime>", 
               "type": "IntegrationRuntimeReference" 
           } 
       } 
   } 
   

   Совет

   Azure Key Vault поддерживается для свойства server. Чтобы добавить ссылку Azure Key Vault, можно изменить JSON связанной службы, как показано ниже:
   

   Обратите внимание, что:

   • Если вы используете имя службы Oracle в версии 1.0, вы можете использовать простое именование (плюс) или дескриптор соединителя в качестве формата сервера в версии 2.0.

   • Если вы используете Oracle SID в версии 1.0, необходимо использовать Дескриптор Соединителя в качестве формата сервера в версии 2.0.

   • Для некоторых дополнительных свойств подключения в версии 1.0 мы предоставляем альтернативные свойства или параметры в свойстве server версии 2.0. См. таблицу ниже, чтобы обновить свойства версии 1.0.

     Версия 1.0	Версия 2.0
     метод шифрования	PROTOCOL (параметр в server)
     tnsnames-файл	TNS_ADMIN (переменная среды, поддерживаемая в локальной среде выполнения интеграции)
     имя_сервера	сервер
     активировать массовую загрузку Значение: 1, 0	включить пакетную загрузку Значение: истина, ложь
     Фетчтсвтзастаймштамп Значение: 1, 0	fetchTswtzAsTimestamp Значение: истина, ложь
     альтернативные серверы	DESCRIPTION_LIST (параметр в server)
     размер массива	размер выборки
     предел кешированного курсора	размерКэшаЗапросов
     количество_повторов_подключения	RETRY_COUNT (параметр в server)
     строка инициализации	initializationString
     время ожидания входа	CONNECT_TIMEOUT (параметр в server)
     версия криптопротокола	SSL_VERSION (параметр в server)
     truststore	WALLET_LOCATION (параметр в server)

     Например, если используется alternateservers в версии 1.0, можно задать DESCRIPTION_LIST параметр в свойстве сервера версии 2.0:

     Связанная служба версии 1.0 с помощью alternateservers:

     {
         "name": "AmazonRdsForOracleV1",
         "properties": {
             "type": "AmazonRdsForOracle",
             "typeProperties": {
                 "connectionString": "host=amazonrdsfororaclesample.com;port=1521;servicename=db1;alternateservers=(HostName= amazonrdsfororaclesample2.com:PortNumber=1521:SID=db2,HostName=255.201.11.24:PortNumber=1522:ServiceName=db3)"
             }
         }
     }
     

     Идентичная связанная служба версии 2.0 с помощью DESCRIPTION_LIST параметра в дескрипторе соединителя:

     {
         "name": "AmazonRdsForOracleV2",
         "properties": {
             "type": "AmazonRdsForOracle",
             "version": "2.0",
             "typeProperties": {
                 "server": "(DESCRIPTION_LIST=(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=amazonrdsfororaclesample.com)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=db1)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=amazonrdsfororaclesample2.com)(PORT=1521))(CONNECT_DATA=(SID=db2)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=255.201.11.24)(PORT=1522))(CONNECT_DATA=(SERVICE_NAME=db3))))",
                 "username": "<user name>",  
                 "password": "<password>",  
                 "authenticationType": "<authentication type>" 
             }
         }
     }
     

2. Сопоставление типов данных для amazon RDS для связанной службы Oracle версии 2.0 отличается от сопоставления типов данных для версии 1.0. Сведения о последнем сопоставлении типов данных см. в разделе "Сопоставление типов данных" для Amazon RDS для Oracle.

   Дополнительное свойство supportV1DataTypes подключения в версии 2.0 может снизить трудности обновления, вызванные изменениями типа данных. Установка этого свойства для true обеспечивает согласованность типа данных в версии 2.0 с версией 1.0.

Различия между Amazon RDS для Oracle версии 2.0 и версией 1.0

Соединитель Amazon RDS для Oracle версии 2.0 предлагает новые функциональные возможности и совместим с большинством функций версии 1.0. В следующей таблице показаны различия функций между версией 2.0 и версией 1.0.

Связанный контент

Список хранилищ данных, поддерживаемых в рамках функции копирования в качестве источников и приемников, см. в разделе Поддерживаемые хранилища данных.