Копирование данных из таблицы SAP с помощью Azure Data Factory или Azure Synapse Analytics

ОБЛАСТЬ ПРИМЕНЕНИЯ: Фабрика данных Azure Azure Synapse Analytics

В этой статье описывается, как с помощью действия копирования в Фабрике данных Azure и конвейерах Azure Synapse Analytics копировать данные из таблицы SAP. Для получения дополнительной информации см. Обзор операции копирования.

Поддерживаемые возможности

Соединитель таблиц SAP поддерживает следующие возможности:

① Среда выполнения интеграции Azure ② Локальная среда выполнения интеграции

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования, приведен в таблице Поддерживаемые хранилища данных.

В частности, данный соединитель таблиц SAP поддерживает:

• Копирование данных из таблицы SAP в:

  • SAP ERP Central Component (SAP ECC) версии 7.01 или более поздней (в последнем стеке пакетов поддержки SAP, выпущенном после 2015 г.).
  • SAP Business Warehouse (SAP BW) версии 7.01 или более поздней (в последнем стеке пакетов поддержки SAP, выпущенном после 2015 г.).
  • SAP S/4HANA.
  • Другие продукты SAP Business Suite версии 7.01 или более поздней (в последнем стеке пакетов поддержки SAP, выпущенном после 2015 г.).

• Копирование данных из прозрачной таблицы SAP, таблицы из пула, кластеризованной таблицы и представления.

• Копирование данных с использованием обычной проверки подлинности или защищенного сетевого подключения (SNC), если установлен SNC.

• Подключение к серверу приложений SAP или серверу сообщений SAP.

• Извлечение данных через пользовательский или стандартный RFC.

Дополнительные сведения о SNC см. в статье "Начало работы с SAP SNC для интеграции RFC" — блог SAP.

Версия 7.01 или более поздняя относится к версии SAP NetWeaver, а не к версии SAP ECC. Например, SAP ECC 6.0 EHP 7 обычно имеет версию NetWeaver >=7.4. Если вы не уверены в версии вашей системы SAP, выполните следующие действия, чтобы подтвердить её.

1. С помощью графического интерфейса SAP подключитесь к системе SAP.
2. Выберите Система ->Состояние.
3. Проверьте версию SAP_BASIS и убедитесь, что она равна 701 или больше.
   

Предварительные условия

Чтобы использовать данный соединитель таблиц SAP, выполните следующие действия.

• Настройте локальную среду выполнения интеграции (версии 3.17 или более поздней). Дополнительные сведения см. в разделе Создание и настройка локальной среды выполнения интеграции.

• Загрузите 64-разрядную версию соединителя SAP для Microsoft .NET 3.0 с веб-сайта SAP и установите ее на машине, где установлена локальная среда выполнения интеграции. Во время установки убедитесь, что в окне Необязательные шаги установки выбран параметр Установить сборки в глобальный кэш сборок.

  

• Пользователь SAP, используемый в соединителе таблиц SAP, должен иметь следующие разрешения:

  • Авторизация на использование пунктов назначения удаленного вызова функций (RFC).
  • Разрешения на выполнение действия для объекта авторизации S_SDSAUTH. Большинство объектов авторизации описано в примечании SAP 460089. Некоторые RFC являются обязательными для базового соединителя NCo, например RFC_FUNCTION_SEARCH.

Начало работы

Чтобы выполнить действие копирования с конвейером, можно воспользоваться одним из приведенных ниже средств или пакетов SDK:

• средство копирования данных;
• Портал Azure
• Пакет SDK для .NET
• Пакет SDK для Python
• Azure PowerShell
• The REST API
• шаблон Azure Resource Manager.

Создание связанной службы для таблицы SAP с помощью пользовательского интерфейса

Выполните следующие действия, чтобы создать связанную службу для таблицы SAP с помощью пользовательского интерфейса на портале Azure.

1. Перейдите на вкладку "Управление" в рабочей области Фабрики данных Azure или Synapse и выберите "Связанные службы", после чего нажмите "Создать":

   • Фабрика данных Azure
   • Azure Synapse

   

2. Найдите SAP и выберите коннектор таблиц SAP.

   

3. Настройте сведения о службе, проверьте подключение и создайте связанную службу.

   

Сведения о конфигурации соединителя

В следующих разделах содержатся сведения о свойствах, которые используются для определения сущностей, относящихся к соединителю таблицы SAP.

Свойства связанной службы

Следующие свойства поддерживаются для связанной службы SAP BW Open Hub:

Пример 1. Подключение к серверу приложений SAP

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример 2. Подключение к серверу сообщений SAP

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "messageServer": "<message server name>",
            "messageServerService": "<service name or port>",
            "systemId": "<system ID>",
            "logonGroup": "<logon group>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            }
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Пример 3. Подключение с использованием SNC

{
    "name": "SapTableLinkedService",
    "properties": {
        "type": "SapTable",
        "typeProperties": {
            "server": "<server name>",
            "systemNumber": "<system number>",
            "clientId": "<client ID>",
            "userName": "<SAP user>",
            "password": {
                "type": "SecureString",
                "value": "<Password for SAP user>"
            },
            "sncMode": 1,
            "sncMyName": "<SNC myname>",
            "sncPartnerName": "<SNC partner name>",
            "sncLibraryPath": "<SNC library path>",
            "sncQop": "8"
        },
        "connectVia": {
            "referenceName": "<name of integration runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Дополнительные сведения о SNC см. в статье "Начало работы с SAP SNC для интеграции RFC" — блог SAP.

Свойства набора данных

Полный список разделов и свойств, доступных для определения наборов данных, см. в разделе Наборы данных. Следующий раздел содержит список свойств, поддерживаемых для набора данных таблицы SAP.

Для копирования данных из связанной службы SAP BW Open Hub и в нее, поддерживаются следующие свойства:

Пример

{
    "name": "SAPTableDataset",
    "properties": {
        "type": "SapTableResource",
        "typeProperties": {
            "tableName": "<SAP table name>"
        },
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<SAP table linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Свойства действия копирования

Полный список разделов и свойств, доступных для определения действий, см. в разделе Конвейеры. Следующий раздел содержит список свойств, поддерживаемых источниками-таблицами SAP.

Таблица SAP в качестве источника

Для копирования данных из таблицы SAP поддерживаются следующие свойства.

В rfcTableOptions можно использовать следующие стандартные операторы запросов SAP для фильтрации строк:

Пример

"activities":[
    {
        "name": "CopyFromSAPTable",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<SAP table input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "SapTableSource",
                "partitionOption": "PartitionOnInt",
                "partitionSettings": {
                     "partitionColumnName": "<partition column name>",
                     "partitionUpperBound": "2000",
                     "partitionLowerBound": "1",
                     "maxPartitionsNumber": 500
                 }
            },
            "sink": {
                "type": "<sink type>"
            },
            "parallelCopies": 4
        }
    }
]

Соединение таблиц SAP

В настоящее время соединитель таблиц SAP поддерживает только одну таблицу с модулем функции по умолчанию. Чтобы соединить данные из нескольких таблиц, можно использовать свойство customRfcReadTableFunctionModule в соединителе таблицы SAP, как описано ниже.

• Напишите пользовательский модуль функции, принимающий запрос в OPTIONS и применяющий собственную логику для извлечения данных.
• В поле "Пользовательский модуль функции" введите имя модуля пользовательской функции.
• В параметре "Параметры таблицы RFC" укажите команду объединения таблиц, которую нужно передать в модуль функции через OPTIONS, например "<TABLE1> INNER JOIN <TABLE2> ON COLUMN0".

Ниже приведен пример:

Создание пользовательского функционального модуля

В настоящее время для таблиц SAP поддерживается свойство customRfcReadTableFunctionModule в источнике копирования, которое позволяет использовать собственную логику и обработку данных.

В качестве быстрого руководства ниже приведены некоторые требования для начала работы с модулем пользовательских функций.

• Определение:

  

• Экспортируйте данные в одну из следующих таблиц:

  

  

Ниже приведены иллюстрации работы соединителя таблиц SAP с настраиваемым модулем функции.

1. Создайте подключение к серверу SAP через SAP NCO.

2. Вызовите модуль настраиваемой функции с набором параметров, как показано ниже:

   • QUERY_TABLE: имя таблицы, заданное в наборе данных таблицы SAP;
   • Delimiter: разделитель, который вы задали в источнике таблицы SAP;
   • ROWCOUNT/Option/Fields: счетчик строк/параметр агрегирования/поля, заданные в источнике таблицы.

3. Получите результат и выполните синтаксический разбор данных следующими способами:

   1. Разберите значение в таблице Fields, чтобы получить схемы.

      

   2. Получите значения из выходной таблицы, чтобы узнать, в какой таблице содержатся эти значения.

      

   3. Получите значения из OUT_TABLE, выполните синтаксический анализ данных и затем запишите их в накопитель.

Сопоставление типов данных для таблиц SAP

При копировании данных из таблицы SAP используются следующие сопоставления типов данных таблиц SAP с промежуточными типами данных в службе. Дополнительные сведения о том, как действие копирования сопоставляет исходную схему и тип данных с приемником, см. в статье Сопоставление схем и типов данных в действии копирования.

Свойства действия поиска

Подробные сведения об этих свойствах см. в разделе Действие поиска.

Связанный контент

Список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия Copy, приведен в таблице Поддерживаемые хранилища данных.