Отслеживание изменения данных из SAP через SAP Datasphere в задании копирования (предварительная версия)

В этом руководстве описывается, как настроить репликацию CDC в задании копирования из SAP через SAP Datasphere Outbound. Обзор CDC в задании копирования см. в разделе "Изменение записи данных( CDC) в задании копирования.

Использование исходящего трафика SAP Datasphere для получения данных об изменениях из SAP — это двухэтапный процесс:

  1. Извлечение данных с помощью SAP Datasphere:

    Используйте SAP Datasphere для извлечения исходного моментального снимка и последующих измененных записей из исходной системы SAP. Извлеченные данные затем помещаются в Azure Data Lake Storage 2-го поколения, Amazone S3 или Google Cloud Storage, который служит промежуточной областью.

  2. Перемещение данных с помощью задания копирования:

    Используйте операцию копирования для подключения к промежуточному контейнеру в облачном хранилище и переноса данных, включая вставки, обновления и удаления, в любое поддерживаемое место назначения.

Это решение поддерживает все типы источников SAP, предлагаемых SAP Datasphere, включая SAP S/4HANA, SAP ECC, SAP BW/4HANA, SAP BW и SAP Datasphere.

Цены на исходящую интеграцию SAP Datasphere Premium применяются при использовании задания копирования для репликации данных SAP через SAP Datasphere.

Предпосылки

Тебе нужно:

  • Существующие возможности для Fabric. Если у вас нет одного, запустите пробную версию Fabric.
  • Среда SAP Datasphere с интеграцией исходящего трафика класса Premium.

Настройка SAP Datasphere

В этом разделе рассматриваются действия по настройке, необходимые для репликации данных из источника SAP в Azure Data Lake Storage (ADLS) 2-го поколения, Amazon S3 или Google Cloud Storage. Это будет использоваться позже для настройки задания копирования в Fabric.

Настройка подключений в SAP Datasphere

Прежде чем реплицировать данные из источника SAP в облачное хранилище, необходимо создать подключения как к источнику, так и к целевому объекту в SAP Datasphere.

  1. Перейдите в SAP Datasphere и выберите средство подключения . Возможно, потребуется выбрать место, в котором нужно создать подключение.

  2. Создайте подключение к исходной системе SAP. Выберите + ">Создать подключение", выберите источник SAP, из которого требуется реплицировать данные, и настройте сведения о подключении. Например, можно создать подключение к локальной среде SAP S/4HANA.

  3. Создайте подключение к целевому ADLS второго поколения, Amazon S3 или Google Cloud Storage. Выберите "Создать подключение" и выберите правильный тип. Например, для ADLS 2-го поколения введите имя учетной записи хранения, имя контейнера (в корневом пути), предпочитаемый тип проверки подлинности и учетные данные. Убедитесь, что у пользователя или участника подключения достаточно привилегий для создания файлов и папок в ADLS 2-го поколения. Узнайте больше о подключениях Microsoft Azure Data Lake Store 2-го поколения.

  4. Прежде чем продолжить, проверьте подключения, выбрав подключение и выбрав параметр "Проверить " в верхнем меню.

    Снимок экрана: подключения в SAP Datasphere.

Настройка потока репликации Datasphere

Создайте поток репликации для репликации данных из источника SAP в облачное хранилище. Дополнительные сведения об этой конфигурации см. в справке SAP по созданию потока репликации.

  1. Запустите построитель данных в SAP Datasphere.

  2. Выберите новый поток репликации.

  3. Когда откроется холст потока репликации, выберите "Выбрать исходное подключение" и выберите соединение, созданное для исходной системы SAP.

  4. Выберите соответствующий исходный контейнер, который является типом исходных объектов, из которых требуется реплицировать. В следующем примере используется CDS_EXTRACTION для репликации данных из представлений CDS в локальной исходной системе SAP S/4HANA. Затем нажмите кнопку Выбрать.

    Снимок экрана: выбор исходного контейнера в потоке репликации.

  5. Выберите "Добавить исходные объекты ", чтобы выбрать исходные объекты, которые требуется реплицировать. После выбора всех источников нажмите кнопку "Далее".

    Снимок экрана: выбор исходных объектов в потоке репликации.

  6. Настройте целевое облачное хранилище. Выберите целевое подключение и контейнер. Убедитесь, что целевые параметры правильны: для группы Delta задано значение None , а для типа файла задано значение Parquet.

    Снимок экрана: целевые параметры ADLS 2-го поколения.

  7. Настройте детальные настройки для репликации. Выберите "Параметры " в середине холста. Проверьте и настройте выбранный тип загрузки при необходимости. В настоящее время зеркалирование поддерживает Initial и Delta.

    Снимок экрана: настройки типа нагрузки потока репликации.

  8. В диалоговом окне "Параметры запуска " можно настроить частоту загрузки репликации и настроить ресурсы при необходимости.

  9. Разверните и запустите репликацию для репликации данных.

  10. Перейдите в контейнер хранилища и убедитесь, что данные реплицируются.

Создание задания копирования

В этом разделе объясняется, как создать задание копирования для репликации данных из SAP через исходящий трафик SAP Datasphere.

  1. В рабочей области выберите новый элемент и найдите задание копирования.

  2. Выберите исходящий трафик SAP Datasphereo для ADLS 2-го поколения, Amazon S3 или Google Cloud Storage и настройте сведения о подключении.

    Снимок экрана: просмотр озера и выбор пути.

  3. Укажите папки, в которых хранятся исходящие данные SAP Datasphere и которые необходимо переместить в места назначения.

  4. Остальные шаги совпадают с репликацией CDC для любого другого источника с поддержкой CDC.

Ограничения

  • Задача копирования данных для SAP CDC через SAP Datasphere поддерживает все типы источников SAP, доступные в SAP Datasphere, включая SAP S/4HANA, SAP ECC, SAP BW/4HANA, SAP BW и сам SAP Datasphere. Дополнительные сведения см. в документации по потоку репликации SAP Datasphere .

  • Требования к настройке потока репликации SAP Datasphere:

    • Убедитесь, что параметры целевого хранилища настроены правильно: установите группу Group Delta в значение None, а тип файла в значение Parquet.
    • В настоящее время SAP зеркалирование поддерживает такой тип загрузки потока репликации, как Initial и Delta.
  • Настроив задание копирования, вы сможете наблюдать за текущим состоянием репликации из облачного хранилища в поддерживаемые системы. Если вы наблюдаете задержку при появлении зеркальных данных, также проверьте состояние потока репликации SAP Datasphere и, если данные были реплицированы в хранилище.