Извлечение данных SAP в Microsoft Fabric

В этой статье вы получите полное представление о различных источниках данных и средствах, доступных для извлечения данных SAP, и о том, как выбрать наиболее подходящий вариант на основе аналитических целей. Содержимое охватывает структуру и назначение каждого слоя данных в системах SAP. Он также выделяет возможности интеграции для Microsoft Fabric и рекомендации по обеспечению надежности, производительности и выравнивания бизнеса.

Microsoft Fabric — это полностью интегрированная платформа данных на основе SaaS, которая объединяет проектирование данных, аналитику в режиме реального времени, обработку и анализ данных, бизнес-аналитику и управление в одном интерфейсе. Основанная на OneLake, Fabric централизованное хранилище данных и обеспечивает удобную совместную работу между ролями — от инженеров данных до бизнес-пользователей. В основном это OneLake, унифицированное озеро данных, которое централизованное хранилище и обеспечивает простой доступ к данным между службами. Fabric также интегрирует возможности искусственного интеллекта с помощью Copilot и Azure AI Studio, позволяя пользователям получать аналитические сведения быстрее и интуитивно. Разработанная для простоты, масштабируемости и совместной работы, Microsoft Fabric помогает организациям оптимизировать рабочие процессы аналитики, снизить сложность и ускорить процесс преобразования искусственного интеллекта.

Предприятия все чаще внедряют Microsoft Fabric в качестве основы их ландшафта данных для объединения бизнес-приложений, телеметрии Интернета вещей и рабочих нагрузок ИИ. Благодаря консолидации всех рабочих нагрузок аналитики в одной среде Microsoft Fabric ускоряет доставку аналитических сведений и устраняет возможности обработки данных. Системы SAP являются одним из наиболее важных источников данных, так как они содержат данные, поддерживающие основные бизнес-операции, а также могут быть интегрированы в единую платформу. Эта интеграция расширяет корпоративные данные и обеспечивает более целостное представление о производительности бизнеса. Вы можете создавать мощные панели мониторинга, которые изучают тенденции и выделяют проблемы, отражая комплексные бизнес-процессы с использованием данных из разных систем и отделов независимо от источника. Это возможно благодаря тому, что все соответствующие данные унифицированы на одной платформе.

Источники данных в системе SAP

SAP предлагает несколько уровней доступа к данным, каждый из которых обслуживает различные аналитические и отчеты. В этом разделе представлены основные типы источников данных, доступные в ландшафте SAP, объясняющие, что они и как они работают.

Таблицы и представления

Таблицы SAP — это базовый уровень хранилища данных в системе SAP. Каждая транзакция, обработанная в SAP, из квитанции о товарах в счет или заказ на продажу, хранится в наборе структурированных таблиц в базовой реляционной базе данных (например, HANA, Oracle или SQL Server). Эти таблицы содержат необработанные, транзакционные данные вашего бизнеса. В современных версиях систем SAP существует одно-одно представление таблиц ABAP в таблицах базы данных. В более ранних выпусках это не всегда так, и доступ к таблицам пула или кластера на уровне базы данных невозможен. Для использования таблиц требуются подробные знания о модели данных SAP, в противном случае вы рискуете неправильно использовать бизнес-контекст.

Основные представления служб данных и средства извлечения

Представления и средства извлечения основных служб данных (CDS) предоставляют бизнес-ориентированное многомерное представление транзакционных данных непосредственно в операционной системе SAP. Эти источники предлагают предопределенную логику, которая отражает способ использования данных в повседневных процессах, таких как продажи, покупка или финансы. Вместо доступа к необработанным таблицам представления CDS и извлекатели предоставляют данные таким образом, чтобы они соответствовали бизнес-смыслу. Например, отображение только активных заказов или включение соответствующих описаний и вычисляемых полей.

InfoObjects бизнес-хранилища / InfoProviders

InfoObjects и InfoProviders являются частью семантического слоя sap Business Warehouse (BW). Они формируют многомерную модель на основе фактов и измерений, используемых в моделировании и отчетности на всех уровнях архитектуры BW. При перемещении данных по слоям, которые они постоянно преобразуются, очищаются и обогащены. В результате данные в окончательном киоске данных согласованы и подготовлены для использования в корпоративных панелях мониторинга и отчетах.

Запросы BW

Запросы — это основной интерфейс для использования данных, хранящихся в SAP BW. Они определяют метрики, готовые к бизнесу, такие как ключевые доходы, затраты или меры количества, применяя вычисления, фильтры и агрегаты поверх InfoProviders. Запросы также тесно интегрированы с моделью авторизации SAP и оптимизированы для производительности.

Выбор правильного источника данных

Выбор правильного источника данных зависит от конечной цели и количества существующих преобразований, которые требуется повторно использовать. Как описано в предыдущем разделе системы SAP, предлагают несколько уровней доступа к данным, каждый из которых подходит для различных этапов пути передачи данных, от необработанных транзакций до полностью моделиированных бизнес-метрик. Данные транзакций хранятся в высоко нормализованной форме, то есть информация делится на множество небольших, связанных таблиц для снижения избыточности и повышения эффективности. Эти таблицы отражают необработанные выходные данные бизнес-процессов, точно так же, как они создаются в системе. Такая конструкция способствует целостности данных, но делает отчеты и аналитику более сложными.

При переходе от базовых таблиц к более высоким уровням каждый шаг добавляет больше структуры, согласованности и выравнивания с бизнес-смыслом. Представления CDS и средства извлечения BW формируют данные транзакций в многомерный формат, применяя базовые соединения, фильтры и бизнес-логику, чтобы упростить аналитику и отчеты. Эти объекты могут представлять разные точки зрения на одних и том же базовых данных в зависимости от необходимости создания отчетов. Например, одно представление может сосредоточиться на открытых заказах на продажу, а другие выделены элементы. Эта гибкость позволяет одному набору данных поддерживать несколько аналитических сценариев без дублирования необработанных данных.

Далее по пути взаимодействия с данными объекты BW несут ответственность за хранение, структурирование и подготовку данных для корпоративной отчетности. InfoObjects и InfoProviders вместе образуют стандартизованную основу для аналитики между отделами и инструментами. В верхней части запросов предоставляются проверенные наборы данных, а также предопределенные фильтры, вычисления и ключевые цифры, готовые к использованию панелями мониторинга и внешними платформами аналитики.

Как общая рекомендация, чем выше уровень доступа в стеке данных, тем больше содержимого и бизнес-логики можно повторно использовать. Вместо ручного объединения базовых таблиц для создания консолидированного представления заказов на продажу можно применить выделенные объекты, предоставляемые SAP, которые уже включают соответствующие соединения, фильтры и сопоставления полей. Этот подход значительно сокращает усилия по разработке и обеспечивает согласованность использования данных в системе. Однако это также означает принятие встроенных преобразований, таких как фильтрация определенных состояний документа. Если требуются другие поля, изменения необходимо вносить на исходном уровне, например путем расширения представления CDS.

В следующей таблице приведены примеры распространенных сценариев и рекомендуется наиболее подходящий источник данных SAP в каждом случае. Использование конкретного объекта является решением проектирования и всегда следует оценивать на основе доступных параметров, требований к данным и системных возможностей.

Сводка параметров подключения

В следующей таблице приведены доступные параметры подключения к системам SAP.

Средства и решения для извлечения данных SAP

В этом разделе представлен обзор доступных средств и решений, которые необходимо учитывать при извлечении данных SAP в Microsoft Fabric.

Извлечение данных SAP с помощью Microsoft Fabric

Конвейеры и потоки данных в Microsoft Fabric можно использовать для извлечения и преобразования данных из различных источников данных SAP.

Рис. 1. Параметры подключения к данным SAP в Microsoft Fabric.

Соединитель таблиц SAP

Соединитель таблиц SAP подключается к системам SAP на основе ABAP и обеспечивает извлечение моментальных снимков данных таблицы. Она поддерживает фильтрацию данных с помощью простого синтаксиса ABAP. Для больших томов данных можно применить встроенное секционирование на основе выбранных столбцов, таких как метка времени размещения, чтобы разделить таблицу на небольшие блоки. Соединитель доступен через конвейеры в Microsoft Fabric.

Соединитель SAP HANA

Соединитель SAP HANA позволяет подключаться к базе данных SAP HANA. Он поддерживает два уровня доступа: многомерный аналитический слой, основанный на представлениях вычислений HANA, и уровень транзакций, предоставляющий доступ к данным, хранящимся в таблицах и представлениях.

При подключении через поток данных 2-го поколения, предназначенный для семантического моделирования и аналитики, соединитель SAP HANA обычно обращается к многомерному уровню. Представления вычислений работают аналогично запросам SAP BW и часто используются непосредственно к курированным данным и ключевые показатели эффективности после встроенной логики.

В отличие от этого, если соединитель используется в конвейере Microsoft Fabric, построенном для ETL и приема крупномасштабных данных, он по умолчанию используется для доступа к таблицам базы данных и представлениям SQL. Этот подход хорошо работает при работе с большими объемами данных благодаря другим возможностям секционирования данных, которые позволяют разделить и обрабатывать большие наборы данных параллельно, повышая производительность и масштабируемость.

Базовый протокол ODBC

Универсальное подключение ODBC позволяет подключаться к широкому спектру баз данных, включая не только SAP HANA. Он предоставляет гибкий доступ к базовым таблицам и представлениям, которые позволяют использовать сценарии, в которых требуется прямой доступ к необработанным данным транзакций. При использовании с базой данных SAP HANA универсальный соединитель ODBC подключается к уровню транзакций, позволяя пользователям запрашивать данные из базовых таблиц и представлений SQL.

Соединитель SAP BW

Соединитель SAP BW предназначен для доступа к многомерному аналитическому уровню в системах SAP. Он используется для доставки готовых к бизнесу наборов данных и содержит предопределенные меры, иерархии, фильтры и авторизацию, что упрощает интерпретацию и использование данных в средствах отчетности и аналитики. Соединитель обеспечивает надежный способ извлечения курируемых и семантических богатых данных, которые тесно соответствуют стандартам корпоративной отчетности. Соединитель поддерживает запросы BW из SAP BW и BW/4HANA, а также внедренный аналитический уровень в SAP S/4HANA, который можно использовать для доступа к представлениям SAP CDS.

SAP BW OpenHub

Соединитель SAP BW OpenHub позволяет извлекать данные из назначений OpenHub в системах SAP BW. Назначения OpenHub используются для предоставления управляемых BW данных для внешнего потребления. Любой объект, поддерживаемый процессом передачи данных SAP (DTP), может служить источником для OpenHub, включая объекты DataStore (DSOs), InfoCubes и DataSources. Это делает его гибким вариантом экспорта структурированных, преобразованных данных.

Соединитель поддерживает разностное извлечение, которое записывает только записи, которые изменились с момента последней успешной загрузки. Разностная обработка управляется системой SAP BW на основе логики, определенной в DTP, обычно использует метки времени, идентификаторы запросов или изменение позиций журнала. После настройки система автоматически применяет разностную логику, уменьшая потребность в отслеживании вручную или пользовательской реализации.

Соединитель OData

Извлечение данных также может обрабатываться службами OData, которые предоставляют бизнес-данные из систем SAP через стандартизованный протокол на основе REST. Этот подход подходит для доступа к данным, доступным через службы шлюза SAP, например SAP S/4HANA и SAP Business Suite. SAP предоставляет широкий набор предварительно настроенных служб OData, охватывающих множество основных бизнес-объектов и процессов. Кроме того, пользовательские или стандартные представления CDS можно предоставлять как конечные точки OData, которые предлагают гибкий способ получения семантических и хорошо структурированных данных.

Извлечение данных SAP с помощью фабрики данных Azure

Фабрика данных Azure — это облачная служба интеграции данных, которая позволяет создавать и планировать конвейеры для перемещения и преобразования данных в различных системах. Многие соединители данных, включая sap-таблицы и SAP BW, уже доступны в Microsoft Fabric. Если интеграция SAP является новой рабочей нагрузкой, которую вы планируете подключить, и вы рассматриваете Microsoft Fabric для аналитики, настоятельно рекомендуется также использовать ее для интеграции данных. Таким образом, вы получаете более унифицированный интерфейс для приема данных, преобразования и аналитики в пределах одной платформы. Однако если у вас уже есть конвейеры SAP, встроенные в фабрику данных Azure или необходимо использовать соединитель SAP CDC, немедленно не нужно переплатформироваться. Существующие конвейеры и потоки данных можно интегрировать с OneLake.

Рис. 2. Параметры подключения к данным SAP к Microsoft Fabric в фабрике данных Azure.

Соединитель SAP CDC

Соединитель SAP CDC обеспечивает добавочное извлечение данных из систем SAP с помощью платформы подготовки операционных данныхSAP, доступной в средах ABAP. Платформа ODP автоматически отслеживает разностные изменения в исходной системе и сохраняет их в разностной очереди. При каждом запуске соединителя он получает только новые или измененные записи с момента последнего извлечения на основе подписки, поддерживаемой платформой.

Он поддерживает широкий спектр источников данных SAP, включая:

• Извлекатели BW
• Представления основных служб данных (CDS)
• Преобразование ландшафта SAP (SLT)
• BW InfoProviders
• Представления сведений о SAP HANA

Она также поддерживает фильтрацию и секционирование данных для оптимизации производительности и управления объемом данных во время извлечения.

Если целевой объект является реляционным хранилищем данных, соединитель SAP CDC автоматически применяет вставки, обновления и удаления для синхронизации назначения с источником. Этот встроенный процесс слияния с разностным потоком гарантирует, что подчиненные системы всегда отражают последнее состояние данных SAP без необходимости выверки вручную.

Дополнительные сведения о соединителе SAP CDC в Фабрике данных Azure

Извлечение данных SAP с помощью SAP Datasphere

SAP Datasphere — это корпоративное решение SAP для извлечения и преобразования данных в разнородных системах. Она поддерживает подключения к сторонним службам и обеспечивает гибкие стратегии перемещения данных, адаптированные к потребностям предприятия.

Рис. 3. Параметры подключения данных SAP к Microsoft Fabric в SAP Datasphere.

Интеграция исходящего трафика класса Premium

Используя интеграцию исходящего трафика класса Premium, клиенты могут настроить потоки репликации для извлечения данных из исходных систем SAP и приема данных в Azure Data Lake 2-го поколения. Источник данных может быть объектом в SAP Datasphere, но эта интеграция также позволяет извлекать данные непосредственно из исходной системы без хранения в SAP Datasphere.

После того как данные приземлились в Azure Data Lake 2-го поколения, его можно предоставить в Microsoft Fabric Lakehouse с помощью сочетаний клавиш. Эти сочетания клавиш обеспечивают простой доступ только для чтения к приему данных без дедупликации хранилища, что позволяет эффективно анализировать и преобразовывать рабочие процессы непосредственно в Fabric.

Подключение ODBC

Подключение ODBC позволяет клиентам использовать представления в SAP Datasphere непосредственно из записных книжек Spark в Microsoft Fabric, обеспечивая просмотр данных в режиме реального времени, преобразование и расширенную аналитику без необходимости репликации. Соединитель SAP HANA также можно использовать для приема данных в озера Microsoft Fabric с помощью конвейеров и потоков данных.

Решения партнеров

Растущая экосистема доверенных партнеров обеспечивает специализированный опыт в извлечении данных из сложных сред SAP, таких как SAP S/4HANA и SAP BW/4HANA в Microsoft Fabric. Эти партнеры выходят за рамки стандартных соединителей, предоставляя настраиваемые надстройки, которые решают требования для конкретного предприятия.

Дополнительные сведения о партнерских решениях, поддерживающих открытое зеркальное отображение.

Рис. 4. Параметры подключения к данным SAP к Microsoft Fabric с помощью партнерских решений.

Решения партнеров обычно поддерживают два шаблона интеграции:

Открыть зеркалирование

Решения партнеров применяют набор собственных API Microsoft Fabric для синхронизации исходных наборов данных с зеркальными базами данных в Fabric. Этот подход гарантирует, что целевые таблицы остаются согласованной и up-to-date копии источника, так как подсистема зеркального отображения автоматически обрабатывает и объединяет изменения.

Дополнительные сведения об открытом зеркальном отображении в Microsoft Fabric.

Лейкхаус

Прямая интеграция Lakehouse позволяет партнерам прием данных в Fabric как в полном, так и в добавочном режиме. Хотя этот метод обеспечивает гибкость и управление, обычно требуется другая обработка дедупликации и консолидации записей, прежде чем данные будут готовы к анализу вниз.

Ресурсы

Центр знаний SAP — интеграция данных

Обзор и архитектура возможностей SAP CDC

Новые возможности подключения SAP в Microsoft Fabric — июль 2025 г.