Преобразование выходных данных DeltaFlow (предварительная версия)

DeltaFlow — это возможность в потоках событий Fabric, которая преобразует необработанные события записи измененных данных (CDC) в неструктурированный, готовый к аналитике формат. Вместо работы с глубоко вложенными полезными данными Debezium JSON вы получаете табличные строки, которые внимательно отражают структуру таблиц исходной базы данных, обогащенные столбцами метаданных, описывающими каждое изменение.

В этой статье описывается процесс преобразования, столбцы метаданных, которые DeltaFlow добавляет, и как в выходных данных представлены различные типы операций (вставки, обновления и удаления).

Структура событий Raw Debezium CDC

Соединители CDC, управляемые Debezium, выдают события изменения в виде конвертов JSON. Обычное необработанное событие содержит вложенные структуры, включая данные строки до и после изменения, исходные метаданные и тип операции:

{
  "before": null,
  "after": {
    "OrderID": 1001,
    "CustomerName": "Contoso Ltd",
    "OrderTotal": 249.99,
    "OrderDate": "2026-03-01"
  },
  "source": {
    "version": "2.x",
    "connector": "sqlserver",
    "name": "fabsql",
    "ts_ms": 1741305600000,
    "db": "SalesDB",
    "schema": "dbo",
    "table": "Orders"
  },
  "op": "c",
  "ts_ms": 1741305600123
}

Для этого вложенного формата требуется синтаксический анализ и извлечение, прежде чем выполнять запросы аналитики, например для доступа OrderTotal, необходимо перейти к объекту after и извлечь его. Запросы к этому формату напрямую с помощью KQL или SQL являются сложными и подвержены ошибкам.

Преобразованные выходные данные DeltaFlow

DeltaFlow сплющивает конверт Debezium в одну табличную строку. Столбцы исходной таблицы отображаются как столбцы верхнего уровня, а DeltaFlow добавляет столбцы метаданных, описывающие изменение:

Вы можете запрашивать эти выходные данные непосредственно с помощью KQL или других средств аналитики— не требуется синтаксический анализ.

Столбцы метаданных

DeltaFlow добавляет следующие столбцы метаданных в каждую выходную строку:

Типы операций

DeltaFlow представляет каждый тип изменения базы данных в виде отдельной операции. В следующей таблице описывается, когда выполняется каждая операция:

Начальный снимок состояния

При первом запуске соединителя CDC выполняется начальный моментальный снимок исходной таблицы для записи всех существующих строк. Каждая строка снимка отображается как Insert операция в выводе DeltaFlow.

После завершения моментального снимка соединитель переключается в режим потоковой передачи и записывает текущие изменения.

Вставить

При добавлении новой строки в исходную таблицу DeltaFlow выдает одну строку с операцией Insert:

Обновление

При изменении существующей строки DeltaFlow выдает две строки с одинаковыми метками времени — один для состояния до изменения (Pre_Update) и один для состояния после (Post_Update). Этот шаблон похож на потоки данных с изменениями Delta:

В этом примере изменено OrderTotal с 249.99 на 299.99. Сохраняются как начальное, так и конечное состояние, что позволяет вычислять диффы, отслеживать изменения на уровне поля или создавать аудиторский след.

Удалить

При удалении строки из исходной таблицы DeltaFlow выдает одну строку с операцией Delete, содержащую последние известные значения строки:

Сопоставление схемы и назначения таблицы

При маршрутизации потока с поддержкой DeltaFlow в поддерживаемое место назначения, например в хранилище событий, DeltaFlow автоматически:

1. Создает целевые таблицы , соответствующие структуре исходной таблицы, со столбцами для каждого исходного столбца, а также пять столбцов метаданных.
2. Управляет эволюцией схемы — при изменении исходных таблиц (например, добавляются столбцы или создаются новые таблицы), DeltaFlow обнаруживает изменения, обновляет зарегистрированные схемы и корректирует целевые таблицы соответствующим образом.

Дополнительные сведения об управлении таблицами конечных данных смотрите в разделе "Возможности DeltaFlow", который находится на каждой странице соединителя CDC.

Связанный контент

• Общие сведения о потоках событий — раздел DeltaFlow
• Добавление источника CDC базы данных SQL Azure
• Добавить источник CDC для управляемого экземпляра Azure SQL
• Добавить SQL Server как источник CDC на виртуальной машине
• Добавьте источник CDC для базы данных PostgreSQL