Приемники в декларативных конвейерах Spark Lakeflow

По умолчанию при создании потока ваш конвейер записывает результирующий запрос в таблицу Delta, которая, как правило, представляет собой материализованное представление или потоковую таблицу. Конвейеры также предоставляют функциональные возможности для записи в широкий спектр приемников или даже программно преобразовывать и передавать данные в любой целевой объект (или целевые объекты), в которые можно записывать с помощью Python.

В следующих разделах описаны функции приемника в конвейерах.

Тема Description
Приемники декларативных конвейеров Lakeflow Spark sink Используйте API с потоками для записи записей, преобразованных конвейером в поддерживаемый внешний приемник данных. Внешние приемники данных включают управляемые и внешние таблицы каталога Unity, а также службы потоковой передачи событий, такие как Apache Kafka или Центры событий Azure.
Пользовательские приемники данных Python sink Используйте API с пользовательским источником данных Python для записи в произвольное хранилище данных.
Приемники ForEachBatch Используйте API foreachBatch для записи в произвольное хранилище данных и выполнения других преобразований данных или записи в несколько приемников в одном потоке.

Дополнительные сведения

  • Last updated on