Поделиться через

Декларативные конвейеры Lakeflow

Декларативные конвейеры Lakeflow — это платформа для создания конвейеров пакетных и потоковых данных в SQL и Python. Распространенные варианты использования декларативных конвейеров Lakeflow включают прием данных из таких источников, как облачное хранилище (например, Amazon S3, Azure ADLS 2-го поколения и Google Cloud Storage) и автобусы сообщений (например, Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub и Apache Pulsar), а также добавочные пакетные и потоковые преобразования.

Заметка

Декларативные конвейеры Lakeflow требуют подключения к тарифному плану Premium. Чтобы получить дополнительные сведения, обратитесь к группе учетной записи Databricks.

В этом разделе содержатся подробные сведения об использовании декларативных конвейеров Lakeflow. Следующие разделы помогут вам приступить к работе.

Тема Описание
Концепции декларативных конвейеров Lakeflow Узнайте о высокоуровневых концепциях декларативных конвейеров Lakeflow, включая конвейеры, потоки, таблицы потоковой передачи и материализованные представления.
Руководства Следуйте инструкциям, чтобы получить практические сведения об использовании декларативных конвейеров Lakeflow.
Разработка конвейеров Узнайте, как разрабатывать и тестировать конвейеры, которые создают потоки для приема и преобразования данных.
Настройка конвейеров Узнайте, как запланировать и настроить конвейеры.
Мониторинг конвейеров Узнайте, как отслеживать потоки данных и устранять неполадки с запросами потоков.
Разработчики Узнайте, как использовать Python и SQL при разработке декларативных конвейеров Lakeflow.
Декларативные конвейеры Lakeflow в Databricks SQL Узнайте об использовании декларативных конвейеров Lakeflow для потоковой передачи таблиц и материализованных представлений в Databricks SQL.

Дополнительные сведения