Поделиться через

Технология распределенного реестра (DLT)

  • Статья

DLT — это платформа для создания конвейеров данных пакетной и потоковой передачи в SQL и Python. Распространенные варианты использования DLT включают прием данных из таких источников, как облачное хранилище (например, Amazon S3, Azure ADLS 2-го поколения и Google Cloud Storage) и автобусы сообщений (например, Apache Kafka, Amazon Kinesis, Google Pub/Sub, Azure EventHub и Apache Pulsar), а также добавочные пакетные и потоковые преобразования.

Заметка

DLT requires the Premium plan. Чтобы получить дополнительные сведения, обратитесь к группе учетной записи Databricks.

В этом разделе содержатся подробные сведения об использовании DLT. Следующие разделы помогут вам приступить к работе.

Тема Описание
Основные понятия DLT Узнайте о высокоуровневых концепциях DLT, включая конвейеры, потоки, потоковую передачу таблиц и материализованные представления.
Руководства Следуйте инструкциям, чтобы получить практический опыт работы с использованием DLT.
Разработка конвейеров Узнайте, как разрабатывать и тестировать конвейеры, которые создают потоки для приема и преобразования данных.
Настройка конвейеров Узнайте, как запланировать и настроить конвейеры.
Мониторинг конвейеров Узнайте, как отслеживать потоки данных и устранять неполадки с запросами потоков.
Разработчики Узнайте, как использовать Python и SQL при разработке конвейеров DLT.
DLT для Databricks SQL Узнайте об использовании таблиц потоковой передачи DLT и материализованных представлений в Databricks SQL.

Дополнительные сведения