Разработка и отладка конвейеров ETL с помощью записной книжки в DLT

В этой статье описывается, как использовать записную книжку в DLT для разработки и отладки конвейеров ETL. Это интерфейс разработки по умолчанию в DLT.

Обзор записных книжек в DLT

При работе с записной книжкой Python или SQL, настроенной в качестве исходного кода для существующего конвейера DLT, можно подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:

• Запустите и проверьте конвейер из блокнота.
• View the pipeline’s dataflow graph and event log for the latest update in the notebook.
• Просмотр диагностики конвейера в редакторе блокнота.
• Просмотрите состояние кластера конвейера в блокноте.
• Доступ к пользовательскому интерфейсу DLT из записной книжки.

Необходимые условия

• У вас должен быть существующий конвейер DLT с блокнотом на языке Python или SQL, настроенным как исходный код.
• Вы должны быть либо владельцем конвейера, либо иметь привилегию CAN_MANAGE.

Ограничения

• Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
• Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.

Подключение ноутбука к конвейеру DLT

В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все DLT-процессы, в которых эта записная книжка используется в качестве исходного кода. Чтобы подключить ноутбук к конвейеру, выберите его из списка.

Просмотр состояния кластера конвейера

Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.

Проверка кода конвейера

Вы можете проверить конвейер, чтобы обнаружить синтаксические ошибки в вашем исходном коде, не обрабатывая данные.

Чтобы проверить конвейер, выполните одно из следующих действий.

• In the top-right corner of the notebook, click Validate.
• Нажмите Shift+Enter в любой ячейке записной книжки.
• In a cell’s dropdown menu, click Validate Pipeline.

Start a pipeline update

To start an update of your pipeline, click the Start button in the top-right corner of the notebook. See Run an update on a DLT pipeline.

Просмотр состояния обновления

The top panel in the notebook displays whether a pipeline update is:

• Starting
• Проверка
• Остановка

Просмотр ошибок и диагностики

After you start a pipeline update or validation, any errors are shown inline with a red underline. Наведите курсор на ошибку, чтобы увидеть дополнительную информацию.

Просмотр событий конвейера

При присоединении к конвейеру в нижней части записной книжки находится вкладка журнала событий DLT.

Просмотр графа потока данных конвейера

Чтобы просмотреть граф потока данных конвейера, перейдите на вкладку графа DLT в нижней части записной книжки. При выборе узла на графе отображается его схема на правой панели.

Как получить доступ к пользовательскому интерфейсу DLT из записной книжки

Чтобы легко перейти к пользовательскому интерфейсу DLT, используйте меню в правом верхнем углу записной книжки.

Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки

The driver logs and Spark UI associated with the pipeline being developed can be easily accessed from the notebook’s View menu.