Разработка и отладка конвейеров ETL с помощью записной книжки в DLT

В этой статье описывается, как использовать записную книжку в DLT для разработки и отладки конвейеров ETL. Это интерфейс разработки по умолчанию в DLT.

Обзор записных книжек в DLT

При работе с записной книжкой Python или SQL, настроенной в качестве исходного кода для существующего конвейера DLT, можно подключить записную книжку непосредственно к конвейеру. Когда записная книжка подключена к конвейеру, доступны следующие функции:

• Запустите и проверьте конвейер из блокнота.
• Просмотрите граф потока данных конвейера и журнал событий для последнего обновления в ноутбуке.
• Просмотр диагностики конвейера в редакторе блокнота.
• Просмотрите состояние кластера конвейера в ноутбуке.
• Доступ к пользовательскому интерфейсу DLT из записной книжки.

Необходимые условия

• У вас должен быть существующий конвейер DLT с блокнотом на языке Python или SQL, настроенным как исходный код.
• Вы должны быть либо владельцем конвейера, либо иметь привилегию CAN_MANAGE.

Ограничения

• Функции, описанные в этой статье, доступны только в записных книжках Azure Databricks. Файлы рабочей области не поддерживаются.
• Веб-терминал недоступен при подключении к конвейеру. В результате она не отображается как вкладка на нижней панели.

Подключение ноутбука к конвейеру DLT

В записной книжке щелкните раскрывающееся меню, используемое для выбора вычислений. В раскрывающемся меню отображаются все DLT-процессы, в которых эта записная книжка используется в качестве исходного кода. Чтобы подключить ноутбук к конвейеру, выберите его из списка.

Просмотр состояния кластера конвейера

Чтобы легко понять состояние кластера конвейера, его состояние отображается в раскрывающемся меню вычислений с зеленым цветом, чтобы указать, что кластер запущен.

Проверка кода конвейера

Вы можете проверить конвейер, чтобы обнаружить синтаксические ошибки в вашем исходном коде, не обрабатывая данные.

Чтобы проверить конвейер, выполните одно из следующих действий.

• В правом верхнем углу записной книжки нажмите кнопку "Проверить".
• Нажмите Shift+Enter в любой ячейке записной книжки.
• В раскрывающемся меню ячейки выберите Validate Pipeline.

Начать обновление конвейера

Чтобы начать обновление конвейера, нажмите кнопку "Пуск " в правом верхнем углу записной книжки. См. Запуск обновления в конвейере DLT.

Просмотр состояния обновления

Верхняя панель в ноутбуке показывает, обновлено ли состояние конвейера.

• Запуск
• Проверка
• Остановка

Просмотр ошибок и диагностики

После запуска обновления или проверки конвейера все ошибки подчёркиваются красным цветом. Наведите курсор на ошибку, чтобы увидеть дополнительную информацию.

Просмотр событий конвейера

При присоединении к конвейеру в нижней части записной книжки находится вкладка журнала событий DLT.

Просмотр графа потока данных конвейера

Чтобы просмотреть граф потока данных конвейера, перейдите на вкладку графа DLT в нижней части записной книжки. При выборе узла на графе отображается его схема на правой панели.

Как получить доступ к пользовательскому интерфейсу DLT из записной книжки

Чтобы легко перейти к пользовательскому интерфейсу DLT, используйте меню в правом верхнем углу записной книжки.

Доступ к журналам драйверов и пользовательскому интерфейсу Spark из записной книжки

Журналы драйверов и пользовательский интерфейс Spark, связанные с разрабатываемым конвейером, можно легко получить из меню "Вид" записной книжки.