Настройка бессерверного конвейера

В этой статье описываются конфигурации бессерверных декларативных конвейеров Lakeflow.

Databricks рекомендует разрабатывать новые конвейеры с использованием бессерверной инфраструктуры. Для некоторых рабочих нагрузок может потребоваться настройка классических вычислений или работа с устаревшим хранилищем метаданных Hive. См. статью "Настройка вычислений для декларативных конвейеров Lakeflow" и использование декларативных конвейеров Lakeflowс устаревшим хранилищем метаданных Hive.

Требования

• В рабочей области должен быть включен каталог Unity для использования бессерверных конвейеров.

• Рабочая область должна находиться в бессерверном регионе.

Рекомендуемая конфигурация бессерверных конвейеров

Бессерверные конвейеры удаляют большинство параметров конфигурации, так как Azure Databricks управляет всей инфраструктурой. Чтобы настроить бессерверный конвейер, сделайте следующее:

1. Щелкните "Конвейеры" на боковой панели.
2. Нажмите кнопку "Создать конвейер".
3. Укажите уникальное имя конвейера.
4. Установите флажок рядом с бессерверным.
5. (Необязательно) Используйте , чтобы настроить записные книжки и файлы рабочего пространства в качестве исходного кода.
   • Если вы не добавляете исходный код, для конвейера создается новая записная книжка. Записная книжка создается в новом каталоге пользователя, а ссылка на доступ к этой записной книжке отображается в поле "Исходный код " в области сведений о конвейере после создания конвейера.
     • Ссылка на доступ к этой записной книжке находится в поле исходного кода на панели сведений о конвейере после создания конвейера.
   • Нажмите кнопку "Добавить исходный код", чтобы добавить дополнительные ресурсы исходного кода .
6. Выберите каталог для публикации данных.
7. Выберите схему в каталоге. Все потоковые таблицы и материализованные представления, определенные в конвейере, создаются в этой схеме.
8. Нажмите кнопку Создать.

Эти рекомендуемые конфигурации создают новый конвейер, настроенный для запуска в режиме активации и текущем канале. Эта конфигурация рекомендуется для многих вариантов использования, включая разработку и тестирование, и хорошо подходит для рабочих нагрузок, которые должны выполняться по расписанию. Дополнительные сведения о планировании конвейеров см. в разделе "Задача конвейера" для заданий.

Вы также можете преобразовать существующие конвейеры, настроенные в каталоге Unity, в бессерверные. См. раздел "Преобразование существующего конвейера в бессерверный".

Другие рекомендации по настройке

Следующие параметры конфигурации также доступны для бессерверных конвейеров:

• При запуске конвейеров в продакшене можно выбрать непрерывный режим конвейера. См. раздел "Триггерный и непрерывный режимы конвейера".
• Добавьте уведомления для электронных писем на основе условий успешного выполнения или сбоя. См. добавьте уведомления по электронной почте для событий конвейера.
• Используйте поле конфигурации, чтобы задать пары "ключ-значение" для конвейера. Эти конфигурации служат двумя целями:
  • Задайте произвольные параметры, на которые можно ссылаться в исходном коде. См. раздел "Использование параметров с декларативными конвейерами Lakeflow".
  • Настройте параметры конвейера и конфигурации Spark. См. справочник по свойствам декларативных конвейеров Lakeflow.
• Используйте канал Preview для тестирования вашего конвейера в соответствии с ожидаемыми изменениями в среде выполнения декларативных конвейеров Lakeflow и испытания новых функций.

Бессерверная политика бюджета

Бессерверные бюджетные политики позволяют организации применять пользовательские теги к бессерверному использованию для более детализированного выставления счетов. После выбора флажка Бессерверный появится параметр политики бюджета, где можно выбрать политику, которую вы хотите применить к пайплайну. Теги наследуются от бессерверной политики бюджета и могут изменяться только администраторами рабочей области.

Дополнительные сведения о бессерверных политиках бюджета см. в разделе "Использование атрибутов с бессерверными политиками бюджета".

Выбор режима производительности

Для триггерных конвейеров можно выбрать бессерверный режим производительности вычислений с помощью оптимизированного для производительности параметра в планировщике конвейера. Если этот параметр отключен, конвейер использует стандартный режим производительности. Стандартный режим производительности предназначен для снижения затрат на рабочие нагрузки, в которых допустима небольшая задержка запуска. Бессерверные рабочие нагрузки, использующие стандартный режим производительности, обычно начинаются в течение четырех–шести минут после активации в зависимости от доступности вычислений и оптимизированного планирования.

При включении оптимизации производительности конвейер оптимизирован для производительности, что приводит к более быстрому запуску и выполнению рабочих нагрузок с учетом времени.

Функции бессерверного конвейера

Помимо упрощения конфигурации бессерверные конвейеры имеют следующие функции:

• добавочное обновление для материализованных представлений: обновления для материализованных представлений обновляются постепенно, когда это возможно. Инкрементное обновление имеет те же результаты, что и полный пересчёт. Обновление использует полную перезагрузку, если невозможно поэтапное вычисление результатов. См. инкрементальное обновление материализованных представлений.

• Конвейерная обработка потоков: для улучшения использования, пропускной способности и снижения задержки при обработке нагрузок потоковой передачи данных, таких как прием данных, микропакеты конвейеризуются. Другими словами, вместо последовательного запуска микробаток, таких как стандартная структурированная потоковая передача Spark, бессерверные декларативные конвейеры Lakeflow одновременно выполняют микробаты, повышая использование вычислительных ресурсов. Потоковая конвейерная настройка включена по умолчанию в бессерверных декларативных конвейерах Lakeflow.
• Вертикальное автоматическое масштабирование: бессерверные декларативные конвейеры Lakeflow дополняют горизонтальное автоматическое масштабирование, предоставляемое Databricks, за счет автоматического выделения наиболее экономически эффективных типов экземпляров, которые могут запускать ваш конвейер без сбоев из-за нехватки памяти. См. раздел "Что такое автомасштабирование по вертикали"?

Преобразование существующего конвейера в бессерверный

Существующие конвейеры, настроенные с помощью каталога Unity, можно преобразовать в бессерверные конвейеры. Выполните следующие действия.

1. Щелкните "Конвейеры" на боковой панели.
2. Щелкните имя требуемого конвейера в списке.
3. Щелкните Параметры.
4. Установите флажок рядом с бессерверным.
5. Нажмите кнопку "Сохранить" и " Начать".

Как узнать использование DBU в бессерверном конвейере?

Вы можете найти использование DBU для бессерверных декларативных конвейеров Lakeflow, запросив таблицу оплачиваемого использования, которая является частью системных таблиц Azure Databricks. См. раздел "Что такое потребление DBU бессерверного конвейера?".