Операционное превосходство для Databricks

Архитектурные принципы операционного превосходства охватывают все операционные процессы, которые сохраняют работу Databricks. Операционное совершенство касается способности эффективно использовать Databricks и рассматривает, как эксплуатировать, управлять и контролировать работу Databricks для создания бизнес-ценности.

Принципы операционного превосходства

1. Оптимизация процессов сборки и выпуска

   Используйте рекомендации по проектированию программного обеспечения во всей среде Databricks. Сборка и выпуск с помощью непрерывной интеграции и конвейеров непрерывной доставки для DevOps и MLOps.

2. Автоматизация развертываний и рабочих нагрузок

   Автоматизация развертываний и рабочих нагрузок для Databricks помогает стандартизировать эти процессы, устранять ошибки человека, повышать производительность и обеспечивать большую повторяемость. Это подразумевает использование «конфигурации как кода», чтобы избежать дрейфа конфигурации, и «инфраструктуры как кода», чтобы автоматизировать развертывание всех необходимых служб Databricks и облачных сервисов.

   Для машинного обучения процессы должны управлять автоматизацией: не каждый этап процесса может или должен быть автоматизирован. Люди по-прежнему определяют бизнес-вопросы, и некоторые модели всегда нуждаются в человеческом надзоре перед развертыванием. Таким образом, процесс разработки является основным, и каждый модуль в процессе должен быть автоматизирован при необходимости. Это позволяет постепенно расширять автоматизацию и настройку.

3. Настройка мониторинга, оповещений и логирования

   Рабочие нагрузки в Databricks обычно интегрируют службы платформы Databricks и внешние облачные службы, например источники данных или целевые объекты. Успешное выполнение может произойти только в том случае, если каждая служба в цепочке выполнения работает правильно. Если это не так, мониторинг, оповещение и ведение журнала важны для обнаружения и отслеживания проблем и понимания системного поведения.

4. Управление емкостью и квотами

   Для любой службы, запущенной в облаке, учитывайте ограничения, например ограничения скорости доступа, количество экземпляров, количество пользователей и требования к памяти. Прежде чем разрабатывать решение, необходимо понимать эти ограничения.

Далее: рекомендации по оптимизации работы

Ознакомьтесь с рекомендациями по обеспечению эффективности работы.