Поделиться через


Вычисление

Вычислительные ресурсы Azure Databricks относятся к выбору вычислительных ресурсов, доступных в Azure Databricks для запуска рабочих нагрузок разработки данных, обработки и анализа данных. Выберите из бессерверных вычислений для масштабирования по запросу, классических вычислений для настраиваемых ресурсов или хранилищ SQL для оптимизированной аналитики.

Вы можете просматривать вычислительные ресурсы и управлять ими в разделе вычислений рабочей области:

Бессерверные вычисления

По запросу автоматически управляемые вычислительные ресурсы, масштабируемые на основе требований рабочей нагрузки.

Тема Description
Бессерверные вычисления для записных книжек Интерактивное выполнение Python и SQL в записных книжках с автоматическим масштабированием и без управления инфраструктурой.
Бессерверные вычисления для заданий Выполнение заданий Lakeflow без настройки или развертывания инфраструктуры. Автоматически подготавливает и масштабирует вычислительные ресурсы.
Бессерверные конвейеры Запустите декларативные конвейеры Lakeflow без настройки или развертывания инфраструктуры. Автоматически подготавливает и масштабирует вычислительные ресурсы.
Ограничения бессерверных вычислений Общие сведения об ограничениях и требованиях для бессерверных рабочих нагрузок и поддерживаемых конфигураций.

Классические вычисления

Подготовленные вычислительные ресурсы, которые вы создаете, настраиваете и управляете для рабочих нагрузок.

Тема Description
Обзор классических вычислений Общие сведения о том, кто может получить доступ к классическим вычислительным ресурсам и создать их.
Настройка вычислений Создание и настройка вычислений для интерактивного анализа данных в записных книжках или автоматизированных рабочих процессах с помощью заданий Lakeflow.
Стандартные вычисления Многопользовательские вычисления с общими ресурсами для эффективной совместной работы. Lakeguard обеспечивает безопасную изоляцию пользователей.
Выделенные вычислительные ресурсы Вычислительный ресурс, назначенный одному пользователю или группе.
Пулы экземпляров Предварительно настроенные экземпляры, которые сокращают время запуска вычислений и обеспечивают экономию затрат на частые рабочие нагрузки.

Хранилища SQL

Оптимизированные вычислительные ресурсы для конкретных вариантов использования и расширенных функциональных возможностей. Хранилища SQL можно настроить как бессерверные или классические.

Тема Description
Склады SQL Оптимизированное вычисление для запросов SQL , аналитики и рабочих нагрузок бизнес-аналитики с бессерверными или классическими параметрами.
Типы хранилища SQL Общие сведения о различиях между бессерверными и классическими параметрами хранилища SQL для выбора подходящего типа для рабочих нагрузок.

Дополнительные разделы

Тема Description
Что такое Photon? Подсистема высокопроизводительных запросов, которая ускоряет рабочие нагрузки SQL и обеспечивает быструю обработку данных.
Что такое Lakeguard? Платформа безопасности, предоставляющая управление данными и управление доступом для вычислительных ресурсов.

Сведения о работе с вычислениями с помощью командной строки или API см. в статье "Что такое ИНТЕРФЕЙС командной строки Databricks" и справочник по REST API Databricks.

Зарезервированные порты

Некоторые порты зарезервированы на узле драйвера для внутренних служб Databricks. Чтобы избежать конфликтов, не привязывать службы к следующим портам:

  • 1023
  • 6059
  • 6060
  • 6061
  • 6062: занят ipywidget по умолчанию. При необходимости можно изменить порт. См. ipywidgets.
  • 7071
  • 7077
  • 10000
  • 15001
  • 15002
  • 36423
  • 38841
  • 39909
  • 40000
  • 40001
  • 41063