Поделиться через


Настройка начальных пулов в Microsoft Fabric

Начальные пулы обеспечивают быстрый запуск сеанса Spark в Fabric. Вы можете быстро начать работу Spark, а не ожидать полной подготовки кластера для каждого запуска.

Начальные пулы используют средние узлы и поддерживают автомасштабирование на основе спроса на рабочую нагрузку. Значения по умолчанию и максимальные показатели зависят от SKU емкости Fabric.

Предпосылки

Чтобы настроить начальный пул, потребуется роль администратора в рабочей области.

Понимание настроек начального пула

В параметрах рабочей области можно настроить следующие элементы управления начальным пулом:

  • Автомасштабирование. Если этот параметр включен, пул Apache Spark автоматически масштабируется вверх и вниз на основе действий.
  • Динамическое выделение исполнителей: если включено, Spark выделяет и освобождает исполнителей на основе спроса на рабочую нагрузку.

Оба параметра включены по умолчанию. Используйте ползунки для увеличения или уменьшения настроенных ограничений для рабочей нагрузки.

Настройка параметров начального пула

Чтобы управлять начальным пулом, связанным с рабочей областью, выполните следующие действия.

  1. Перейдите в рабочую область и выберите параметры рабочей области.

    Снимок экрана, показывающий, где выбрать параметр 'Инжиниринг данных' в меню настроек рабочей области.

  2. Разверните "Инженерия данных и науки" в левой панели, а затем выберите настройки Spark.

    Снимок экрана: параметры начального пула.

  3. Выберите StarterPool из раскрывающегося списка пула по умолчанию для рабочей области, чтобы просмотреть обзор параметров начального пула.

  4. Щелкните значок карандаша в разделе сведений о пуле , чтобы изменить параметры для начального пула.

  5. В представлении редактирования настройте автомасштабирование и динамическое выделение исполнителей.

    Используйте ползунки для увеличения или уменьшения каждого параметра в зависимости от потребностей рабочей нагрузки.

    Снимок экрана, показывающий настройки автомасштабирования и динамического выделения исполнителей с ползунками для стартовых пулов.

    Значения по умолчанию можно сохранить или уменьшить для небольших рабочих нагрузок. Можно также увеличить значения до максимального допустимого номера SKU.

  6. После внесения изменений нажмите кнопку "Сохранить ", чтобы применить новые параметры для начального пула или нажмите кнопку "Отменить ", чтобы отменить изменения. В противном случае можно выбрать стрелку назад, чтобы выйти, не сохраняя или отменяя изменения.

В следующей таблице показаны ограничения по умолчанию и максимальные ограничения узлов стартового пула для каждого SKU.

Номер SKU Единицы емкости Ядра Spark VCores Размер узла Максимальное количество узлов по умолчанию Максимальное количество узлов
F2 2 4 Средний 1 1
F4 4 8 Средний 1 1
F8 8 16 Средний 2 2
F16 16 32 Средний 3 4
F32 32 64 Средний 8 8
F64 64 128 Средний 10 16
(Пробная емкость) 64 128 Средний 10 16
F128 128 256 Средний 10 32
F256 256 512 Средний 10 64
F512 512 1024 Средний 10 128
F1024 1024 2048 Средний 10 200
F2048 2048 4096 Средний 10 200
  • Подробнее см. в общедоступной документации по Apache Spark .
  • Начало работы с параметрами администрирования рабочей области Spark в Microsoft Fabric.