Создание настраиваемых пулов Spark в Microsoft Fabric

Используйте настраиваемые пулы Spark для настройки вычислений для рабочих нагрузок в Fabric. Вы можете выбрать размер узла, настроить поведение автомасштабирования и включить динамическое выделение исполнителя.

Пользовательские пулы помогают сбалансировать производительность и затраты, позволяя задать ограничения масштабирования, соответствующие требованию рабочей нагрузки.

Если вы уже используете начальные пулы, настраиваемые пулы являются дополнительными вариантами, если вам требуется больше контроля над поведением размера и масштабирования для определенных рабочих нагрузок. Используйте начальные пулы для быстрого запуска и параметров по умолчанию, а также переход к пользовательским пулам при необходимости настройки вычислительных ресурсов для конкретной рабочей нагрузки. Дополнительные сведения о начальных пулах см. в статье "Настройка начальных пулов" в Fabric.

Предпосылки

Чтобы создать пользовательский пул Spark, выполните приведенные действия.

• Вам нужна роль администратора в рабочей области.
• Администратор ресурса должен включить настраиваемые пулы рабочих пространств в параметрах Spark Compute для ресурса.

Дополнительные сведения см. в разделе "Настройка и управление параметрами проектирования и обработки и анализа данных" для емкостей Fabric.

Создание настраиваемых пулов Spark

Чтобы создать или управлять пулом Spark, связанным с вашей рабочей областью:

1. Перейдите в рабочую область и выберите параметры рабочей области.

   

2. Выберите опцию Инженерия данных/Наука, чтобы развернуть меню, а затем выберите настройки Spark.

   

3. Выберите новый пул в раскрывающемся списке пула по умолчанию для рабочей области, чтобы создать новый настраиваемый пул Spark. Можно создать несколько настраиваемых пулов и выбрать любой из них в качестве пула по умолчанию для рабочей области.

4. На странице "Создание пула " введите имя пула. Выберите семейство узлов (например , оптимизированное для памяти) и размер узла в зависимости от требований к рабочей нагрузке. Дополнительные сведения о размерах узлов см. в разделе "Параметры размера узла " ниже.

   Подсказка

   Размер узла определяется единицами емкости (CU), которые представляют вычислительные ресурсы, назначенные каждому узлу.

   

5. В представлении редактирования настройте автомасштабирование и динамическое выделение исполнителей.

   

   Используйте ползунки для увеличения или уменьшения каждого параметра в зависимости от потребностей рабочей нагрузки.

   • Если автомасштабирование включено, пул масштабируется между настроенными минимальными и максимальными значениями узлов на основе действия.

   • Если динамически выделять исполнителей, Fabric настраивает выделение исполнителей в зависимости от спроса на рабочую нагрузку в пределах настроенных границ.

6. Нажмите кнопку "Создать".

Настраиваемые пулы имеют длительность автоматической паузы по умолчанию 2 минуты после бездействия. По достижении автопаузы срок действия сеанса истекает, и кластер деаллоцируется. Выставление счетов применяется только во время активного использования вычислений. Настраиваемые пулы Spark в Microsoft Fabric в настоящее время поддерживают максимальное ограничение на 200 узлов, поэтому убедитесь, что минимальные и максимальные значения автомасштабирования остаются в пределах этого предела.

Параметры размера узла

При настройке настраиваемого пула Spark выберите один из следующих размеров узлов:

Связанное содержимое

• Подробнее см. в общедоступной документации по Apache Spark .
• Начало работы с параметрами администрирования рабочей области Spark в Microsoft Fabric.