Поделиться через

Настройка конфигураций профилей ресурсов в Microsoft Fabric

Microsoft Fabric теперь поддерживает предопределенные профили ресурсов Spark— простой и эффективный способ оптимизации конфигураций Spark на основе потребностей рабочей нагрузки. Эти профили позволяют пользователям быстро применять рекомендации по настройке распространенных шаблонов, таких как нагрузка на чтение, на запись или гибридная нагрузка, используя подход, основанный на пакете свойств.

Независимо от того, используете ли вы терабайты потоковых данных или выполняете запросы с высокой производительностью аналитики, профили ресурсов предоставляют быстрый путь к производительности, не требуя ручной настройки Spark.

Преимущества профилей ресурсов

  • ✅ Производительность по умолчанию — применяйте проверенные настройки Spark, оптимизированные для рабочей нагрузки.
  • ✅ гибкость — выберите и/или настройте профили в зависимости от ваших шаблонов потребления и выполнения запросов.
  • ✅ точно настроенные конфигурации Spark. Избегайте настройки методом проб и ошибок и снижайте операционные издержки.

Примечание.

  • Все новые рабочие области Fabric теперь по умолчанию настроены на профиль writeHeavy для оптимальной производительности приема. Это включает конфигурации по умолчанию, адаптированные для крупномасштабных рабочих процессов ETL и потоковой передачи данных.
  • Если используется профиль writeHeavy, VOrder отключен по умолчанию и должен быть включен вручную.

Доступные профили ресурсов

В настоящее время в Microsoft Fabric поддерживаются следующие профили:

Профиль Вариант использования свойство конфигурации
readHeavyForSpark Оптимизировано для нагрузок в Spark с частым доступом к данным spark.fabric.resourceProfile = readHeavyForSpark
readHeavyForPBI Оптимизировано для запросов Power BI в таблицах Delta spark.fabric.resourceProfile = readHeavyForPBI
writeHeavy Оптимизировано для высокочастотного ввода данных &. spark.fabric.resourceProfile = writeHeavy
custom Полностью определяемая пользователем конфигурация spark.fabric.resourceProfile = custom

Значения конфигурации по умолчанию для каждого профиля

Профиль ресурсов конфигурации
writeHeavy {"spark.sql.parquet.vorder.default": "false", "spark.databricks.delta.optimizeWrite.enabled": "false", "spark.databricks.delta.optimizeWrite.binSize": "128", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true", "spark.databricks.delta.stats.collect": "false"}
readHeavyForPBI {"spark.sql.parquet.vorder.default": "true", "spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "1g"}
readHeavyForSpark {"spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "128"}
custom (например, fastIngestProfile) Полностью определяемые пользователем параметры. Пример: {"spark.sql.shuffle.partitions": "800", "spark.sql.adaptive.enabled": "true", "spark.serializer": "org.apache.spark.serializer.KryoSerializer"}

Подсказка

Вы можете присвоить пользовательскому профилю понятное имя, которое отражает шаблон рабочей нагрузки, например fastIngestProfile или lowLatencyAnalytics.

Настройка профилей ресурсов

Профили ресурсов можно настроить в Microsoft Fabric с помощью двух различных методов:

1. Настройка профилей ресурсов с использованием окружений

Профиль ресурсов Spark по умолчанию можно определить на уровне среды . При применении выбранный профиль будет автоматически использоваться для всех заданий Spark в данной среде, если его использование не будет переопределено.

Шаги:

  1. Перейдите в рабочую область Fabric .
  2. Изменение или создание новой среды.
  3. В разделе Конфигурации Sparkзадайте следующее свойство.
  4. spark.fabric.resourceProfile = writeHeavy или readHeavyForPBI или readHeavyForSpark или вы можете выбрать собственное имя профиля и настроить его с учетом ваших требований.
  5. Вы можете выбрать существующий профиль, а также изменить значения по умолчанию, например, выбрать readHeavyForSpark и увеличить размер блока с 128 до 256.

2. Настройка профилей ресурсов во время выполнения с помощью spark.conf.set

Вы также можете переопределить профиль ресурсов по умолчанию во время выполнения записной книжки или выполнения задания Spark с помощью:

spark.conf.set("spark.fabric.resourceProfile", "readHeavyForSpark")

Этот подход обеспечивает гибкость при выполнении кода для изменения поведения на основе логики выполнения задач, расписания или типа рабочей нагрузки, позволяя разные настройки для разных частей блокнота.

Примечание.

Если заданы конфигурации среды и среды выполнения, параметры среды выполнения имеют приоритет.

Что происходит по умолчанию?

Все только что созданные рабочие области в Microsoft Fabric по умолчанию используют профиль writeHeavy. Это гарантирует:

  • Эффективная обработка конвейеров приема данных
  • Оптимизированная пропускная способность для заданий пакетной и потоковой передачи
  • Лучшая готовая к использованию производительность для типичных рабочих нагрузок ETL

Если рабочая нагрузка отличается (например, интерактивные запросы, обслуживание панелей мониторинга), можно обновить параметры по умолчанию на уровне среды или динамически переопределить их во время выполнения.

⚠️ Важно:
Для всех новых рабочих областей Fabric VOrder по умолчанию отключено (spark.sql.parquet.vorder.default=false).
Эта конфигурация по умолчанию оптимизирована для рабочих нагрузок разработки данных с интенсивной записью, что обеспечивает большую производительность во время приема и преобразования в большом масштабе.

Для сценариев, оптимизированных для чтения (например, для таблиц мониторинга Power BI или интерактивных запросов Spark), рассмотрите возможность переключения на профили ресурсов readHeavyforSpark или readHeavyForPBI, либо измените свойства, включив VOrder, чтобы улучшить производительность запросов в нагрузках Power BI и Datawarehouse.

Связанный контент