Сравнение проектирования данных Fabric и Azure Synapse Spark

В этой статье сравниваются Azure Synapse Spark и Fabric Spark в пулах Spark, конфигурациях, библиотеках, записных книжках и определениях заданий Spark (SJD).

Для обзора, сосредоточенного на Delta Lake и Lakehouse (включая форматы таблиц по умолчанию и параметры времени выполнения по умолчанию), подробности см. в таблицах Lakehouse и Delta Lake.

Когда выбрать: используйте Fabric Spark для единой аналитики с хранилищем OneLake, встроенными конвейерами CI/CD и масштабированием, основанным на емкости. Используйте Azure Synapse Spark, если вам нужны пулы с ускорением GPU, внешнее хранилище метаданных Hive или JDBC.

Ключевые ограничения в Fabric

• DMTS в записных книжках: службы перемещения и преобразования данных не могут использоваться в записных книжках или определениях заданий Spark
• Managed identity for Key Vault: не поддерживается в записных книжках
• Внешнее хранилище метаданных Hive: не поддерживается
• Ускоряемые GPU пулы: недоступны
• .NET для Spark (C#): не поддерживается

Дополнительные соображения по Fabric

• Уровень рабочей нагрузки RBAC: Fabric поддерживает четыре роли рабочей области. Дополнительные сведения см. в разделе "Роли в рабочих областях".
• CI/CD: используйте API и пакет SDK Fabric, интерфейс командной строки Fabric и конвейеры развертывания. Интеграция Fabric Git также поддерживает выборочное ветвление и встроенные представления диффа для изменений элементов.

Сравнение пула Spark

В следующей таблице сравниваются пулы Spark в Azure Synapse и Fabric Spark.

• Среда выполнения. Структура не поддерживает Spark 3.3 и более ранние версии. Fabric Spark поддерживает Spark 3.4 с Delta 2.4 в среде выполнения 1.2, Spark 3.5 с Delta 3.1 в среде выполнения 1.3 и Spark 4.0 с Delta 4.0 в среде выполнения 2.0.

Когда выбирать: используйте пулы Spark Fabric для быстрого запуска (стартовых пулов), заданий с одним узлом, сеансов с высокой степенью параллелизма и оптимизации V-Order. Используйте Azure Synapse пулы, если требуется ускорение GPU или фиксированное масштабирование до 200 узлов.

Общие сведения о моделях пула Spark

Azure Synapse и Fabric используют принципиально разные модели пула:

• Azure Synapse: пул Spark — это фиксированный вычислительный ресурс с максимальным числом узлов. Каждое задание (например, из записной книжки или определение задачи Spark) выделяет кластер в пуле. Пул определяет верхнюю границу узлов, доступных во всех запущенных артефактах.

• Структура. Пул Spark — это шаблон конфигурации, а не фиксированный ресурс вычислений. Каждый артефакт подготавливает собственный кластер, но размер ограничен виртуальными ядрами емкости, а не свойством максимального размера пула. Высококонкурентные сеансы позволяют артефактам совместно использовать сеанс или кластер.

Практический пример: сравнение конкурентности

В следующей таблице сравнивается количество параллельных заданий, выполняемых в разных конфигурациях, при условии, что размер кластера — 1 драйвер + 6 рабочих ролей (7 узлов, 28 виртуальных ядер на задание) с небольшими узлами (4 виртуальных ядер).

Дополнительные сведения о вместимости и параллелизме Fabric см. в разделе Ограничения параллелизма и очереди.

Версии среды выполнения Spark

Поддерживаемые версии Fabric Spark:

• Spark 3.3 / Delta 2.2: Runtime 1.1
• Spark 3.4 / Delta 2.4: среда выполнения 1.2
• Spark 3.5 / Delta 3.1: Среда выполнения 1.3

Fabric не поддерживает Spark 2.4, 3.1 или 3.2.

Настраиваемые размеры узлов

Azure Synapse кластеры Spark масштабируются до 200 узлов независимо от размера узла. В Fabric максимальное количество узлов зависит от размера узла и сконфигурированной емкости (SKU).

Преобразование емкости Fabric: 2 виртуальных ядра Spark = 1 единица емкости. Формула: общее количество виртуальных ядер в емкости ÷ виртуальных ядер на размер узла = максимальные доступные узлы.

Например, SKU F64 предоставляет 64 единиц емкости (128 виртуальных ядер Spark). В следующей таблице показаны ограничения узлов для F64:

Дополнительные сведения см. в разделе "Вычисления Spark".

Размеры узлов

Пулы Spark Fabric поддерживают только семейство оптимизированных для памяти узлов. Пулы с ускорением GPU, доступные в Azure Synapse, не поддерживаются в Fabric.

Сравнение размера узла (XX-Large):

• Azure Synapse: 432 ГБ памяти
• Структура: 512 ГБ памяти, 64 виртуальных ядер

Размеры узлов от Small до X-Large обладают идентичными виртуальными ядрами и объёмом памяти как в Azure Synapse, так и в Fabric.

Поведение автопаузы

Сравнение параметров автоматической паузы:

• Azure Synapse: настраиваемое время ожидания простоя, минимум 5 минут
• Fabric: исправлена 2-минутная автопауза после завершения сеанса (не настраиваемое), время ожидания сеанса по умолчанию — 20 минут.

Высокая конкурентность

Fabric поддерживает режим высокой конкуренции для рабочих тетрадей, позволяя нескольким пользователям совместно использовать один сеанс Spark. Azure Synapse не поддерживает эту функцию.

Пределы параллелизма

Ограничения Azure Synapse Spark (фиксированные):

• 50 параллельных заданий на пул, 200 заданий в очереди на пул
• 250 активных заданий на пул, 1000 на рабочее пространство

Ограничения Fabric Spark (на основе SKU):

• Одновременные задания зависят от SKU емкости: от 1 до 512 макс.
• Динамическое регулирование на основе резервирования управляет пиковой загрузкой

Дополнительные сведения см. в разделе Ограничения и очереди в Microsoft Fabric Spark.

Несколько пулов Spark

В Fabric используйте среды для конфигурирования и выбора разных пулов Spark для каждого ноутбука или определения задания Spark.

Сравнение конфигураций Spark

Конфигурации Spark применяются на двух уровнях:

• Уровень среды: конфигурация по умолчанию для всех заданий Spark в среде
• Встроенный уровень: конфигурация сеанса в записных книжках или определениях заданий Spark

Когда выбрать: обе платформы поддерживают среду и встроенные конфигурации. Fabric использует среды вместо конфигураций уровня пула.

• Встроенный синтаксис: в Fabric используется spark.conf.set(<conf_name>, <conf_value>) для конфигураций на уровне сеанса. Для пакетных заданий используйте SparkConf.
• Неизменяемые конфигурации. Некоторые конфигурации Spark нельзя изменить. Сообщение об ошибке: AnalysisException: Can't modify the value of a Spark config: <config_name>
• V-Order: включен по умолчанию в среде Fabric; оптимизация времени записи для файлов Parquet. Смотрите V-Order.
• Optimized Write: включен по умолчанию в Fabric; отключен по умолчанию в Azure Synapse.

Сравнение библиотек Spark

Библиотеки Spark применяются на трех уровнях:

• уровень Workspace: доступен только в Azure Synapse
• Уровень среды: библиотеки, доступные в среде для всех блокнотов и определений заданий Spark.
• Инлайн: библиотеки, специфичные для сеанса, устанавливаются при запуске записной книжки

Когда выбрать: обе платформы поддерживают среду и встроенные библиотеки. Структура не поддерживает пакеты уровня рабочей области.

• Встроенные библиотеки: Среды выполнения Fabric и Azure Synapse используют общие ядра Spark, но различаются версиями библиотек. Для некоторых кодов может потребоваться перекомпиляция или пользовательские библиотеки. См. библиотеки среды выполнения Fabric.

Сравнение ноутбуков

Записные книжки и определения заданий Spark — это основные элементы кода для разработки заданий Apache Spark в Fabric. Существуют некоторые различия между записными книжками Azure Synapse Spark и Fabric Spark:

В каких случаях выбрать: использование записных книжек Fabric для совместной работы, сеансов с высокой параллельностью, встроенного планирования и ресурсов записных книжек. Используйте записные книжки Azure Synapse, если требуется .NET для Spark (C#).

• notebookutils.credentials: только getToken и getSecret поддерживаются в Fabric (подключения DMTS недоступны).
• Ресурсы записной книжки: Структура предоставляет файловую систему, похожую на Unix, для управления файлами. Узнайте , как использовать записные книжки.
• Высокая параллельность: альтернатива ThreadPoolExecutor в Azure Synapse. См. раздел "Настройка режима высокой параллелизма".
• .NET для Spark: перенос рабочих нагрузок C#/F# на Python или Scala.
• Связанные службы: замените библиотеки Spark для подключений к внешнему источнику данных.

Сравнение определений заданий Spark

Важные рекомендации по определению задания Spark:

Когда выбирать: использование определения заданий Spark Fabric для поддержки SparkR, встроенного планирования и политик повторных попыток. Используйте Azure Synapse, если требуется .NET для Spark (C#) или импорта и экспорта на основе пользовательского интерфейса.

• Поддерживаемые файлы: .py, . R и .jar файлы с ссылочными файлами, аргументами командной строки и ссылками lakehouse.
• Import/export: импорт и экспорт JSON на основе пользовательского интерфейса, доступный только в Azure Synapse.
• Политики повторных попыток: включение неопределенных запусков для заданий структурированной потоковой передачи Spark.
• .NET для Spark: перенос рабочих нагрузок C#/F# на Python или Scala.

Сравнение хранилища метаданных Hive (HMS)

Когда выбрать: используйте Fabric, если внутренний HMS на основе озера соответствует вашим потребностям. Используйте Azure Synapse, если требуется внешнее хранилище метаданных Hive (Azure SQL DB) или доступ к каталогу API.

Связанный контент

• Дополнительные сведения о параметрах миграции для Spark пулов, конфигураций, библиотек, блокнотов и определений заданий Spark
• Перенос данных и конвейеров
• Перенос метаданных Hive Metastore