Среда выполнения Fabric 2.0 (предварительная версия)

Среда выполнения Fabric обеспечивает простую интеграцию в экосистеме Microsoft Fabric, предлагая надежную среду для проектов разработки и обработки и анализа данных, управляемых Apache Spark.

В этой статье представлена общедоступная предварительная версия среды выполнения Fabric 2.0, последняя среда выполнения, предназначенная для вычислений больших данных в Microsoft Fabric. Он выделяет ключевые функции и компоненты, которые делают этот выпуск значительным шагом вперед для масштабируемой аналитики и расширенных рабочих нагрузок.

Среда выполнения Fabric 2.0 включает следующие компоненты и обновления, предназначенные для улучшения возможностей обработки данных:

• Apache Spark 4.1
• Операционная система: Azure Linux 3.0 (Mariner 3.0)
• Java: 21
• Scala: 2.13
• Python: 3.13
• Дельта-Лейк: 4,2
• R: 4.5.2

Включение среды выполнения 2.0

Среду выполнения 2.0 можно включить на уровне рабочей области или на уровне элемента среды. Используйте параметр рабочей области, чтобы применить среду выполнения 2.0 в качестве значения по умолчанию для всех рабочих нагрузок Spark в рабочей области. Кроме того, создайте элемент среды с средой выполнения 2.0 для использования с определенными записными книжками или определениями заданий Spark, которые переопределяют рабочую область по умолчанию.

Включение среды выполнения 2.0 в параметрах рабочей области

Чтобы задать runtime 2.0 в качестве значения по умолчанию для всей рабочей области:

1. Перейдите на страницу параметров рабочей области в рабочей области Fabric.

   

2. Перейдите на вкладку "Инженерия и наука данных" , а затем выберите параметры Spark.

3. Перейдите на вкладку Среда.

4. В выпадающем меню версии Runtime выберите 2.0 Public Preview (Spark 4.1, Delta 4.2) и сохраните свои изменения.

5. Среда выполнения 2.0 устанавливается в качестве среды выполнения по умолчанию для рабочей области.

Включение среды выполнения 2.0 в элементе среды

Чтобы использовать Runtime 2.0 с определенными ноутбуками или определениями заданий Spark:

1. Создайте новый элемент среды или откройте существующий элемент.

2. В выпадающем меню Runtime выберите 2.0 Public Preview (Spark 4.1, Delta 4.2),Сохранить и Опубликовать изменения.

   

3. Затем этот элемент среды можно использовать в записной книжке или определении задания Spark.

Теперь вы можете начать экспериментировать с новейшими улучшениями и функционалами, введёнными в Fabric Runtime 2.0 (Spark 4.1 и Delta Lake 4.2).

Общедоступная предварительная версия

Публичный этап предварительного просмотра Fabric Runtime 2.0 даёт доступ к новым функциям и API как из Spark 4.1, так и Delta Lake 4.2. Предварительная версия позволяет сразу использовать последние улучшения На основе Spark и Delta, а также обеспечить плавную готовность и переход для расширенных и улучшенных изменений, таких как новые версии Java, Scala и Python.

Ключевые моменты

Усовершенствования производительности и движка выполнения

Среда выполнения Fabric 2.0 включает собственный модуль выполнения, который обеспечивает значительные улучшения производительности по сравнению с открытым исходным кодом Spark. Модуль использует векторную обработку для ускорения запросов Spark в инфраструктуре Lakehouse, не требуя изменения кода.

Ключевые функции производительности среды выполнения 2.0:

• До шести раз быстрее: тесты показывают до шести раз более высокую производительность по сравнению с open-source версией Spark на рабочих нагрузках TPC-DS.
• Векторный синтаксический анализ CSV: собственный модуль выполнения включает векторный парсер CSV, ускоряющий прием и обработку запросов CSV. Векторный анализ JSON и поддержка структурированной потоковой передачи Spark планируется для будущих обновлений.

Сведения о включении собственного механизма выполнения см. в разделе «Механизм выполнения для проектирования данных Fabric».

Apache Spark 4.1

Apache Spark 4.0 стал важной вехой как первый релиз серии 4.x, воплотив в себе коллективные усилия активного сообщества разработчиков open source. Среда выполнения Fabric 2.0 теперь использует Apache Spark 4.1, который основан на этой основе и включает ряд дополнительных улучшений.

В этой версии Spark SQL значительно обогащен мощными новыми функциями, предназначенными для повышения экспрессивности и универсальности рабочих нагрузок SQL, таких как поддержка типов данных VARIANT, определяемые пользователем функции SQL, переменные сеанса, синтаксис канала и параметры сортировки строк. PySpark видит постоянное развитие как в функциональных возможностях, так и в общем опыте разработчиков, предложив родной API для построения графиков, новый API источника данных Python, поддержку определяемых пользователем табличных функций (UDTF) Python и унифицированное профилирование для UDF PySpark, а также множество других улучшений. Структурированная потоковая передача развивается с помощью ключевых добавлений, которые обеспечивают больший контроль и простоту отладки, в частности введение API произвольного состояния версии 2 для более гибкого управления состоянием и источника данных состояния для упрощения отладки.

Вы можете проверить полный список и подробные изменения здесь:

• Apache Spark 4.0.
• Apache Spark 4.1.

Озеро Дельта 4.2

Delta Lake 4.2 развивает предыдущие релизы Delta Lake, продолжая стремление сделать Delta Lake совместимым между форматами, проще в работе и более производительным. Он включает в себя мощные новые функции, оптимизацию производительности и базовые улучшения для будущего открытых озер данных.

Полный список и подробные изменения, введённые в Delta Lake 3.3, 4.0, 4.1 и 4.2, см.:

• Озеро Дельта 3.3
• Озеро Дельта 4.0
• Озеро Дельта 4.1
• Озеро Дельта 4.2

Макет данных и оптимизация

Среда выполнения 2.0 поддерживает функции макета данных и оптимизации для таблиц Delta:

• Z-упорядочение: упорядочивание данных в файлах таблиц Delta по указанным столбцам для повышения производительности запросов для отфильтрованных запросов.
• Liquid Clustering: гибкий подход к кластеризации, который автоматически оптимизирует макет данных без ручного обслуживания.
• Параллельная загрузка моментальных снимков Delta: движок выполнения загружает моментальные снимки таблиц Delta параллельно, сокращая время запуска запросов для больших таблиц.

Управление вычислениями в среде выполнения 2.0

Среда выполнения 2.0 поддерживает следующие функции управления вычислительными ресурсами:

• Профили ресурсов: настройте предварительно определенные выделения ресурсов для сеансов Spark, чтобы соответствовать требованиям рабочей нагрузки и управлению затратами.
• Настраиваемые динамические пулы (предварительная версия): создание выделенных предварительно теплых пулов Spark, которые сокращают время запуска сеанса. Пользовательские динамические пулы доступны в предварительной версии для рабочих нагрузок среды выполнения 2.0.

Ограничения и заметки

• Специальные функции Delta Lake 4.x являются экспериментальными и работают только над функциями Spark, такими как записные книжки и определения заданий Spark. Если вам нужно использовать одни и те же таблицы Delta Lake для нескольких рабочих нагрузок Fabric, не включите эти функции. Дополнительные сведения см. в разделе "Взаимодействие с форматом таблицы Delta Lake".
• Среда выполнения 2.0 находится в общедоступной предварительной версии. Некоторые функции и API могут изменяться до общедоступной доступности.
• Расширение VS Code для Fabric Spark поддерживает среду выполнения 2.0 для разработки ноутбуков и определения заданий Spark.

Связанный контент

• Среда выполнения Apache Spark в Fabric — обзор, управление версиями и поддержка нескольких сред выполнения
• Руководство по миграции Spark Core
• Руководства по миграции SQL, датасетов и DataFrame
• Руководство по миграции структурированной потоковой передачи
• Руководство по миграции MLlib (Машинное обучение)
• Руководство по миграции PySpark (Python в Spark)
• Руководство по миграции SparkR (R в Spark)