Установка другой версии SynapseML в Fabric

SynapseML (Synapse Машинное обучение) предварительно установлен на Microsoft Fabric. Если вам нужна определенная версия, ее можно переопределить с помощью %%configure волшебной команды в записной книжке Fabric.

Быстрый старт

Prerequisites

Перед началом работы убедитесь, что у вас есть следующие ресурсы:

Совместимость SynapseML со средой выполнения Fabric

Выберите версию SynapseML и SPARK Avro JAR, соответствующую версии Fabric среды выполнения Spark:

Доступные версии SynapseML можно найти в Maven Central.

Установка SynapseML с помощью %%configure

Команда %%configure -f настраивает свойства сеанса Spark, включая координаты пакета Maven. Флаг -f заставляет перезапуск существующего сеанса.

Пример для среды выполнения Fabric 1.2 (Spark 3.4)

Вставьте этот код в первую ячейку новой записной книжки Fabric и запустите ячейку:

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Чтобы установить другую версию, замените номера версий в spark.jars.packages:

• synapseml_2.12:<version>: нужная версия SynapseML (например, 1.0.4).
• spark-avro_2.12:<spark-version>: должен соответствовать версии Spark в среде выполнения Fabric (см. таблицу совместимости).

Пример для среды выполнения Fabric 1.1 (Spark 3.3)

%%configure -f
{
  "name": "synapseml",
  "conf": {
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4,org.apache.spark:spark-avro_2.12:3.3.1",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars.excludes": "org.scala-lang:scala-reflect,org.apache.spark:spark-tags_2.12,org.scalactic:scalactic_2.12,org.scalatest:scalatest_2.12,com.fasterxml.jackson.core:jackson-databind",
      "spark.yarn.user.classpath.first": "true",
      "spark.sql.parquet.enableVectorizedReader": "false",
      "spark.sql.legacy.replaceDatabricksSparkAvro.enabled": "true"
  }
}

Проверка конфигурации Spark

После запуска ячейки убедитесь, что сеанс Spark принял конфигурацию. Запустите этот код в новой ячейке:

print(spark.conf.get("spark.jars.packages"))

Ожидаемые выходные данные (для примера среды выполнения 1.2):

com.microsoft.azure:synapseml_2.12:1.0.8,org.apache.spark:spark-avro_2.12:3.4.1

Проверка версии SynapseML

Чтобы проверить установку, выполните следующий код в новой ячейке. Номер версии должен соответствовать установленной версии.

import synapse.ml.lightgbm
print(f"SynapseML version: {synapse.ml.lightgbm.__version__}")

Ожидаемые выходные данные (для примера среды выполнения 1.2):

SynapseML version: 1.0.8

Вернуться к версии по умолчанию

Чтобы вернуться к предварительно установленной версии SynapseML, удалите %%configure ячейку и перезапустите сеанс записной книжки:

1. Удалите или закомментируйте ячейку %%configure .
2. Выберите Session>Stop session на панели инструментов записной книжки.
3. Запустите любую ячейку, чтобы запустить новый сеанс с конфигурацией по умолчанию.

Справочник по конфигурации

Блок %%configure включает следующие свойства Spark:

Troubleshooting

ячейка %%configure не вступает в силу

Причина: ячейка %%configure была запущена не первой, или сеанс Spark уже был активен.

Исправление: Выберите Сеанс>Остановить сеанс, а затем сначала запустите ячейку %%configure.

Не удается загрузить JAR или истекает время ожидания

Причина: репозиторий Maven недоступен или координаты версии неверны.

Исправление. Убедитесь, что версия SynapseML существует в Maven Central. Убедитесь, что spark-avro версия соответствует версии среды выполнения Spark.

ClassNotFoundException или NoSuchMethodError во время выполнения

Причина. Версия SynapseML несовместима с версией Fabric среды выполнения Spark.

Исправление. Используйте таблицу совместимости , чтобы выбрать правильную комбинацию версий.

ImportError: нет модуля с именем "synapse.ml"

Причина. Пакет оболочки SynapseML Python не установлен в среде записной книжки.

Исправление: в новой ячейке выполните следующую команду:

%pip install synapseml==1.0.8

Замените 1.0.8 на версию, которая соответствует JAR-файлу, который вы установили.

Номер версии не соответствует установленной версии.

Причина: атрибут __version__ Python поступает из пакета pip synapseml, который может отличаться от версии JAR, установленной с помощью %%configure.

Исправление: проверьте конфигурацию Spark и версию пакета pip:

# Check the JAR version from Spark config
print("JAR packages:", spark.conf.get("spark.jars.packages"))

# Check the pip package version
import synapse.ml.lightgbm
print("Pip package version:", synapse.ml.lightgbm.__version__)

Если версии не соответствуют, установите соответствующий пакет pip:

%pip install synapseml==1.0.8

Связанный контент

• Использование LightGBM с SynapseML
• Использование служб ИИ с SynapseML
• Выполнение одной и той же задачи классификации с SynapseML и без нее
• Управление библиотеками Apache Spark в Fabric