Перенос пулов Spark из Azure Synapse Analytics в Fabric

Хотя Azure Synapse предоставляет пулы Spark, Fabric предлагает начальные пулы и настраиваемые пулы. Начальный пул может быть хорошим выбором, если у вас есть один пул без пользовательских конфигураций или библиотек в Azure Synapse, и если размер среднего узла соответствует вашим требованиям. Однако если вы ищете большую гибкость в конфигурациях пула Spark, мы рекомендуем использовать настраиваемые пулы. Ниже приведены два варианта:

• Вариант 1. С помощью помощника по миграции можно перенести записные книжки из Azure Synapse в Fabric с помощью более интерактивного и упрощенного интерфейса.
• Вариант 2. Перемещение пула Spark в пул рабочей области по умолчанию.
• Вариант 3. Перемещение пула Spark в настраиваемую среду в Fabric.

Если у вас несколько пулов Spark и вы планируете переместить их в одну и ту же Fabric рабочую область, мы рекомендуем использовать вариант 3, создав несколько пользовательских сред и пулов.

Сведения о пулах Spark см. в статье Различия между Azure Synapse Spark и Fabric.

Предварительные требования

Если у вас еще нет рабочей области Fabric, создайте ее в своем арендаторе.

Вариант 1. Использование помощника по миграции

Вы можете использовать помощник миграции для миграции с Azure Synapse на Fabric. Он предназначен для предоставления интерактивного и упрощенного интерфейса для переноса записных книжек и связанных ресурсов.

Вариант 2. Из пула Spark в пул по умолчанию рабочей области

Вы можете создать настраиваемый пул Spark из рабочей области Fabric и использовать его в качестве пула по умолчанию в рабочей области. Пул по умолчанию используется всеми записными книжками и определениями заданий Spark в той же рабочей области.

Чтобы перейти из существующего пула Spark из Azure Synapse в пул рабочей области по умолчанию:

1. Доступ к рабочей области Azure Synapse: вход в Azure. Перейдите в рабочую область Azure Synapse, перейдите в пулы аналитики и выберите пулы Apache Spark.
2. Найдите пул Spark: из пулов Apache Spark найдите пул Spark, который требуется переместить в Fabric, и проверьте свойства пула.
3. Получение свойств: получение свойств пула Spark, таких как версия Apache Spark, семейство размеров узлов, размер узла или автомасштабирование. См. соображения относительно пула Spark, чтобы узнать о различиях.
4. Создайте пользовательский пул Spark в Fabric:
   • Перейдите в рабочую область Fabric и выберите параметры рабочей области.
   • Перейдите в раздел Инжиниринг данных/Наука и выберите параметры Spark.
   • На вкладке Пул в разделе Пул по умолчанию для рабочего пространства разверните раскрывающееся меню и выберите пункт «Создать Новый пул».
   • Создайте пользовательский пул с соответствующими целевыми значениями. Заполните имя, семейство узлов, размер узла, параметры автомасштабирования и динамического выделения исполнителя.
5. Выберите версию среды выполнения:
   • Перейдите на вкладку "Среда" и выберите требуемую версию среды выполнения. Ознакомьтесь с доступными средами выполнения здесь.
   • Отключите параметр Использовать среду по умолчанию.

Вариант 3. Из пула Spark в настраиваемую среду

С помощью пользовательских сред можно настроить пользовательские свойства и библиотеки Spark. Чтобы создать настраиваемую среду, выполните приведенные действия.

1. Доступ к рабочей области Azure Synapse: вход в Azure. Перейдите в рабочую область Azure Synapse, перейдите в пулы аналитики и выберите пулы Apache Spark.
2. Найдите пул Spark: из пулов Apache Spark найдите пул Spark, который требуется переместить в Fabric, и проверьте свойства пула.
3. Получение свойств: получение свойств пула Spark, таких как версия Apache Spark, семейство размеров узлов, размер узла или автомасштабирование. См. соображения относительно пула Spark, чтобы узнать о различиях.
4. Создайте пользовательский пул Spark:
   • Перейдите в рабочую область Fabric и выберите параметры рабочей области.
   • Перейдите в раздел Инжиниринг данных/Наука и выберите параметры Spark.
   • На вкладке Пул в разделе Пул по умолчанию для рабочего пространства разверните раскрывающееся меню и выберите пункт «Создать Новый пул».
   • Создайте пользовательский пул с соответствующими целевыми значениями. Заполните имя, семейство узлов, размер узла, параметры автомасштабирования и динамического выделения исполнителя.
5. Создайте элемент среды , если у вас его нет.
6. Настройка вычислений Spark:
   • В Среде перейдите в Spark Compute>Вычисления.
   • Выберите только что созданный пул для новой среды.
   • Вы можете настроить ядра драйверов и исполнителей и память.
7. Выберите версию среды выполнения для окружения. Ознакомьтесь с доступными средами выполнения здесь.
8. Нажмите кнопку "Сохранить и опубликовать изменения".

Подробнее о создании и использовании Среды.

Связанный контент

• Перенос конфигураций Spark
• Перенос библиотек Spark
• Перенос блокнотов Azure Synapse в Fabric