Общие сведения о переносе Azure Synapse Spark в Fabric

Используйте эту статью в качестве отправной точки для переноса рабочих нагрузок Spark Azure Synapse в Microsoft Fabric. Это поможет вам решить, какие рекомендации следует использовать, что можно перенести напрямую и где по-прежнему требуется рефакторинг вручную или проверка.

Fabric Data Engineering поддерживает lakehouse, notebook, элементы environment, Spark job definition и pipeline. Большинство миграций Synapse Spark включают в себя некоторую комбинацию миграции элементов, изменения доступа к данным, миграцию метаданных, рефакторинг кода и проверку после миграции.

Перед переносом

Прежде чем начать, убедитесь, что Fabric Data Engineering является подходящей платформой для вашей рабочей нагрузки. Просмотрите шаблоны среды выполнения Spark, модели безопасности, модели пула, модели среды и доступа к данным, от которой зависит текущая реализация Synapse.

Начните с следующих статей:

Если вы переносите существующую рабочую область Synapse, запланируйте создание или использование существующей рабочей области Fabric в качестве цели миграции. В этой статье не рассматривается полное развёртывание рабочей области или миграция рабочих нагрузок, не связанных с Spark.

Что можно перенести?

Миграция Synapse в Fabric обычно охватывает несколько рабочих потоков.

Область миграции Типичный охват Основное руководство
Планирование и оценка Инвентаризация пулов Spark, записных книжек, определений заданий Spark, баз данных озера, связанных служб и блокировщиков Этап 1. Стратегия миграции и планирование
Элементы, рефакторинг кода, пулы, конфигурации и библиотеки Блокноты, определения заданий Spark, пулы Spark, сопоставления баз данных озера, связанные службы, пути к файлам, API каталога, аутентификация коннектора, окружения, пользовательские пулы, свойства Spark, совместимость библиотек Этап 2. Миграция рабочей нагрузки Spark
Hive Metastore и метаданные озер данных Базы данных, таблицы, секции, управляемые и внешние таблицы Этап 3. Хранилище метаданных Hive и миграция данных
Доступ к данным и конвейеры Сочетания клавиш OneLake, доступ ADLS 2-го поколения, действия копирования, миграция конвейера Перенос данных и конвейеров
Безопасность, проверка и переключение Роли, соединения, регулирование, проверка, планирование перехода Этап 4. Миграция системы безопасности и управления

Выбор пути миграции

Используйте путь, соответствующий вашей цели.

  • Вам нужен комплексный план миграции. Начните с серии передовых практик из четырех фаз. Это лучшая точка входа для большинства рабочих миграций.
  • Вы хотите быстро переместить поддерживаемые элементы Spark. Начните с Spark Помощник по миграции, а затем используйте статьи рефакторинга и проверки, чтобы закрыть пробелы.
  • Вам нужна помощь только с одной областью. Используйте статьи, относящиеся к задачам, для записных книжек, определений заданий Spark, пулов, библиотек, метаданных хранилища метаданных Hive или миграции данных или конвейера.

Для большинства команд самый быстрый способ начать миграцию на Synapse Spark:

  1. Просмотрите Compare Fabric и Azure Synapse Spark: основные различия.
  2. Этап 1. Стратегия миграции и планирование.
  3. Запустите Spark Synapse to Fabric Spark Помощник по миграции, если применимо.
  4. Рефакторинг блокнотов, заданий Spark, пулов и библиотек, используя Этап 2: миграция рабочей нагрузки Spark.
  5. Проверьте доступ к данным, метаданные, безопасность и готовность к переходу, используя оставшиеся статьи лучших практик.

Снимок экрана: сценарии миграции.

Миграция из Synapse Spark в Fabric обычно является процессом копирования и адаптации, а не прямым перемещением на месте. Вы можете быстро перенести много ресурсов, но вы по-прежнему должны ожидать проверки поведения среды выполнения, замены интеграции Synapse и выравнивания безопасности, метаданных и операционных шаблонов с помощью Fabric.

Серия лучших практик

Используйте ряд рекомендаций для структурированного комплексного пути миграции:

Статьи о миграции, ориентированные на конкретные задачи

Если вам нужна целевая рекомендация для конкретной задачи миграции, используйте следующие статьи:

Связанный контент

  • Last updated on