Помощник по миграции Spark Synapse в Fabric Spark (предварительная версия)

Замечание

Помощник по миграции с Spark Synapse на Fabric в настоящее время находится в стадии общедоступного предварительного просмотра.

Используйте Помощник по миграции Spark Synapse в Fabric для переноса рабочих нагрузок Spark из Azure Synapse Analytics в Microsoft Fabric через управляемый рабочий процесс.

В общедоступной предварительной версии ассистент переносит пулы Spark, записные книжки, определения заданий Spark и базы данных Data Lake.

Миграция не перемещает данные. Помощник копирует и преобразует поддерживаемые элементы Spark для Fabric и создает отчет о миграции для каждого запуска.

Помощник поддерживает миграцию следующих элементов:

  • Пулы Spark переносятся в пулы Fabric и соответствующие среды.
  • Перенесены записные книжки и связанные с ними среды.
  • Определения заданий Spark (SJD) переносятся с связанными средами.
  • Базы данных Lake сопоставляются со схемами Fabric и управляемые таблицы Delta переносятся путем создания ярлыков каталога OneLake.

Для сведений о миграции баз данных озера база данных Synapse по умолчанию сопоставляется с dbo схемой в Fabric, а дополнительные базы данных переносятся в виде схем в том же Lakehouse.

Как работает миграция?

Чтобы перенести пулы Apache Spark, записные книжки, определения задач Spark и базы данных озера в Fabric, помощник проведет вас по короткому процессу выполнения.

Копирование и преобразование элементов

Во-первых, помощник помогает найти исходную рабочую область, содержащую элементы проектирования данных, которые требуется перенести. Затем он копирует и преобразует поддерживаемые элементы, чтобы они могли работать в рабочей области Fabric.

Мониторинг миграции

Во время миграции можно отслеживать ход выполнения и просматривать сводку перенесенных элементов проектирования данных. После завершения миграции новые элементы доступны в рабочей области Fabric.

Начало работы с помощником по миграции

  1. Откройте рабочую область Fabric и выберите "Миграция " на панели инструментов.

  2. В мастере выберите элементы инженерии данных.

    Снимок экрана: миграция в структуру.

  3. Укажите исходные сведения о рабочей области Azure Synapse. Вы можете искать исходное рабочее пространство по подписке. Выбрав подписку, можно выбрать исходную область работы из этой подписки.

    • Введите Название миграции.
    • Выберите рабочую область"Подписка" и исходного источника.

    Снимок экрана: выбор источника.

  4. Выберите целевую рабочую область Fabric, в которой необходимо перенести элементы.

    Исходная рабочая область и целевая рабочая область Fabric, которые вы выбираете в мастер настройке, определяют направление миграции.

    Снимок экрана: выбор места назначения.

  5. Просмотрите доступные подключения шлюза данных, к которым можно получить доступ. При необходимости добавьте новое подключение.

    Снимок экрана: выбор или создание подключения шлюза данных.

    • Чтобы создать новое подключение, нажмите кнопку "Добавить".

    • Сервер и путь генерируются из учетной записи Azure Data Lake Storage 2-го поколения и контейнера по умолчанию для исходной рабочей области. Это значение необходимо, так как миграция озерной базы данных создает ярлыки к расположениям управляемых таблиц.

      Снимок экрана: новое подключение.

  6. При желании выберите подключение шлюза данных для этого этапа миграции.

    Замечание

    Если подключение шлюза не выбрано, базы данных не переносятся.

  7. Просмотрите сведения о миграции и нажмите кнопку "Далее".

    Снимок экрана: завершение и миграция.

    Закрытие диалогового окна на этом этапе позволяет отменить миграцию:

    Снимок экрана с кнопкой

  8. Выберите "Миграция ", чтобы начать миграцию.

    Снимок экрана: кнопка миграции.

  9. Отслеживайте ход миграции. Во время миграции можно просмотреть состояние и сводку перенесенных элементов.

    • Спиннер указывает, что миграция запущена.

    • Уведомление в правом верхнем углу указывает ход выполнения.

    • Доступна ссылка на отчет о миграции .

    • Через несколько секунд вы автоматически перенаправляетесь в отчет.

      Снимок экрана: перенос элементов Spark.

      Замечание

      Также можно получить доступ к отчету о миграции из Центра мониторинга. Задание миграции можно найти по имени миграции или отфильтровать по типу элемента определения задания Spark.

  10. Выберите ссылку "Отчет о миграции " на предыдущем шаге, чтобы просмотреть результаты.

    Снимок экрана: сводка миграции.

    Замечание

    Выберите "Сведения", чтобы просмотреть дополнительные сведения об ошибках или предупреждениях, возникших во время миграции.

Ограничения общедоступной предварительной версии

  • Рабочие области Synapse в виртуальной сети (VNET) нельзя перенести.
  • Конфигурации Spark, пользовательские библиотеки и пользовательские параметры исполнителя не переносятся.
  • Форматы таблиц, отличные от Delta, не поддерживаются.

Связанный контент

  • Last updated on