Перенос записных книжек из Azure Synapse Analytics в Fabric

Azure Synapse и Fabric поддерживают записные книжки. Перенос записной книжки из Azure Synapse в Fabric можно выполнить двумя разными способами:

  • Вариант 1. С помощью помощника по миграции записных книжек можно перенести записные книжки из Azure Synapse в Fabric с помощью более интерактивного и упрощенного интерфейса.
  • Вариант 2. Вы можете экспортировать записные книжки из Azure Synapse (IPynb) и импортировать их в Fabric (вручную).
  • Вариант 3. Вы можете использовать скрипт для экспорта записных книжек из Azure Synapse и импорта их в Fabric с помощью API.

Сведения о записных книжках см. в статье Различия между Azure Synapse Spark и Fabric.

Предварительные требования

Если у вас еще нет рабочей области Fabric, создайте ее в своем арендаторе.

Вариант 1. Использование помощника по миграции

Вы можете использовать помощник миграции для миграции с Azure Synapse на Fabric. Он предназначен для предоставления интерактивного и упрощенного интерфейса для переноса записных книжек и связанных ресурсов.

Вариант 2. Экспорт и импорт записной книжки вручную

Экспорт записной книжки из Azure Synapse:

  1. Откройте Synapse Studio: войдите в Azure. Перейдите в рабочую область Azure Synapse и откройте Synapse Studio.
  2. Найдите записную книгу: в Synapse Studio найдите записную книгу, которую хотите экспортировать, в разделе Записные книги вашей рабочей области.
  3. Экспорт блокнота:
    • Щелкните правой кнопкой мыши записную книжку, которую вы хотите экспортировать.
    • Выберите Экспорт>Блокнот (.ipynb).
    • Выберите папку назначения и укажите имя экспортированного файла записной книжки.
  4. После завершения экспорта файл записной книжки должен быть доступен для отправки.

Снимок экрана, показывающий экспорт Блокнота Synapse.

Чтобы импортировать экспортированный блокнот в Fabric:

  1. Откройте рабочую область Fabric: войдите в Fabric и откройте свою рабочую область.
  2. Перейдите на главную страницу Data Engineering: оказавшись в рабочей области Fabric, перейдите на главную страницу Data Engineering.
  3. Импорт блокнота:
    • Выберите "Импорт записной книжки". Вы можете импортировать одну или несколько существующих записных книжек с локального компьютера в рабочую область Fabric.
    • Найдите файлы записной книжки IPynb, скачанные из Azure Synapse Analytics.
    • Выберите файлы записной книжки и нажмите кнопку "Отправить".
  4. Откройте и используйте записную книжку: после завершения импорта можно открыть и использовать записную книжку в рабочей области Fabric.

После импорта записной книжки проверьте зависимости записной книжки:

  • Убедитесь, что используется та же версия Spark.
  • Если вы используете записные книжки, на которые ссылается ссылка, можно использовать msparkutils также в Fabric. Однако при импорте записной книжки, ссылающейся на другую, необходимо также импортировать ее. Рабочая область Fabric пока не поддерживает папки, поэтому любые ссылки на записные книжки в других папках должны быть обновлены. При необходимости можно использовать ресурсы записной книжки.
  • Если записная книжка использует определенные библиотеки и конфигурации пула, необходимо также импортировать эти библиотеки и (или) конфигурации.
  • Связанные службы, подключения к источникам данных и точки монтирования.

Вариант 3. Использование API Fabric

Выполните следующие ключевые действия для миграции:

  • Предварительные требования.
  • Шаг 1: Экспорт записных книжек из Azure Synapse в OneLake (.ipynb).
  • Шаг 2. Автоматически импортируйте записные книжки в Fabric с помощью API Fabric.

Предварительные требования

Предварительные требования включают действия, которые необходимо учитывать перед началом миграции записной книжки в Fabric.

  • Рабочая область Fabric.
  • Если у вас его еще нет, создайте Fabric lakehouse в рабочей области.

Шаг 1. Экспорт записных книжек из рабочей области Azure Synapse

Основное внимание уделяется экспорту записных книжек из рабочей области Azure Synapse в OneLake в формате IPynb. Этот процесс выглядит следующим образом:

  • 1.1) Импорт записной книжки для миграции в рабочую область Fabric. Эта записная книжка экспортирует все записные книжки из заданной рабочей области Azure Synapse в промежуточный каталог в OneLake. API Synapse используется для экспорта записных книжек.
  • 1.2) Настройте параметры в первой команде для экспорта записных книжек в промежуточное хранилище (OneLake). Следующий фрагмент кода используется для настройки параметров источника и назначения. Обязательно замените их собственными значениями.
# Azure config
azure_client_id = "<client_id>"
azure_tenant_id = "<tenant_id>"
azure_client_secret = "<client_secret>"

# Azure Synapse workspace config
synapse_workspace_name = "<synapse_workspace_name>"

# Fabric config
workspace_id = "<workspace_id>"
lakehouse_id = "<lakehouse_id>"
export_folder_name = f"export/{synapse_workspace_name}"
prefix = "" # this prefix is used during import {prefix}{notebook_name}

output_folder = f"abfss://{workspace_id}@onelake.dfs.fabric.microsoft.com/{lakehouse_id}/Files/{export_folder_name}"
  • 1.3) Запустите первые две ячейки записной книжки экспорта и импорта, чтобы экспортировать записные книжки в OneLake. После завершения ячеек создается эта структура папок в промежуточном выходном каталоге.

Снимок экрана: экспорт записной книжки в OneLake.

Шаг 2. Импорт записных книжек в Fabric

Шаг 2 заключается в том, что записные книжки импортируются из промежуточного хранилища в рабочую область Fabric. Этот процесс выглядит следующим образом:

  • 2.1) Проверьте конфигурации на шаге 1.2, чтобы убедиться, что указаны правильные значения рабочей области Fabric и префикса для импорта записных книжек.
  • 2.2) Запустите третью ячейку ноутбука для экспорта и импорта, чтобы импортировать все ноутбуки из промежуточного хранилища.

Связанный контент

  • Last updated on