Миграция Azure Data Lake Analytics в Azure Synapse Analytics

Data Lake Analytics Azure будет прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.

Если вы уже используете Data Lake Analytics Azure, вы можете создать план миграции для Azure Synapse Analytics для вашей организации.

Корпорация Майкрософт запустила Azure Synapse Analytics, которая направлена на объединение озер данных и хранилища данных для уникальной аналитики больших данных. Это поможет вам собрать и проанализировать данные для устранения неэффективности данных, а также поможет вашим командам работать вместе. Кроме того, интеграция Synapse с Машинным обучением Azure и Power BI позволит организациям получать аналитические сведения из своих данных и выполнять машинное обучение во всех интеллектуальных приложениях.

В этом документе показано, как осуществить миграцию с Azure Data Lake Analytics в Azure Synapse Analytics.

Рекомендуемый подход

• Шаг 1. Оценка готовности
• Шаг 2. Подготовка к миграции
• Шаг 3. Перенос данных и рабочих нагрузок приложений
• Шаг 4. Прямая миграция с Azure Data Lake Analytics в Azure Synapse Analytics

Шаг 1. Оценка готовности

1. Ознакомьтесь с Apache Spark в Azure Synapse Analytics и ознакомьтесь с основными различиями azure Data Lake Analytics и Spark в Azure Synapse Analytics.

   Элемент	Аналитика озера данных Azure	Spark в Synapse
   Цены	За единицу аналитики в час	За виртуальное ядро в час
   Подсистема	Аналитика озера данных Azure	Apache Spark
   Язык программирования по умолчанию	U-SQL	T-SQL, Python, Scala, Spark SQL и .NET
   обозревателе решений	Azure Data Lake Storage	Хранилище BLOB-объектов Azure, Azure Data Lake Storage

2. Изучите анкету для оценки миграции и примите во внимание возможные риски.

Шаг 2. Подготовка к миграции

1. Определите задания и данные, которые будут перенесены.

   • Воспользуйтесь этой возможностью, чтобы очистить задания, которые больше не используются. Если вы не планируете выполнить одновременную миграцию всех заданий, воспользуйтесь этим временем для того, чтобы определить логические группы заданий, которые можно перенести поэтапно.
   • Оцените объем данных и получите представление о формате данных Apache Spark. Просмотрите скрипты U-SQL, оцените усилия по перезаписи скриптов и изучите концепцию кода Apache Spark.

2. Определите влияние миграции на ваш бизнес. Например, решите, сможете ли вы позволить себе простой во время миграции.

3. Создайте план миграции.

Шаг 3. Перенос данных и рабочих нагрузок приложений

1. Перенесите данные из Azure Data Lake Storage 1-го поколения в Azure Data Lake Storage 2-го поколения.
   
   Azure Data Lake Storage 1-го поколения выйдут на пенсию в феврале 2024 г., см. официальное объявление. Рекомендуется в первую очередь перенести данные в службу 2-го поколения. Изучите статью Основные сведения о форматах данных Apache Spark для разработчиков U-SQL и перенесите файл и данные, хранящиеся в таблицах U-SQL, чтобы сделать их доступными в Azure Synapse Analytics. Дополнительные сведения о руководстве по переносу можно найти здесь.

2. Преобразуйте скрипты U-SQL в Spark. Ознакомьтесь со статьей Основные сведения о коде Apache Spark для разработчиков U-SQL, чтобы понять, как преобразовать скрипты U-SQL в Spark.

3. Преобразуйте или повторно создайте конвейеры оркестрации заданий для новой программы Spark.

Шаг 4. Прямая миграция с Azure Data Lake Analytics в Azure Synapse Analytics

Убедитесь в том, что приложения и рабочие нагрузки стабильно работают и после этого приступайте к использованию Azure Synapse Analytics для удовлетворения потребностей ваших бизнес-сценариев. Отключите все оставшиеся конвейеры, которые выполняются в Azure Data Lake Analytics, и снимите с учета учетные записи Azure Data Lake Analytics.

Анкета для оценки миграции

Дальнейшие действия

• Azure Synapse Analytics