Перенос Azure Data Lake Analytics в Azure Synapse Analytics

Azure Data Lake Analytics будет прекращена 29 февраля 2024 г. Дополнительные сведения см. в этом объявлении.

Если вы уже используете Azure Data Lake Analytics, вы можете создать план миграции в Azure Synapse Analytics для вашей организации.

Корпорация Майкрософт запустила Azure Synapse Analytics, которая направлена на объединение озер данных и хранилища данных для уникальной аналитики больших данных. Это поможет вам собрать и проанализировать данные для решения неэффективности данных и помочь командам работать вместе. Кроме того, интеграция Synapse с Машинным обучением Azure и Power BI позволит организациям получать аналитические сведения от своих данных и выполнять машинное обучение для всех своих смарт-приложений.

В документе показано, как выполнить миграцию из Azure Data Lake Analytics в Azure Synapse Analytics.

Рекомендуемый подход

• Шаг 1. Оценка готовности
• Шаг 2. Подготовка к миграции
• Шаг 3. Перенос данных и рабочих нагрузок приложений
• Шаг 4. Переход из Azure Data Lake Analytics в Azure Synapse Analytics

Шаг 1. Оценка готовности

1. Ознакомьтесь с Apache Spark в Azure Synapse Analytics и изучите основные различия Azure Data Lake Analytics и Spark в Azure Synapse Analytics.

   Товар	Аналитика Azure Data Lake	Spark в Synapse
   Ценообразование	За единицу аналитического часа	За виртуальное ядро в час
   Двигатель	Аналитика Azure Data Lake	Apache Spark
   Язык программирования по умолчанию	U-SQL	T-SQL, Python, Scala, Spark SQL и .NET
   Источники данных	Azure Data Lake Storage	Хранилище BLOB-объектов Azure, Azure Data Lake Storage

2. Просмотрите анкету для оценки миграции и перечислить возможные риски для рассмотрения.

Шаг 2. Подготовка к миграции

1. Определите задания и данные, которые будут перенесены.

   • Воспользуйтесь этой возможностью, чтобы удалить работы, которые вы больше не используете. Если вы не планируете переносить все задания одновременно, на этот раз определите логические группы заданий, которые можно перенести на этапах.
   • Оцените размер данных и изучите формат данных Apache Spark. Просмотрите скрипты U-SQL и оцените усилия по перезаписи скриптов и изучите концепцию кода Apache Spark.

2. Определите влияние миграции на ваш бизнес. Например, можно ли позволить себе любое время простоя во время миграции.

3. Создайте план миграции.

Шаг 3. Перенос данных и рабочей нагрузки приложения

1. Перенос данных из Azure Data Lake Storage 1-го поколения в Azure Data Lake Storage 2-го поколения.
   
   Azure Data Lake Storage Gen1 будет выведено из эксплуатации в феврале 2024 года, см. официальное объявление. Мы рекомендуем сначала перенести данные в 2-е поколение. Ознакомьтесь с форматами данных Apache Spark для разработчиков U-SQL Azure Data Lake Analytics и перемещайте файлы и данные, хранящиеся в таблицах U-SQL, чтобы сделать их доступными для Azure Synapse Analytics. Дополнительные сведения о руководстве по миграции см. здесь.

2. Преобразуйте скрипты U-SQL в Spark. Ознакомьтесь с основными понятиями кода Apache Spark для разработчиков U-SQL Azure Data Lake Analytics, чтобы преобразовать скрипты U-SQL в Spark.

3. Преобразуйте или создайте заново конвейеры оркестрации заданий для новой программы Spark.

Шаг 4. Переход от Azure Data Lake Analytics к Azure Synapse Analytics

Убедившись, что ваши приложения и рабочие нагрузки стабильны, вы можете начать использовать Azure Synapse Analytics для удовлетворения бизнес-сценариев. Отключите все оставшиеся конвейеры, работающие в Azure Data Lake Analytics, и удалите учетные записи Azure Data Lake Analytics.

Анкета для оценки миграции

Дальнейшие шаги

• Azure Synapse Analytics