Планирование миграции: выделенные SQL-пулы Azure Synapse Analytics в хранилище данных Fabric

Область применения:✅ хранилище в Microsoft Fabric

В этой статье описана стратегия, рекомендации и методы миграции хранилища данных в выделенных пулах SQL Azure Synapse Analytics в хранилище Microsoft Fabric.

Введение в миграцию

Как корпорация Майкрософт представила Microsoft Fabric, решение для аналитики SaaS для предприятий, которое предлагает полный набор служб, включая фабрику данных, Инжиниринг данных, Хранилище данных, Обработка и анализ данных, аналитику в режиме реального времени и Power BI.

В этой статье рассматриваются параметры миграции схемы (DDL), миграции кода базы данных (DML) и миграции данных. Корпорация Майкрософт предлагает несколько вариантов, и здесь мы подробно обсудим каждый вариант и укажите рекомендации по каким из этих вариантов следует рассмотреть для вашего сценария. В этой статье используется эталонный показатель отрасли TPC-DS для иллюстрации и тестирования производительности. Фактический результат может отличаться в зависимости от многих факторов, включая тип данных, типы данных, ширину таблиц, задержку источника данных и т. д.

Подготовка к переносу

Тщательно спланируйте проект миграции перед началом работы и убедитесь, что схема, код и данные совместимы с хранилищем Fabric. Существуют некоторые ограничения , которые необходимо учитывать. Оцените работу по рефакторингу несовместимых элементов, а также любые другие ресурсы, необходимые перед осуществлением миграции.

Другая ключевая цель планирования заключается в настройке дизайна, чтобы гарантировать, что ваше решение использует все преимущества высокой производительности запросов, предоставляемых хранилищем Fabric. Проектирование хранилищ данных с учетом масштабирования требует уникальных шаблонов проектирования, поэтому традиционные подходы не всегда хорошо для этого подходят. Ознакомьтесь с рекомендациями по производительности, потому что хотя некоторые изменения в проектировании можно внести после миграции, внесение изменений на более раннем этапе процесса поможет сэкономить время и усилия. Миграция из одной технологии или среды в другую всегда является важной целью.

На следующей схеме показан жизненный цикл миграции с основными столпами, состоящими из оценки и анализа, планирования и проектирования, миграции, мониторинга и управления, оптимизации и модернизации, с соответствующими задачами в каждом столпе для планирования и подготовки к плавной миграции.

Руководство по миграции

Считайте следующие шаги руководством для планирования миграции из выделенных SQL пулов Synapse в Fabric Warehouse.

1. Оценка и оценка
   1. Определите цели и мотивы. Определите четкие нужные результаты.
   2. Обнаружение, оценка и базовый план существующей архитектуры.
   3. Определите ключевых заинтересованных лиц и спонсоров.
   4. Определите область переноса.
      1. Начните с малого и простого, подготовьтесь к нескольким небольшим миграциям.
      2. Начните отслеживать и документировать все этапы процесса.
      3. Составьте список данных и процессов для миграции.
      4. Определите изменения модели данных (при их наличии).
      5. Настройте рабочую область "Fabric".
   5. Каковы ваши навыки/предпочтения?
      1. Автоматизируйте все, что возможно.
      2. Используйте встроенные средства и функции Azure для уменьшения усилий по миграции.
   6. Сразу же проведите обучение персонала на новой платформе.
      1. Определите потребности в повышении квалификации и учебные ресурсы, включая Microsoft Learn.
2. Планирование и проектирование
   1. Определите нужную архитектуру.
   2. Выберите метод или инструменты для миграции, чтобы выполнить следующие задачи:
      1. Извлечение данных из источника.
      2. Преобразование схемы (DDL), включая метаданные для таблиц и представлений
      3. Прием данных, включая исторические данные.
         1. При необходимости переработать модель данных, используя производительность и масштабируемость новой платформы.
      4. Миграция кода базы данных (DML).
         1. Произведите миграцию или рефакторинг хранимых процедур и бизнес-процессов.
   3. Инвентаризация и извлечение функций безопасности и разрешений объектов из источника.
   4. Проектирование и планирование замены и изменения существующих процессов ETL/ELT для добавочной нагрузки.
      1. Создайте параллельные процессы ETL/ELT в новой среде.
   5. Подготовьте подробный план миграции.
      1. Сопоставляйте текущее состояние с новым требуемым состоянием.
3. мигрировать
   1. Выполните миграцию схемы, данных и кода.
      1. Извлечение данных из источника.
      2. Конвертация схемы (DDL)
      3. Прием данных
      4. Миграция кода базы данных (DML).
   2. При необходимости масштабируйте выделенные ресурсы пула SQL временно, чтобы ускорить миграцию.
   3. Примените безопасность и разрешения.
   4. Перенос существующих процессов ETL/ELT для добавочной нагрузки.
      1. Произведите миграцию или рефакторинг процессов инкрементальной загрузки ETL/ELT.
      2. Тестирование и сравнение параллельных процессов инкрементной нагрузки.
   5. При необходимости адаптируйте подробный план миграции.
4. Мониторинг и управление
   1. Параллельно выполните сравнение с исходной средой.
      1. Тестирование приложений, платформ бизнес-аналитики и средств запросов.
      2. Протестируйте и оптимизируйте производительность запросов.
      3. Отслеживайте затраты, безопасность и производительность и управляйте ими.
   2. Контрольный показатель управления и оценка.
5. Оптимизация и модернизация
   1. Когда бизнес будет готов, перенесите приложения и основные платформы отчетности в Fabric.
      1. Масштабирование ресурсов вверх и вниз по мере перемещения рабочих нагрузок из Azure Synapse Analytics в Microsoft Fabric.
      2. Создайте повторяемый шаблон из опыта, полученного для будущих миграций. Итерировать.
      3. Определение возможностей оптимизации затрат, безопасности, масштабируемости и эффективности эксплуатации
      4. Определите возможности модернизации ресурсов данных с помощью новейших функций Fabric.

"Перенос и адаптация" или модернизация?

Как правило, существуют два типа сценариев миграции, независимо от цели и области запланированной миграции: перемещение без изменений или поэтапный подход, включающий изменения архитектуры и кода.

Методика переноса и изменения

При миграции типа 'lift and shift', существующая модель данных переносится с минимальными изменениями в новое хранилище Fabric. Этот подход сводит к минимуму риск и время миграции, сокращая новую работу, необходимую для реализации преимуществ миграции.

Миграция Lift-and-Shift подходит для следующих сценариев:

• У вас есть существующая среда с небольшим количеством витрин данных для переноса.
• У вас есть существующая среда с данными, которые уже организованы в хорошо разработанную звездообразную или снежинку-схему.
• Вы испытываете давление времени и затрат из-за перехода на склад компании Fabric.

В итоге этот подход хорошо подходит для этих рабочих нагрузок, оптимизированных для текущей среды выделенных пулов SQL Synapse, поэтому не требует значительных изменений в Fabric.

Модернизация в поэтапном подходе с изменениями архитектуры

Если устаревшее хранилище развивалось в течение длительного времени, возможно, его потребуется модернизировать для обеспечения необходимых уровней производительности.

Вы также можете изменить архитектуру, чтобы воспользоваться преимуществами новых подсистем и функций, доступных в рабочей области Fabric.

Различия в проектировании: выделенные пулы SQL Synapse и хранилище Fabric

Рассмотрим следующие различия в хранилище данных Azure Synapse и Microsoft Fabric, сравнивая выделенные пулы SQL с хранилищем Fabric.

Вопросы, касающиеся таблицы

При переносе таблиц между разными средами обычно только необработанные данные и метаданные физически переносятся. Другие элементы базы данных из исходной системы, такие как индексы, обычно не переносятся, так как они могут оказаться не нужны или реализованы по-другому в новой среде.

Оптимизация производительности в исходной среде, например индексы, указывает, где можно добавить оптимизацию производительности в новой среде, но теперь Fabric автоматически заботится об этом.

Рекомендации по T-SQL

Существует несколько различий синтаксиса языка обработки данных (DML). Пожалуйста, обратитесь к интерфейсу T-SQL в хранилище данных Fabric. Рассмотрите также оценку кода при выборе методов миграции для кода базы данных (DML).

В зависимости от различий четности во время миграции может потребоваться переписать части кода DML T-SQL.

Различия в сопоставлении типов данных

В хранилище Fabric существует несколько различий типов данных. Дополнительные сведения см. в разделе "Типы данных" в Microsoft Fabric.

В следующей таблице представлено сопоставление поддерживаемых типов данных из выделенных пулов SQL Synapse с хранилищем Fabric.

#B0 #C1 не сохраняет дополнительные сведения о смещении в часовом поясе, которые хранятся в другом месте. Поскольку в настоящее время тип данных datetimeoffset не поддерживается в хранилище Fabric, данные о смещении часового пояса должны быть извлечены в отдельный столбец.

Связанный контент

• Создание хранилища в Microsoft Fabric
• Рекомендации по производительности хранилища данных Fabric
• Безопасность хранения данных в Microsoft Fabric
• Блог. Сопоставление выделенных пулов SQL Azure Synapse с вычислительными ресурсами хранилища данных Fabric