Подходы к миграции данных

Правильный подход к переносу данных из внешней системы CRM в Microsoft Dataverse зависит от размера и сложности данных. В этой статье описаны простые, средние и сложные стратегии миграции, рекомендации по каждому сценарию и рекомендации по планированию и выполнению успешной миграции.

Простая миграция данных

Определение:

  • Объем данных: до 1 ГБ или менее 50 000 записей.
  • Сложность данных: минимальная сложность с неструктурированными структурами данных и без сложных связей между таблицами.

Подход:

  • Оценка данных. Определение соответствующих таблиц и столбцов для миграции. Выполните базовые проверки качества данных.
  • Экспорт и преобразование. Используйте такие средства, как экспорты Excel или CSV. Применение базовых преобразований с помощью Power Query.
  • Импорт в Dataverse: используйте встроенный мастер импорта Dataverse. Дополнительные сведения см. в разделе "Импорт данных".
  • Проверка. Выполните точечные проверки для подтверждения целостности и функциональности данных.

Миграция средних данных

Определение:

  • Объем данных: от 1 ГБ до 50 ГБ или 50 000 до 500 000 записей.
  • Сложность данных: средняя сложность с иерархическими или реляционными данными (например, учетными записями с связанными контактами и возможностями).

Подход:

  • Подробная оценка данных: просмотрите схему, проверьте связи и определите проблемы с качеством данных.
  • Transform: используйте средства извлечения, преобразования, загрузки (ETL), такие как Фабрика данных Azure для преобразований и сопоставлений.
  • Пакетная миграция: выполните миграцию в пакетах, чтобы сократить время простоя и нагрузку системы.
  • Тестирование и проверка. Запуск тестовой миграции в промежуточной среде для проверки точности и связей.
  • Мониторинг. С помощью телеметрии можно быстро отслеживать производительность и устранять проблемы.

Сложная миграция данных

Определение:

  • Объем данных: более 50 ГБ или более 500 000 записей.
  • Сложность данных: высокая— включает пользовательские таблицы, сложные связи и взаимозависимые рабочие процессы.

Подход:

  • Комплексный анализ: тщательно просмотрите исходную схему, зависимости и настройки.
  • Специализированные средства: Используйте масштабируемые решения, такие как Фабрика данных Azure, SSIS (SQL Server Integration Services), Azure Synapse Analytics, Microsoft Fabric или пользовательские решения для миграции для обработки больших объемов данных.
  • Настраиваемая разработка: создание скриптов или приложений для обработки API, сложных связей и логики рабочего процесса.
  • Поэтапная миграция: Разбиение миграции на этапы. Запуск пилотных проектов до полного развертывания для снижения риска.
  • Непрерывная проверка. Тестирование на каждом этапе, чтобы обеспечить точность данных и непрерывность бизнес-процессов.
  • Оптимизация после миграции: оптимизация конфигураций Dataverse, рабочих процессов и связей после миграции для повышения производительности.

Следующий шаг

В следующей статье описывается стратегическая роль промежуточной базы данных в крупномасштабных и сложных миграциях данных. Вместо передачи данных непосредственно из исходной системы в целевую среду процесс вводит промежуточный слой. Этот шаблон повышает качество данных, обеспечивает целостность и снижает вероятность ошибок во время миграции.

Использование промежуточной базы данных для миграции данных

  • Last updated on