Визуализация и отчеты по миграциям Netezza

Эта статья является частью четырех из семи частей серии, которая содержит рекомендации по миграции из Netezza в Azure Synapse Analytics. Основное внимание этой статьи уделяется рекомендациям по визуализации и отчетности.

Доступ к Azure Synapse Analytics с помощью microsoft и сторонних средств бизнес-аналитики

Организации получают доступ к хранилищам данных и киоскам данных с помощью различных средств и приложений бизнес-аналитики. Ниже приведены некоторые примеры продуктов бизнес-аналитики:

  • Средства Microsoft BI, такие как Power BI.

  • Приложения Office, такие как электронные таблицы Microsoft Excel.

  • Сторонние средства бизнес-аналитики от разных поставщиков.

  • Пользовательские приложения аналитики с встроенными функциями средств бизнес-аналитики.

  • Операционные приложения, поддерживающие бизнес-аналитику по запросу, выполняя запросы и отчеты на платформе бизнес-аналитики, которая, в свою очередь, запрашивает данные в хранилище данных или на платформе данных.

  • Интерактивные средства разработки для анализа данных, такие как записные книжки Azure Synapse Spark, Azure Machine Learning, RStudio и записные книжки Jupyter.

При переносе визуализации и отчетов в рамках миграции хранилища данных все существующие запросы, отчеты и панели мониторинга, созданные продуктами БИЗНЕС-аналитики, должны выполняться в новой среде. Продукты бизнес-аналитики должны получить те же результаты в Azure Synapse, что и в устаревшей среде хранилища данных.

Для согласованных результатов после миграции все средства бизнес-аналитики и зависимости приложений должны работать после переноса схемы хранилища данных и данных в Azure Synapse. Зависимости включают менее видимые аспекты, такие как доступ и безопасность. Когда вы рассматриваете вопросы доступа и безопасности, убедитесь, что вы корректно выполняете миграцию.

  • Аутентификация пользователей для входа в хранилище данных и витрины данных в Azure Synapse.

  • Все пользователи в Azure Synapse.

  • Все группы пользователей в Azure Synapse.

  • Все роли в Azure Synapse.

  • Все привилегии авторизации, управляющие контролем доступа в Azure Synapse.

  • Назначения пользователей, ролей и привилегий для зеркального отображения того, что вы имели в существующем хранилище данных перед миграцией. Рассмотрим пример.

    • Привилегии объекта базы данных, назначенные ролям
    • Роли, назначенные группам пользователей
    • Пользователи, назначенные группам пользователей и (или) ролям

Доступ и безопасность важны для доступа к данным в перенесенной системе и подробно рассматриваются в статье "Безопасность, доступ и операции для миграций Netezza".

Подсказка

Для успешной миграции отчетов и визуализаций необходимо перенести существующих пользователей, групп пользователей, ролей и назначений привилегий безопасности доступа.

Перенесите все необходимые данные, чтобы гарантировать, что отчеты и панели мониторинга, запрашивающие данные в устаревшей среде, создают те же результаты в Azure Synapse.

Бизнес-пользователи ожидают простой миграции без сюрпризов, которые уничтожают свою уверенность в перенесенной системе в Azure Synapse. Постарайтесь развеять любые опасения ваших пользователей через хорошее общение. Ваши пользователи ожидают, что:

  • Структура таблиц остается одинаковой при непосредственном обращении к запросам.

  • Имена таблиц и столбцов остаются неизменными при непосредственном обращении к запросам. Например, вычисляемые поля, определенные для столбцов в средствах бизнес-аналитики, не должны давать сбой при создании сводных отчетов.

  • Исторический анализ остается неизменным.

  • Если это возможно, типы данных остаются неизменными.

  • Поведение запроса остается неизменным.

  • Драйверы ODBC/JDBC проверяются, чтобы гарантировать, что поведение запросов остается неизменным.

Подсказка

Взаимодействие и участие бизнес-пользователей критически важны для успеха.

Если BI инструменты запрашивают представления в базе данных хранилища данных или витрине данных, будут ли эти представления работать после миграции? Некоторые представления могут не работать, если существуют собственные расширения SQL, относящиеся к устаревшим СУБД хранилища данных, которые не имеют эквивалента в Azure Synapse. В этом случае необходимо знать об этих несовместимости и найти способ их устранения.

Подсказка

Представления и SQL-запросы с использованием проприетарных расширений SQL-запросов могут привести к несовместимости, влияющей на отчеты и панели мониторинга бизнес-аналитики.

Другие проблемы, такие как поведение NULL значений или варианты типов данных на платформах СУБД, необходимо проверить, чтобы исключить даже незначительные различия в результатах вычисления. Свести к минимуму эти проблемы и предпринять все необходимые действия, чтобы защитить бизнес-пользователей от их влияния. В зависимости от вашей устаревшей среды хранилища данных, сторонние средства могут помочь скрыть различия между устаревшими и новыми средами, чтобы инструменты бизнес-аналитики и приложения работали без изменений.

Тестирование крайне важно для визуализации и миграции отчетов. Вам нужен набор тестов и согласованные тестовые данные для запуска и повторного запуска тестов в обеих средах. Тестовый ремень также полезен, и некоторые из них упоминаются в этом руководстве. Кроме того, важно включить бизнес-пользователей в тестирование миграции, чтобы поддерживать высокий уровень доверия и обеспечить их участие в проекте.

Подсказка

Используйте повторяемые тесты для успешной миграции отчетов, панелей мониторинга и других визуализаций.

Возможно, вы думаете о смене средств бизнес-аналитики, например, о миграции в Power BI. Соблазн заключается в том, чтобы внести такие изменения в то же время, когда вы переносите схему, данные, обработку ETL и многое другое. Тем не менее, чтобы свести к минимуму риск, лучше сначала перейти на Azure Synapse и наладить работу всего, прежде чем приступить к дальнейшей модернизации.

Если существующие средства бизнес-аналитики работают локально, убедитесь, что они могут подключаться к Azure Synapse через брандмауэр, чтобы вы могли выполнять сравнения в обеих средах. Кроме того, если поставщик существующих средств бизнес-аналитики предлагает свой продукт в Azure, его можно попробовать. То же самое применяется для приложений, работающих в локальной среде, которые внедряют бизнес-аналитику или вызывают сервер бизнес-аналитики по запросу, например запрашивая "отчет без головы" с данными XML или JSON.

Есть много, чтобы подумать здесь, так что давайте рассмотрим подробнее.

Использование виртуализации данных для минимизации влияния миграции на средства бизнес-аналитики и отчеты

Во время миграции может потребоваться выполнить долгосрочные требования, такие как открытие бизнес-запросов, добавление отсутствующих данных или реализация новых функций. Однако такие изменения могут повлиять на доступ средства бизнес-аналитики к хранилищу данных, особенно если изменение включает структурные изменения в модель данных. Если вы хотите внедрить гибкий метод моделирования данных или реализовать структурные изменения, сделайте это после миграции.

Одним из способов свести к минимуму влияние изменений схемы или других структурных изменений в средствах бизнес-аналитики является внедрение виртуализации данных между инструментами бизнес-аналитики и хранилищем данных и киосками данных. На следующей схеме показано, как виртуализация данных может скрыть миграцию от пользователей.

Схема, показывающая, как скрыть миграцию пользователей с помощью виртуализации данных.

Виртуализация данных устраняет зависимость между бизнес-пользователями, использующими средства самообслуживания бизнес-аналитики, и физической схемой базового хранилища данных и витрин данных, которые находятся в процессе миграции.

Подсказка

Виртуализация данных позволяет защитить бизнес-пользователей от структурных изменений во время миграции, чтобы они не знали об этих изменениях. Структурные изменения включают изменения схемы, которые настраивают модель данных для Azure Synapse.

При виртуализации данных любые изменения схемы, внесенные во время миграции в Azure Synapse, например для оптимизации производительности, могут быть скрыты от бизнес-пользователей, так как у них есть доступ только к виртуальным таблицам на уровне виртуализации данных. При внесении структурных изменений необходимо только обновить сопоставления между хранилищем данных или киосками данных и любыми виртуальными таблицами. При виртуализации данных пользователи не знают о структурных изменениях. Партнеры Майкрософт предоставляют программное обеспечение виртуализации данных.

Определение высокоприоритетных отчетов, которые нужно мигрировать в первую очередь.

Ключевой вопрос при переносе существующих отчетов и панелей мониторинга в Azure Synapse — это то, что нужно сначала перенести. Некоторые факторы могут привести к решению, например:

  • Использование

  • Ценность для бизнеса

  • Простота миграции

  • Стратегия миграции данных

В следующих разделах рассматриваются эти факторы.

Независимо от вашего решения, он должен включать бизнес-пользователей, так как они создают отчеты, панели мониторинга и другие визуализации, а также принимать бизнес-решения на основе аналитических сведений от этих элементов. Все получают выгоду, когда вы можете:

  • Легко переносить отчеты и панели мониторинга;
  • Перенос отчетов и панелей мониторинга с минимальными усилиями и
  • Используйте средства бизнес-аналитики с Azure Synapse вместо устаревшей системы хранилища данных и получите аналогичные отчеты, панели мониторинга и другие виды визуализации.

Перенос отчетов в зависимости от использования

Использование часто является индикатором бизнес-ценности. Неиспользуемые отчеты и панели мониторинга явно не способствуют бизнес-решениям или предлагают текущее значение. Если у вас нет способа узнать, какие отчеты и панели мониторинга не используются, можно использовать один из нескольких средств бизнес-аналитики, которые предоставляют статистику использования.

Если ваше устаревшее хранилище данных уже много лет работает, велика вероятность, что у вас есть сотни, если не тысячи, отчетов. Стоит скомпилировать инвентаризацию отчетов и панелей мониторинга и определить их бизнес-назначение и статистику использования.

Для неиспользуемых отчетов определите, следует ли вывести их из эксплуатации, чтобы сократить усилия по миграции. Ключевой вопрос при принятии решения о выводе из эксплуатации неиспользуемого отчета заключается в том, не используется ли отчет потому, что люди не знают о его существовании, потому что он не приносит бизнес-ценности, или потому что его заменил другой отчет.

Перенос отчетов в зависимости от бизнес-ценности

Одно лишь использование не всегда хорошо отражает бизнес-ценность. Возможно, вы хотите рассмотреть степень, в которой аналитические сведения отчета способствуют повышению ценности бизнеса. Один из способов сделать это заключается в оценке рентабельности каждого бизнес-решения, которое зависит от отчета и степени зависимости. Однако эта информация вряд ли будет легко доступна в большинстве организаций.

Другим способом оценки бизнес-ценности является анализ выравнивания отчета с бизнес-стратегией. Бизнес-стратегия, определяемая вашим руководителем, обычно определяет стратегические бизнес-цели (SBOS), ключевые показатели эффективности (KPI), целевые показатели эффективности, которые необходимо достичь, и кто отвечает за достижение этих целей. Вы можете классифицировать отчет по тому, каким стратегическим бизнес-объективам он способствует, таким как сокращение мошенничества, улучшение взаимодействия с клиентами и оптимизация бизнес-операций. Затем можно определить приоритеты для миграции отчетов и панелей мониторинга, связанных с целями высокого приоритета. Таким образом, начальная миграция может обеспечить ценность бизнеса в стратегической области.

Другой способ оценить ценность бизнеса — классифицировать отчеты и панели мониторинга как операционные, тактические или стратегические, чтобы определить, на каком уровне они используются. Для SBOs требуется участие на всех этих уровнях. Зная, какие отчеты и панели мониторинга используются, на каком уровне и с какими целями они связаны, вы можете сосредоточить начальную миграцию на высокоприоритетную бизнес-ценность. Для оценки отчетов и панелей мониторинга можно использовать следующую целевую таблицу бизнес-стратегии .

Уровень Имя отчета или панели мониторинга Бизнес-цель Используемый отдел Частота использования Приоритет бизнеса
стратегический
тактический
Операционный

Инструменты обнаружения метаданных, такие как Azure Data Catalog, позволяют бизнес-пользователям отмечать и оценивать источники данных, обогащая метаданные, чтобы упростить их обнаружение и классификацию. Вы можете использовать метаданные для отчета или дашборда, чтобы понять его бизнес-ценность. Без таких средств понимание вклада отчетов и панелей мониторинга в ценность бизнеса, скорее всего, будет задачей, требующей много времени, независимо от того, выполняется ли перенос.

Перенос отчетов в соответствии со стратегией миграции данных

Если ваша стратегия миграции основана на переносе витрин данных в первую очередь, то порядок миграции витрин данных будет влиять на последовательность переноса отчетов и дашбордов. Если ваша стратегия основана на бизнес-ценности, порядок переноса витрин данных в Azure Synapse будет отражать бизнес-приоритеты. Средства обнаружения метаданных могут помочь вам реализовать стратегию, показывая, какие таблицы хранилищ данных предоставляют данные для каких отчетов.

Подсказка

Стратегия миграции данных влияет на то, какие отчеты и визуализации переносятся сначала.

Проблемы несоответствий при миграции, которые могут повлиять на отчеты и визуализацию данных.

Средства бизнес-аналитики создают отчеты, панели мониторинга и другие визуализации путем выдачи sql-запросов, обращаюющихся к физическим таблицам и (или) представлениям в хранилище данных или на платформе данных. При переносе устаревшего хранилища данных в Azure Synapse несколько факторов могут повлиять на простоту миграции отчетов, панелей мониторинга и других визуализаций. К этим факторам относятся:

  • Несовместимости схем между окружениями.

  • Несовместимость SQL между средами.

Несовместимости схем

Во время миграции несовместимость схемы в таблицах хранилища данных или дата-мартов, которые предоставляют данные для отчетов, панелей мониторинга и других визуализаций, могут возникнуть:

  • Нестандартные типы таблиц в устаревших СУБД хранилища данных, которые не имеют эквивалента в Azure Synapse.

  • Типы данных в устаревших СУБД хранилища данных, которые не имеют эквивалента в Azure Synapse.

В большинстве случаев существует обходное решение для несовместимостей. Например, можно перенести данные в неподдерживаемом типе таблицы в стандартную таблицу с соответствующими типами данных и индексированными или секционированными в столбце даты и времени. Аналогичным образом можно представить неподдерживаемые типы данных в другом типе столбца и выполнять вычисления в Azure Synapse для достижения таких же результатов.

Подсказка

К несовместимостям схемы относятся устаревшие типы таблиц СУБД хранилища данных и типы данных, которые не поддерживаются в Azure Synapse.

Чтобы определить отчеты, затронутые несовместимыми со схемой, выполните запросы по системному каталогу старого хранилища данных, чтобы определить таблицы с неподдерживаемыми типами данных. Затем можно использовать метаданные из средства бизнес-аналитики для идентификации отчетов, обращаюющихся к данным в этих таблицах. Дополнительные сведения о том, как определить несовместимость типа объекта, см. в разделе "Неподдерживаемые типы объектов базы данных Netezza".

Подсказка

Запросите системный каталог устаревших СУБД хранилища, чтобы определить несовместимость схемы с Azure Synapse.

Влияние несовместимости схемы на отчеты, панели мониторинга и другие визуализации может быть меньше, чем вы думаете, так как многие средства бизнес-аналитики не поддерживают менее универсальные типы данных. В результате в устаревшем хранилище данных уже могут быть представления, которые преобразуют неподдерживаемые типы данных в более универсальные типы.

Несовместимость SQL

Во время миграции несовместимость SQL, скорее всего, влияет на любой отчет, панель мониторинга или другую визуализацию в приложении или инструменте, который:

  • Обращается к устаревшим представлениям СУБД хранилища данных, включая собственные функции SQL, которые не имеют эквивалента в Azure Synapse.

  • Выполняет запросы SQL, содержащие собственные функции SQL, специфичные для SQL-диалекта вашей устаревшей среды, которые не имеют эквивалента в Azure Synapse.

Оцените влияние несовместимостей SQL на ваш портфель отчетов

Портфель отчетов может включать внедренные службы запросов, отчеты, панели мониторинга и другие визуализации. Не полагайтесь на документацию, связанную с этими элементами, чтобы понять, как несовместимость с SQL может повлиять на перенос вашего портфеля отчетов в Azure Synapse. Для оценки влияния несовместимости SQL необходимо использовать более точный способ.

Использование инструкций EXPLAIN для поиска несовместимости SQL

Вы можете найти несовместимость SQL, запросив системную _v_qryhist таблицу, чтобы просмотреть последние действия SQL в устаревшем хранилище данных Netezza. Дополнительные сведения см. в таблице журнала запросов. Используйте скрипт для извлечения репрезентативного набора инструкций SQL в файл. Затем префиксируйте каждое SQL заявление с помощью EXPLAIN инструкции и выполните эти EXPLAIN инструкции в Azure Synapse. Все инструкции SQL, содержащие собственные неподдерживаемые расширения SQL, будут отклонены средой Azure Synapse при выполнении инструкций EXPLAIN. Этот подход позволяет оценить степень несовместимости SQL.

Метаданные из устаревших СУБД хранилища данных также могут помочь определить несовместимые представления. Как и раньше, захватите представительный набор SQL-запросов, добавьте к каждому из них оператор EXPLAIN, и запустите эти EXPLAIN запросы в Azure Synapse, чтобы определить представления с несовместимым SQL.

Подсказка

Оцените влияние несовместимостей SQL, собирая журнальные файлы вашей СУБД и выполняя инструкции EXPLAIN.

Тестовая миграция отчета и панели мониторинга в Azure Synapse Analytics

Ключевым элементом миграции хранилища данных является тестирование отчетов и панелей мониторинга в Azure Synapse для проверки работы миграции. Определите ряд тестов и набор необходимых результатов для каждого теста, который будет выполняться для проверки успешности. Проверьте и сравните отчеты и панели мониторинга в существующих и перенесенных системах хранилища данных:

  • Определите, повлияли ли какие-либо изменения схемы, внесенные во время миграции, на возможность запуска отчетов, результаты отчетов или соответствующие визуализации. Пример изменения схемы заключается в сопоставлении несовместимого типа данных с эквивалентным типом данных, поддерживаемым в Azure Synapse.

  • Убедитесь, что все пользователи перенесены.

  • Убедитесь, что все роли перенесены, и пользователи назначаются этим ролям.

  • Убедитесь в том, что все правила безопасности доступа к данным переносятся для обеспечения миграции списка управления доступом (ACL).

  • Убедитесь, что согласованные результаты для всех известных запросов, отчетов и панелей мониторинга.

  • Убедитесь, что данные и миграция ETL завершены и без ошибок.

  • Убедитесь, что конфиденциальность данных поддерживается.

  • Тестирование производительности и масштабируемости.

  • Тестирование аналитических функций.

Подсказка

Тестирование и настройка производительности для минимизации затрат на вычислительные ресурсы.

Сведения о переносе пользователей, групп пользователей, ролей и привилегий см. в статье "Безопасность, доступ и операции для миграций Netezza".

Автоматизировать тестирование как можно больше, чтобы сделать каждый тест повторяемым и поддерживать согласованный подход к оценке результатов теста. Автоматизация хорошо работает для известных регулярных отчетов и может управляться с помощью конвейеров Azure Synapse или оркестрации Фабрики данных Azure . Если у вас уже есть набор тестовых запросов для регрессионного тестирования, можно использовать существующие средства тестирования для автоматизации тестирования после миграции.

Подсказка

Рекомендуется создать автоматизированный набор тестов, чтобы сделать тесты повторяемыми.

Нерегламентированный анализ и составление отчетов являются более сложными задачами, требующими составления набора тестов, чтобы убедиться, что те же отчеты и панели мониторинга до и после миграции согласованы. Если вы найдете несоответствия, то возможность сравнения происхождения метаданных в исходных и перенесенных системах во время тестирования миграции становится важной. Это сравнение может выделить различия и определить, где возникают несоответствия, когда их трудно обнаружить другими средствами.

Подсказка

Используйте средства для сравнения происхождения метаданных для проверки результатов.

Анализ происхождения для понимания зависимостей между отчетами, информационными панелями и данными

Понимание происхождения является важным фактором успешной миграции отчетов и панелей мониторинга. Lineage — это метаданные, показывающие перемещение перенесенных данных, чтобы отслеживать путь от отчета или панели мониторинга вплоть до источника данных. Происхождение показывает, как данные перемещались из одной точки в другую, их расположение в хранилище данных и/или витрине данных, а также какие отчеты и панели мониторинга используют их. Линия данных может помочь понять, что происходит с данными по мере их перемещения через различные хранилища данных, такие как файлы и базы данных, процессы ETL и в отчеты. Когда у бизнес-пользователей есть доступ к происхождению данных, он повышает доверие, повышает уверенность и поддерживает обоснованные бизнес-решения.

Подсказка

Ваш способность доступа к метаданным и происхождению данных на всем пути от отчетов до источника данных крайне важна для проверки корректности работы перенесенных отчетов.

В средах хранилищ данных с несколькими поставщиками бизнес-аналитики в командах BI могут заниматься сопоставлением родословной данных. Например, если вы используете разных поставщиков для ETL, хранилища данных и отчетности, и у каждого поставщика есть собственный репозиторий метаданных, то выяснение, откуда в отчете появился определенный элемент данных, может быть сложным и трудоемким.

Подсказка

Средства, автоматизирующие сбор метаданных и показ сквозного происхождения в среде с несколькими поставщиками, полезны во время миграции.

Чтобы без перебоев перейти с устаревшего хранилища данных на Azure Synapse, используйте сквозную прослеживаемость данных, чтобы подтвердить эквивалентность миграции при сравнении отчетов и панелей мониторинга, генерируемых каждой средой. Чтобы показать комплексный путь данных, необходимо записать и интегрировать метаданные из нескольких инструментов. Доступ к средствам, поддерживающим автоматическое обнаружение метаданных и происхождение данных, помогает выявлять повторяющиеся отчеты или процессы ETL, а также находить отчеты, использующие устаревшие, сомнительные или несуществующие источники данных. Эти сведения можно использовать для уменьшения количества отчетов и процессов ETL, которые вы переносите.

Кроме того, можно сравнить сквозную версию отчета в Azure Synapse с сквозной линией одного отчета в устаревшей среде, чтобы проверить наличие различий, которые могли возникнуть случайно во время миграции. Этот тип сравнения является исключительно полезным, если необходимо проверить и проверить успешность миграции.

Визуализация происхождения данных не только сокращает время, усилия и ошибку в процессе миграции, но и обеспечивает более быструю миграцию.

С помощью автоматизированного средства обнаружения метаданных и средств для сравнения происхождения данных можно убедиться, что отчет в Azure Synapse, созданный из перенесенных данных, создается таким же образом в устаревшей среде. Эта возможность также помогает определить следующее:

  • Какие данные необходимо перенести, чтобы обеспечить успешное выполнение отчета и панели мониторинга в Azure Synapse.

  • Какие преобразования были и должны выполняться, чтобы обеспечить успешное выполнение в Azure Synapse.

  • Как уменьшить дублирование отчетов.

Автоматическое обнаружение метаданных и средства подготовки данных значительно упрощают процесс миграции, так как они помогают предприятиям больше знать о своих ресурсах данных и знать, что необходимо перенести в Azure Synapse для достижения надежной среды отчетности.

Некоторые инструменты ETL предоставляют возможность отслеживания данных от начала до конца, поэтому проверьте, обладает ли ваш существующий инструмент ETL этой возможностью, если вы планируете использовать его с Azure Synapse. Конвейеры Azure Synapse или Data Factory позволяют просматривать родословную в потоках сопоставления данных. Партнеры Майкрософт также предоставляют средства автоматического обнаружения метаданных, линейности данных и сравнения линейности.

Перенос семантических слоев средства бизнес-аналитики в Azure Synapse Analytics

Некоторые средства бизнес-аналитики имеют то, что называется семантической частью метаданных. Этот уровень упрощает доступ бизнес-пользователей к базовым физическим структурам данных в хранилище данных или базе данных mart. Уровень семантических метаданных упрощает доступ, предоставляя высокоуровневые объекты, такие как измерения, меры, иерархии, вычисляемые метрики и соединения. Высокоуровневые объекты используют бизнес-термины, знакомые бизнес-аналитикам, и сопоставляются с физическими структурами данных в хранилище данных или в киоске данных.

Подсказка

Некоторые средства бизнес-аналитики имеют семантические уровни, упрощающие доступ бизнес-пользователей к физическим структурам данных в хранилище данных или в киоске данных.

При миграции хранилища данных может потребоваться изменение имен столбцов или таблиц. Например, в IBM Netezza имена таблиц могут иметь значение "#". В Azure Synapse значение "#" разрешено только в качестве префикса в имя таблицы, указывающее временную таблицу. В IBM Netezza временные таблицы не обязательно имеют "#" в имени, но в Synapse они должны. Для изменения сопоставлений таблиц в таких случаях может потребоваться выполнить некоторые изменения.

Чтобы обеспечить согласованность в нескольких средствах бизнес-аналитики, создайте универсальный семантический уровень с помощью сервера виртуализации данных, который находится между инструментами бизнес-аналитики и приложениями и Azure Synapse. На сервере виртуализации данных используйте общие имена данных для высокоуровневых объектов, таких как измерения, меры, иерархии и соединения. Таким образом, вы настраиваете все, включая вычисляемые поля, соединения и сопоставления, один раз вместо настройки в каждом отдельном средстве. Затем укажите все средства бизнес-аналитики на сервере виртуализации данных.

Подсказка

Используйте виртуализацию данных, чтобы создать общий семантический уровень, чтобы гарантировать согласованность всех средств бизнес-аналитики в среде Azure Synapse.

Благодаря виртуализации данных вы получаете согласованность во всех средствах бизнес-аналитики и разбиваете зависимость между средствами бизнес-аналитики и приложениями и базовыми физическими структурами данных в Azure Synapse. Партнеры Microsoft могут помочь вам достичь согласованности в Azure. На следующей схеме показано, как общий словарь на сервере виртуализации данных позволяет нескольким средствам бизнес-аналитики видеть общий семантический слой.

Схема с общими именами и определениями данных, связанными с сервером виртуализации данных.

Выводы

При миграции хранилища данных методом "перенос без изменений" большинство отчетов, панелей мониторинга и других визуализаций должны легко переноситься.

Во время миграции из устаревшей среды можно обнаружить, что данные в устаревшем хранилище данных или витринах данных хранятся в неподдерживаемых типах данных. Кроме того, вы можете найти устаревшие представления хранилища данных, которые включают собственный SQL без эквивалента в Azure Synapse. В этом случае необходимо устранить эти проблемы, чтобы обеспечить успешную миграцию в Azure Synapse.

Не полагаться на документацию, поддерживаемую пользователем, чтобы определить, где находятся проблемы. Вместо этого используйте EXPLAIN инструкции, так как это быстрый и прагматичный способ выявления несовместимостей с SQL. Переработайте несовместимые инструкции SQL, чтобы обеспечить эквивалентную функциональность в Azure Synapse. Кроме того, используйте средства автоматического обнаружения метаданных и создания происхождения, чтобы понять зависимости, найти повторяющиеся отчеты и определить недопустимые отчеты, использующие устаревшие, сомнительные или несуществующие источники данных. Используйте инструменты сравнения происхождения данных, чтобы убедиться, что отчеты, работающие в вашей устаревшей среде хранилища данных, создаются идентично в Azure Synapse.

Не переносите отчеты, которые больше не используются. Данные об использовании средств бизнес-аналитики помогают определить, какие отчеты не используются. Для отчетов, панелей мониторинга и других визуализаций, которые вы хотите перенести, перенесите всех пользователей, группы пользователей, роли и привилегии. Если вы используете бизнес-ценность для реализации стратегии миграции отчетов, свяжите отчеты со стратегическими бизнес-целями и приоритетами, чтобы помочь определить вклад аналитических сведений отчета в конкретные цели. Если вы переносите витрину данных одну за другой, используйте метаданные, чтобы определить, какие отчеты зависят от таблиц и представлений, чтобы вы могли принять информированное решение о том, какие витрины данных сначала перенести.

Подсказка

Определите несовместимость рано, чтобы оценить степень усилий по миграции. Перенос пользователей, ролей групп и назначений привилегий. Переносить только те отчеты и визуализации, которые используются и приносят ценность для бизнеса.

Структурные изменения в модели данных хранилища данных или киоска данных могут произойти во время миграции. Рекомендуется использовать виртуализацию данных для защиты средств бизнес-аналитики и приложений от структурных изменений. С помощью виртуализации данных можно использовать общий словарь для определения общего семантического слоя. Общий семантический слой гарантирует согласованные общие имена данных, определения, метрики, иерархии и соединения во всех средствах и приложениях бизнес-аналитики в новой среде Azure Synapse.

Дальнейшие действия

Дополнительные сведения о минимизации проблем SQL см. в следующей статье этой серии: минимизация проблем SQL для миграции Netezza.