Интеграция Dataverse с корпоративными данными в Microsoft Fabric с помощью архитектуры медальона

В этой эталонной архитектуре показано, как интегрировать Dataverse с корпоративными данными в Microsoft Fabric для создания управляемой платформы аналитики с помощью подхода медальона. Архитектура медальона упорядочивает данные в бронзовые, серебряные и золотые слои, чтобы команды могли сохранять необработанные исходные данные, создавать соответствующие и многократно используемые наборы данных, а также публиковать курированные модели, оптимизированные для аналитики и искусственного интеллекта. Узнайте больше о принципах медальонной архитектуры в разделе Что такое медальонная архитектура озера-хранилища?

Диаграмма архитектуры

В общих чертах архитектура разделяет функции приёма данных, преобразования, управления и потребления так, чтобы каждый слой мог масштабироваться независимо. Вы отражаете данные Dataverse в OneLake с помощью функции "Связь с Fabric", принимаете данные из отличных от Dataverse источников через конвейеры Fabric и публикуете курируемые продукты данных с помощью управляемых моделей золотого уровня для использования в масштабах предприятия.

На схеме показаны элементы управления удостоверениями и доступом в архитектуре. Данные поступают через зеркалирование Dataverse или внешнюю загрузку и проходят через бронзовый, серебряный и золотой слои. Power BI, Copilot, агенты данных и средства оперативной отчетности используют данные.

Относитесь к управлению как к перекрестной проблеме, а не к одному компоненту архитектуры. Идентификация, управление доступом на основе ролей (RBAC), происхождение, конвейеры развертывания и сертифицированные семантические модели объединяются для управления доступом, управления изменениями и сохранения доверия в жизненном цикле данных.

Рабочий процесс

Рабочий процесс охватывает весь жизненный цикл данных — от безопасного доступа и приема данных до преобразования, управляемого моделирования, потребления и развертывания.

Идентификация и безопасность

Сначала настройте средства управления идентификацией и доступом, чтобы каждый последующий артефакт Fabric наследовал регламентированную модель безопасности.

• Используйте единый вход с помощью JumpCloud в качестве поставщика удостоверений, интегрированного с Microsoft Entra ID, для доступа к Power Platform, Fabric и инструментам потребления.

• Применение управления доступом на основе ролей (RBAC) в рабочей области, элемент (Lakehouse, Warehouse, Eventhouse, семантическая модель), объект (таблица, представление, файл) и уровни строк и столбцов (RLS, CLS).

• Приведите группы безопасности в соответствие с ролями пользователей: инженеры, разработчики BI-решений, специалисты по анализу данных, бизнес-аналитики и разработчики приложений.

Прием: бронзовый уровень

Бронзовый уровень использует два канала приема данных: управляемое зеркалирование Dataverse с помощью функции "Связь с Fabric" и прием через конвейеры для источников, отличных от Dataverse.

• Связанное озеро-хранилище Dataverse (бронзовый уровень): развертывается и полностью управляется с помощью функции "Связь с Fabric". Отражает таблицы Dataverse в OneLake с добавочными обновлениями и форматами Parquet/Delta, выступая в роли авторитетного источника необработанных данных системы учета для доменов Dataverse.

• Озеро-хранилище Enterprise Data Warehouse (EDW) (бронзовый уровень — источники, отличные от Dataverse): принимает данные из внешних систем, таких как файлы, API и будущие исходные приложения. Конвейеры данных Fabric поддерживают пакетную обработку и оркестрацию ELT (извлечение, загрузка, преобразование), а Dataflow Gen2 поддерживает бескодовый и малокодовый прием, если необходимо.

Трансформация и соответствие: серебряный уровень

Примените логику преобразования с помощью правильной рабочей нагрузки Fabric для каждой задачи:

• Конвейеры для оркестрации, зависимостей и планирования.
• Dataflow Gen2 для low-code-настройки сущностей, декодирования наборов параметров и упрощенной проверки соответствия.
• Ноутбуки (Spark/Python) для выполнения масштабируемых соединений, историзации данных (SCD) и продвинутой инженерии данных.

Silver (согласованный): Нормализуйте сущности Dataverse (например, Account, Contact, Opportunity, Activities). Преобразуйте сущности в плоскую структуру. Материализовать операции поиска. Сопоставьте наборы параметров с доступными для чтения метками. Выровняйте идентификаторы между системами. Стандартизируйте источники данных, отличные от Dataverse, с использованием общих измерений и согласованных ключей.

Курированное моделирование: золотой уровень

Золотой уровень (схема звезды): курируемые модели фактов и измерений, согласованные с бизнес-доменами (например, "Продажи", "Воронка продаж", "Полный профиль клиента", "Сервис"). Проектирование, ориентированное на производительность, предусматривает использование суррогатных ключей, измерений даты, вырожденных измерений при необходимости, а также стратегий инкрементальной загрузки или секционирования. На схеме показан золотой слой в виде озера, так как экономичность является основной целью проектирования. Вы также можете использовать хранилище, если для рабочей нагрузки требуется более сильное реляционное моделирование, разработка SQL-first или функции управления, относящиеся к хранилищу.

После курирования продуктов данных золотого уровня семантические модели предоставляют управляемый бизнес-слой, используемый средствами отчетности, Copilot и агентами данных.

Семантические модели и потребление

• Создавайте семантические модели на уровне Gold, сертифицируйте их и управляйте ими для использования в Power BI, сценариях Copilot и агентах данных.

• Используйте связанное озеро-хранилище Dataverse для операционной отчетности с минимальной подготовкой данных. Используйте серебро или золото для корпоративного содержимого для поддержки согласованности и масштабирования.

DevOps и жизненный цикл

Управление жизненным циклом охватывает весь рабочий процесс, благодаря чему артефакты согласованно переходят от разработки в продуктивную среду с использованием системы контроля версий, валидации и конфигурации для конкретной среды.

• Интеграция системы управления версиями Git (Azure DevOps) с рабочей областью разработки для управления версиями и одноранговой проверки.

• Используйте конвейеры развертывания Fabric для автоматизации перехода от разработки к тестированию и далее к промышленной среде с переменными для конкретных сред, правилами для источников данных и этапами проверки.

• Четко распределите ответственность за артефакты: инженерная команда отвечает за конвейеры и блокноты, BI-команда — за семантические модели, а владельцы продукта управляют ключевыми показателями эффективности (KPI) и определениями.

Результатом является управляемый аналитический конвейер, в котором сохраняются необработанные исходные данные, согласованные данные можно повторно использовать, подготовленные модели заслуживают доверия, а сценарии потребления данных поддерживаются сертифицированными семантическими слоями.

Подробности сценария

Основная цель: Создать масштабируемую, удобную в сопровождении аналитическую основу для источников Dataverse и источников, не относящихся к Dataverse, которая ускоряет сценарии Power Platform и подготавливает слой данных для Copilot и корпоративной BI-аналитики.

К ключевым целям относятся:

• Согласованные продукты данных (золотой уровень со схемой звезды), обеспечивающие работу сертифицированных семантических моделей.
• Прямая интеграция с Power Apps (Dataverse) с помощью Link to Fabric (управляемое зеркалирование).
• Управляемая разработка с интеграцией с Git и конвейерами развертывания Fabric (Dev → Test → Production).
• Безопасный, с учетом ролей доступ на уровне рабочей области, элемента, объекта и столбца.
• Централизованные данные из нескольких систем.
• Улучшена чистота данных, организация и безопасность.
• Поддержка сценариев Copilot и аналитики.
• Выбор инструментов и конфигураций с учётом затрат.

Архитектура преобразует эти цели в управляемый шаблон Fabric: данные Dataverse поступают с помощью функции "Связь с Fabric", а внешние источники принимаются через конвейеры Fabric. Оба потока данных проходят обработку на бронзовом, серебряном и золотом уровнях, после чего предоставляются через сертифицированные семантические модели для Power BI, Copilot, агентов данных и операционной отчетности.

Components

Следующие компоненты составляют эталонную архитектуру и обеспечивают идентификацию, прием данных, преобразование, управление, управление жизненным циклом и потребление данных.

Рекомендации

Эти соображения реализуют основы Power Platform Well-Architected — набора руководящих принципов, повышающих качество рабочей нагрузки. Дополнительные сведения см. в разделе Microsoft Power Platform Well-Architected.

Reliability

Эта архитектура предназначена для обеспечения согласованной, устойчивой доставки данных между приемом, преобразованием и уровнями потребления.

• Управляемое зеркалирование «Связь с Fabric» уменьшает необходимость в пользовательской логике извлечения и снижает риск сбоев при приеме.

• Архитектура Medallion изолирует сбои в бронзовом, серебряном и золотом слоях, так что проблемы в одном слое не нарушают работу всего аналитического конвейера.

• Инкрементальная обработка, секционированный ELT и оркестрация с учетом зависимостей сокращают время обновления и конкуренцию за ресурсы.

• Мониторинг, оповещения и обработка повторных попыток помогают выявлять сбои в конвейере на раннем этапе и восстанавливаться без ручной доработки.

Security

Реализуйте безопасность в качестве первоклассной проблемы и последовательно применяйте ее к уровням идентификации, данных и аналитики.

• Используйте единый вход с помощью JumpCloud в качестве поставщика удостоверений, интегрированного с Microsoft Entra ID, для доступа к Power Platform, Fabric и утвержденным инструментам потребления.

• Обеспечьте применение RBAC на уровне рабочей области, элемента, объекта и семантической модели для поддержки доступа с наименьшими привилегиями в соответствии с корпоративными ролями пользователей.

• Используйте безопасность на уровне строк и уровне столбцов для защиты конфиденциальных бизнес-данных в семантических моделях и поддержке безопасного повторного использования в нескольких отчетах.

• Используйте метки конфиденциальности, подтверждение, происхождение и периодические проверки доступа, чтобы обеспечить надежный и соответствующий требованиям доступ к данным.

Операционная эффективность

Добейтесь операционного совершенства за счет стандартизации, автоматизации и четкого распределения зон ответственности на всех этапах жизненного цикла аналитики.

• Интеграция Git с Azure DevOps позволяет включить управление версиями, одноранговую проверку и возможность трассировки для артефактов Fabric.

• Используйте конвейеры развертывания Fabric для стандартизации продвижения между средой разработки, тестовой средой и рабочей средой, применения проверочных шлюзов и сокращения количества ошибок при ручном развертывании.

• Четко распределите зоны ответственности между инженерными, BI- и бизнес-ролями, чтобы повысить операционную ответственность.

• Определите владельцев, процессы устранения, происхождение данных и операционные инструкции для исключений качества данных, чтобы устранять проблемы до того, как они повлияют на сертифицированные модели.

Эффективность работы

Архитектура оптимизирует производительность на уровнях хранения, вычислений и семантики для поддержки как сценариев корпоративной бизнес-аналитики, так и сценариев Copilot.

• Форматы хранения Delta и Parquet обеспечивают эффективное проталкивание предикатов и масштабируемые операции соединения для крупных аналитических рабочих нагрузок.

• Схемы звезды золотого слоя используют суррогатные ключи, согласованные измерения и добавочные стратегии для повышения производительности запросов.

• Сертифицированные семантические модели с кэшированием и агрегированием снижают задержку запросов и выгружают повторяющиеся вычисления из базовых слоев данных.

• Приложение «Метрики емкости Fabric» отслеживает использование хранилища и вычислительных ресурсов, анализирует потребности в масштабировании и выявляет узкие места в производительности.

Оптимизация взаимодействия

Эта архитектура определяет удобство использования, доверие и производительность для потребителей данных, производителей и аналитиков.

• Сертифицированные семантические модели обеспечивают согласованную область ключевых показателей эффективности и бизнес-логики для утвержденных отчетов и возможностей, предоставляемых СИ.

• Направления преобразования, ориентированные на разные наборы навыков, такие как Dataflow Gen2 для создателей low-code решений и блокноты для инженеров, помогают командам эффективно работать в рамках единой платформы.

• Определения бизнес-глоссария и ключевых показателей эффективности, связанные с семантическими моделями, повышают интерпретацию и сокращают неоднозначность для бизнес-пользователей.

• Прямое создание отчетов на основе Linked Dataverse Lakehouse ограничено операционными сценариями, где допустима лишь минимальная обработка данных и не требуется единая корпоративная семантика.

В совокупности эти рекомендации помогают обеспечить надежность, безопасность, удобство сопровождения, экономическую эффективность, высокую производительность и простоту масштабирования архитектуры по мере роста ее использования.

Contributors

Корпорация Майкрософт поддерживает эту статью. Следующие авторы написали эту статью.

Основные авторы:

• Терра Гилберт, старший технический консультант

Связанные ресурсы

• Общие сведения о медальонной архитектуре озера-хранилища для Fabric с OneLake
• Автоматизируйте интеграцию Git с помощью сервисного субъекта в Azure DevOps
• Общие сведения о конвейерах развертывания