Создание современной архитектуры платформы данных для SMB с помощью Microsoft Fabric и Azure Databricks

Azure Data Lake
Azure Databricks
Microsoft Fabric
Dynamics 365
Azure Data Factory
Microsoft Purview

Идеи решения

В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.

В этой статье описывается, как малые и средние предприятия (SMBS) могут создавать современную архитектуру платформы данных, сочетая существующие инвестиции в Azure Databricks с полностью управляемым программным обеспечением как услуга (SaaS), такой как Microsoft Fabric. Платформы данных SaaS — это комплексные решения для аналитики данных, которые интегрируются с такими инструментами, как Машинное обучение Azure, Средства Foundry, Power Platform, Microsoft Dynamics 365 и другие технологии Microsoft.

Упрощенная архитектура

Схема с упрощенной современной архитектурой платформы данных для SMB.

Скачайте файл Visio этой архитектуры.

Взаимодействие между Azure Databricks и Fabric обеспечивает надежное решение, которое сводит к минимуму фрагментацию данных при повышении аналитических возможностей.

Fabric предоставляет открытое и управляемое озеро данных с именем OneLake в качестве базового хранилища SaaS. OneLake и Azure Databricks используют формат Delta Parquet. Чтобы получить доступ к данным Azure Databricks из OneLake, вы можете создать в Fabric зеркальную копию Unity Catalog в Azure Databricks, чтобы интегрировать данные без репликации или перемещения данных. С помощью этой интеграции вы можете расширить системы аналитики Azure Databricks с помощью создания искусственного интеллекта на основе OneLake.

Вы также можете использовать режим Direct Lake в Power BI для данных Azure Databricks в OneLake. Режим Direct Lake упрощает слой обработки запросов и повышает производительность отчетов. OneLake поддерживает API для Azure Data Lake Storage и сохраняет все табличные данные в формате Delta Parquet.

Блокноты Azure Databricks могут использовать конечные точки OneLake для доступа к сохраненным данным. Этот интерфейс совпадает с доступом к данным через хранилище Fabric. С помощью этой интеграции можно использовать Fabric или Azure Databricks без изменения формы данных.

Архитектура

Схема, демонстрирующая полную современную архитектуру платформы данных для SMB.

Скачайте файл Visio этой архитектуры.

Поток данных

Следующий поток данных соответствует предыдущей схеме:

  1. Используйте существующие конвейеры Фабрика данных Azure для приема структурированных и неструктурированных данных из исходных систем и их посадки в существующем озере данных.

  2. Вы можете использовать источники данных Microsoft Dynamics 365 для создания централизованных панелей мониторинга бизнес-аналитики на дополненных наборах данных с помощью Azure Synapse Link или Microsoft Fabric Link. Верните объединенные и обработанные данные в Microsoft Dynamics 365 и Power BI для дальнейшего анализа.

  3. Потоковая передача данных может выполняться через Центры событий Azure или Центр Интернета вещей Azure в зависимости от протоколов, которые отправляют эти сообщения.

  4. В холодном контуре можно использовать Azure Databricks для загрузки потоковых данных в централизованное озеро данных для дальнейшего анализа, хранения и формирования отчетности. Затем эти данные можно объединить с другими источниками данных для пакетного анализа.

  5. В оперативном контуре можно анализировать данные в режиме реального времени и создавать оперативные панели мониторинга с помощью Microsoft Fabric Real-Time Intelligence.

  6. Существующие Azure Databricks записные книжки можно использовать для очистки данных, объединения и анализа. Рекомендуется использовать архитектуру медальона, например:

    • Бронза, которая хранит необработанные данные.
    • Silver, содержащий очищенные отфильтрованные данные.
    • Gold, в котором хранятся агрегированные данные, полезные для бизнес-аналитики.

  7. Для золотых данных или хранилища данных продолжайте использовать Azure Databricks SQL или создать зеркальное отображение каталога Azure Databricks Unity в Fabric. Чтобы включить отчеты и аналитику в Fabric lakehouse, создайте семантику модели явным образом и создайте Power BI панели мониторинга с помощью Direct Lake или DirectQuery для обеспечения высокой производительности. Дополнительные сведения см. в разделе Semantic models in Fabric.

Следующие средства используются для мониторинга затрат, управления, совместной работы, безопасности, производительности и затрат.

  • Обнаруживайте и управляйте:

    • Microsoft Purview предоставляет службы обнаружения данных, классификацию конфиденциальных данных и аналитические сведения об управлении в пределах хранилища данных.

    • Каталог Unity предоставляет централизованный контроль доступа, аудит, прослеживаемость и возможности поиска данных в рабочих областях Azure Databricks.

  • Ресурсы платформы:

    • Microsoft Entra ID предоставляет единый вход для Azure Databricks пользователей. Azure Databricks поддерживает автоматическую подготовку пользователей с использованием Microsoft Entra ID для:

      • Создание новых пользователей.
      • Назначьте каждому пользователю уровень доступа.
      • Удалите пользователей и отклоните им доступ.

    • Управление затратами Microsoft предоставляет службы управления финансовыми ресурсами для рабочих нагрузок Azure.

    • Azure Key Vault управляет секретами, ключами и сертификатами.

    • Azure Monitor собирает и анализирует данные телеметрии ресурсов Azure. Эта служба обеспечивает максимальную производительность и надежность путем упреждающего выявления проблем.

    • Microsoft Defender для облака обеспечивает управление безопасностью и защиту от угроз для Azure ресурсов и рабочих нагрузок.

    • Azure DevOps обеспечивает непрерывную интеграцию и непрерывное развертывание (CI/CD) и другие интегрированные функции управления версиями.

    • GitHub предоставляет возможности управления версиями и совместной разработки для управления конвейерами кода и развертывания.

Компоненты

  • Data Lake Storage — это масштабируемая служба хранения данных, предназначенная для структурированных и неструктурированных данных. В этой архитектуре Data Lake Storage служит базовой инфраструктурой для Delta Lake. Это основной уровень хранилища для необработанных и обработанных данных, который обеспечивает эффективное прием данных, хранение и извлечение для рабочих нагрузок аналитики и машинного обучения.

  • Фабрика данных — это облачная служба интеграции данных, которая управляет и автоматизирует перемещение и преобразование данных. В этой архитектуре фабрика данных создает, планирует и оркестрирует конвейеры данных, которые перемещают и преобразуют данные в различных хранилищах и службах.

  • Центры событий — это служба приема данных в режиме реального времени, которая может обрабатывать миллионы событий в секунду из любого источника. В этой архитектуре Центры событий фиксируют и передают большие объемы данных из различных источников, чтобы обеспечить аналитику в режиме реального времени и обработку на основе событий.

  • Центр Интернета вещей — это управляемая служба, которая улучшает безопасность и надежную связь между устройствами Интернета вещей и облаком. В этой архитектуре Центр Интернета вещей упрощает прием, обработку и анализ данных телеметрии с устройств Интернета вещей для предоставления аналитических сведений в режиме реального времени и включения удаленного мониторинга.

  • Microsoft Dataverse — это масштабируемая платформа данных, которую организации могут использовать для безопасного хранения и управления данными, используемыми бизнес-приложениями. В этой архитектуре он служит источником данных, который передается в конвейер аналитики через Azure Synapse Link или Microsoft Fabric Link.

    • Azure Synapse Link — это функция интеграции данных, которая подключает приложения Dynamics к Azure Synapse Analytics или Data Lake Storage. В этой архитектуре данные копируются практически в режиме реального времени из Dataverse в Data Lake Storage.

    • Microsoft Fabric Link — это функция интеграции данных, которая подключает приложения Dynamics к Fabric. В этой архитектуре данные из Dataverse реплицируются в Fabric практически в режиме реального времени.

  • Azure Databricks — это платформа аналитики на основе Apache Spark для обработки больших данных, машинного обучения и проектирования данных. В этой архитектуре выполняется очистка, преобразование и анализ данных с помощью уровней архитектуры медальона.

    • Delta Lake — это слой хранения с открытым исходным кодом, который обеспечивает поддержку транзакций ACID — атомарность, согласованность, изоляцию и долговечность — для Spark и рабочих нагрузок с большими данными. В этой архитектуре Delta Lake повышает надежность и производительность данных в озере данных.

    • Azure Databricks SQL — это служба аналитики на основе SQL, которая позволяет пользователям выполнять запросы SQL на данных, хранящихся в Azure Databricks. В этой архитектуре Azure Databricks SQL предоставляет мощный интерфейс SQL для запроса и анализа данных, что обеспечивает интерактивную аналитику.

    • ИИ и машинное обучение охватывают ряд технологий и служб, которые обеспечивают разработку, развертывание и управление моделями машинного обучения. В этой архитектуре службы искусственного интеллекта и машинного обучения создают, обучают и развертывают прогнозные модели. Эта возможность позволяет принимать решения на основе данных.

    • Unity Catalog — это решение для управления данными, которое обеспечивает централизованное управление доступом, аудит, происхождение и обнаружение данных в Azure Databricks рабочих областях. В этой архитектуре каталог Unity помогает обеспечить управление данными и безопасность, предоставляя точные средства управления доступом, аудит и отслеживание происхождения данных.

  • архитектура Medallion Lakehouse — это шаблон архитектуры данных, который упорядочивает данные в бронзовые, серебряные и золотые слои для эффективной обработки и анализа данных. В этой архитектуре она структурирует рабочие процессы обработки данных с помощью Data Lake Storage, Delta Lake и Azure Databricks для поддержки масштабируемой аналитики.

  • Fabric — это комплексная платформа данных, которая интегрирует различные службы данных и средства для обеспечения простого управления данными и аналитики. В этой архитектуре Fabric подключает и интегрирует данные из нескольких источников, что обеспечивает комплексный анализ данных и аналитические сведения в организации.

    • Real-Time аналитика — это возможность обработки данных, которая позволяет организациям получать, обрабатывать и анализировать данные в режиме реального времени. Real-Time Intelligence обрабатывает потоковую передачу данных из различных источников. В этой архитектуре она предоставляет аналитические сведения в режиме реального времени и позволяет автоматически выполнять действия на основе шаблонов данных.

    • Ярлыки OneLake создают линк между OneLake и другими источниками данных. В этой архитектуре они упрощают доступ к данным и управление и предоставляют единое представление данных в организации.

    • Fabric Copilot — это помощник на базе ИИ, интегрированный во все рабочие нагрузки Fabric. Она использует большие языковые модели (LLM) для взаимодействия пользователей с данными с помощью естественного языка. Это упрощает такие задачи, как создание SQL, DAX и преобразований, а также создание отчетов или панелей мониторинга. Copilot поддерживает контекст беседы, создает визуализации и помогает создавать конвейеры аналитики. Это помогает организациям ускорить анализ данных и оптимизировать рабочие процессы, не требуя глубокого опыта написания кода.

    • Агент данных Fabric — это интеллектуальная служба на основе LLM в Fabric, которую организации используют для запроса и анализа данных из нескольких источников, включая озёра-хранилища, хранилища данных, семантические модели, базы данных KQL и зеркальные базы данных, через единый интерфейс. Он поддерживает сложные многошаговые запросы, применяет пользовательскую логику с помощью примеров запросов и инструкций по агенту или источнику данных и публикуется в Microsoft 365 Copilot или Teams. Он предоставляет бизнес-пользователям безопасный, управляемый доступ к корпоративным данным на естественном языке.

  • Power BI — это служба бизнес-аналитики, которая предоставляет интерактивные визуализации и возможности бизнес-аналитики (BI). В этой архитектуре Power BI визуализирует данные из Fabric и Azure Databricks с помощью режима Direct Lake для повышения производительности.

  • Microsoft Purview — это единая служба управления данными, которая помогает организациям управлять данными в разных источниках. В этой архитектуре он каталогирует данные, отслеживает происхождение и обеспечивает соответствие в пространстве данных. Вы можете интегрировать каталог Unity в Purview для доступа к метаданным каталога Unity из Purview.

  • идентификатор Microsoft Entra ID — это облачное решение для управления удостоверениями и доступом, которое помогает обеспечить безопасный вход и доступ к ресурсам, таким как Microsoft 365, Azure и другие приложения SaaS. В этой архитектуре идентификатор Microsoft Entra предоставляет безопасное удостоверение и управление доступом для ресурсов Azure. Эта функция обеспечивает безопасный вход, управляет удостоверениями пользователей и помогает обеспечить авторизованный доступ к данным и ресурсам.

  • Cost Management — это набор средств FinOps, которые организации могут использовать для анализа, мониторинга и оптимизации Microsoft Cloud затрат. В этой архитектуре эти средства обеспечивают финансовое управление ресурсами Azure.

  • Key Vault — это облачная служба, которая хранит секреты и управляет ими, такими как ключи API, пароли, сертификаты и криптографические ключи. В этой архитектуре Azure Databricks может получить секреты из Key Vault для проверки подлинности и доступа к Data Lake Storage, что обеспечивает безопасную интеграцию.

  • Azure Monitor — это служба мониторинга, которая обеспечивает возможность полнотековых наблюдений для приложений, инфраструктуры и сетей. Azure Monitor позволяет пользователям собирать, анализировать и действовать с данными телеметрии из своих сред Azure и локальных сред. В этой архитектуре Azure Monitor обеспечивает производительность и надежность путем упреждающего выявления проблем.

  • Defender для облака — это платформа защиты приложений на основе облака, которая обеспечивает управление безопасностью и защиту от угроз в Azure, гибридных и многооблачных средах. В этой архитектуре Defender для облака защищает платформы данных и рабочие нагрузки путем выявления уязвимостей, обнаружения угроз и предоставления рекомендаций по безопасности в Azure ресурсах.

  • Azure DevOps — это набор средств разработки, поддерживающих культуру совместной работы и оптимизированные процессы. Эти средства позволяют разработчикам, руководителям проектов и участникам более эффективно разрабатывать программное обеспечение. Azure DevOps предоставляет интегрированные функции, такие как Azure Boards, Azure Repos, Azure Pipelines, Планы тестирования Azure и Артефакты Azure. Эти функции можно получить через веб-браузер или клиент интегрированной среды разработки. В этой архитектуре Azure DevOps поддерживает автоматическое развертывание и управление версиями для конвейеров данных и записных книжек.

  • GitHub — это облачная служба размещения репозитория Git, которая упрощает управление версиями и совместную работу для разработчиков. Частные лица и команды могут хранить код и управлять ими, отслеживать изменения и совместно работать над проектами. В этой архитектуре GitHub интегрируется с Azure DevOps для обеспечения автоматизации и соответствия рабочим процессам разработки и конвейерам развертывания для фабрики данных, Azure Databricks и Fabric.

Альтернативы

Альтернативные службы в этой архитектуре

  • пакетная загрузка

  • обработка Microsoft Dynamics 365

  • прием данных потоковой передачи

    • Выбор между Azure IoT и Event Hubs зависит от источника потоковых данных, от того, требуется ли клонирование и двусторонняя связь с устройствами, отправляющими данные, а также от того, какие протоколы необходимы. Дополнительные сведения см. в разделе Сравнение Центров Интернета вещей и Центров событий.

  • Озёрный Дом

    • Fabric lakehouse — это единая платформа архитектуры данных для управления структурированными и неструктурированными данными в открытом формате, в основном использующего файлы Delta Parquet. Он поддерживает два типа хранилища. Эти типы хранилища — это управляемые таблицы, такие как CSV, Parquet или Delta, и неуправляемые файлы. Управляемые таблицы автоматически распознаются. Неуправляемые файлы требуют явного создания таблицы. Платформа включает преобразования данных с помощью конечных точек Spark или SQL и интегрируется с другими компонентами Fabric. Эта интеграция позволяет совместно использовать данные без дублирования. Эта концепция соответствует общей архитектуре медальона, используемой в аналитических рабочих нагрузках. Дополнительные сведения см. в разделе Lakehouse в Fabric.

  • аналитика в режиме реального времени

    • Azure Databricks

      • Если у вас есть существующее решение Azure Databricks, вы можете продолжить использовать структурированную потоковую передачу Spark для аналитики в режиме реального времени. Дополнительные сведения см. в разделе Потоковая обработка в Azure Databricks.

    • Ткань

      • Если вы ранее использовали другие службы Azure для аналитики в режиме реального времени или не имели существующего решения аналитики в режиме реального времени, см. статью Real-time Intelligence и решения потоковой передачи Azure.

      • Структурированная потоковая обработка в Fabric использует Spark Structured Streaming для обработки и приема потоков данных в реальном времени в виде таблиц, в которые данные непрерывно добавляются. Структурированная потоковая передача поддерживает различные источники файлов, такие как CSV, JSON, ORC, Parquet и службы обмена сообщениями, такие как Kafka и Центры событий. Такой подход обеспечивает масштабируемую и отказоустойчивую обработку потоков, которая оптимизирует рабочие среды с высокой пропускной способностью. Дополнительные сведения см. в статье "Потоковая передача данных в озеро" с помощью Spark.

  • инженерии данных

  • хранилище данных или золотой слой

    • Вы можете использовать Fabric или Azure Databricks для создания хранилища на основе SQL или золотого слоя. Чтобы ознакомиться с руководством по выбору хранилища данных или решения для хранения уровня Gold в Fabric, см. раздел Выбор хранилища данных. Дополнительные сведения о типах хранилища SQL в Azure Databricks см. в типах хранилища SQL.

  • Наука о данных

    • Используйте Fabric или Azure Databricks для возможностей обработки и анализа данных. Дополнительные сведения о предложении Data Science в Fabric см. в разделе Data Science в Fabric. Дополнительные сведения о предложении Azure Databricks см. в разделе AI и машинное обучение на Azure Databricks.

    • Обработка и анализ данных структуры отличается от машинного обучения. Машинное обучение предоставляет комплексное решение для управления рабочими процессами и развертывания моделей машинного обучения. Платформа Fabric Data Science адаптирована для сценариев анализа и отчетности.

  • Power BI

    • Azure Databricks интегрирован с Power BI обеспечивает обработку и визуализацию данных. Дополнительные сведения см. в статье Подключение Power BI к Azure Databricks.

    • При зеркалировании Azure Databricks Unity Catalog в Fabric вы можете получать доступ к данным, которыми управляет Azure Databricks Unity Catalog, непосредственно из рабочей нагрузки Fabric. Дополнительные сведения см. в разделе Создание зеркальной копии каталога Unity в Azure Databricks. Эти данные можно запрашивать из Power BI в режиме Direct Lake без копирования данных в служба Power BI.

Сведения о сценарии

Малые и средние предприятия, у которых уже есть среда Azure Databricks и, при необходимости, архитектура lakehouse, могут извлечь пользу из этого шаблона. В настоящее время они используют инструмент Azure для извлечения, преобразования и загрузки данных (ETL), например Azure Data Factory, и предоставляют отчеты в Power BI. Однако у них также может быть несколько источников данных в одном озере данных, использующих разные проприетарные форматы данных, что приводит к дублированию данных и рискам зависимости от поставщика. Эта ситуация может усложнить управление данными и повысить зависимость от конкретных поставщиков. Кроме того, им также могут потребоваться актуальная и практически в режиме реального времени отчетность для принятия решений, и они могут захотеть внедрить инструменты ИИ в своей инфраструктуре.

Fabric — это открытый, унифицированный и управляемый фонд SaaS, который можно использовать для:

  • Централизуйте данные в OneLake, чтобы хранить, управлять и анализировать данные в одном месте, не беспокоясь о зависимости от поставщика.

  • Ускоряйте внедрение инноваций с помощью интеграции с приложениями Microsoft 365.

  • Быстро получайте аналитическую информацию, воспользовавшись преимуществами режима Direct Lake в Power BI.

  • Используйте Copilot во всех возможностях Fabric.

  • Ускорьте анализ путем разработки моделей ИИ на одном фундаменте.

  • Сохраняйте данные без перемещения, что сокращает время, необходимое специалистам по обработке и анализу данных.

Оптимизация затрат

Оптимизация затрат фокусируется на способах сокращения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в контрольном списке проектной экспертизы для оптимизации затрат.

Чтобы оценить стоимость этого решения, используйте предварительно настроенную оценку в калькуляторе цен Azure. Оценка отражает архитектуру, описанную в этой статье, с типовыми параметрами для нагрузки SMB. Настройте значения, чтобы соответствовать фактическим шаблонам использования, томам данных и требованиям к производительности.

  • Microsoft Fabric цены зависят от модели емкости. В оценке используется F2, которая является экономичной точкой входа для SMB. Рекомендуется использовать зарезервированную емкость для прогнозируемых рабочих нагрузок, чтобы сократить затраты.

  • Azure Databricks цены зависят от типа рабочей нагрузки, уровня и вычислительных часов. В оценке используются универсальные вычислительные ресурсы уровня «Премиум» из расчёта 200 часов в месяц. Используйте Jobs Compute для запланированных пакетных рабочих нагрузок, чтобы снизить затраты на DBU.

  • Data Lake Storage цены зависят от объема хранилища, уровня доступа и количества транзакций. Оценка включает в себя 1 ТБ хранилища горячего уровня с включенным иерархическим пространством имен.

  • Стоимость Фабрика данных Azure зависит от количества запусков действий, объема перемещаемых данных и часов выполнения конвейеров.

  • Цены центров событий зависят от выбранных уровней и единиц пропускной способности. Оценка использует уровень "Стандартный" с одной единицей пропускной способности.

Соавторы

Корпорация Майкрософт поддерживает эту статью. Следующие авторы написали эту статью.

Основные авторы:

Чтобы увидеть непубличные профили в LinkedIn, войдите в LinkedIn.

Дальнейшие действия