Аналитика в режиме реального времени с помощью служебной шины Azure и Microsoft Fabric

Стратеги облачных архитекторов, инженеров по обработке данных и розничных решений могут использовать эту архитектуру для создания масштабируемого, безопасного и интеллектуального решения аналитики в режиме реального времени с помощью служебной шины Azure и Аналитики Real-Time Fabric. Это решение предоставляет полезные сведения из потоков данных высокой скорости. Это идеально подходит для таких сценариев, как персонализированные рекомендации по продуктам, динамическая цена и оптимизация инвентаризации.

Архитектура

Скачайте файл Visio для этой архитектуры.

Бизнес-процесс

Следующий рабочий процесс соответствует предыдущей схеме.

Проглатывание

1. Служебная шина получает дискретные, транзакционные события, такие как обновления инвентаризации, транзакции покупки, обновления программы лояльности и отправки отзывов клиентов.

   Пример: Клиент обменивает баллы программы лояльности на кассе. Это действие инициирует сообщение через служебная шина для обновления профиля клиента и запасов.

2. Поток событий отправляет непрерывные, высокоскоростные данные с подсекундной задержкой.

   Примере: Пользователь просматривает 20 продуктов за 30 секунд. Данные clickstream поступают в поток событий для немедленного анализа.

3. Поток событий переносит события в структуру в режиме реального времени, преобразует их и направляет их в различные места назначения без необходимости писать код.

   Пример: Обогащайте данные clickstream автоматически с помощью метаданных продуктов перед их отправкой на анализ.

Хранение и запросы

4. Eventhouse хранит данные событий в режиме реального времени и поддерживает запросы на языке запросов Kusto (KQL).

   Пример: Запросить все покупки беспроводных наушников за последние пять минут во всех магазинах Мельбурна.

5. Fabric lakehouse предоставляет данные для других вариантов использования, таких как синхронизация с внешними системами или совместимостью конечных точек SQL. Этот шаг необязательный.

   Примере: Выполните ежемесячный анализ тенденций продаж с помощью SQL для исторических данных.

Системы действий

6. Аналитика, используюющая наборы запросов KQL, поддерживает широкий спектр возможностей обнаружения данных, таких как анализ временных рядов, анализ текста, геопространственные запросы, поиск сходства векторов, обнаружение аномалий, обнаружение аномалий, обнаружение шаблонов и создание статистических моделей.

   Пример: Обнаружение аномалий в поведении оформления заказа, например внезапные пики в отказе от корзины.

7. Визуализация аналитических сведений и действий практически в режиме реального времени с помощью панелей мониторинга в режиме реального времени и Power BI.

   Примере: Менеджеры магазина просматривают динамические панели мониторинга, которые показывают наиболее продаваемые элементы и тональность клиентов.

8. Отслеживайте динамические потоки и активируйте действия на основе шаблонов. Активатор Fabric отслеживает данные на нескольких этапах, в том числе из потока событий во время приема или из слоя отчетов. К действиям относятся уведомления в Microsoft Teams, электронные письма, элементы Fabric, такие как запуск конвейера или записной книжки, а также потоки Power Automate.

   Пример: Если запасы продукта не соответствуют определенному пороговому значению, активируйте рабочий процесс пополнения запасов.

Возможности ИИ

9. Агенты данных Fabric предоставляют данные, подключенные к Eventhouse, для диалоговых взаимодействий с данными в режиме реального времени. Вы можете использовать Microsoft Copilot Studio для предоставления доступа к этому взаимодействию с чатом непосредственно в Teams или использовать Microsoft Foundry для чатов, основанных на приложениях.

   Примере: Предоставьте интерфейс естественного языка для менеджеров магазина, чтобы определить наиболее продаваемые элементы за последние пять минут.

Компоненты

• служебная шина — это управляемый брокер сообщений для асинхронного взаимодействия между приложениями и службами. В этой архитектуре служебная шина получает транзакционные события от мобильных клиентов.

• Поток событий Fabric — это возможность потоковой передачи данных в Fabric, которая выполняет прием, преобразование и маршрутизацию событий в режиме реального времени. В этой архитектуре событийный поток Fabric обрабатывает поток кликов и операционные данные и направляет обработанный поток в нижестоящую аналитику.

• Хранилище событий Fabric — это хранилище аналитики на основе KQL для просмотра и запроса данных в режиме реального времени. В этой архитектуре хранилище событий Fabric хранит события в режиме реального времени и поддерживает запросы KQL для операционных и бизнес-аналитических сведений.

• Fabric lakehouse — это единая платформа данных для файлов, таблиц и аналитических задач. В этой архитектуре lakehouse опционально сохраняет исторические данные для последующих отчетов на основе SQL и внешних интеграций.

• Power BI — это платформа бизнес-аналитики для интерактивной аналитики и отчетности. В этой архитектуре Power BI предоставляет почти в реальном времени панели мониторинга для команд хранилища и операций.

• Активатор Fabric — это возможность на основе событий, которая оценивает сигналы в режиме реального времени и инициирует действия при выполнении условий. В этой архитектуре активатор Fabric отслеживает шаблоны данных и активирует ответы, такие как уведомления и автоматизированные рабочие процессы.

• Агенты данных Fabric — это агенты общения, размещенные в источниках данных Fabric. В этой архитектуре агенты данных Fabric предоставляют доступ на естественном языке к данным хранилища событий для операционных вопросов в режиме реального времени.

• Copilot Studio — это платформа для создания и публикации копилотов на различных платформах. В этой архитектуре Copilot Studio предоставляет интерфейс агента данных в Teams.

• Foundry — это платформа для создания и эксплуатации приложений и агентов ИИ. В этой архитектуре Foundry поддерживает пользовательские чаты на основе приложений, если решения не могут быть предоставлены через Copilot Studio.

• Microsoft Purview — это решение для управления данными и соответствия требованиям, которое поддерживает каталогизацию данных, классификацию, происхождение и управление политиками. В этой архитектуре Microsoft Purview помогает управлять ресурсами данных Fabric и применять требования к доступу к данным и соответствию требованиям.

Безопасность и управление

Безопасность и управление являются основой для этой архитектуры:

• Интеграция Microsoft Purview: Используйте Microsoft Purview для применения классификации данных, отслеживания происхождения и политик доступа между рабочими нагрузками Fabric.

• Управление доступом на основе ролей (RBAC): Используйте RBAC, чтобы разрешить только авторизованным пользователям доступ к потокам конфиденциальных данных и панелям мониторинга.

• Шифрование данных: Шифрование данных при передаче и хранении с помощью собственных механизмов Azure.

• Ведение журнала аудита: Отслеживайте доступ и преобразования для поддержки соответствия требованиям и оперативной прозрачности.

• Фильтрация на уровне событий: Используйте активатор Fabric для подавления или перенаправления конфиденциальных событий на основе бизнес-правил.

• Условный доступ и частная сеть: Используйте политики условного доступа и границы частной сети для снижения несанкционированного доступа и воздействия данных.

Устранение распространенных проблем

Эта архитектура решения устраняет следующие проблемы:

• Задержка и узкие места масштабируемости: аналитика Real-Time обеспечивает задержку подсекунды для потоковой аналитики, которая позволяет организациям получать и обрабатывать миллиарды событий в день без ручного масштабирования. Она поддерживает автоматическое масштабирование и прием с низкой задержкой из различных источников, таких как устройства Интернета вещей (IoT), системы телеметрии и взаимодействие с клиентом.

• Фрагментированные потоки данных: Real-Time Аналитика объединяет внутренние и внешние источники потоковой передачи в центральный концентратор реального времени, который устраняет силосы и обеспечивает целостную операционную видимость.

• Отложенное принятие решений: Панели мониторинга и механизмы оповещений в режиме реального времени в таких инструментах, как Power BI, Teams и автоматизированные рабочие процессы, дают командам немедленное представление о аномалиях, нарушениях соглашения об уровне обслуживания или операционных триггерах. Это немедленное представление поддерживает быстрое действие и предотвращает задержки.

• Наблюдаемость и мониторинг пробелов: Real-Time Intelligence поддерживает открытые стандарты телеметрии, что обеспечивает экономичность наблюдения.

Подробности сценария

Клиент просматривает розничное приложение, выбирает продукты, добавляет элементы в корзину или сканирует карточку лояльности в магазине. Каждое взаимодействие транслируется в режиме реального времени, что позволяет системе мгновенно анализировать поведение, рекомендовать сопутствующие продукты, применять целевые скидки или уведомлять сотрудников о необходимости пополнить запасы на полках.

Потенциальные варианты использования

Рассмотрим следующие варианты использования.

Электронная коммерция

• Отслеживайте метрики производительности и поведение пользователей на разных платформах.

• Обнаружение аномалий в транзакциях, времени загрузки страницы и воронках преобразования.

• Включите упреждающее решение проблем и персонализированные возможности.

Education

• Передача данных в реальном времени из транспортных систем кампуса, камер безопасности и точек контроля доступа.

• Отслеживайте безопасность учащихся, оптимизируйте маршруты шаттла и реагируйте на инциденты в режиме реального времени.

Финансовые услуги

• Обработка транзакционных событий с высокой пропускной способностью от банкоматов, мобильных приложений и платежных шлюзов.

• Используйте модели обнаружения аномалий для минимизации мошенничества, повышения соответствия требованиям и повышения доверия.

Здравоохранение

• Передача данных телеметрии из медицинских устройств с поддержкой Интернета вещей в внутренние системы.

• Анализ данных для выявления аномалий и генерации оповещений для превентивного обслуживания.

• Улучшение результатов пациентов с помощью мониторинга и вмешательства в режиме реального времени.

Гостиничный бизнес

• Поток данных о резервировании, заполненности и уборке комнат для оптимизации графика распределения и очистки.

• Повышение качества обслуживания гостей с помощью координации служб в режиме реального времени.

Производство

• Стриминг телеметрических данных с заводского оборудования с целью выявления аномалий в вибрации, температуре и давлении.

• Включите предиктивное обслуживание, чтобы сократить время простоя и повысить безопасность рабочих.

• Примените анализ видео и изображений с использованием искусственного интеллекта к потокам с живых камер для выявления дефектов и обеспечения качества.

• Отслеживайте рабочие метрики и отчеты о дефектах для обнаружения узких мест и оптимизации пропускной способности.

Соответствие требованиям к качеству и безопасности

• Обнаружение небезопасного поведения работника, нарушений PPE и опасных условий с помощью датчиков окружающей среды и видеотрансляции.

• Активируйте оповещения в режиме реального времени и автоматизируйте отчеты об инцидентах для соответствия нормативным требованиям.

Надежность сайта и проектирование программного обеспечения

• Передача телеметрии развертывания и журналов ошибок с целью выявления откатов и неудачных развертываний.

• Объединение приложений, инфраструктуры и телеметрии пользователей в панели мониторинга в режиме реального времени.

• Отслеживайте работоспособность системы, обнаруживайте узкие места и сопоставляйте инциденты.

• Предоставление потоков данных в режиме реального времени с помощью потоков событий Fabric и KQL для динамического взаимодействия с пользователями и оперативной аналитики.

Мониторинг социальных сетей

• Получение и анализ потоков социальных сетей в режиме реального времени, чтобы выявить изменения настроений, популярные темы и упоминания о бренде.

• Настройка оповещений для PR кризисов, жалоб клиентов или вирусного контента.

• Поддержка стратегий динамического взаимодействия и оптимизации кампании.

Транспорт

• Потоковая передача данных GPS и датчиков из транспортных средств, самолетов и кораблей.

• Оптимизируйте маршруты, трафик, расписания погоды и эффективность топлива.

• Улучшение взаимодействия с клиентами с помощью обновлений и координации в режиме реального времени.

Коммунальные услуги и энергия

• Сбор данных смарт-счетчика для выявления сбоев, аномалий потребления и пиковых шаблонов нагрузки.

• Включите динамическое ценообразование и прогнозное обслуживание инфраструктуры.

Оптимизация затрат

Приведённая ниже предварительно настроенная оценка в калькуляторе цен Azure отражает конфигурацию по умолчанию, описанную в этой статье. Настройте значения в соответствии с ожидаемыми объёмами событий, требованиями к хранению и требованиям к ёмкости.

Оценка включает следующие службы для этой архитектуры:

• Служебная шина Azure Premium с одной единицей обмена сообщениями для надежной доставки событий транзакций с поддержкой частной сети.
• Емкость Microsoft Fabric F2 для рабочих нагрузок eventstream, eventhouse, lakehouse, activator, data agents и Power BI.
• Управление данными Microsoft Purview для каталогизации, классификации и отслеживания происхождения данных.

Copilot Studio исключена, поскольку лицензируется на арендатора через Microsoft 365, а не как ресурс Azure с оплатой по мере использования.

Соавторы

Корпорация Майкрософт поддерживает эту статью. Следующие авторы написали эту статью.

Основные авторы:

• Лорен Бэрд | Архитектор облачных решений
• Кристофер Шмидт | Лидер стратегии корпоративного ИИ и стратегии обработки данных

Чтобы увидеть непубличные профили LinkedIn, войдите на сайт LinkedIn.

Следующие шаги

• Примеры служебная шина
• Полный пример использования интеллекта в реальном времени
• Реализация аналитики в режиме реального времени с помощью Fabric
• Оповещение и реагирование на данные из концентратора реального времени
• Документация по аналитике в реальном времени
• Получение событий из служебная шина в концентратор реального времени (предварительная версия)
• Создание агента данных