Примечание
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Функция потоков событий в интерфейсе аналитики в режиме реального времени Microsoft Fabric позволяет перенести события реального времени в Fabric, преобразовать их и перенаправить их в различные назначения без написания кода (без кода). Вы создаете поток событий, который является экземпляром элемента Eventstream в Fabric, добавьте источники данных событий в поток, при необходимости добавьте преобразования для преобразования данных события, а затем перенаправьте данные в поддерживаемые назначения. Кроме того, с конечными точками Apache Kafka, доступными в элементе Eventstream, можно отправлять или использовать события в режиме реального времени с помощью протокола Kafka.
Добавление событий в Fabric
Функция eventstreams предоставляет различные соединители источника для получения данных о событиях из различных источников. При включении расширенных возможностей во время создания потока событий доступны дополнительные источники.
| Источники | Описание |
|---|---|
| Azure Data Explorer (предварительная версия) | Если у вас есть база данных Azure Data Explorer и таблица, вы можете получать данные из таблицы в Microsoft Fabric с помощью eventstream. |
| Центры событий Azure | Если у вас есть концентратор событий Azure, вы можете получать данные концентратора событий в Microsoft Fabric с помощью Eventstream. |
| Сетка событий Azure (предварительная версия) | Если у вас есть пространство имен Azure Event Grid, вы можете получать данные событий MQTT или не MQTT в Microsoft Fabric с помощью Eventstream. |
| Служебная шина Azure (предварительная версия) | Вы можете получать данные из очереди шины обслуживания Azure или подписки темы в Microsoft Fabric с помощью Eventstream. |
| Центр Интернета вещей Azure | Если у вас есть Центр Интернета вещей Azure, вы можете получать данные Интернета вещей в Microsoft Fabric с помощью eventstream. |
| Пользовательская конечная точка (то есть пользовательское приложение в стандартных возможностях) | Функция пользовательской конечной точки позволяет приложениям или клиентам Kafka подключаться к Eventstream с помощью строки подключения, обеспечивая плавную передачу потоковых данных в Eventstream. |
| Пример данных | Вы можете выбрать велосипеды, желтые такси или события фондового рынка в качестве образца источника данных, чтобы проверить прием данных при настройке потока событий. |
| Погода в режиме реального времени (предварительная версия) | Вы можете добавить источник погоды в режиме реального времени в поток событий для потоковой передачи данных о погоде в режиме реального времени из разных расположений. |
| Фиксация изменений данных в базе данных Azure SQL (CDC) | Источник соединителя CDC для Базы данных SQL Azure позволяет сделать моментальный снимок текущих данных в Базе данных SQL Azure. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| PostgreSQL CDC База данных | Коннектор захвата изменений данных (CDC) для источника позволяет захватывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| MySQL База данных CDC | Коннектор источника данных Change Data Capture (CDC) в Azure для MySQL позволяет записывать моментальный снимок текущих данных в базе данных Azure для MySQL. Таблицы можно указать для отслеживания, а поток событий записывает любые будущие изменения на уровне строк в таблицы. |
| Azure Cosmos DB CDC | Коннектор источника Change Data Capture (CDC) Azure Cosmos DB для потоков событий Microsoft Fabric позволяет получить мгновенный снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| SQL Server на виртуальной машине (База данных) CDC | Соединитель источника SQL Server на базе данных виртуальной машины (CDC) для потоков событий Fabric позволяет захватывать моментальный снимок данных в текущей базе данных SQL Server на виртуальной машине. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в данные. |
| Управляемый экземпляр Azure SQL CDC | Коннектор источников "CDC Управляемый экземпляр Azure SQL" для потоков событий Microsoft Fabric позволяет делать моментальный снимок текущих данных в базе данных SQL Управляемого экземпляра. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные. |
| События элемента рабочего пространства Fabric | События элементов рабочей области Fabric — это дискретные события Fabric, которые происходят при внесении изменений в рабочую область Fabric. Эти изменения включают создание, обновление или удаление элемента Fabric. С помощью потоков событий Fabric можно записывать эти события рабочей области Fabric, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. |
| События Fabric OneLake | События OneLake позволяют подписываться на изменения в файлах и папках в OneLake, а затем реагировать на эти изменения в режиме реального времени. С помощью потоков событий Fabric можно записывать эти события OneLake, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий OneLake в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в OneLake. |
| события задания Fabric | События задания позволяют подписываться на изменения, происходящие при выполнении задания в Fabric. Например, можно реагировать на изменения при обновлении семантической модели, выполнении запланированного конвейера или запуске записной книжки. Каждое из этих действий может создать соответствующее задание, которое, в свою очередь, создает набор соответствующих событий задания. С помощью потоков событий Fabric можно записывать эти события задания, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий задания в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в задании. |
| События в Azure Blob Storage | События хранилища больших двоичных объектов Azure активируются, когда клиент создает, заменяет или удаляет двоичный объект. Соединитель позволяет связывать события хранилища Blob с событиями Fabric в хабе реального времени. Эти события можно преобразовать в непрерывные потоки данных и трансформировать их перед отправкой в различные места назначения в Fabric. |
| Google Cloud Pub/Sub | Google Pub/Sub — это служба обмена сообщениями, которая позволяет публиковать и подписываться на потоки событий. Вы можете добавить Google Pub/Sub в качестве источника в поток событий для отслеживания, преобразования и маршрутизации событий в режиме реального времени в различные места назначения в Fabric. |
| Потоки данных Amazon Kinesis | Amazon Kinesis Data Streams — это масштабируемая и высокопрочная служба приема и обработки данных, оптимизированная для потоковой обработки данных. Интеграция Amazon Kinesis Data Streams в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| Confluent Cloud для Apache Kafka | Confluent Cloud для Apache Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud для Apache Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric. |
| Apache Kafka (предварительная версия) | Apache Kafka — это распределенная платформа с открытым кодом для создания масштабируемых систем данных в режиме реального времени. Интегрируя Apache Kafka в качестве источника в потоке событий, вы можете легко перенести события в режиме реального времени из Apache Kafka и обработать их перед маршрутизацией их в несколько назначений в Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka — это полностью управляемая служба Kafka, которая упрощает настройку, масштабирование и управление. Интегрируя Amazon MSK Kafka в качестве источника в стриминг событий, вы можете без труда получать события в реальном времени из MSK Kafka и обрабатывать их перед их маршрутизацией в несколько точек назначения в Fabric. |
| MQTT (предварительная версия) | Потоки событий Microsoft Fabric позволяют подключаться к брокеру MQTT, в котором сообщения принимаются в поток событий Fabric и перенаправляются к различным назначениям внутри Fabric. |
| Solace PubSub+ (предварительная версия) | Потоки событий Microsoft Fabric позволяют подключиться к Solace PubSub+, что делает возможным получение сообщений из Solace PubSub+ в Fabric Eventstream и их маршрутизацию в различные назначения в пределах Fabric. |
Обработка событий с помощью интерфейса без кода
Интерфейс перетаскивания обеспечивает интуитивно понятный и простой способ создания обработки, преобразования и маршрутизации событий без написания кода. Сквозная схема потока данных в потоке событий позволяет получить полное представление о потоке данных и организации. Редактор обработчика событий — это интерфейс без кода, который позволяет перетаскивать и перетаскивать для разработки логики обработки данных событий.
| Преобразование | Описание |
|---|---|
| Фильтр | Используйте преобразование фильтра для фильтрации событий на основе значения поля во входных данных. В зависимости от типа данных (число или текст), преобразование сохраняет значения, соответствующие выбранному условию, например is null или is not null. |
| Управление полями | Преобразование "Управление полями" позволяет добавлять, удалять, изменять тип данных или переименовать поля, поступающие из входных данных или другого преобразования. |
| Агрегат | Используйте преобразование "Агрегат" для вычисления агрегирования (суммы, минимального, максимального или среднего) при каждом возникновении нового события в течение определенного периода времени. Эта операция также позволяет переименовывать эти вычисляемые столбцы и проводить фильтрацию или разбиение агрегатов на основе других измерений в ваших данных. В одном преобразовании можно использовать одно или несколько агрегирований. |
| Группировать по | Используйте преобразование 'Группировка' для вычисления агрегирования по всем событиям в течение определенного периода времени. Вы можете выполнять группирование по значениям в одном или нескольких полях. Это как если бы преобразование "Агрегат" не только позволяло переименовывать столбцы, но также предоставляло дополнительные возможности агрегирования и обеспечивало более сложные возможности для временных окон. Как и в случае с Агрегатом, вы можете добавить более одного агрегата для каждого преобразования. |
| Объединение | Используйте преобразование Union для подключения двух или нескольких узлов и добавления событий с общими полями (с одинаковым именем и типом данных) в одну таблицу. Поля, которые не соответствуют, удаляются и не включаются в выходные данные. |
| Развернуть | Используйте преобразование "Развернуть массив" для создания новой строки для каждого значения в массиве. |
| Присоединиться | Используйте преобразование Join для объединения данных из двух потоков на основе соответствующего условия между ними. |
Если вы включили Расширенные возможности при создании потока событий, операции преобразования поддерживаются для всех пунктов назначения (при этом производный поток выступает как промежуточный мост для некоторых пунктов назначения, таких как пользовательская конечная точка или Активатор Fabric). Если вы этого не сделали, операции преобразования доступны только для направлений Lakehouse и Eventhouse (обработка событий до приёма).
Маршрутизация событий в места назначения
Функция потоков событий Fabric поддерживает отправку данных в следующие поддерживаемые назначения.
| Назначение | Описание |
|---|---|
| Пользовательская конечная точка (т. е. пользовательское приложение в рамках стандартных возможностей) | С помощью этого назначения можно легко направлять события в режиме реального времени в пользовательскую конечную точку. Вы можете подключить собственные приложения к потоку событий и использовать данные событий в режиме реального времени. Это назначение полезно, когда необходимо выводить данные в реальном времени во внешнюю систему за пределами Microsoft Fabric. |
| Eventhouse | Этот пункт назначения позволяет вводить данные о событиях в режиме реального времени в хранилище событий, где можно использовать мощный язык запросов Kusto (KQL) для запроса и анализа данных. Используя данные в хранилище событий, вы можете получить более подробные сведения о данных о событиях и создавать богатые отчеты и панели мониторинга. Вы можете выбрать между двумя режимами приема: прямой прием и обработка событий перед приемом. |
| Озёрный Дом | Это место назначения предоставляет вам возможность преобразовывать ваши события в режиме реального времени, прежде чем принимать их в озеро данных. События в режиме реального времени преобразуются в формат Delta Lake, а затем хранятся в назначенных таблицах lakehouse. Этот объект поддерживает сценарии хранения данных. |
| Производный поток | Производный поток — это специализированный тип назначения, который можно создать после добавления операций потока, таких как фильтрация или управление полями, в поток событий. Производный поток представляет преобразованный поток по умолчанию после обработки потока. Вы можете направить производный поток в несколько назначений в системе Fabric и просмотреть его в узле реального времени. |
| Активатор Fabric (предварительная версия) | Этот пункт назначения позволяет подключить напрямую данные о событиях в режиме реального времени к активатору Fabric. Активатор — это тип интеллектуального агента, который содержит всю информацию, необходимую для подключения к данным, мониторинга условий и действий. Когда данные достигают определенных пороговых значений или соответствуют другим шаблонам, активатор автоматически принимает соответствующие действия, такие как оповещение пользователей или запуск рабочих процессов Power Automate. |
Вы можете подключить несколько конечных точек к одному потоку событий, чтобы одновременно получать данные из ваших потоков событий без взаимного влияния.
Примечание.
Мы рекомендуем использовать функцию потоков событий Microsoft Fabric с не менее чем четырьмя единицами емкости (SKU: F4)
Потоки событий Apache Kafka на платформе Fabric
Функция потоков событий Fabric предлагает конечную точку Apache Kafka в элементе Eventstream, позволяя пользователям подключаться и использовать потоковые события через протокол Kafka. Если приложение уже использует протокол Apache Kafka для отправки или получения потоковых событий с определенными разделами, его можно легко подключить к потоку событий. Просто обновите параметры подключения, чтобы использовать конечную точку Kafka, указанную в потоке событий.
Функция потоков событий Fabric поддерживается Центрами событий Azure, которые являются полностью управляемой облачной службой. При создании потока событий пространство имен концентратора событий автоматически подготавливается, и концентратор событий назначается потоку по умолчанию без необходимости в каких-либо конфигурациях подготовки. Дополнительные сведения о функциях, поддерживающих совместимость с Kafka в службе Azure Event Hubs, см. в Azure Event Hubs для Apache Kafka.
Дополнительные сведения о том, как получить сведения о конечной точке Kafka для отправки событий в поток событий, см. в разделе Добавление пользовательского источника конечной точки в поток событий; а для получения событий из потока событий см. в разделе Добавление настраиваемого назначения конечной точки в поток событий.
Ограничения
Структура Eventstream имеет следующие общие ограничения. Прежде чем работать с Eventstream, ознакомьтесь с этими ограничениями, чтобы убедиться, что они соответствуют вашим требованиям.
| Лимит | Ценность |
|---|---|
| Максимальный размер сообщения | 1 МБ |
| Максимальный срок хранения данных о событиях | 90 дней |
| Гарантии надёжности доставки событий | По крайней мере один раз |