Поделиться через


Добавление источника событий и управление ими в потоке событий

После создания потока событий его можно подключить к различным источникам данных и назначениям.

Примечание.

Расширенные возможности включены по умолчанию при создании потоков событий. Если у вас есть потоки событий, созданные с помощью стандартных возможностей, эти потоки событий будут продолжать работать. Вы по-прежнему можете изменять и использовать их как обычно. Рекомендуется создать новый поток событий для замены стандартных потоков событий, чтобы воспользоваться дополнительными возможностями и преимуществами расширенных потоков событий.

После создания потока событий его можно подключить к различным источникам данных и назначениям.

Eventstream не только позволяет передавать данные из источников Майкрософт, но и поддерживает прием из сторонних платформ, таких как Google Cloud и Amazon Kinesis с новыми соединителями обмена сообщениями. Эта расширенная возможность обеспечивает простую интеграцию внешних потоков данных в Fabric, обеспечивая большую гибкость и позволяя получать аналитические сведения в режиме реального времени из нескольких источников.

В этой статье вы узнаете о источниках событий, которые можно добавить в поток событий.

Предварительные условия

  • Доступ к рабочей области в режиме лицензии на емкость Fabric или в режиме пробной лицензии с разрешениями Контрибьютора или более высокого уровня.
  • Требования, конкретные для каждого источника и задокументированные в следующих статьях, специфичных для источника.

Поддерживаемые источники

Потоки событий Fabric с расширенными возможностями поддерживают следующие источники. Каждая статья содержит подробные сведения и инструкции по добавлению определенных источников.

Источники Описание
Azure Data Explorer (предварительная версия) Если у вас есть база данных Azure Data Explorer и таблица, вы можете получать данные из таблицы в Microsoft Fabric с помощью eventstream.
Центры событий Azure Если у вас есть концентратор событий Azure, вы можете получать данные концентратора событий в Microsoft Fabric с помощью Eventstream.
Сетка событий Azure (предварительная версия) Если у вас есть пространство имен Azure Event Grid, вы можете получать данные событий MQTT или не MQTT в Microsoft Fabric с помощью Eventstream.
Служебная шина Azure (предварительная версия) Вы можете получать данные из очереди Azure Service Bus или подписки темы в Microsoft Fabric с помощью Eventstream.
Центр Интернета вещей Azure Если у вас есть Центр Интернета вещей Azure, вы можете получать данные Интернета вещей в Microsoft Fabric с помощью eventstream.
Пользовательская конечная точка (то есть пользовательское приложение в стандартных возможностях) Функция настраиваемой конечной точки позволяет вашим приложениям или клиентам Kafka подключаться к Eventstream, используя строку подключения, обеспечивая плавную загрузку потоковых данных в Eventstream.
Пример данных Вы можете выбрать велосипеды, желтые такси или события фондового рынка в качестве образца источника данных, чтобы проверить прием данных при настройке потока событий.
Погода в режиме реального времени (предварительная версия) Вы можете добавить источник погоды в режиме реального времени в поток событий для потоковой передачи данных о погоде в режиме реального времени из разных расположений.
Фиксация изменений данных в базе данных SQL Azure (CDC) Источник соединителя CDC для Базы данных SQL Azure позволяет сделать моментальный снимок текущих данных в Базе данных SQL Azure. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные.
База данных PostgreSQL CDC Коннектор захвата изменений данных (CDC) для источника позволяет захватывать моментальный снимок текущих данных в базе данных PostgreSQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные.
MySQL СУБД CDC Коннектор источника данных Change Data Capture (CDC) в Azure для MySQL позволяет записывать моментальный снимок текущих данных в базе данных Azure для MySQL. Таблицы можно указать для отслеживания, а поток событий записывает любые будущие изменения на уровне строк в таблицы.
Azure Cosmos DB CDC Соединитель источника отслеживания изменений Azure Cosmos DB для потоков событий Microsoft Fabric позволяет получить снимок текущих данных в базе данных Azure Cosmos DB. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные.
SQL Server на виртуальной машине (БД) CDC Соединитель источника SQL Server на виртуальной машине (CDC) для потоков событий Fabric позволяет захватывать снимок текущих данных в базе данных SQL Server на виртуальной машине. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в данные.
Управляемый экземпляр Azure SQL CDC Соединитель источника CDC для Управляемого экземпляра SQL Azure для потоков событий Microsoft Fabric позволяет снимать моментальный снимок текущих данных в базе данных Управляемого экземпляра SQL. Затем соединитель отслеживает и записывает любые будущие изменения на уровне строк в эти данные.
События элемента рабочего пространства Fabric События элементов рабочей области Fabric — это дискретные события Fabric, которые происходят при внесении изменений в рабочую область Fabric. Эти изменения включают создание, обновление или удаление элемента Fabric. С помощью потоков событий Fabric можно записывать эти события рабочей области Fabric, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа.
события Fabric OneLake События OneLake позволяют подписываться на изменения в файлах и папках в OneLake, а затем реагировать на эти изменения в режиме реального времени. С помощью потоков событий Fabric можно записывать эти события OneLake, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий OneLake в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в OneLake.
события задания Fabric События задания позволяют подписываться на изменения, которые происходят при выполнении задания в системе Fabric. Например, можно реагировать на изменения при обновлении семантической модели, выполнении запланированного конвейера или запуске записной книжки. Каждое из этих действий может создать соответствующее задание, которое, в свою очередь, создает набор соответствующих событий задания. С помощью потоков событий Fabric можно записывать эти события задания, преобразовывать их и направлять их в различные назначения в Fabric для дальнейшего анализа. Эта простая интеграция событий задания в потоках событий Fabric обеспечивает большую гибкость для мониторинга и анализа действий в задании.
События в Azure Blob Storage События в хранилище объектов BLOB Azure активируются, когда клиент создает, заменяет или удаляет объект BLOB. Соединитель позволяет подключать события хранилища Blob с событиями Fabric в Real-Time hub. Эти события можно конвертировать в непрерывные потоки данных и трансформировать их перед маршрутизацией к различным пунктам назначения в Fabric.
Google Cloud Pub/Sub Google Pub/Sub — это служба обмена сообщениями, которая позволяет публиковать и подписываться на потоки событий. Вы можете добавить Google Pub/Sub в качестве источника в поток событий для отслеживания, преобразования и маршрутизации событий в режиме реального времени в различные места назначения в Fabric.
Потоки данных Amazon Kinesis Amazon Kinesis Data Streams — это масштабируемый, надежный сервис для приема и обработки данных, оптимизированный для потокового анализа данных. Интеграция Amazon Kinesis Data Streams в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric.
Confluent Cloud для Apache Kafka Confluent Cloud для Apache Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud для Apache Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric.
Apache Kafka (предварительная версия) Apache Kafka — это распределенная платформа с открытым кодом для создания масштабируемых систем данных в режиме реального времени. Интегрируя Apache Kafka в качестве источника в потоке событий, вы можете легко перенести события в режиме реального времени из Apache Kafka и обработать их перед маршрутизацией их в несколько назначений в Fabric.
Amazon MSK Kafka Amazon MSK Kafka — это полностью управляемая служба Kafka, которая упрощает настройку, масштабирование и управление. Интегрируя Amazon MSK Kafka в качестве источника в ваш поток событий, вы можете беспрепятственно переносить события в режиме реального времени из MSK Kafka и обрабатывать их перед направлением в несколько адресатов в Fabric. 
MQTT (предварительная версия) Потоки событий Microsoft Fabric позволяют подключаться к брокеру MQTT, в котором сообщения принимаются в поток событий Fabric и перенаправляются к различным назначениям внутри Fabric. 
Solace PubSub+ (предварительная версия) Потоки событий Microsoft Fabric позволяют подключиться к Solace PubSub+, что делает возможным получение сообщений из Solace PubSub+ в Fabric Eventstream и их маршрутизацию в различные назначения в пределах Fabric. 

Примечание.

Поток событий может поддерживать до 11 объединенных источников и назначений только при использовании следующих типов:

  • Источник: настраиваемая конечная точка.
  • Назначения: пользовательская конечная точка и Eventhouse с прямой загрузкой.

Любые источники или назначения , не включенные в приведенный выше список, и назначения, не добавленные к потоку по умолчанию, не учитываются в этом пределе.

Предварительные условия

Перед началом работы необходимо выполнить следующие предварительные требования:

  • Доступ к рабочей области в режиме лицензии на емкость Fabric или в режиме пробной лицензии с разрешениями Контрибьютора или более высокого уровня.
  • Чтобы добавить Центры событий Azure или Центр Интернета вещей Azure в качестве источника событий, необходимо иметь соответствующее разрешение на доступ к его ключам политики. Они должны быть общедоступными и не защищены брандмауэром или защищены в виртуальной сети.

Поддерживаемые источники

Потоки событий Fabric поддерживают следующие источники. Используйте ссылки в таблице, чтобы перейти к статьям, которые предоставляют дополнительные сведения о добавлении определенных источников.

Источники Описание
Центры событий Azure Если у вас есть концентратор событий Azure, вы можете получать данные концентратора событий в Microsoft Fabric с помощью Eventstream.
Центр Интернета вещей Azure Если у вас есть Центр Интернета вещей Azure, вы можете получать данные Интернета вещей в Microsoft Fabric с помощью eventstream.
Пример данных Вы можете выбрать велосипеды, желтые такси или события фондового рынка в качестве образца источника данных, чтобы проверить прием данных при настройке потока событий.
Пользовательское приложение Пользовательская функция приложения позволяет вашим приложениям или клиентам Kafka подключаться к Eventstream с помощью строки подключения, что обеспечивает плавную обработку потоковых данных в Eventstream.

Примечание.

Поток событий может поддерживать до 11 объединенных источников и назначений только при использовании следующих типов:

  • Источник: настраиваемая конечная точка.
  • Назначения: пользовательская конечная точка и Eventhouse с прямой загрузкой.

Любые источники или назначения , не включенные в приведенный выше список, и назначения, не добавленные к потоку по умолчанию, не учитываются в этом пределе.

Управление источником

  • Изменение и удаление. Вы можете выбрать источник событий для изменения или удаления с помощью области навигации или холста. При нажатии кнопки "Изменить" откроется область редактирования справа от основного редактора.

    Снимок экрана: изменение источника и удаление.

  • Повторное создание ключа для пользовательского приложения. Если вы хотите повторно создать новый ключ подключения для приложения, выберите один из источников пользовательских приложений на холсте и нажмите кнопку "Повторно создать ", чтобы получить новый ключ подключения.

    Снимок экрана: как восстановить ключ.