Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
В этой статье показано, как добавить источник Azure Event Hubs в поток событий Microsoft Fabric.
Предварительные условия
- Доступ к рабочей области в режиме лицензии на Fabric Capacity или в режиме пробной лицензии с правами участника или более высокого уровня.
- Соответствующее разрешение для получения ключей доступа к концентратору событий. Если концентратор событий находится в защищенной сети, подключитесь к нему с помощью управляемой частной конечной точки. В противном случае убедитесь, что концентратор событий является общедоступным и не находится за брандмауэром.
Открытие мастера выбора источника данных
Если вы еще не добавили источник в поток событий, выберите плитку "Подключить источники данных ". Вы также можете выбрать Добавить источник>Подключить источники данных на ленте.
Если вы добавляете источник в уже опубликованный поток событий, переключитесь в режим редактирования . На ленте выберите Добавить источник>Подключить источники данных.
Выберите Azure Event Hubs в качестве источника
На странице Выбор источника данных найдите Azure Event Hubs. На плитке Azure Event Hubs выберите Connect.
Скриншот, показывающий выбор Azure Event Hubs в качестве типа источника в мастере для получения событий.
Настройка соединителя Azure Event Hubs
В разделе "Настройка параметров подключения" убедитесь, что для уровня компонентов выбран базовый уровень, а затем выберите "Создать подключение".
Если есть существующее подключение к концентратору событий, выберите это существующее подключение. Затем перейдите к настройке формата данных в следующих шагах.
В разделе "Параметры подключения " выполните следующие действия.
- Введите имя пространства имен Центров событий.
- Введите имя шлюза событий.
В разделе учетных данных подключения выполните следующие действия.
- В поле "Имя подключения" введите имя подключения к концентратору событий.
- Для проверки подлинности убедитесь, что выбран общий ключ доступа.
- В поле "Имя ключа общего доступа" введите имя общего ключа доступа. Инструкции по получению ключа доступа см. в разделе Get Azure Event Hubs connection string.
- В поле "Общий ключ доступа" введите значение общего ключа доступа.
- Нажмите Подключиться.
Для группы потребителей введите имя группы потребителей. Группа потребителей по умолчанию для концентратора событий $Default.
Для формата Data выберите формат данных для входящих событий в режиме реального времени, которые нужно получить из концентратора событий Azure. Вы можете выбрать форматы данных JSON, Avro и CSV (с заголовками).
В области сведений о источнике справа выберите значок карандаша рядом с именем источника, а затем введите имя источника. Этот шаг необязательный.
Выберите Далее в нижней части страницы.
На странице "Проверка и подключение" просмотрите параметры и нажмите кнопку "Добавить".
В разделе "Настройка параметров подключения" для параметра "Выбор уровня компонентов" выберите расширенные функции.
Если есть существующее подключение к концентратору событий, выберите это существующее подключение. Затем перейдите к настройке формата данных в следующих шагах.
В разделе "Параметры подключения " выполните следующие действия.
В разделе учетных данных подключения выполните следующие действия.
В поле "Имя подключения" введите имя подключения к концентратору событий.
Для проверки подлинности убедитесь, что выбран общий ключ доступа.
В поле "Имя ключа общего доступа" введите имя общего ключа доступа. Инструкции по получению ключа доступа см. в разделе Get Azure Event Hubs connection string.
В поле "Общий ключ доступа" введите значение общего ключа доступа.
Нажмите Подключиться.
Для группы потребителей введите имя группы потребителей. Группа потребителей по умолчанию для концентратора событий $Default.
Сведения о потоке или источнике
На странице "Подключение" выполните одно из этих действий на основе того, используете ли вы поток событий или концентратор Real-Time.
Eventstream:
В области сведений о источнике справа выполните следующие действия:
Чтобы изменить имя источника, нажмите кнопку Карандаш.
Обратите внимание, что имя потока событий и имя Stream доступны только для чтения.
центрReal-Time:
В разделе сведений о потоке справа выполните следующие действия.
Выберите рабочую область Fabric где нужно создать поток событий.
Для имени eventstream нажмите кнопку «Карандаш» и введите название для eventstream.
Значение имени потока автоматически создается шляхом добавления -stream к имени eventstream. Этот поток отображается на странице "Все потоки данных " концентратора в режиме реального времени, когда мастер завершит работу.
Нажмите кнопку "Далее" в нижней части страницы "Настройка ".
Страница обработки схемы
На странице обработки схем предоставьте правила для обработки событий, полученных из выбранного концентратора событий, чтобы поток событий смог применить их правильно. Правила сопоставления зависят от модели событий.
Если у вас есть одна схема, которая управляет всеми событиями, выберите "Исправленная схема".
Если у вас несколько схем, представляющих различные входящие события, определите правила сопоставления для применения схем. Чтобы выбрать этот режим, выберите динамическую схему с помощью заголовков. Затем укажите правила с помощью пар заголовков и значений, чтобы выбрать каждую схему. Заголовок — это настраиваемое свойство заголовка Kafka, которое является частью метаданных события. Это ожидаемое значение для этого свойства.
Выберите схемы, выбрав раскрывающееся меню "Добавить дополнительные схемы" и выбрав одну или несколько существующих схем из реестра схем событий. Если у вас нет схем для выбора, можно создать новые схемы из этого представления. Сведения о том, как определить новую схему событий, см. в статье "Создание схем событий и управление ими" в наборах схем.
Если выбран параметр "Выбрать из реестра схем событий ", появится область "Связать схему событий ". Выберите одну или несколько схем из реестра в зависимости от установленного режима сопоставления схем, а затем выберите Выбрать в нижней части панели.
Если выбран параметр фиксированной схемы , вам не нужно предоставлять больше правил для сопоставления схемы. Вы можете перейти к следующему шагу.
Если выбрана динамическая схема с помощью параметра заголовков , укажите свойство заголовка Kafka и ожидаемое значение, которое сопоставляется со схемой. Добавьте дополнительные схемы и укажите различные свойства заголовка и (или) различные значения для сопоставления с этими схемами.
Примечание.
При определении правил сопоставления каждое значение заголовка должно быть уникальным. Если вы попытаетесь повторно использовать схему, появится предупреждение, указывающее, что вы можете нарушить существующие потоки. Если правила сопоставления одинаковы, можно повторно использовать схему. Если это ограничение влияет на использование, обратитесь к своему представителю Microsoft, чтобы поделиться своими отзывами. Мы активно работаем над удалением этого ограничения.
После сопоставления схем для всех ожидаемых событий нажмите кнопку Далее в нижней части страницы обработки схемы .
Проверка и подключение
Примечание.
Поток событий может поддерживать до 11 объединенных источников и приемников только в том случае, если вы используете следующие типы:
- Источник: настраиваемая конечная точка.
- Назначения: настраиваемая конечная точка и ивентхаус с прямой загрузкой.
Любые источники или назначения, не включенные в предыдущий список, и назначения, не добавленные к потоку по умолчанию, не учитываются в этом пределе.
Просмотр обновленного потока событий
Убедитесь, что источник Центров событий добавляется в поток событий на холсте в режиме редактирования . Выберите "Обновить ", чтобы отобразить предварительный просмотр данных в концентраторе событий. Чтобы реализовать этот недавно добавленный концентратор событий, выберите "Опубликовать " на ленте.
Концентратор событий доступен для визуализации в режиме реального времени . Выберите плитку концентратора событий на схеме, чтобы открыть панель, аналогичную следующему примеру.
Просмотр обновленного потока событий
Убедитесь, что источник Центров событий добавляется в поток событий на холсте в режиме редактирования . Выберите "Обновить ", чтобы отобразить предварительный просмотр данных в концентраторе событий. Чтобы реализовать этот недавно добавленный концентратор событий, выберите "Опубликовать " на ленте.
Концентратор событий доступен для визуализации в режиме реального времени . Выберите плитку концентратора событий на схеме, чтобы открыть панель, аналогичную следующему примеру.
Настройте направления Eventstream для использования схем
В настоящее время для потоков событий со связанными схемами поддерживаются только Eventhouse, настраиваемая конечная точка и назначения производных потоков. В этом разделе показано, как добавить и настроить назначение Eventhouse, если для потока событий включены расширенные функции (например, поддержка схемы).
Примечание.
При использовании DeltaFlow (предварительная версия) с поддерживаемым источником отслеживания измененных данных (CDC) целевые таблицы в хранилище событий автоматически создаются и управляются для сопоставления структуры исходной таблицы. Вам не нужно вручную настраивать схему целевой таблицы. DeltaFlow также обрабатывает эволюцию схемы автоматически при изменении исходных таблиц.
Настройка схемы для назначения пользовательской конечной точки
Выберите "Преобразовать события" или "Добавить назначение", а затем выберите CustomEndpoint.
На панели настраиваемых конечных точек укажите имя назначения.
Для схемы входных данных выберите схему для событий. При включении поддержки схемы для потока событий вы можете выбрать этот флажок.
Подробные инструкции по настройке назначения настраиваемой конечной точки см. в разделе "Добавление настраиваемой конечной точки" или назначения пользовательского приложения в поток событий.
Настроить схемы для назначения eventhouse
Выберите "Преобразовать события" или "Добавить назначение", а затем выберите Eventhouse.
На панели eventhouse настройте следующие параметры, связанные со схемой:
Для входной схемы выберите одну или несколько схем из раскрывающегося списка.
Примечание.
Если вы выбрали опцию динамическая схема через заголовки при настройке источника Центров событий, возможно, вы сконфигурировали несколько схем для источника и сопоставили их с различными свойствами и значениями.
Для метода создания таблицы выберите одну таблицу со всеми схемами, объединенными или отдельными таблицамидля каждой схемы в зависимости от ваших требований.
Для записи данных выберите один из следующих параметров:
- Только полезная нагрузка: запишите извлеченные полезные данные в таблицу. Если существует несколько входных схем, данные отправляются в несколько таблиц.
-
Метаданные и полезные данные: запись метаданных и полезных данных в одну таблицу. Примеры столбцов:
source, ,subjecttypeиdata.
Подробные инструкции по настройке назначения eventhouse см. в разделе "Добавление хранилища событий в поток событий" .
Связанный контент
- Список поддерживаемых источников см. в разделе "Добавление источника событий и управление ими" в потоке событий.