Добавление источника Azure Event Hubs в поток событий

В этой статье показано, как добавить источник Azure Event Hubs в поток событий Microsoft Fabric.

Предварительные условия

  • Доступ к рабочей области в режиме лицензии на Fabric Capacity или в режиме пробной лицензии с правами участника или более высокого уровня.
  • Соответствующее разрешение для получения ключей доступа к концентратору событий. Если концентратор событий находится в защищенной сети, подключитесь к нему с помощью управляемой частной конечной точки. В противном случае убедитесь, что концентратор событий является общедоступным и не находится за брандмауэром.

Открытие мастера выбора источника данных

Если вы еще не добавили источник в поток событий, выберите плитку "Подключить источники данных ". Вы также можете выбрать Добавить источник>Подключить источники данных на ленте.

Снимок экрана, показывающий выбор плитки для использования внешнего источника.

Если вы добавляете источник в уже опубликованный поток событий, переключитесь в режим редактирования . На ленте выберите Добавить источник>Подключить источники данных.

Снимок экрана: выборы для добавления внешних источников.

Выберите Azure Event Hubs в качестве источника

На странице Выбор источника данных найдите Azure Event Hubs. На плитке Azure Event Hubs выберите Connect.

Скриншот, показывающий выбор Azure Event Hubs в качестве типа источника в мастере для получения событий.

Настройка соединителя Azure Event Hubs

  1. В разделе "Настройка параметров подключения" убедитесь, что для уровня компонентов выбран базовый уровень, а затем выберите "Создать подключение".

    Снимок экрана: страница настройки параметра подключения с выделенной ссылкой для нового подключения.

    Если есть существующее подключение к концентратору событий, выберите это существующее подключение. Затем перейдите к настройке формата данных в следующих шагах.

    Скриншот, показывающий страницу

  2. В разделе "Параметры подключения " выполните следующие действия.

    1. Введите имя пространства имен Центров событий.
    2. Введите имя шлюза событий.

    Снимок экрана: параметры подключения с пространством имен Центров событий и указанным концентратором событий.

  3. В разделе учетных данных подключения выполните следующие действия.

    1. В поле "Имя подключения" введите имя подключения к концентратору событий.
    2. Для проверки подлинности убедитесь, что выбран общий ключ доступа.
    3. В поле "Имя ключа общего доступа" введите имя общего ключа доступа. Инструкции по получению ключа доступа см. в разделе Get Azure Event Hubs connection string.
    4. В поле "Общий ключ доступа" введите значение общего ключа доступа.
    5. Нажмите Подключиться.

    Скриншот, на котором показаны введенные учетные данные для соединителя Azure Event Hubs.

  4. Для группы потребителей введите имя группы потребителей. Группа потребителей по умолчанию для концентратора событий $Default.

  5. Для формата Data выберите формат данных для входящих событий в режиме реального времени, которые нужно получить из концентратора событий Azure. Вы можете выбрать форматы данных JSON, Avro и CSV (с заголовками).

    Снимок экрана: область ввода группы потребителей и формата данных.

  6. В области сведений о источнике справа выберите значок карандаша рядом с именем источника, а затем введите имя источника. Этот шаг необязательный.

    Снимок экрана: значок карандаша для имени источника на панели для получения сведений об источнике.

  7. Выберите Далее в нижней части страницы.

    Снимок экрана: кнопка

  8. На странице "Проверка и подключение" просмотрите параметры и нажмите кнопку "Добавить".

    Снимок экрана, представляющий страницу для просмотра параметров и создания соединителя Azure Event Hubs.

  1. В разделе "Настройка параметров подключения" для параметра "Выбор уровня компонентов" выберите расширенные функции.

    Снимок экрана: страница настройки параметров подключения с выбранным параметром расширенных функций.

    Если есть существующее подключение к концентратору событий, выберите это существующее подключение. Затем перейдите к настройке формата данных в следующих шагах.

  2. В разделе "Параметры подключения " выполните следующие действия.

    1. Введите имя пространства имен Центров событий.

    2. Введите имя шлюза событий.

      Снимок экрана: параметры подключения с пространством имен Центров событий и указанным концентратором событий.

  3. В разделе учетных данных подключения выполните следующие действия.

    1. В поле "Имя подключения" введите имя подключения к концентратору событий.

    2. Для проверки подлинности убедитесь, что выбран общий ключ доступа.

    3. В поле "Имя ключа общего доступа" введите имя общего ключа доступа. Инструкции по получению ключа доступа см. в разделе Get Azure Event Hubs connection string.

    4. В поле "Общий ключ доступа" введите значение общего ключа доступа.

    5. Нажмите Подключиться.

      Снимок экрана: введенные учетные данные для соединителя Центров событий.

  4. Для группы потребителей введите имя группы потребителей. Группа потребителей по умолчанию для концентратора событий $Default.

    Снимок экрана, показывающий область для ввода группы потребителей для расширенных функций.

Сведения о потоке или источнике

  1. На странице "Подключение" выполните одно из этих действий на основе того, используете ли вы поток событий или концентратор Real-Time.

    • Eventstream:

      В области сведений о источнике справа выполните следующие действия:

      1. Чтобы изменить имя источника, нажмите кнопку Карандаш.

      2. Обратите внимание, что имя потока событий и имя Stream доступны только для чтения.

    • центрReal-Time:

      В разделе сведений о потоке справа выполните следующие действия.

      1. Выберите рабочую область Fabric где нужно создать поток событий.

      2. Для имени eventstream нажмите кнопку «Карандаш» и введите название для eventstream.

      3. Значение имени потока автоматически создается шляхом добавления -stream к имени eventstream. Этот поток отображается на странице "Все потоки данных " концентратора в режиме реального времени, когда мастер завершит работу.

  2. Нажмите кнопку "Далее" в нижней части страницы "Настройка ".

Страница обработки схемы

  1. На странице обработки схем предоставьте правила для обработки событий, полученных из выбранного концентратора событий, чтобы поток событий смог применить их правильно. Правила сопоставления зависят от модели событий.

    Если у вас есть одна схема, которая управляет всеми событиями, выберите "Исправленная схема".

    Если у вас несколько схем, представляющих различные входящие события, определите правила сопоставления для применения схем. Чтобы выбрать этот режим, выберите динамическую схему с помощью заголовков. Затем укажите правила с помощью пар заголовков и значений, чтобы выбрать каждую схему. Заголовок — это настраиваемое свойство заголовка Kafka, которое является частью метаданных события. Это ожидаемое значение для этого свойства.

    Снимок экрана, на котором показана страница обработки схемы с выбранными расширенными функциями.

  2. Выберите схемы, выбрав раскрывающееся меню "Добавить дополнительные схемы" и выбрав одну или несколько существующих схем из реестра схем событий. Если у вас нет схем для выбора, можно создать новые схемы из этого представления. Сведения о том, как определить новую схему событий, см. в статье "Создание схем событий и управление ими" в наборах схем.

    Снимок экрана: область добавления схем с выбранным параметром фиксированной схемы.

    Если выбран параметр "Выбрать из реестра схем событий ", появится область "Связать схему событий ". Выберите одну или несколько схем из реестра в зависимости от установленного режима сопоставления схем, а затем выберите Выбрать в нижней части панели.

    Снимок экрана: панель для связывания схемы событий.

  3. Если выбран параметр фиксированной схемы , вам не нужно предоставлять больше правил для сопоставления схемы. Вы можете перейти к следующему шагу.

    Если выбрана динамическая схема с помощью параметра заголовков , укажите свойство заголовка Kafka и ожидаемое значение, которое сопоставляется со схемой. Добавьте дополнительные схемы и укажите различные свойства заголовка и (или) различные значения для сопоставления с этими схемами.

    Примечание.

    При определении правил сопоставления каждое значение заголовка должно быть уникальным. Если вы попытаетесь повторно использовать схему, появится предупреждение, указывающее, что вы можете нарушить существующие потоки. Если правила сопоставления одинаковы, можно повторно использовать схему. Если это ограничение влияет на использование, обратитесь к своему представителю Microsoft, чтобы поделиться своими отзывами. Мы активно работаем над удалением этого ограничения.

    Снимок экрана: свойство и значение, сопоставленное схеме.

  4. После сопоставления схем для всех ожидаемых событий нажмите кнопку Далее в нижней части страницы обработки схемы .

    Снимок экрана: кнопка

Проверка и подключение

  1. На странице "Проверка и подключение" просмотрите параметры и нажмите кнопку "Подключить".

    Скриншот, который показывает страницу просмотра параметров и создания соединителя Azure Event Hubs при включении расширенных функций.

  2. На странице «Проверка и подключение» выберите «Добавить» (Eventstream) или «Подключить» (Real-Time hub).

    Снимок экрана: страница для просмотра параметров и создания соединителя после успешного создания ресурсов.

Примечание.

Поток событий может поддерживать до 11 объединенных источников и приемников только в том случае, если вы используете следующие типы:

  • Источник: настраиваемая конечная точка.
  • Назначения: настраиваемая конечная точка и ивентхаус с прямой загрузкой.

Любые источники или назначения, не включенные в предыдущий список, и назначения, не добавленные к потоку по умолчанию, не учитываются в этом пределе.

Просмотр обновленного потока событий

  1. Убедитесь, что источник Центров событий добавляется в поток событий на холсте в режиме редактирования . Выберите "Обновить ", чтобы отобразить предварительный просмотр данных в концентраторе событий. Чтобы реализовать этот недавно добавленный концентратор событий, выберите "Опубликовать " на ленте.

    Снимок экрана: редактор с выбранной кнопкой

  2. Концентратор событий доступен для визуализации в режиме реального времени . Выберите плитку концентратора событий на схеме, чтобы открыть панель, аналогичную следующему примеру.

    Снимок экрана: редактор в режиме реального времени.

Просмотр обновленного потока событий

  1. Убедитесь, что источник Центров событий добавляется в поток событий на холсте в режиме редактирования . Выберите "Обновить ", чтобы отобразить предварительный просмотр данных в концентраторе событий. Чтобы реализовать этот недавно добавленный концентратор событий, выберите "Опубликовать " на ленте.

    Снимок экрана: кнопка

  2. Концентратор событий доступен для визуализации в режиме реального времени . Выберите плитку концентратора событий на схеме, чтобы открыть панель, аналогичную следующему примеру.

    Снимок экрана: редактор в режиме реального времени.

Настройте направления Eventstream для использования схем

В настоящее время для потоков событий со связанными схемами поддерживаются только Eventhouse, настраиваемая конечная точка и назначения производных потоков. В этом разделе показано, как добавить и настроить назначение Eventhouse, если для потока событий включены расширенные функции (например, поддержка схемы).

Примечание.

При использовании DeltaFlow (предварительная версия) с поддерживаемым источником отслеживания измененных данных (CDC) целевые таблицы в хранилище событий автоматически создаются и управляются для сопоставления структуры исходной таблицы. Вам не нужно вручную настраивать схему целевой таблицы. DeltaFlow также обрабатывает эволюцию схемы автоматически при изменении исходных таблиц.

Настройка схемы для назначения пользовательской конечной точки

  1. Выберите "Преобразовать события" или "Добавить назначение", а затем выберите CustomEndpoint.

  2. На панели настраиваемых конечных точек укажите имя назначения.

  3. Для схемы входных данных выберите схему для событий. При включении поддержки схемы для потока событий вы можете выбрать этот флажок.

Снимок экрана: панель настройки пользовательской конечной точки.

Подробные инструкции по настройке назначения настраиваемой конечной точки см. в разделе "Добавление настраиваемой конечной точки" или назначения пользовательского приложения в поток событий.

Настроить схемы для назначения eventhouse

  1. Выберите "Преобразовать события" или "Добавить назначение", а затем выберите Eventhouse.

  2. На панели eventhouse настройте следующие параметры, связанные со схемой:

    1. Для входной схемы выберите одну или несколько схем из раскрывающегося списка.

      Снимок экрана: область конфигурации дома событий с выбранной входной схемой.

      Примечание.

      Если вы выбрали опцию динамическая схема через заголовки при настройке источника Центров событий, возможно, вы сконфигурировали несколько схем для источника и сопоставили их с различными свойствами и значениями.

    2. Для метода создания таблицы выберите одну таблицу со всеми схемами, объединенными или отдельными таблицамидля каждой схемы в зависимости от ваших требований.

      Снимок экрана: область конфигурации дома событий с методами создания таблицы.

    3. Для записи данных выберите один из следующих параметров:

      • Только полезная нагрузка: запишите извлеченные полезные данные в таблицу. Если существует несколько входных схем, данные отправляются в несколько таблиц.
      • Метаданные и полезные данные: запись метаданных и полезных данных в одну таблицу. Примеры столбцов: source , , subjecttypeи data.

      Снимок экрана: область конфигурации дома событий с параметрами записи данных.

Подробные инструкции по настройке назначения eventhouse см. в разделе "Добавление хранилища событий в поток событий" .