Поделиться через

Добавление источника Apache Kafka в поток событий Fabric (предварительная версия)

В этой статье показано, как добавить источник Apache Kafka в поток событий Fabric.

Apache Kafka — это распределенная платформа с открытым кодом для создания масштабируемых систем данных в режиме реального времени. Интеграция Apache Kafka в качестве источника в потоке событий позволяет легко перенести события в режиме реального времени из Apache Kafka и обработать их перед маршрутизацией в несколько назначений в Fabric.

Примечание.

Этот источник не поддерживается в следующих регионах возможностей рабочей области: Запад США 3, Запад Швейцарии.

Предварительные условия

  • Доступ к рабочему пространству Fabric с правами участника или выше.
  • Запущен кластер Apache Kafka.
  • Apache Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети. 

Добавление Apache Kafka в качестве источника

  1. В Службе "Интеллект в режиме реального времени" выберите Eventstream, чтобы создать новый поток событий.

    Снимок экрана: создание нового потока событий.

  2. На следующем экране выберите "Добавить внешний источник".

    Снимок экрана: выбор

  3. На странице "Выбор источника данных " или на странице источников данных выберите Apache Kafka.

    Снимок экрана: выбор Apache Kafka в качестве исходного типа в мастере получения событий.

Настройка и подключение к Apache Kafka

  1. На странице "Подключение" выберите "Создать подключение".

    Снимок экрана: выбор ссылки

  2. В разделе "Параметры подключения" для Bootstrap Server введите адрес сервера Apache Kafka.

    снимок экрана, демонстрирующий выбор поля сервера Apache Kafka

  3. В разделе учетных данных подключения, если у вас есть существующее подключение к кластеру Apache Kafka, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.

    1. В поле "Имя подключения" введите имя подключения.
    2. Для типа проверки подлинности убедитесь, что выбран API-ключ.
    3. В разделе "Ключ и секрет" введите ключ API и секрет ключа.

  4. Нажмите Подключиться. 

  5. Теперь на странице "Подключение" выполните следующие действия.

    1. В поле "Раздел" введите раздел Kafka.

    2. Для группы потребителей введите группу потребителей кластера Apache Kafka. Это поле предоставляет выделенную группу потребителей для получения событий.

    3. Выберите Сбросить автоматическое смещение, чтобы указать, где начать чтение смещений, если коммит отсутствует.

    4. Для протокола безопасности значение по умолчанию — SASL_PLAINTEXT.

      Примечание.

      Источник Apache Kafka в настоящее время поддерживает только незашифрованную передачу данных (SASL_PLAINTEXT и PLAINTEXT) между кластером Apache Kafka и Eventstream. Поддержка зашифрованной передачи данных через SSL будет доступна в ближайшее время.

    5. Механизм SASL по умолчанию обычно PLAIN , если не настроен иначе. Вы можете выбрать механизм SCRAM-SHA-256 или SCRAM-SHA-512 , соответствующий вашим требованиям безопасности.

      Снимок экрана: первая страница параметров подключения Apache Kafka.

  6. Выберите Далее. На экране Просмотр и создание просмотрите сводку, затем выберите Добавить.

Просмотр обновленного потока событий

В режиме редактирования можно увидеть источник Apache Kafka, добавленный в поток событий. 

Снимок экрана, показывающий источник Apache Kafka в режиме редактирования.

После выполнения этих действий источник Apache Kafka доступен для визуализации в режиме реального времени.

Снимок экрана: источник Apache Kafka в режиме live.

Примечание.

Чтобы просмотреть события из этого источника Apache Kafka, убедитесь, что ключ, используемый для создания облачного подключения, имеет разрешение на чтение для групп потребителей, префиксированных с префиксом "preview-".

Для источника Apache Kafka можно просмотреть только сообщения в формате JSON .

Снимок экрана: предварительная версия исходных данных Apache Kafka.

Связанный контент

Другие соединители: