Добавление источника Confluent Cloud для Apache Kafka в поток событий

В этой статье показано, как добавить источник Confluent Cloud для Apache Kafka в поток событий.

Confluent Cloud для Apache Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud для Apache Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric.

Необходимые компоненты

• Доступ к рабочей области в режиме лицензии емкости Fabric (или) режим пробной лицензии с разрешениями участника или более высокого уровня.
• Кластер Confluent Cloud для Apache Kafka и ключ API.
• Кластер Confluent Cloud для Apache Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети.
• Если у вас нет потока событий, создайте поток событий.

Запуск мастера выбора источника данных

Если вы еще не добавили источник в поток событий, выберите "Использовать внешнюю плитку источника ".

Если вы добавляете источник в уже опубликованный поток событий, перейдите в режим редактирования, выберите "Добавить источник" на ленте и выберите "Внешние источники".

Настройка и подключение к Confluent Cloud для Apache Kafka

1. На странице "Выбор источника данных " выберите Confluent Cloud для Apache Kafka.

   

2. Чтобы создать подключение к источнику Confluent Cloud для Apache Kafka, выберите новое подключение.

   

3. В разделе параметров подключения введите Confluent Bootstrap Server. Перейдите на домашнюю страницу Confluent Cloud, выберите "Параметры кластера" и скопируйте адрес на сервер начальной загрузки.

4. В разделе учетных данных подключения , если у вас есть существующее подключение к кластеру Confluent, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.

   1. В поле "Имя подключения" введите имя подключения.
   2. Для типа проверки подлинности убедитесь, что выбран облачный ключ Confluent.
   3. Для ключа API и секрета ключа API:

      1. Перейдите в облако Confluent Cloud.

      2. Выберите ключи API в боковом меню.

      3. Нажмите кнопку "Добавить ключ", чтобы создать новый ключ API.

      4. Скопируйте ключ и секрет API.

      5. Вставьте эти значения в поля "Ключ API" и "Секрет ключа API".

      6. Выберите Подключиться.

         

5. Прокрутите страницу вниз, чтобы увидеть раздел Настройка Confluent Cloud в качестве источника данных для Apache Kafka. Введите сведения, чтобы завершить настройку источника данных Confluent.

   1. В поле "Имя раздела" введите имя раздела из confluent Cloud. Вы можете создать или управлять темой в Confluent Cloud Console.
   2. Для группы потребителей введите группу потребителей в Confluent Cloud. Она предоставляет выделенную группу потребителей для получения событий из кластера Confluent Cloud.
   3. Для параметра автоматического смещения сброса выберите одно из следующих значений:

      • Самый ранний — самые ранние данные, доступные из кластера Confluent

      • Последние — последние доступные данные

      • Нет — не устанавливайте смещение автоматически.

        

6. В зависимости от того, кодируются ли данные с помощью реестра схем Confluent:

   • Если не выполнено кодирование, нажмите Далее. На экране "Проверка и создание " просмотрите сводку и нажмите кнопку "Добавить ", чтобы завершить настройку.
   • Если закодировано, перейдите к следующему шагу: подключитесь к реестру схем Confluent, чтобы декодировать данные (предварительная версия)

Подключение к реестру схем Confluent для декодирования данных (предварительная версия)

Коннектор Eventstream Confluent Cloud для потоковой передачи Apache Kafka способен декодировать данные, созданные с помощью Confluent serializer и реестра схем Confluent Cloud. Для декодирования данных, закодированных с помощью этого сериализатора реестра схем Confluent, требуется извлечение схемы из реестра схем Confluent. Без доступа к схеме поток событий не может просматривать, обрабатывать или направлять входящие данные.

Вы можете развернуть дополнительные параметры для настройки подключения к реестру схем Confluent:

1. Определение и сериализация данных. Выбор да позволяет сериализовать данные в стандартизованном формате. Выбор "Нет" сохраняет данные в исходном формате и передает их без изменений.

2. Если данные кодируются с помощью реестра схем, выберите "Да " при выборе того, кодируются ли данные в реестре схем. Затем выберите новое подключение , чтобы настроить доступ к реестру схем Confluent:

   • URL реестра схем: общедоступная конечная точка вашего реестра схем.
   • Ключ API и секрет ключа API. Перейдите к реестру схем Cloud Environment Confluent, чтобы скопировать ключ API и секрет API. Убедитесь, что учетная запись, используемая для создания этого ключа API, имеет разрешение DeveloperRead или более высокий уровень разрешения на схему.
   • Уровень конфиденциальности: выберите "Нет", "Частный", " Организационный" или "Общедоступный".

3. Выходной десятичный формат JSON: указывает формат сериализации JSON для значений десятичного логического типа в данных из источника.

   • NUMERIC: сериализация в виде чисел.
   • BASE64: сериализация в виде данных в кодировке Base64.

4. Выберите Далее. На экране "Проверка и создание " просмотрите сводку и нажмите кнопку "Добавить ", чтобы завершить настройку.

   

Вы видите, что источник Confluent Cloud для Apache Kafka добавляется в поток событий на холсте в режиме редактирования. Чтобы реализовать этот недавно добавленный источник Confluent Cloud для Apache Kafka, выберите «Опубликовать» на ленте.

После выполнения этих действий источник Confluent Cloud для Apache Kafka доступен для визуализации в режиме реального времени.

Связанный контент

Другие соединители:

• Потоки данных Amazon Kinesis
• Azure Cosmos DB
• Центры событий Azure
• Центр Интернета вещей Azure
• База данных SQL Azure отслеживания измененных данных (CDC)
• Пользовательская конечная точка
• Google Cloud Pub/Sub
• My База данных SQL CDC
• Postgre База данных SQL CDC
• Пример данных
• события Хранилище BLOB-объектов Azure
• Событие рабочей области Fabric