Добавление источника Confluent Cloud для Apache Kafka в поток событий

В этой статье показано, как добавить источник Confluent Cloud для Apache Kafka в поток событий.

Confluent Cloud для Apache Kafka — это платформа потоковой передачи и обработки данных с помощью Apache Kafka. Интеграция Confluent Cloud для Apache Kafka в качестве источника в потоке событий позволяет легко обрабатывать потоки данных в режиме реального времени перед маршрутизацией их в несколько назначений в Fabric.

Предварительные условия

• Доступ к рабочей области в режиме лицензии на емкость Fabric или в режиме пробной лицензии с разрешениями уровня "Contributor" или выше.

• Кластер Confluent Cloud для Apache Kafka и ключ API.

• Кластер Confluent Cloud для Apache Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети. Если он находится в защищенной сети, подключитесь к нему с помощью инъекции виртуальной сети соединителя Eventstream.

• Если вы планируете использовать параметры TLS/mTLS убедитесь, что необходимые сертификаты доступны в Azure Key Vault:

  • Импортируйте необходимые сертификаты в Azure Key Vault в формате .pem.
  • Пользователь, который настраивает исходные и предварительные версии данных, должен иметь разрешение на доступ к сертификатам в Key Vault (например, Key Vault сертификат пользователя или Key Vault администратора).
  • Если у текущего пользователя нет необходимых разрешений, данные нельзя просмотреть из этого источника в Eventstream.

Запуск мастера выбора источника данных

Если вы еще не добавили источник в поток событий, выберите плитку "Подключить источники данных ". Вы также можете выбрать Добавить источник>Подключить источники данных на ленте.

Если вы добавляете источник в уже опубликованный поток событий, переключитесь в режим редактирования . На ленте выберите Добавить источник>Подключить источники данных.

Настройка и подключение к Confluent Cloud для Apache Kafka

1. На странице "Выбор источника данных " выберите Confluent Cloud для Apache Kafka.

   

2. Чтобы создать подключение к источнику Confluent Cloud для Apache Kafka, выберите новое подключение.

   

3. В разделе "Параметры подключения " введите один или несколько адресов сервера начальной загрузки Confluent Kafka из Настройки кластера на домашней странице вашего кластера Confluent Cloud. Разделите несколько адресов запятыми (,).

4. В разделе учетных данных подключения , если у вас есть существующее подключение к кластеру Confluent, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.

   1. В поле "Имя подключения" введите имя подключения.
   2. Для типа аутентификации убедитесь, что выбран ключ Confluent Cloud.
   3. Для ключа API и секрета ключа API:

      1. Перейдите в облако Confluent Cloud.

      2. Выберите ключи API в боковом меню.

      3. Нажмите кнопку "Добавить ключ", чтобы создать новый ключ API.

      4. Скопируйте API-ключ и Secret.

      5. Вставьте эти значения в поля "Ключ API" и "Секрет ключа API".

         Примечание.

         Если для проверки подлинности используется только mTLS, можно добавить любую строку в раздел "Ключ" во время создания подключения.

      6. Выберите Подключиться.

         

5. Прокрутите страницу вниз, чтобы увидеть раздел Настройка Confluent Cloud в качестве источника данных для Apache Kafka. Введите сведения, чтобы завершить настройку источника данных Confluent.

   1. В поле "Имя раздела" введите имя раздела из confluent Cloud. Вы можете создать или управлять темой в Confluent Cloud Console.

   2. Для группы потребителей введите группу потребителей в Confluent Cloud. Она предоставляет вам выделенную группу потребителей для получения событий из кластера Confluent Cloud.

   3. Для сброса автоматического смещения выберите одно из следующих значений:

      • Самый ранний — самые ранние данные, доступные из кластера Confluent.
      • Последние — последние доступные данные.
      • Нет . Не устанавливайте смещение автоматически.

      Примечание.

      Параметр None недоступен во время этого шага создания. Если существует зафиксированное смещение и вы хотите использовать None, сначала завершите настройку, а затем обновите параметр в режиме редактирования Eventstream.

   4. Если для кластера Kafka требуется mTLS, разверните параметры TLS/mTLS и настройте следующие параметры по мере необходимости.
      Если включен и настроен сертификат ЦС доверия , и сертификат клиента, и ключ , система автоматически использует mTLS для установления подключения. Отдельный выбор протокола безопасности не требуется.

      • Сертификат ЦС доверия: включение конфигурации сертификата ЦС доверия. Выберите подписку, группу ресурсов и хранилище ключей, а затем укажите имя серверного удостоверяющего центра.
      • Сертификат и ключ клиента: включите сертификат клиента и конфигурацию ключа. Выберите подписку, группу ресурсов и хранилище ключей, а затем укажите имя сертификата клиента.

      Примечание.

      Параметры TLS/mTLS в этом разделе в настоящее время находятся в предварительной версии, включая сертификат ЦС доверия, сертификат клиента и ключ и дополнительные параметры.

      Для источников в частной сети убедитесь, что Azure Key Vault, содержащие сертификаты, подключены к виртуальной сети Azure, используемой шлюзом данных потоковой передачи виртуальной сети для внедрения виртуальной сети соединителя Eventstream (например, через частную конечную точку).

      

   5. Вы можете расширить Дополнительные параметры, чтобы настроить проверку имени хоста TLS, наборы шифров TLS и режим отзыва TLS:

      • Проверка имени узла TLS: определяет, включена ли проверка имени узла для подключения TLS. Значение по умолчанию — True.
      • Наборы шифров TLS: указывает, какие наборы шифров TLS могут использовать клиент. Значением по умолчанию является использование системных значений по умолчанию.
      • Режим отзыва TLS: определяет, включена ли проверка отзыва сертификата клиента для подключения TLS. Значение по умолчанию — Off.

      

Сведения о потоке или источнике

1. На странице "Подключение" выполните одно из этих действий на основе того, используете ли вы поток событий или концентратор Real-Time.

   • Eventstream:

     В области сведений о источнике справа выполните следующие действия:

     1. Чтобы изменить имя источника, нажмите кнопку Карандаш.

     2. Обратите внимание, что имя потока событий и имя Stream доступны только для чтения.

   • центрReal-Time:

     В разделе сведений о потоке справа выполните следующие действия.

     1. Выберите рабочую область Fabric где нужно создать поток событий.

     2. Для имени eventstream нажмите кнопку «Карандаш» и введите название для eventstream.

     3. Значение имени потока автоматически создается шляхом добавления -stream к имени eventstream. Этот поток отображается на странице "Все потоки данных " концентратора в режиме реального времени, когда мастер завершит работу.

2. Нажмите кнопку "Далее" в нижней части страницы "Настройка ".

Проверка и подключение

В зависимости от того, кодируются ли данные с помощью реестра схем Confluent:

• Если не выполнено кодирование, нажмите Далее. На экране "Проверка и создание " просмотрите сводку и нажмите кнопку "Добавить ", чтобы завершить настройку.
• Если закодировано, перейдите к следующему шагу: подключитесь к реестру схем Confluent, чтобы декодировать данные (предварительная версия)

Подключение к реестру схем Confluent для декодирования данных (предварительная версия)

Коннектор Eventstream Confluent Cloud для потоковой передачи Apache Kafka способен декодировать данные, созданные с помощью Confluent serializer и реестра схем Confluent Cloud. Для декодирования данных, закодированных с помощью этого сериализатора реестра схем Confluent, требуется извлечение схемы из реестра схем Confluent. Без доступа к схеме поток событий не может просматривать, обрабатывать или направлять входящие данные.

Вы можете развернуть дополнительные параметры для настройки подключения к реестру схем Confluent:

1. Определение и сериализация данных. Выбор да позволяет сериализовать данные в стандартизованном формате. Выбор "Нет" сохраняет данные в исходном формате и передает их без изменений.

2. Если данные кодируются с помощью реестра схем, выберите "Да " при выборе того, кодируются ли данные в реестре схем.

3. Использование сертификатов TLS брокера. Указывает, используются ли сертификаты TLS/mTLS брокера Kafka для защиты подключения к реестру схем Confluent. Задайте для этого параметра значение True , если брокер и реестр схем используют ту же конфигурацию сертификата.

4. Затем выберите новое подключение , чтобы настроить доступ к реестру схем Confluent:

   • URL реестра схем: общедоступная конечная точка вашего реестра схем.
   • Ключ API и секрет ключа API. Перейдите к реестру схем Cloud Environment Confluent, чтобы скопировать ключ API и секрет API. Убедитесь, что учетная запись, используемая для создания этого ключа API, имеет разрешение DeveloperRead или более высокий уровень разрешения на схему.
   • Уровень конфиденциальности: выберите "Нет", "Частный", " Организационный" или "Общедоступный".

5. Выходной десятичный формат JSON: указывает формат сериализации JSON для значений десятичного логического типа в данных из источника.

   • NUMERIC: сериализация в виде чисел.
   • BASE64: сериализация в виде данных в кодировке Base64.

6. Выберите Далее. На экране "Проверка и создание", просмотрите сводку, а затем выберите "Добавить" (Eventstream) или "Подключить" (Real-Time hub).

   

Вы видите, что источник Confluent Cloud для Apache Kafka добавляется в поток событий на холсте в режиме редактирования. Чтобы реализовать этот недавно добавленный источник Confluent Cloud для Apache Kafka, выберите «Опубликовать» на ленте.

После выполнения этих действий источник Confluent Cloud для Apache Kafka доступен для визуализации в режиме реального времени.

Связанный контент

Несколько других соединителей:

• Потоки данных Amazon Kinesis
• Google Cloud Pub/Sub
• Пример данных