Добавление источника Apache Kafka в поток событий Fabric (предварительная версия)

В этой статье показано, как добавить источник Apache Kafka в поток событий Fabric.

Apache Kafka — это распределенная платформа с открытым кодом для создания масштабируемых систем данных в режиме реального времени. Интегрируя Apache Kafka в качестве источника в потоке событий, вы можете легко перенести события в режиме реального времени из Apache Kafka и обработать их перед маршрутизацией в несколько назначений в Fabric.

Предварительные условия

• Доступ к среде Fabric с правами уровня участника или выше.

• Запущен кластер Apache Kafka.

• Apache Kafka должен быть общедоступным, а не за брандмауэром или защищенным в виртуальной сети. Если он находится в защищенной сети, подключитесь к нему с помощью инъекции виртуальной сети соединителя Eventstream.

• Если вы планируете использовать параметры TLS/mTLS убедитесь, что необходимые сертификаты доступны в Azure Key Vault:

  • Импортируйте необходимые сертификаты в Azure Key Vault в формате .pem.
  • Пользователь, который настраивает исходные и предварительные версии данных, должен иметь разрешение на доступ к сертификатам в Key Vault (например, Key Vault сертификат пользователя или Key Vault администратора).
  • Если у текущего пользователя нет необходимых разрешений, данные нельзя просмотреть из этого источника в Eventstream.

Добавление Apache Kafka в качестве источника

Если вы еще не добавили источник в поток событий, выберите плитку "Подключить источники данных ". Вы также можете выбрать Добавить источник>Подключить источники данных на ленте.

Если вы добавляете источник в уже опубликованный поток событий, переключитесь в режим редактирования . На ленте выберите Добавить источник>Подключить источники данных.

На странице "Выбор источника данных " или на странице источников данных выберите Apache Kafka.

Настройка и подключение к Apache Kafka

1. На странице "Подключение" выберите "Создать подключение".

   

2. В разделе «Параметры подключения» для bootstrap-сервера введите один или несколько адресов bootstrap-сервера Kafka. Разделите несколько адресов запятыми (,).

   

3. В разделе учетных данных подключения, если у вас есть существующее подключение к кластеру Apache Kafka, выберите его в раскрывающемся списке для подключения. В противном случае выполните следующие действия.

   1. В поле "Имя подключения" введите имя подключения.
   2. Для типа проверки подлинности убедитесь, что выбран API-ключ.
   3. В разделе "Ключ и секрет" введите ключ API и секрет ключа.

      Примечание.

      Если для проверки подлинности используется только mTLS, можно добавить любую строку в раздел "Ключ" во время создания подключения.

4. Нажмите Подключиться. 

5. Теперь на странице "Подключение" выполните следующие действия.

   1. В поле "Раздел" введите раздел Kafka.

   2. Для группы потребителей введите группу потребителей кластера Apache Kafka. Это поле предоставляет выделенную группу потребителей для получения событий.

   3. Выберите Сбросить автоматическое смещение, чтобы указать, где начать чтение смещений, если коммит отсутствует.

   4. Для протокола безопасности выберите один из следующих параметров:

      • SASL_SSL. Используйте этот параметр, если кластер Kafka использует проверку подлинности на основе SASL. По умолчанию сертификат сервера брокера Kafka должен быть подписан центром сертификации (ЦС), включенным в список доверенных ЦС. Если кластер Kafka использует пользовательский ЦС, его можно настроить с помощью параметров TLS/mTLS.
      • SSL (mTLS): используйте этот параметр, если кластер Kafka требует проверки подлинности mTLS, и необходимо настроить как пользовательский сертификат ЦС сервера, так и сертификат клиента в параметрах TLS/mTLS.

   5. Механизм SASL по умолчанию обычно PLAIN , если не настроен иначе. Вы можете выбрать механизм SCRAM-SHA-256 или SCRAM-SHA-512 , соответствующий вашим требованиям безопасности.

   6. Если в кластере Kafka используется пользовательский ЦС или требуется mTLS, разверните параметры TLS/mTLS и настройте следующие параметры по мере необходимости:

      • Сертификат ЦС доверия: включение конфигурации сертификата ЦС доверия. Выберите подписку, группу ресурсов и хранилище ключей, а затем укажите имя серверного удостоверяющего центра.

      • Сертификат и ключ клиента: включите сертификат клиента и конфигурацию ключа. Выберите подписку, группу ресурсов и хранилище ключей, а затем укажите имя сертификата клиента.

        Если вы не используете mTLS, но по-прежнему используете SASL_SSL с пользовательским сертификатом ЦС, можно пропустить эту конфигурацию сертификата клиента.

      Примечание.

      Параметры TLS/mTLS в этом разделе в настоящее время находятся в предварительной версии.

      Для источников в частной сети убедитесь, что Azure Key Vault, содержащие сертификаты, подключены к виртуальной сети Azure, используемой шлюзом данных потоковой передачи виртуальной сети для внедрения виртуальной сети соединителя Eventstream (например, через частную конечную точку).

   

Сведения о потоке или источнике

1. На странице "Подключение" выполните одно из этих действий на основе того, используете ли вы поток событий или концентратор Real-Time.

   • Eventstream:

     В области сведений о источнике справа выполните следующие действия:

     1. Чтобы изменить имя источника, нажмите кнопку Карандаш.

     2. Обратите внимание, что имя потока событий и имя Stream доступны только для чтения.

   • центрReal-Time:

     В разделе сведений о потоке справа выполните следующие действия.

     1. Выберите рабочую область Fabric где нужно создать поток событий.

     2. Для имени eventstream нажмите кнопку «Карандаш» и введите название для eventstream.

     3. Значение имени потока автоматически создается шляхом добавления -stream к имени eventstream. Этот поток отображается на странице "Все потоки данных " концентратора в режиме реального времени, когда мастер завершит работу.

2. Нажмите кнопку "Далее" в нижней части страницы "Настройка ".

Проверка и подключение

На экране "Обзор и подключение" просмотрите сводку и выберите "Добавить (Eventstream) или "Connect (Real-Time hub).

Просмотр обновленного потока событий

В режиме редактирования можно увидеть источник Apache Kafka, добавленный в поток событий. 

После выполнения этих действий источник Apache Kafka доступен для визуализации в режиме реального времени.

Связанный контент

Другие соединители:

• Потоки данных Amazon Kinesis
• Azure Cosmos DB
• Центры событий Azure
• Центр Интернета вещей Azure
• Фиксирование изменений данных в базе данных Azure SQL (CDC)
• Пользовательская конечная точка
• Google Cloud Pub/Sub
• База данных MySQL CDC
• PostgreSQL база данных CDC
• Пример данных
• события Azure Blob Storage
• Fabric событие рабочей области