Руководство разработчика Apache Kafka для Центров событий Azure

Это руководство помогает разработчикам Kafka создавать и переносить приложения в Центры событий Azure. Независимо от того, подключаете ли вы существующее приложение Kafka или создаете новое решение потоковой передачи, вы найдете краткие руководства, учебники и шаблоны интеграции, организованные в рамках процесса разработки.

Предпосылки

Прежде чем приступить к разработке, убедитесь, что у вас есть:

  • Пространство имен Центров событий Azure с включенным Kafka (уровень "Стандартный" или выше)
  • Установленная предпочитаемая клиентская библиотека Kafka
  • Строка подключения или учетные данные Microsoft Entra для проверки подлинности

Общие сведения о том, как центры событий работают с Kafka, см. в разделе "Центры событий" для Apache Kafka.

Начало работы за 5 минут

Самый быстрый способ подключения к Центрам событий — изменить существующую конфигурацию клиента Kafka. Изменения кода не требуются. Просто обновите параметры подключения.

Краткое руководство: Потоковая передача данных с помощью протокола Kafka показывает, как подключить производителей и потребителей всего лишь изменением конфигурации.

Краткие руководства по программным языкам

Выберите язык, чтобы получить пример работающего производителя и потребителя.

Language Sample Клиентская библиотека
Java Быстрый старт Клиент Apache Kafka
C# / .NET Быстрый старт Клиент Confluent .NET
Python Быстрый старт Клиент Python confluent
Node.js Быстрый старт node-rdkafka
Go Быстрый старт Клиент Confluent Go
Go (Сарама) Быстрый старт Клиент Sarama

Программы командной строки

Для тестирования и отладки используйте следующие средства CLI:

Tool Sample Сценарий использования
Kafka CLI Быстрый старт Пакет с дистрибутивом Apache Kafka
kcat Быстрый старт Упрощенный, быстрый интерфейс командной строки на основе librdkafka

Построение конвейеров потоковой передачи

После подключения приложения можно создать более сложные конвейеры потоковой передачи. В этом разделе рассматриваются интеграции с популярными платформами потоковой обработки и средствами интеграции данных.

Платформы потоковой обработки

Подключите приложения потоковой обработки к центрам событий:

Платформа Учебник Description
Apache Spark Руководство Потоковая передача данных в режиме реального времени с использованием Spark Structured Streaming
Apache Flink Руководство Обработка потока с отслеживанием состояния с семантикой точно один раз
Akka Streams Руководство Реактивная обработка потоков для Scala и Java
Azure Stream Analytics Руководство Обработка потока без кода с помощью запросов, таких как SQL
Spring Cloud Stream Руководство Интеграция Spring Boot с помощью привязки Kafka

Интеграция данных с Kafka Connect

Kafka Connect позволяет передавать данные между Центрами событий и внешними системами с помощью предварительно созданных соединителей:

Resource Description
Интеграция Kafka Connect Развертывание и настройка Kafka Connect с помощью Центров событий
Руководство по Kafka Connect (GitHub) Полный пример с FileStreamSource и FileStreamSink

Агрегирование журналов и возможность наблюдения

Централизация журналов из инфраструктуры в Центры событий:

Tool Учебник Description
Logstash. Руководство Конвейер логов Elastic Stack
Filebeat Руководство Легкий агент передачи логов
FluentD Руководство Единый уровень ведения журнала
Apache NiFi Руководство Управление визуальными потоками данных

Перенос существующих рабочих нагрузок Kafka

При миграции из существующего кластера Kafka центры событий поддерживают репликацию и гибридные сценарии.

Репликация данных с помощью MirrorMaker

Используйте Kafka MirrorMaker для репликации данных из существующего кластера Kafka в Центры событий:

Resource Description
Создать зеркальную копию брокера Kafka в Центрах событий Пошаговое руководство по настройке MirrorMaker
Руководство по MirrorMaker (GitHub) Примеры конфигураций и скриптов

Планирование миграции

Полное руководство по миграции, включая сопоставление конфигураций и различия функций, см. в руководстве по миграции Apache Kafka для Центров событий.

Расширенные сценарии

Управление схемами

Управление схемами для приложений Kafka:

Resource Description
Реестр схем Azure Собственный реестр схем, встроенный в Центры событий
Интеграция реестра схем Confluent Использование реестра схем Confluent с центрами событий

Проверка подлинности с помощью OAuth / идентификатора Microsoft Entra

Для рабочих нагрузок используйте идентификатор Microsoft Entra вместо строк подключения:

Resource Description
Руководство по OAuth (GitHub) Примеры Java и Go для проверки подлинности OAuth

Совместимость протоколов

Центры событий поддерживают несколько протоколов. Узнайте, как обмениваться событиями между клиентами Kafka и AMQP:

Resource Description
Руководство по взаимодействиям (GitHub) Обмен событиями между различными протоколами

Справочник по конфигурации

Рекомендуемые конфигурации клиента Kafka при использовании Центров событий см. в разделе конфигурации клиента Apache Kafka. В этом руководстве рассматриваются следующие сведения:

  • Обязательные параметры подключения
  • Конфигурации, отличающиеся от значений по умолчанию Kafka
  • Ограничения для центров событий
  • Устранение распространенных проблем с конфигурацией

Получите помощь

  • Last updated on