Поделиться через

Что такое Центры событий Azure?

Центры событий Azure — это полностью управляемая платформа потоковой передачи данных в режиме реального времени, которая может получать миллионы событий в секунду с низкой задержкой. Как собственная служба Azure с встроенной совместимостью Apache Kafka, центры событий позволяют выполнять существующие рабочие нагрузки Kafka без изменений кода или затрат на управление кластерами.

Организации используют Центры событий для создания конвейеров данных для телеметрии Интернета вещей, ведения журнала приложений, аналитики clickstream, обработки финансовых транзакций и других сценариев, требующих высокой пропускной способности, надежного приема событий. Центры событий интегрируются со службами аналитики Azure, чтобы обеспечить аналитику в режиме реального времени и долгосрочное хранение данных.

Вкратце

Свойство Сведения
тип услуги; Полностью управляемая платформа потоковой передачи событий (PaaS)
Поддерживаемые протоколы Apache Kafka, AMQP 1.0, HTTPS
Хранение данных До 7 дней (стандартный), 90 дней (премиум/выделенный)
уровни ценообразования Стандартный, Премиум, Выделенный
Соглашение об уровне обслуживания До 99,99%

Зачем выбирать Центры событий Azure?

  • Нулевое управление инфраструктурой: полностью управляемая служба с автоматическим исправлением, масштабированием и мониторингом. Нет кластеров для подготовки или обслуживания.
  • Надежность корпоративного уровня: до 99,99% SLA (соглашение об уровне обслуживания) с поддержкой зоны доступности и георепликацией для обеспечения непрерывности бизнеса.
  • Kafka без сложности: запуск рабочих нагрузок Kafka с более высокой экономичностью и отсутствием эксплуатационных затрат. Отдельные кластеры Kafka не требуются.
  • Простая интеграция Azure: встроенная интеграция с Stream Analytics, Функциями Azure, Обозревателем данных и многими другими службами Azure.
  • Гибкое ценообразование: выберите модели на основе потребления или с выделенной мощностью. Масштабирование от мегабайтов до терабайтов по требованию.

Схема, показывая, как Центры событий Azure соответствует платформе потоковой передачи событий.

Когда следует использовать Центры событий

Центры событий предназначены для сценариев потоковой передачи событий с высокой пропускной способностью, низкой задержкой. Рассмотрите центры событий, когда необходимо:

Scenario Description
Аналитика в реальном времени Обработка потоковых данных для создания немедленной аналитики, панелей мониторинга и оповещений
Прием данных телеметрии Интернета вещей Сбор данных устройства из миллионов датчиков Интернета вещей, транспортных средств или промышленного оборудования
Ведение журнала приложений Централизация журналов из распределенных приложений для мониторинга и устранения неполадок
Аналитика кликстрим Анализ шаблонов поведения пользователей в веб-приложениях и мобильных приложениях
Финансовые транзакции Обработка больших объемов торговых данных, сигналов обнаружения мошенничества и событий оплаты
Источники событий Реализация архитектур на основе событий с устойчивым, упорядоченным хранилищем событий

Выбор между службами обмена сообщениями Azure

Azure предлагает несколько служб обмена сообщениями. Используйте это руководство, чтобы выбрать нужную службу:

Услуга Лучше всего подходит для Шаблон сообщения
Центры событий Потоковая передача событий с высокой пропускной способностью, телеметрия, агрегирование журналов Многие производители, несколько потребителей, упорядоченные по времени события
Служебная шина Корпоративный обмен сообщениями с транзакциями, сессиями и отложенными сообщениями точка-точка или публикация/подписка с гарантиями доставки
Сетка событий Реактивные архитектуры на основе событий, бессерверные триггеры Маршрутизация событий на основе push-уведомлений с фильтрацией

Подробные инструкции см. в разделе "Выбор между службами обмена сообщениями Azure".

Принцип работы

Центры событий предоставляют единую потоковую платформу с хранением данных на основе времени, разделяя производителей и потребителей событий. Оба могут выполнять прием и обработку больших данных с помощью нескольких протоколов.

Схема с основными компонентами Центров событий.

Основные компоненты

Компонент Description
Приложения-производители Приложения, которые отправляют события в Центры событий с помощью пакетов SDK для Центров событий, клиентов производителя Kafka или HTTPS
Пространство имен Контейнер управления для одного или нескольких центров событий. Обрабатывает потоковую передачу данных, сетевую безопасность и географическое аварийное восстановление на уровне пространства имен
Концентратор событий / Раздел Kafka Распределенный журнал, предназначенный только для добавления, который упорядочивает события. Содержит одну или несколько секций для параллельной обработки
Partitions Упорядоченные последовательности событий, используемых для масштабирования пропускной способности. Подумайте о секциях как полосы на автостраде— больше секций обеспечивают более высокую пропускную способность.
Потребительские приложения Приложения, которые считывают события, отслеживая их положение (смещение) в каждой секции. Может использовать пакеты SDK для Центров событий или клиенты потребителей Kafka
Группа потребителей Логическое представление концентратора событий, позволяющее нескольким потребительским приложениям считывать один поток независимо друг от друга, каждое из которых поддерживает свою собственную позицию.

Поток событий

  1. Прием: приложения, создающие события, отправляют их в концентратор событий. События назначаются разделам на основе ключа раздела или кругового распределения.
  2. Хранилище: события надежно хранятся с настраиваемым сроком хранения (от 1 до 90 дней в зависимости от уровня). Функция записи также может записывать события в долгосрочное хранилище.
  3. Процесс: потребительские приложения считывают события из секций с помощью групп потребителей. Каждый потребитель отслеживает смещение с помощью контрольных точек для надежной обработки.

Подробные сведения см. в разделе "Функции Центров событий".

Основные возможности

Основные функции платформы

Совместимость Apache Kafka

Центры событий — это подсистема потоковой передачи событий с несколькими протоколами, которая изначально поддерживает Apache Kafka, AMQP 1.0 и HTTPS. Рабочие нагрузки Kafka можно перенести в Центры событий без изменений кода, управления кластерами или сторонних служб Kafka.

Event Hubs создается как облачный брокерский движок, обеспечивая лучшую производительность и экономичность, чем кластеры Kafka с собственным управлением. Дополнительные сведения см. в Центры событий Azure для Apache Kafka.

Гибкое масштабирование

Начните с потоков данных в мегабайтах и увеличивайте их объем до гигабайтов или терабайтов. Функция автоматического раздувания автоматически масштабирует единицы пропускной способности в соответствии с требованиями. Для прогнозируемых рабочих нагрузок с большим объемом выделенные кластеры предоставляют зарезервированную емкость.

Поддержка больших сообщений (предварительная версия)

Хотя большинство сценариев потоковой передачи включают упрощенные сообщения менее 1 МБ, центры событий размещают события до 20 МБ с выделенными кластерами. Дополнительные сведения см. в статье "Отправка и получение больших сообщений".

Управление данными

Реестр схем

Реестр схем Azure предоставляет централизованный репозиторий для управления схемами приложений потоковой передачи событий. Он обеспечивает совместимость и согласованность данных между производителями и потребителями, поддерживает эволюцию схемы и интегрируется с приложениями Kafka с помощью схем Avro и JSON.

Схема, на которую показана интеграция реестра схем и Центров событий.

Capture

Захватывайте потоковые данные почти в реальном времени в хранилище блобов Azure или Azure Data Lake Storage для долгосрочного хранения или пакетного анализа. Запись выполняется автоматически в том же потоке, который используется для обработки в режиме реального времени.

Схема, показывая запись данных Центров событий в служба хранилища Azure или Azure Data Lake Storage с помощью управляемого удостоверения.

Интеграции Azure

Интеграция Stream Analytics

Центры событий интегрируются с Azure Stream Analytics для обработки потоков в режиме реального времени. Используйте встроенный редактор без кода с функциями перетаскивания или напишите запросы на основе SQL для сложных преобразований.

Снимок экрана: страница

Дополнительные сведения см. в разделе "Обработка данных Центров событий" с помощью Stream Analytics.

Интеграция Azure Data Explorer

Azure Data Explorer обеспечивает высокопроизводительную аналитику больших объемов потоковых данных. Интеграция Центров событий с Data Explorer для аналитики и изучения в режиме реального времени.

Схема, на которую показаны запросы и выходные данные Azure Data Explorer.

Дополнительные сведения см. в разделе приема данных из Центров событий в Azure Data Explorer.

Функции Azure и бессерверные

Центры событий интегрируются с Функциями Azure для бессерверной обработки событий. Экосистема также поддерживает Azure Spring Apps, соединители Kafka, Apache Spark и Apache Flink.

Локальная разработка

Эмулятор Центров событий предоставляет локальный интерфейс разработки для разработки и тестирования кода для службы в изоляции без облачных зависимостей.

Клиентские библиотеки

Центры событий предоставляют клиентские библиотеки для .NET, Java, Python, JavaScript и Go. Эти пакеты SDK поддерживают протоколы AMQP и Kafka, что позволяет выбрать оптимальный вариант для вашего приложения.

Контроль

Мониторинг центров событий с помощью метрик Azure Monitor, журналов диагностики и оповещений. Отслеживайте пропускную способность, задержку, ошибки и задержку потребителя, чтобы обеспечить оптимальную производительность.

Безопасность и соответствие требованиям

Центры событий предоставляют функции безопасности корпоративного уровня:

Функция Description
Аутентификация Идентификатор Microsoft Entra с управлением доступом на основе ролей (RBAC), разрешениями на совместный доступ или управляемыми удостоверениями
Безопасность сети Private Link для частных подключений, конечные точки VNet службы и правила IP-брандмауэра
Шифрование Данные, зашифрованные в состоянии покоя с ключами, управляемыми корпорацией Майкрософт или клиентом, TLS 1.2 для передачи данных

Дополнительные сведения см. в разделе "Базовые показатели безопасности Центров событий".

Высокий уровень доступности и аварийное восстановление

Центры событий предоставляют несколько уровней надежности:

  • Зоны доступности: Развертывания с избыточностью между зонами распределяют реплики между зонами в пределах региона (тарифные планы "Премиум" и "Выделенный")
  • Гео-аварийное восстановление: Geo-DR позволяет переключение на вторичный регион с синхронизацией метаданных
  • Гарантии обслуживания: до 99,99% доступности в зависимости от уровня и конфигурации

Ценовые категории

Сведения о текущих ценах и подробном сравнении функций см. в разделе о ценах и квотах и ограничениях центров событий.

Связанный контент

  • Last updated on