Что такое конвейер Azure Monitor?

Azure Monitor уже может собирать данные телеметрии из локальных, пограничных и многооблачных сред. Во многих корпоративных средах отправка больших объемов телеметрии непосредственно в облако может увеличить затраты на прием, привести к рискам надежности во время потери подключения и ограничить контроль над собранными данными. Конвейер Azure Monitor основывается на существующих функциях сбора данных Azure Monitor для этих сценариев.

Конвейер Azure Monitor обеспечивает централизованное управление и единую точку контроля, выполняемую в непосредственной близости от источников данных, что позволяет фильтровать, преобразовывать, агрегировать и маршрутизировать данные телеметрии перед отправкой в Azure Monitor. Этот подход помогает сократить объем приема, повысить надежность в отключенных средах и применить согласованную обработку данных в гибридных и многооблачных развертываниях. Конвейер, построенный на технологии OpenTelemetry, поддерживает стандартные протоколы приема, включая Syslog и OTLP, что позволяет ему получать телеметрические данные от широкого спектра клиентов и сред.

Зачем использовать конвейер Azure Monitor?

Используйте конвейер Azure Monitor, если прямая коллекция в облако не соответствует вашим требованиям к безопасности, масштабированию, затратам или устойчивости.

Поддерживаемые источники данных

Azure Monitor конвейер в настоящее время получает и обрабатывает следующие типы источников данных:

Ключевые возможности

Трубопровод Azure Monitor содержит набор функций, которые помогают решать распространенные проблемы с поступлением данных в гибридных и многооблачных средах.

• Безопасные конечные точки приема поддерживают TLS и необязательные взаимные TLS (mTLS), чтобы можно было шифровать данные телеметрии при передаче и ограничивать прием доверенным клиентам.
• Локальная обработка может фильтровать, агрегировать и изменять телеметрию перед передачей в Azure Monitor, что помогает снижать затраты на обработку данных и удерживать внимание облачной аналитики на данных с более высокой ценностью.
• Поддерживаемые данные Syslog и CEF можно автоматически схематизировать для таблиц Azure Monitor, таких как Syslog и CommonSecurityLog, что помогает сократить усилия на последующую обработку.
• Необязательное постоянное хранилище записывает данные телеметрии в устойчивое локальное хранилище, чтобы выжить при перезапуске процесса и прерываниях подключения. Конвейер автоматически заполняет данные при возврате подключения.
• Встроенный мониторинг предоставляет сигналы о работоспособности и производительности для самого конвейера, чтобы узнать, получает ли он, обрабатывает и пересылает данные телеметрии.
• Рекомендации по размеру помогут спланировать инфраструктуру Kubernetes для ожидаемых показателей объема и рабочей нагрузки телеметрии.

Принцип работы конвейера Azure Monitor

Конвейер — это контейнерное решение, которое выполняется в кластере Kubernetes с поддержкой Arc в вашем центре обработки данных, пограничном расположении или другом поставщике облачных служб. Она получает данные телеметрии от клиентов по стандартным протоколам, таким как Syslog и OpenTelemetry (OTLP), обрабатывает данные телеметрии и отправляет его в Azure Monitor. Конвейер настраивается с помощью портала Azure, шаблонов ARM, Bicep или Azure CLI.

Обычное развертывание отображается на предыдущем изображении и включает следующие компоненты:

• Конвейер работает в кластере Kubernetes с поддержкой Arc в каждом локальном, периферийном или мультиоблачном расположении.
• Клиенты отправляют данные системного журнала, включая CEF, в конвейер по протоколу TCP или UDP через порт 514 по умолчанию.
• Клиенты отправляют данные журналов OpenTelemetry (OTLP) конвейеру через TCP-порт 4317 по умолчанию (эта функция находится в предварительной версии).
• Необязательный шлюз предоставляет доступ к получателям данных клиентам за пределами кластера.
• Опциональные протоколы TLS или взаимное TLS (mTLS) защищают поступающий трафик.
• Необязательные преобразования фильтруют или перенаправляют данные перед отправкой в рабочую область Log Analytics.
• Конвейер перенаправит данные между локальными брандмауэрами в рабочую область Log Analytics в Azure Monitor.
• После сбора данные становятся доступными любой возможности Azure Monitor, которая обращается к этой рабочей области.

конвейер Azure Monitor по сравнению с агентом Azure Monitor

Конвейер Azure Monitor и агент Azure Monitor (AMA) служат различным целям и часто развертываются вместе.

AMA работает на отдельных ресурсах и собирает данные телеметрии непосредственно из этих ресурсов. Это правильный выбор, когда вы можете установить агент на каждом источнике данных и отправить данные непосредственно в Azure.

Azure Monitor работает централизованно и получает данные телеметрии из любого источника. Это правильный выбор, когда источники данных не могут запускать агент (например, сторонние устройства, где установка программного обеспечения аннулирует гарантию, сетевые устройства или оборудование Интернета вещей), или когда требуется централизованная фильтрация, агрегирование и преобразование данных перед их загрузкой в облако.

Многие архитектуры используют оба вместе. AMA обрабатывает коллекцию ресурсов для поддерживаемых Azure и ресурсов с поддержкой Arc, а конвейер Azure Monitor предоставляет центральную точку приема для источников, которые не могут запускать агент или сценарии, требующие централизованной фильтрации, агрегирования и преобразования, прежде чем данные достигают Azure.

Поддерживаемые конфигурации

Azure Monitor конвейер выполняется в Kubernetes с поддержкой Arc. Поддержка зависит от региона и версий дистрибутива Kubernetes, поддерживаемых для требуемого cert-manager расширения.

Поддерживаемые регионы см. в разделе "Доступность продуктов по регионам".

Связанные статьи

• Выполните настройку кластера в конвейере Configure Azure Monitor.
• Ознакомьтесь с руководством по шлюзу в Azure Monitor pipeline — шлюз для развертывания Kubernetes.
• Просмотрите параметры шифрования в TLS-конфигурации конвейера в Azure Monitor.
• Просмотрите параметры формирования данных в Трансформ данных с помощью конвейера Azure Monitor.
• Планирование емкости развертывания в конвейере Size Azure Monitor.