Рекомендации по масштабированию рабочих областей Azure Monitor с помощью управляемой службы Azure Monitor для Prometheus

Служба Azure Monitor, управляемая для Prometheus, позволяет собирать и анализировать метрики в большом масштабе. Метрики Prometheus хранятся в рабочих областях Azure Monitor. Рабочая область поддерживает аналитические инструменты, такие как Azure Managed Grafana, обозреватель метрик Azure Monitor с PromQL, а также инструменты с открытым исходным кодом, такие как PromQL и Grafana.

В этой статье приведены рекомендации по организации рабочих областей Azure Monitor для удовлетворения масштабируемого и растущего объема приема данных.

Критерии проектирования топологии

Для многих вариантов использования может быть достаточно одной рабочей области Azure Monitor. Некоторые организации создают несколько рабочих областей, чтобы лучше соответствовать их требованиям. При определении правильных критериев для создания дополнительных рабочих областей создайте наименьшее количество рабочих областей, соответствующих вашим требованиям, при оптимизации для минимальных административных затрат на управление.

Ниже приведены сценарии, требующие разделения рабочей области Azure Monitor на несколько рабочих областей:

Ограничения и квоты служб

Рабочие области Azure Monitor имеют квоты и ограничения по умолчанию для метрик с 1 миллионами событий, которые помечаются в минуту. По мере роста использования и приема дополнительных метрик можно запросить увеличение. Если требования к емкости являются исключительно большими, а потребности приема данных превышают ограничения одной рабочей области Azure Monitor, рассмотрите возможность создания нескольких рабочих областей Azure Monitor. Используйте метрики платформы рабочей области Azure Monitor для мониторинга использования и ограничений. Дополнительные сведения об ограничениях и квотах см. в статье об ограничениях и квотах службы Azure Monitor.

Рассмотрим следующие рекомендации по управлению ограничениями и квотами рабочей области Azure Monitor.

Оптимизация производительности для больших объемов данных

Проглатывание

Чтобы оптимизировать прием, рассмотрите следующие рекомендации.

Используйте карту конфигурации, измените параметры по мере необходимости и примените конфигурацию к пространству имен kube-system для кластера. Если вы используете запись данных удаленно в рабочую область в Azure Monitor, примените настройки в процессе интеграции непосредственно через конфигурацию Prometheus.

Запросы

Чтобы оптимизировать запросы, рассмотрите следующие рекомендации.

Использование правил записи для оптимизации производительности запросов

Правила записи Prometheus используются для предварительного вычисления часто используемых или вычислительно затратных запросов, что делает их более эффективными и быстрыми для выполнения запросов. Правила записи особенно полезны для метрик большого объема, где запрос необработанных данных может быть медленным и ресурсоемким. Дополнительные сведения см. в разделе "Правила записи". Управляемый Prometheus Azure предоставляет управляемый и масштабируемый способ создания и обновления правил записи с помощью групп правил Azure Managed Prometheus.

После создания групп правил Управляемый Prometheus Azure автоматически загружает и начинает оценивать их. Группы правил запросов из рабочей области Azure Monitor, такие как другие метрики Prometheus.

Правила записи имеют следующие преимущества:

• Повышение производительности запросов Правила записи можно использовать для предварительной компиляции сложных запросов, что делает их быстрее для последующего запроса. Предварительная компиляция сложных запросов снижает нагрузку на Prometheus при запросе этих метрик.

• Эффективность и сокращение времени запроса Правила записи предварительно компютируют результаты запроса, уменьшая время, затраченного на запрос данных. Это особенно полезно для панелей мониторинга с несколькими панелями или метриками высокой кратности.

• Простота Правила записи упрощают запросы в Grafana или других средствах визуализации, так как они могут ссылаться на предварительно компилированные метрики.

В следующем примере показано правило записи, определенное в группе правил Azure Managed Prometheus:

"record": "job:request_duration_seconds:avg ",
"expression": "avg(rate(request_duration_seconds_sum[5m])) by (job)",
"labels": {  "workload_type": "job"
                        },
"enabled": true

Для более сложных метрик создайте правила записи, которые объединяют несколько метрик или выполняют более сложные вычисления. В следующем примере instance:node_cpu_utilisation:rate5m вычисляется загрузка ЦП, когда ЦП неактивна

"record": "instance:node_cpu_utilisation:rate5m",
 "expression": "1 - avg without (cpu) (sum without (mode)(rate(node_cpu_seconds_total{job=\"node\", mode=~\"idle|iowait|steal\"}[5m])))",
"labels": {
                            "workload_type": "job"
                        },
"enabled": true

Рассмотрим следующие рекомендации по оптимизации правил записи:

Использование фильтров в запросах

Оптимизация запросов Prometheus с помощью фильтров включает уточнение запросов, чтобы возвращать только необходимые данные, уменьшая объем обработанных данных и повышая производительность. Ниже приведены некоторые распространенные методы уточнения запросов Prometheus.

Параллельные запросы

Выполнение большого количества параллельных запросов в Prometheus может привести к узким местам производительности и может повлиять на стабильность сервера Prometheus. Чтобы эффективно обрабатывать большой объем параллельных запросов, следуйте приведенным ниже рекомендациям.

Если вы по-прежнему видите проблемы с выполнением множества параллельных запросов, создайте запрос в службу поддержки, чтобы запросить увеличение ограничений запросов.

Правила оповещений и записи

Оптимизация оповещений и правил записи для высокого масштаба

Оповещения Prometheus и правила записи можно определить как группы правил Prometheus. Одна группа правил может содержать до 20 оповещений или правил записи. Создайте до 500 групп правил для каждой рабочей области, чтобы вместить необходимое количество оповещений или правил. Чтобы увеличить это ограничение, откройте запрос в службу поддержки

При определении правил записи учитывайте интервал оценки для оптимизации количества временных рядов для каждого правила и производительности оценки правил. Интервалы оценки могут составлять от 1 минуты до 24 часов. Значение по умолчанию — 1 минута.

Используйте Состояние ресурсов для просмотра запросов о статусе правила записи

Настройте мониторинг ресурсов, чтобы просматривать состояние группы правил Prometheus в портале. Работоспособность ресурсов позволяет обнаруживать проблемы в правилах записи, такие как неправильная конфигурация или проблемы ограничения запросов. Дополнительные сведения о настройке работоспособности ресурсов см. в разделе "Просмотр состояний работоспособности ресурсов" групп правил Prometheus.