Управляемая служба Azure Monitor для групп правил Prometheus

Правила в Prometheus действуют по мере сбора данных либо для предварительной компиляции значений, хранящихся в временных рядах, либо для оповещения о предопределенных условиях в собранных метриках. Управляемая служба Azure Monitor для Prometheus предоставляет предопределенные наборы каждого типа правила и позволяет создавать пользовательские правила и управлять ими с помощью портала Azure.

Типы групп правил

Группа правил Prometheus — это совокупность правил срабатывания оповещений и/или правил записи, которые оцениваются вместе. Каждое правило должно быть членом одной группы правил. Группы правил определяют область применения всех правил в группе и частоту их оценки.

Существует два типа правил Prometheus.

Группы правил Azure Managed Prometheus соответствуют структуре и терминологии групп правил Prometheus с открытым кодом. Имена правил, выражения, метки и заметки поддерживаются в Azure.

Существуют некоторые различия между группами правил Azure Managed Prometheus и группами правил Prometheus с открытым исходным кодом. Группы правил Azure Managed Prometheus управляются как ресурсы Azure и включают сведения, необходимые для управления ресурсами, например подписку и группу ресурсов, в которой должна находиться группа правил Azure. Правила генерации оповещений включают выделенные свойства, такие как серьезность оповещений, связь группы действий и настройка автоматического восстановления оповещений, которые позволяют обрабатывать оповещения, такие как другие оповещения Azure Monitor.

Область группы правил

Область действия группы правил в Управляемом Prometheus Azure определяет, к каким ресурсам применяются правила этой группы. Отдельные правила нельзя применять непосредственно к кластеру Kubernetes. В следующей таблице описаны различные области групп правил.

Просмотр групп правил Prometheus

Существует несколько способов просмотра групп правил Prometheus и их правил на портале Azure.

Правила в рабочей области Azure Monitor Выберите группы правил из рабочей области Azure Monitor на портале Azure, чтобы просмотреть все группы правил в этой рабочей области. Вы можете развернуть любую группу правил, чтобы просмотреть список правил в этой группе. Выберите любую группу или правило, чтобы просмотреть ее сведения.

Все правила На странице "Оповещения" в меню "Монитор " на портале Azure выберите группы правил Prometheus , чтобы просмотреть все группы правил в подписках, к которых у вас есть доступ.

Это представление определяет рабочую область, в которой находится группа правил, включена ли она, и кластер, если группа правил ограничена определенной областью кластера. Используйте фильтры в верхней части экрана, чтобы сузить список групп правил по различным свойствам. Вы можете удалить несколько групп правил из этого представления, выбрав их и нажав кнопку "Удалить". Это может быть полезно, например, для очистки групп правил, которые больше не нужны после удаления кластера.

Создание групп и правил Prometheus

 az alerts-management prometheus-rule-group create \
--name my-rule-group --resource-group my-resource-group --location westus --enabled \
--description "Sample Prometheus resource group" --interval PT10M \
--scopes "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/testrg/providers/microsoft.monitor/accounts/testaccount" \
--rules [{"record":"test","expression":"test","labels":{"team":"prod"}},{"alert":"Billing_Processing_Very_Slow","expression":"test","enabled":"true","severity":2,"for":"PT5M","labels":{"team":"prod"},"annotations":{"annotationName1":"annotationValue1"},"resolveConfiguration":{"autoResolved":"true","timeToResolve":"PT10M"},"actions":[{"actionGroupId":"/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/testrg/providers/microsoft.insights/actionGroups/test-action-group-name1","actionProperties":{"key11":"value11","key12":"value12"}},{"actionGroupId":"/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/testrg/providers/microsoft.insights/actionGroups/test-action-group-name2","actionProperties":{"key21":"value21","key22":"value22"}}]}]

$rule1 = New-AzPrometheusRuleObject -Record "job_type:billing_jobs_duration_seconds:99p5m"
$action = New-AzPrometheusRuleGroupActionObject -ActionGroupId /subscriptions/fffffffff-ffff-ffff-ffff-ffffffffffff/resourceGroups/MyresourceGroup/providers/microsoft.insights/actiongroups/MyActionGroup -ActionProperty @{"key1" = "value1"}
$Timespan = New-TimeSpan -Minutes 15
$rule2 = New-AzPrometheusRuleObject -Alert Billing_Processing_Very_Slow -Expression "job_type:billing_jobs_duration_seconds:99p5m > 30" -Enabled $false -Severity 3 -For $Timespan -Label @{"team"="prod"} -Annotation @{"annotation" = "value"} -ResolveConfigurationAutoResolved $true -ResolveConfigurationTimeToResolve $Timespan -Action $action
$rules = @($rule1, $rule2)
$scope = "/subscriptions/fffffffff-ffff-ffff-ffff-ffffffffffff/resourcegroups/MyresourceGroup/providers/microsoft.monitor/accounts/MyAccounts"
New-AzPrometheusRuleGroup -ResourceGroupName MyresourceGroup -RuleGroupName MyRuleGroup -Location eastus -Rule $rules -Scope $scope -Enabled

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {},
    "variables": {},
    "resources": [
        {
           "name": "sampleRuleGroup",
           "type": "Microsoft.AlertsManagement/prometheusRuleGroups",
           "apiVersion": "2023-03-01",
           "location": "northcentralus",
           "properties": {
                "description": "Sample Prometheus Rule Group",
                "scopes": [
                    "/subscriptions/<subscription-id>/resourcegroups/<resource-group-name>/providers/microsoft.monitor/accounts/<azure-monitor-workspace-name>",
                    "/subscriptions/<subscription-id>/resourcegroups/<resource-group-name>/providers/microsoft.containerservice/managedclusters/<myClusterName>"
                ],
                "enabled": true,
                "clusterName": "<myCLusterName>",
                "interval": "PT1M",
                "rules": [
                    {
                        "record": "instance:node_cpu_utilisation:rate5m",
                        "expression": "1 - avg without (cpu) (sum without (mode)(rate(node_cpu_seconds_total{job=\"node\", mode=~\"idle|iowait|steal\"}[5m])))",
                        "labels": {
                            "workload_type": "job"
                        },
                        "enabled": true
                    },
                    {
                        "alert": "KubeCPUQuotaOvercommit",
                        "expression": "sum(min without(resource) (kube_resourcequota{job=\"kube-state-metrics\", type=\"hard\", resource=~\"(cpu|requests.cpu)\"})) /  sum(kube_node_status_allocatable{resource=\"cpu\", job=\"kube-state-metrics\"}) > 1.5",
                        "for": "PT5M",
                        "labels": {
                            "team": "prod"
                        },
                        "annotations": {
                            "description": "Cluster has overcommitted CPU resource requests for Namespaces.",
                            "runbook_url": "https://github.com/kubernetes-monitoring/kubernetes-mixin/tree/master/runbook.md#alert-name-kubecpuquotaovercommit",
                            "summary": "Cluster has overcommitted CPU resource requests."
                        },
                        "enabled": true,
                        "severity": 3,
                        "resolveConfiguration": {
                            "autoResolved": true,
                            "timeToResolve": "PT10M"
                        },
                        "actions": [
                            {
                               "actionGroupID": "/subscriptions/<subscription-id>/resourcegroups/<resource-group-name>/providers/microsoft.insights/actiongroups/<action-group-name>"
                            }
                        ]
                    }
                ]
            }
        }
    ]
}        

Преобразование файла правил Prometheus в группу правил Managed Prometheus

Если у вас есть файл конфигурации правил Prometheus в формате YAML, его можно преобразовать в шаблон ARM для группы правил Azure Managed Prometheus с помощью программы az-prom-rules-converter. Файл правил может содержать определение одной или нескольких групп правил.

Помимо файла правил программа требует других свойств, необходимых для создания групп правил Azure Prometheus, включая подписку, группу ресурсов, расположение, целевую рабочую область Azure Monitor, идентификатор целевого кластера и имя кластера, а также группы действий. Программа создает файл шаблона, который можно развернуть с помощью любых стандартных методов для развертывания шаблонов ARM.

Ограничение правил в определенном кластере

При необходимости можно ограничить правила в группе правил для запроса данных, исходящих из одного конкретного кластера, добавив область кластера в группу правил или используя свойство группы clusterName правил. Ограничить правила одним кластером, если рабочая область Azure Monitor содержит большой объем данных из нескольких кластеров. В таком случае возникает озабоченность по поводу того, что выполнение одного набора правил для всех данных может вызвать проблемы с производительностью или регулированием. С помощью области кластера можно создать несколько групп правил, каждый из которых настроен с одинаковыми правилами, с каждой группой, охватывающими другой кластер.

Чтобы ограничить группу правил областью кластера с помощью шаблона ARM, добавьте значение идентификатора ресурса Azure в список групп scopes[] правил. Список областей по-прежнему должен содержать идентификатор ресурса рабочей области Azure Monitor. Следующие типы ресурсов кластера поддерживаются в качестве области кластера:

• Кластеры служб Azure Kubernetes (Microsoft.ContainerService/managedClusters)
• Кластеры Kubernetes с поддержкой Azure Arc (Microsoft.kubernetes/connectedClusters)
• Подключенные устройства Azure (Microsoft.ResourceConnector/appliances)

В дополнение к идентификатору кластера, можно настроить свойство clusterName для группы правил. Свойство clusterName должно соответствовать метке cluster, которая добавляется к вашим метрикам при сборе из определенного кластера. По умолчанию эта метка имеет значение последней части (имя ресурса) идентификатора кластера. Если вы изменили эту метку с помощью параметра cluster_alias в вашей ConfigMap настройки для сбора данных кластера, необходимо включить обновленное значение в свойство clusterName группы правил. Если при очистке используется значение метки по умолчанию cluster, свойство clusterName является необязательным.

Ниже приведен пример настройки группы правил для ограничения запросов к конкретному кластеру:

{
    "name": "sampleRuleGroup",
    "type": "Microsoft.AlertsManagement/prometheusRuleGroups",
    "apiVersion": "2023-03-01",
    "location": "northcentralus",
    "properties": {
         "description": "Sample Prometheus Rule Group limited to a specific cluster",
         "scopes": [
             "/subscriptions/<subscription-id>/resourcegroups/<resource-group-name>/providers/microsoft.monitor/accounts/<azure-monitor-workspace-name>",
             "/subscriptions/<subscription-id>/resourcegroups/<resource-group-name>/providers/microsoft.containerservice/managedclusters/<myClusterName>"
         ],
         "clusterName": "<myCLusterName>",
         "rules": [
             {
                ...
             }
         ]
    }
}        

Если область идентификатора кластера и свойство clusterName не указаны для группы правил, то правила этой группы запрашивают данные из всех кластеров рабочей области.

Настройка сведений о группе правил

Завершите создание группы правил

1. На вкладке "Теги" задайте все необходимые теги ресурсов Azure для добавления в ресурс группы правил.

   

2. На вкладке "Просмотр и создание " группа правил проверяется и сообщает о любых проблемах. На этой вкладке можно также выбрать параметр шаблона автоматизации представления и скачать шаблон для создаваемой группы.

3. После прохождения проверки и просмотра параметров нажмите кнопку "Создать".

   

4. Вы можете отслеживать развертывание группы правил, чтобы убедиться, что она успешно завершится или получить уведомление о любой ошибке.

Просмотрите состояния здоровья ресурсов в группах правил Prometheus

Теперь вы можете просмотреть состояние работоспособности ресурсов группы правил Prometheus на портале. Вы можете обнаружить проблемы в группах правил, например неправильной конфигурации или проблемы ограничения запросов.

1. На портале перейдите к обзору группы правил Prometheus, которую вы хотите отслеживать.

2. На левой панели в разделе "Справка" выберите "Работоспособности ресурсов".

   

3. На панели работоспособности ресурсов отображается текущее состояние доступности группы правил. Вы также можете просмотреть историю недавних событий состояния ресурсов за последние 30 дней.

   

   • Если группа правил помечена как доступная, она работает должным образом.
   • Если группа правил помечена как "Пониженная", одно или несколько правил в группе не работают должным образом. Запрос правила может ограничиваться, или другие проблемы могут привести к сбою оценки правила. Разверните запись состояния для получения дополнительных сведений об обнаруженной проблеме, предложениях по её устранению или дальнейшему поиску решения.
   • Если группа правил помечена как недоступной, вся группа правил не работает должным образом. Может возникнуть проблема с конфигурацией (например, не удается обнаружить рабочую область Azure Monitor) или внутренние проблемы со службой. Разверните запись состояния для получения дополнительных сведений об обнаруженной проблеме, предложениях по её устранению или дальнейшему поиску решения.
   • Если группа правил помечена как "Неизвестно", вся группа правил отключена или находится в неизвестном состоянии.

Отключение и включение групп правил

Для включения или отключения правила, выберите соответствующую группу правил в Портале Azure. Выберите "Включить" или "Отключить", чтобы изменить его состояние.

Связанный контент

• Дополнительные сведения о оповещениях Azure
• Документация Prometheus по правилам обработки записей
• Документация по Prometheus для правил генерации оповещений