Конфигурация метрик Prometheus по умолчанию в Azure Monitor

Статья
2025-04-18

В этой статье перечислены целевые объекты по умолчанию, панели мониторинга и правила записи при настройке метрик Prometheus для удаления из кластера Службы Azure Kubernetes (AKS) или Kubernetes с поддержкой Azure Arc.

Минимальный профиль потребления

Minimal ingestion profile — это параметр, который помогает уменьшить объем метрик, так как собираются только метрики, используемые панелями мониторинга по умолчанию, правила записи по умолчанию и оповещения по умолчанию. Для коллекций на основе дополнений параметр Minimal ingestion profile включен по умолчанию. Вы можете изменить коллекцию, чтобы включить сбор дополнительных метрик, как указано ниже.

Частота сканирования

Частота сбора данных по умолчанию для всех целевых объектов и операций сбора данных составляет 30 секунд.

Целевые объекты, сломанные по умолчанию

Следующие целевые объекты включены или включены по умолчанию. Это означает, что вам не нужно предоставлять конфигурацию задания слома для удаления этих целевых объектов, так как надстройка метрик автоматически сломает эти целевые объекты по умолчанию.

cadvisor (job=cadvisor)
nodeexporter (job=node)
kubelet (job=kubelet)
kube-state-metrics (job=kube-state-metrics)
networkobservabilityRetina (job=networkobservabilityRetina)

При включении функции метрик плоскости управления (предварительная версия) включено или ON . Вы можете использовать метрики плоскости управления для повышения общей наблюдаемости и поддержания эффективности работы в кластере AKS. Дополнительные сведения см. в разделе Метрики плоскости управления (предварительная версия).

controlplane-apiserver (job=controlplane-apiserver)
controlplane-etcd (job=controlplane-etcd)

Следующие целевые объекты включены/активны, когда вы включаете наблюдаемость сети контейнеров, которая является функцией набора расширенных сетевых служб контейнеров и совместима со всеми рабочими нагрузками Linux. Это легко интегрируется с Hubble как для плоскости данных на основе Cilium, так и для плоскости данных, не основанной на Cilium. Это обеспечивает гибкость для потребностей сети контейнеров. Дополнительные сведения см. в разделе "Расширенные сетевые службы контейнеров".

networkobservabilityHubble (job=networkobservabilityHubble)
networkobservabilityCilium (job=networkobservabilityCilium)

Следующие целевые объекты включены и включены при включении хранилища контейнеров Azure, который является облачным управлением томами, развертыванием и службой оркестрации, созданной изначально для контейнеров и встроенной интеграции с AKS. Дополнительные сведения см. в разделе "Хранилище контейнеров Azure".

acstor-capacity-provisioner (job=acstor-capacity-provisioner)
acstor-metrics-exporter (job=acstor-metrics-exporter)

Метрики, собранные из целевых объектов по умолчанию

Следующие метрики собираются по умолчанию из каждого целевого объекта по умолчанию. Все остальные метрики удаляются с помощью правил переназначения.

cadvisor (job=cadvisor)

container_spec_cpu_period
container_spec_cpu_quota
container_cpu_usage_seconds_total
container_memory_rss
container_network_receive_bytes_total
container_network_transmit_bytes_total
container_network_receive_packets_total
container_network_transmit_packets_total
container_network_receive_packets_dropped_total
container_network_transmit_packets_dropped_total
container_fs_reads_total
container_fs_writes_total
container_fs_reads_bytes_total
container_fs_writes_bytes_total
container_memory_working_set_bytes
container_memory_cache
container_memory_swap
container_cpu_cfs_throttled_periods_total
container_cpu_cfs_periods_total
container_memory_usage_bytes
kubernetes_build_info"

kubelet (job=kubelet)

kubelet_volume_stats_used_bytes
kubelet_node_name
kubelet_running_pods
kubelet_running_pod_count
kubelet_running_containers
kubelet_running_container_count
volume_manager_total_volumes
kubelet_node_config_error
kubelet_runtime_operations_total
kubelet_runtime_operations_errors_total
kubelet_runtime_operations_duration_seconds kubelet_runtime_operations_duration_seconds_bucket kubelet_runtime_operations_duration_seconds_sum kubelet_runtime_operations_duration_seconds_count
kubelet_pod_start_duration_seconds kubelet_pod_start_duration_seconds_bucket kubelet_pod_start_duration_seconds_sum kubelet_pod_start_duration_seconds_count
kubelet_pod_worker_duration_seconds kubelet_pod_worker_duration_seconds_bucket kubelet_pod_worker_duration_seconds_sum kubelet_pod_worker_duration_seconds_count
storage_operation_duration_seconds storage_operation_duration_seconds_bucket storage_operation_duration_seconds_sum storage_operation_duration_seconds_count
storage_operation_errors_total
kubelet_cgroup_manager_duration_seconds kubelet_cgroup_manager_duration_seconds_bucket kubelet_cgroup_manager_duration_seconds_sum kubelet_cgroup_manager_duration_seconds_count
kubelet_pleg_relist_duration_seconds kubelet_pleg_relist_duration_seconds_bucket kubelet_pleg_relist_duration_sum kubelet_pleg_relist_duration_seconds_count
kubelet_pleg_relist_interval_seconds kubelet_pleg_relist_interval_seconds_bucket kubelet_pleg_relist_interval_seconds_sum kubelet_pleg_relist_interval_seconds_count
rest_client_requests_total
rest_client_request_duration_seconds rest_client_request_duration_seconds_bucket rest_client_request_duration_seconds_sum rest_client_request_duration_seconds_count
process_resident_memory_bytes
process_cpu_seconds_total
go_goroutines
kubelet_volume_stats_capacity_bytes
kubelet_volume_stats_available_bytes
kubelet_volume_stats_inodes_used
kubelet_volume_stats_inodes
kubernetes_build_info"

nodexporter (job=node)

node_cpu_seconds_total
node_memory_MemAvailable_bytes
node_memory_Buffers_bytes
node_memory_Cached_bytes
node_memory_MemFree_bytes
node_memory_Slab_bytes
node_memory_MemTotal_bytes
node_netstat_Tcp_RetransSegs
node_netstat_Tcp_OutSegs
node_netstat_TcpExt_TCPSynRetrans
node_load1``node_load5
node_load15
node_disk_read_bytes_total
node_disk_written_bytes_total
node_disk_io_time_seconds_total
node_filesystem_size_bytes
node_filesystem_avail_bytes
node_filesystem_readonly
node_network_receive_bytes_total
node_network_transmit_bytes_total
node_vmstat_pgmajfault
node_network_receive_drop_total
node_network_transmit_drop_total
node_disk_io_time_weighted_seconds_total
node_exporter_build_info
node_time_seconds
node_uname_info"

kube-state-metrics (job=kube-state-metrics)

kube_job_status_succeeded
kube_job_spec_completions
kube_daemonset_status_desired_number_scheduled
kube_daemonset_status_number_ready
kube_deployment_status_replicas_ready
kube_pod_container_status_last_terminated_reason
kube_pod_container_status_waiting_reason
kube_pod_container_status_restarts_total
kube_node_status_allocatable
kube_pod_owner
kube_pod_container_resource_requests
kube_pod_status_phase
kube_pod_container_resource_limits
kube_replicaset_owner
kube_resourcequota
kube_namespace_status_phase
kube_node_status_capacity
kube_node_info
kube_pod_info
kube_deployment_spec_replicas
kube_deployment_status_replicas_available
kube_deployment_status_replicas_updated
kube_statefulset_status_replicas_ready
kube_statefulset_status_replicas
kube_statefulset_status_replicas_updated
kube_job_status_start_time
kube_job_status_active
kube_job_failed
kube_horizontalpodautoscaler_status_desired_replicas
kube_horizontalpodautoscaler_status_current_replicas
kube_horizontalpodautoscaler_spec_min_replicas
kube_horizontalpodautoscaler_spec_max_replicas
kubernetes_build_info
kube_node_status_condition
kube_node_spec_taint
kube_pod_container_info
kube_resource_labels (например, kube_pod_labels, kube_deployment_labels)
kube_resource_annotations (например, kube_pod_annotations, kube_deployment_annotations)

controlplane-apiserver (job=controlplane-apiserver)

apiserver_request_total
apiserver_cache_list_fetched_objects_total
apiserver_cache_list_returned_objects_total
apiserver_flowcontrol_demand_seats_average
apiserver_flowcontrol_current_limit_seats
apiserver_request_sli_duration_seconds_bucket{le=+inf}
apiserver_request_sli_duration_seconds_count
apiserver_request_sli_duration_seconds_sum
process_start_time_seconds
apiserver_request_duration_seconds_bucket{le=+inf}
apiserver_request_duration_seconds_count
apiserver_request_duration_seconds_sum
apiserver_storage_list_fetched_objects_total
apiserver_storage_list_returned_objects_total
apiserver_current_inflight_requests

Замечание

apiserver_request_duration_seconds и apiserver_request_sli_duration_seconds являются метриками гистограммы, которые имеют высокую кратность и все ряды не собираются по умолчанию (минимальный профиль приема). Только сумма и количество используются для сбора средней задержки

controlplane-etcd (job=controlplane-etcd)

etcd_server_has_leader
rest_client_requests_total
etcd_mvcc_db_total_size_in_bytes
etcd_mvcc_db_total_size_in_use_in_bytes
etcd_server_slow_read_indexes_total
etcd_server_slow_apply_total
etcd_network_client_grpc_sent_bytes_total
etcd_server_heartbeat_send_failures_total

networkobservabilityHubble (job=networkobservabilityHubble) и networkobservabilityCilium (job=networkobservabilityCilium)
Список метрик, собранных этими целевыми объектами, см. в разделе "Метрики наблюдаемости сети контейнеров"

acstor-capacity-provisioner (job=acstor-capacity-provisioner) и acstor-metrics-exporter (job=acstor-metrics-exporter)
Список метрик, собранных этими целевыми объектами, см. в метриках хранилища контейнеров Azure.

Целевые объекты по умолчанию, сломанные для Windows

После настройки целевых объектов Windows для сбора данных по умолчанию эта функция отключена (отключена или выключена), что означает, что вам не нужно предоставлять конфигурацию задания сбора данных для этих целевых объектов, но по умолчанию они остаются отключенными, и необходимо включить сбор данных для этих целевых объектов с помощью ama-metrics-settings-configmap в разделе default-scrape-settings-enabled.

Можно запустить два задания по умолчанию для Windows, которые собирают метрики, необходимые для панелей мониторинга, относящихся именно к Windows.

windows-exporter (job=windows-exporter)
kube-proxy-windows (job=kube-proxy-windows)

Замечание

Для этого требуется применение или обновление ama-metrics-settings-configmap конфигурации и установка windows-exporter на всех узлах Windows. Дополнительные сведения см. в документе включения.

Метрики, полученные для Windows

Следующие метрики собираются при включении windows-exporter и kube-proxy-windows.

windows-exporter (job=windows-exporter)

windows_system_system_up_time
windows_cpu_time_total
windows_memory_available_bytes
windows_os_visible_memory_bytes
windows_memory_cache_bytes
windows_memory_modified_page_list_bytes
windows_memory_standby_cache_core_bytes
windows_memory_standby_cache_normal_priority_bytes
windows_memory_standby_cache_reserve_bytes
windows_memory_swap_page_operations_total
windows_logical_disk_read_seconds_total
windows_logical_disk_write_seconds_total
windows_logical_disk_size_bytes
windows_logical_disk_free_bytes
windows_net_bytes_total
windows_net_packets_received_discarded_total
windows_net_packets_outbound_discarded_total
windows_container_available
windows_container_cpu_usage_seconds_total
windows_container_memory_usage_commit_bytes
windows_container_memory_usage_private_working_set_bytes
windows_container_network_receive_bytes_total
windows_container_network_transmit_bytes_total

kube-proxy-windows (job=kube-proxy-windows)

kubeproxy_sync_proxy_rules_duration_seconds
kubeproxy_sync_proxy_rules_duration_seconds_bucket
kubeproxy_sync_proxy_rules_duration_seconds_sum
kubeproxy_sync_proxy_rules_duration_seconds_count
rest_client_requests_total
rest_client_request_duration_seconds
rest_client_request_duration_seconds_bucket
rest_client_request_duration_seconds_sum
rest_client_request_duration_seconds_count
process_resident_memory_bytes
process_cpu_seconds_total
go_goroutines

Дашборды

Следующие панели мониторинга по умолчанию автоматически подготавливаются и настраиваются управляемой службой Azure Monitor для Prometheus при связывании рабочей области обозревателя Azure Monitor с управляемым экземпляром Grafana в Azure. Исходный код для этих панелей мониторинга можно найти в этом репозитории GitHub. Приведенные ниже панели мониторинга будут подготовлены в указанном экземпляре Azure Grafana в Managed Prometheus папке в Grafana. Это стандартные панели мониторинга сообщества с открытым кодом для мониторинга кластеров Kubernetes с помощью Prometheus и Grafana.

Kubernetes / Compute Resources / Cluster
Kubernetes / Compute Resources / Namespace (Pods)
Kubernetes / Compute Resources / Node (Pods)
Kubernetes / Compute Resources / Pod
Kubernetes / Compute Resources / Namespace (Workloads)
Kubernetes / Compute Resources / Workload
Kubernetes / Kubelet
Node Exporter / USE Method / Node
Node Exporter / Nodes
Kubernetes / Compute Resources / Cluster (Windows)
Kubernetes / Compute Resources / Namespace (Windows)
Kubernetes / Compute Resources / Pod (Windows)
Kubernetes / USE Method / Cluster (Windows)
Kubernetes / USE Method / Node (Windows)

Правила записи

Следующие правила записи по умолчанию автоматически настраиваются управляемой службой Azure Monitor для Prometheus при настройке метрик Prometheus для удаления из кластера Службы Azure Kubernetes (AKS). Исходный код для этих правил записи можно найти в этом репозитории GitHub. Это стандартные правила записи с открытым кодом, используемые на панелях мониторинга выше.

cluster:node_cpu:ratio_rate5m
namespace_cpu:kube_pod_container_resource_requests:sum
namespace_cpu:kube_pod_container_resource_limits:sum
:node_memory_MemAvailable_bytes:sum
namespace_memory:kube_pod_container_resource_requests:sum
namespace_memory:kube_pod_container_resource_limits:sum
namespace_workload_pod:kube_pod_owner:relabel
node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
cluster:namespace:pod_cpu:active:kube_pod_container_resource_requests
cluster:namespace:pod_cpu:active:kube_pod_container_resource_limits
cluster:namespace:pod_memory:active:kube_pod_container_resource_requests
cluster:namespace:pod_memory:active:kube_pod_container_resource_limits
node_namespace_pod_container:container_memory_working_set_bytes
node_namespace_pod_container:container_memory_rss
node_namespace_pod_container:container_memory_cache
node_namespace_pod_container:container_memory_swap
instance:node_cpu_utilisation:rate5m
instance:node_load1_per_cpu:ratio
instance:node_memory_utilisation:ratio
instance:node_vmstat_pgmajfault:rate5m
instance:node_network_receive_bytes_excluding_lo:rate5m
instance:node_network_transmit_bytes_excluding_lo:rate5m
instance:node_network_receive_drop_excluding_lo:rate5m
instance:node_network_transmit_drop_excluding_lo:rate5m
instance_device:node_disk_io_time_seconds:rate5m
instance_device:node_disk_io_time_weighted_seconds:rate5m
instance:node_num_cpu:sum
node:windows_node:sum
node:windows_node_num_cpu:sum
:windows_node_cpu_utilisation:avg5m
node:windows_node_cpu_utilisation:avg5m
:windows_node_memory_utilisation:
:windows_node_memory_MemFreeCached_bytes:sum
node:windows_node_memory_totalCached_bytes:sum
:windows_node_memory_MemTotal_bytes:sum
node:windows_node_memory_bytes_available:sum
node:windows_node_memory_bytes_total:sum
node:windows_node_memory_utilisation:ratio
node:windows_node_memory_utilisation:
node:windows_node_memory_swap_io_pages:irate
:windows_node_disk_utilisation:avg_irate
node:windows_node_disk_utilisation:avg_irate
node:windows_node_filesystem_usage:
node:windows_node_filesystem_avail:
:windows_node_net_utilisation:sum_irate
node:windows_node_net_utilisation:sum_irate
:windows_node_net_saturation:sum_irate
node:windows_node_net_saturation:sum_irate
windows_pod_container_available
windows_container_total_runtime
windows_container_memory_usage
windows_container_private_working_set_usage
windows_container_network_received_bytes_total
windows_container_network_transmitted_bytes_total
kube_pod_windows_container_resource_memory_request
kube_pod_windows_container_resource_memory_limit
kube_pod_windows_container_resource_cpu_cores_request
kube_pod_windows_container_resource_cpu_cores_limit
namespace_pod_container:windows_container_cpu_usage_seconds_total:sum_rate

Правила регистрации визуализации Prometheus

При использовании Аналитики контейнеров на основе Prometheus дополнительные правила записи будут развернуты для поддержки визуализаций Prometheus.

ux:cluster_pod_phase_count:sum
ux:node_cpu_usage:sum_irate
ux:node_memory_usage:sum
ux:controller_pod_phase_count:sum
ux:controller_container_count:sum
ux:controller_workingset_memory:sum
ux:controller_cpu_usage:sum_irate
ux:controller_rss_memory:sum
ux:controller_resource_limit:sum
ux:controller_container_restarts:max
ux:pod_container_count:sum
ux:pod_cpu_usage:sum_irate
ux:pod_workingset_memory:sum
ux:pod_rss_memory:sum
ux:pod_resource_limit:sum
ux:pod_container_restarts:max
ux:node_network_receive_drop_total:sum_irate
ux:node_network_transmit_drop_total:sum_irate

Для поддержки Windows требуются следующие правила записи. Эти правила развертываются вместе с приведенными выше правилами, однако они не включены по умолчанию. Следуйте инструкциям по включению и отключению групп правил в рабочей области Azure Monitor.

ux:node_cpu_usage_windows:sum_irate
ux:node_memory_usage_windows:sum
ux:controller_cpu_usage_windows:sum_irate
ux:controller_workingset_memory_windows:sum
ux:pod_cpu_usage_windows:sum_irate
ux:pod_workingset_memory_windows:sum

Дальнейшие действия

Настройка сбора метрик Prometheus.