Поделиться через


Анализ работоспособности и состояния кластера Kubernetes с помощью Azure Monitor

Azure Monitor предоставляет набор представлений на портале Azure, которые объединяют данные производительности и журналов, собранные из кластера Kubernetes, чтобы помочь вам оценить состояние и производительность. В этой статье описываются различные представления, а также способы взаимодействия и интерпретации данных, которые они представляют.

Представление с несколькими кластерами

Чтобы открыть представление с несколькими кластерами, выберите контейнеры из раздела "Аналитика " в меню "Монитор " на портале Azure. В этом представлении отображается состояние здоровья всех отслеживаемых кластеров Kubernetes, развернутых в группах ресурсов ваших подписок. Это представление позволяет быстро определять кластеры, которые находятся в критическом или неработоспособном состоянии, а также позволяют включить и настроить мониторинг для всех кластеров в вашей среде. Дополнительные сведения см. в статье "Включение мониторинга для кластеров AKS ".

Снимок экрана, на котором показан пример мультикластерной панели мониторинга Azure Monitor.

Примечание.

Azure Stack (предварительная версия) и Не-Azure (предварительная версия) больше не поддерживаются в этом представлении.

Выберите столбец "Узлы" , чтобы открыть вкладку "Узлы " в представлении с одним кластером для этого кластера. Откройте вкладку "Контроллеры" для кластера с соответствующим фильтром, выбрав столбец "Пользовательские модули pod" или "Системные модули pod".

В следующей таблице описаны различные состояния работоспособности, отображаемые в этом представлении. Состояние здоровья вычисляет общее состояние кластера как худшее из трех состояний. Если любое из трех состояний неизвестно, общее состояние кластера отображается "Неизвестно".

Состояние Описание
Здоровый Проблемы не обнаружены для виртуальной машины, и она работает по мере необходимости.
Предупреждение Обнаружена одна или несколько проблем, которые должны быть устранены, иначе состояние может стать критическим.
Критически важно Обнаружена одна или несколько критически важных проблем, которые необходимо устранить, чтобы восстановить нормальное рабочее состояние, как ожидалось.
Не авторизовано У пользователя нет необходимых разрешений на чтение данных в рабочей области или правиле сбора данных.
Не найдено Рабочая область, группа ресурсов или подписка, содержащая рабочую область, была удалена.
Включение правил записи Включите правила записи Prometheus , чтобы разблокировать более высокие показатели производительности и визуализации Prometheus.
Неправильно настроено Произошла ошибка.
Ошибка Произошла ошибка при попытке считывания данных из рабочей области.
Нет данных Данные не поступали в рабочую область в течение последних 30 минут.
Неизвестно Если служба не смогла подключиться к узлу или модулу pod, состояние изменится на неизвестное состояние.
В ожидании Конфигурация мониторинга для кластеров с поддержкой Arc обычно занимает около 5 минут. Если кластер отключен от Azure, этот процесс может быть отложен.
Ожидание в течение X часов Конфигурация мониторинга для кластера с поддержкой Arc занимает больше времени, чем ожидалось.
Неудача Конфигурация мониторинга для кластера с поддержкой Arc завершилась неудачно.

В следующей таблице приведена разбивка вычисления, управляющего состояниями работоспособности для отслеживаемого кластера в представлении нескольких кластеров.

Отслеживаемый кластер Состояние Доступность
Пользовательский модуль Здоровый
Предупреждение
Критически важно
Неизвестно
100%
90–99 %
<90 %
Не сообщалось за последние 30 минут
Системный pod Здоровый
Предупреждение
Критически важно
Неизвестно
100%
Нет данных
100%
Не сообщалось за последние 30 минут
Узел Здоровый
Предупреждение
Критически важно
Неизвестно
>85 %
60–84 %
<60%
Не сообщалось за последние 30 минут

Представление одного кластера

Чтобы открыть представление одного кластера, выберите кластер из представления с несколькими кластерами или выберите "Монитор " в меню кластера. Это представление предоставляет несколько вкладок, позволяющих детализировать работоспособность и производительность выбранного кластера.

Options

Снимок экрана: параметр визуализации для представления одного кластера.

Вариант Описание
Визуализация Позволяет выбрать, какой источник данных используется для заполнения представления. Визуализации управляемого Prometheus — это предпочтительная настройка, использующая метрики Prometheus, хранящиеся в рабочей области Azure Monitor. Они включены при включении Управляемого Prometheus для кластера. Визуализации Log Analytics используют данные о производительности, хранящиеся в рабочей области Log Analytics. Вы можете не собирать эти данные, если вы не собираете данные о производительности в профиле ведения журнала. Этот параметр не будет доступен, если управляемый Prometheus не включен для кластера.
Обновить Обновляет данные в представлении.
Настройки монитора Открывает параметры конфигурации мониторинга для кластера. Дополнительные сведения см. в статье "Включение мониторинга для кластеров AKS ".
Просмотреть Grafana Отображает список всех управляемых экземпляров Grafana, связанных с рабочей областью Azure Monitor для кластера. Можно открыть панели мониторинга для экземпляра или просмотреть конфигурацию экземпляра.
Рекомендуемые оповещения Настройте рекомендуемые оповещения для кластера. Дополнительные сведения см. в статье "Создание рекомендуемых оповещений для кластеров Kubernetes ".
Просмотр всех кластеров Откройте представление с несколькими кластерами.

Фильтрация данных

Каждая вкладка в представлении с одним кластером предоставляет параметры фильтрации представленных данных. Каждая вкладка имеет фильтр для диапазона времени собранных данных. Вкладки "Узлы", "Контроллеры" и "Контейнеры" позволяют добавлять данные фильтра или по узлу или пространству имен, нажав кнопку "Добавить фильтр".

Вкладка "Обзор"

Вкладка "Обзор" содержит набор плиток, показывающих работоспособность и производительность этого кластера. Некоторые из этих плиток могут быть отключены, если вы не включили некоторые функции мониторинга. В этом случае плитка предложит возможность запустить процесс подключения для кластера. Дополнительные сведения см. в статье "Включение мониторинга Kubernetes" с помощью портала Azure .

Вкладки Узлов, Контроллеров и Контейнеров

На вкладках "Узлы", "Контроллеры" и " Контейнеры " отображается список этих ресурсов для кластера. Вкладки будут отключены, если вы не собираете данные о производительности кластера. В этом случае вкладка предложит возможность запустить процесс подключения для кластера. Дополнительные сведения см. в статье "Включение мониторинга Kubernetes" с помощью портала Azure .

Состояние

Значки в поле "Состояние " указывают состояние элемента в сети, как описано в следующей таблице.

Иконка Состояние
В ожидании или приостановлено
Последнее выполнение зарегистрировано как активное, но ответ не поступает более 30 минут
Успешная остановка или неудачная попытка остановить
Несостоятельное государство

Выбор метрики

Вкладки "Узлы", "Контроллеры" и "Контейнеры" включают параметр выбора метрики, используемой для значений в представлении.

Снимок экрана, на котором показано представление производительности узлов контейнера.

Чтобы просмотреть данные об использовании памяти, в раскрывающемся списке Метрика выберите RSS памяти или Рабочий набор памяти. Параметр Memory RSS поддерживается только для Kubernetes версии 1.8 и более поздних. В противном случае значения Min % отображаются как NaN %. Это значение числового типа данных, представляющее неопределенное значение или значение, которое невозможно представить.

В метрике Рабочий набор памяти отображается резидентная и виртуальная память (кэш), а также общий объем памяти, используемой приложениями. В метрике RSS памяти отображается только основная память, то есть резидентная память. Эта метрика показывает фактическую емкость доступной памяти.

  • Резидентная или основная память — это фактический объем памяти компьютера, доступный узлам кластера.
  • Для виртуальной памяти резервируется пространство на жестком диске (кэш), используемое операционной системой для переноса данных из памяти на диск при нехватке памяти и последующего их переноса в память при необходимости.

Выбор вычисления метрик

Селектор процентиля определяет, как метрика агрегируется по выбранному диапазону времени. Заголовок агрегированного столбца изменится на соответствие выбранному параметру.

Снимок экрана, на котором показан выбор процентилей для фильтрации данных.

Столбец тренда

При наведении указателя мыши на линейчатую диаграмму в столбце Trend (Тренд) каждая строка показывает использование памяти или ЦП в течение периода выборки 15 минут в зависимости от того, какая метрика выбрана. После выбора диаграммы тренда с помощью клавиатуры используйте клавиши ALT+PAGE UP или ALT+PAGE DOWN, чтобы циклически переключаться между отдельными столбцами. Вы получаете те же сведения, что и при наведении указателя мыши на панель.

Снимок экрана, на котором показан пример наведения указателя мыши на линейчатую диаграмму тренда.

В следующем примере для первого узла в списке, aks-nodepool1-, значение параметра для Containers (Контейнеры) равно 25. Это сводное общее число развернутых контейнеров.

Снимок экрана, на котором показан пример агрегирования контейнеров по узлам.

Область свойств

Выберите любой элемент, чтобы открыть панель свойств, отображающую свойства выбранного элемента. При выборе узла Linux в разделе Емкость локального диска также отображается доступное место на диске и процент емкости, используемой для каждого диска на узле. На этой панели также можно просмотреть журналы контейнеров Kubernetes (stdout/stderror), события и метрики pod, выбрав вкладку "Трансляции" в верхней части панели. Дополнительные сведения об этой функции см. в разделе Просмотр журналов Kubernetes, событий и метрик Pod в режиме реального времени.

Просмотр данных журнала

Чтобы просмотреть данные журнала для выбранного ресурса на основе предварительно определенных поисков по журналам, выберите "Просмотреть события" в Log Analytics в области свойств. Дополнительные сведения об этих запросах к данным и журналам см. в разделе "Как запрашивать журналы контейнеров".

Вкладка "Узлы"

В следующей таблице описываются столбцы во вкладке Узлы.

Столбец Описание
Имя. Имя хоста.
Состояние Представление Kubernetes о состоянии узла.
Мин %, Ср %, 50-й %, 90-й %, 95-й %, Макс % Средний процент для узла на основе процентиля в течение выбранного периода времени.
Мин, Ср, 50-й перцентиль, 90-й перцентиль, 95-й перцентиль, Макс Средние фактические значения узлов на основе процентиля в течение выбранного периода времени. Среднее значение измеряется на основании лимита ресурсов ЦП и памяти, установленного для узла. Для модулей pod и контейнеров это среднее значение, сообщаемое узлом.
Контейнеры Число контейнеров.
Время работы Представляет время с момента запуска или перезапуска узла.
Контроллер Только для контейнеров и модулей. Показывает, в каком контроллере он находится. Не все pod находятся в контроллере, поэтому для некоторых может отображаться Н/Д.
Тренд Мин %, Средн %, 50-й %, 90-й %, 95-й %, Макс % Столбчатая диаграмма отражает среднее значение процентиля метрики контроллера.

Иерархия строк на вкладке Nodes следует объектной модели Kubernetes. Расширьте узел, чтобы просмотреть его pod. Если в модуль pod сгруппировано несколько контейнеров, они будут отображаться как последняя строка в иерархии. Вы также можете увидеть, сколько рабочих нагрузок, не связанных с pod, выполняются на узле, если узел испытывает нагрузку на процессор или память.

Снимок экрана, на котором показан пример иерархии узлов Kubernetes в представлении производительности.

Контейнеры Windows Server отображаются после всех узлов под управлением Linux в списке. При расширении узла Windows Server можно просмотреть один или несколько модулей и контейнеров, работающих на этом узле. После выбора узла в области свойств отображаются сведения о версии.

Снимок экрана, на котором показан пример иерархии узлов с узлами Windows Server.

Виртуальные узлы Экземпляров контейнеров Azure, работающие под управлением Linux, отображаются в списке после последнего узла кластера AKS. Развернув виртуальный узел Экземпляров контейнеров, можно просмотреть один или несколько модулей pod и контейнеров, которые выполняются на этом узле. Метрики не собираются и не предоставляются для узлов, только для модулей.

Снимок экрана, на котором приведен пример иерархии узлов с экземплярами контейнеров.

На развернутом узле вы можете перейти от pod или контейнера, работающего на этом узле, к контроллеру, чтобы просмотреть данные о производительности, отфильтрованные для этого контроллера. Выберите значение в столбце Контроллер для конкретного узла.

Снимок экрана, на котором показана детализация узла до контроллера в представлении производительности.

Представление " Другие процессы " предназначено для четкого понимания первопричины высокого использования ресурсов на узле. Эти сведения помогают различать использование контейнерных процессов и неконтейнеризированных процессов. Это неконтейнеризованные процессы, которые выполняются на узле и включают следующие элементы:

  • Самоуправляемые или управляемые процессы Kubernetes, не являющиеся неконтейнеризованными
  • Процессы исполнения контейнера
  • Kubelet
  • Системные процессы, выполняемые на узле
  • Другие рабочие нагрузки, отличные от Kubernetes, работающие на оборудовании узла или виртуальной машине

Значением других процессов является Total usage from CAdvisor - Usage from containerized process.

Вкладка "Контроллеры"

Вкладка "Контроллеры" позволяет просматривать работоспособность контроллеров, контроллеров виртуальных узлов и модулей pod виртуальных узлов, не подключенных к контроллеру.

Снимок экрана: представление производительности контроллеров \<Name> .

Иерархия строк начинается с контроллера. При открытии контроллера вы видите один или несколько подов. Раскройте блок, и в последней строке отобразится контейнер, сгруппированный с этим блоком. Из развернутого контроллера можно перейти к узлу, на котором он запущен, чтобы просмотреть данные производительности, отфильтрованные для этого узла. Контейнеры pod, которые не подключены к контроллеру, приведены в конце списка.

Снимок экрана, на котором показана иерархия контроллеров с перечислением подов контейнерных экземпляров.

Выберите значение в столбце Узел для конкретного контролера.

Снимок экрана, на котором показан пример перехода от контроллера к узлу в представлении производительности.

В следующей таблице описываются столбцы на вкладке "Контроллеры ".

Столбец Описание
Имя. Имя контроллера.
Состояние Состояние свертки контейнеров после завершения его выполнения. Значок состояния отображает число на основе сведений, предоставляемых модулем pod. Он показывает два худших состояния. При наведении указателя мыши на статус отображается сводка состояния всех pods в контейнере. Если это не состояние готовности, отображается значение состояния (0).
Мин %, Ср %, 50-й %, 90-й %, 95-й %, Макс % Сводное среднее значение среднего процента каждой сущности для выбранной метрики и процентиля.
Мин, Ср, 50-й перцентиль, 90-й перцентиль, 95-й перцентиль, Макс Обобщение среднего значения производительности CPU (в миллиядрах) или памяти контейнера для выбранного процентиля. Среднее значение измеряется на основании лимита ресурсов ЦП и памяти, установленного для pod.
Контейнеры Общее число контейнеров для контроллера или pod.
Перезапуски Сводное число перезапусков из контейнеров.
Время работы Представляет время с момента запуска контейнера.
Узел Только для контейнеров и модулей. Показывает, в каком контроллере он находится.
Тренд Мин %, Средн %, 50-й %, 90-й %, 95-й %, Макс % Тренд бар-графика представляет среднюю метрику процентиля контроллера.

Вкладка "Контейнеры"

Вкладка "Контейнеры" позволяет просматривать работоспособность контейнеров.

Снимок экрана: представление производительности контейнеров \<Name> .

Из контейнера можно перейти к поду или узлу, чтобы просмотреть отфильтрованные данные производительности для этого объекта. Выберите значение в столбце Pod или Узел для конкретного контейнера.

Снимок экрана, на котором показан пример детализации от узла к контейнерам в представлении производительности.

В следующей таблице описываются столбцы на вкладке "Контейнеры ".

Столбец Описание
Имя. Имя контейнера.
Состояние Состояние контейнера.
Мин %, Ср %, 50-й %, 90-й %, 95-й %, Макс % Сводное вычисление среднего значения каждой сущности для выбранной метрики и процентиля в процентах.
Мин, Ср, 50-й перцентиль, 90-й перцентиль, 95-й перцентиль, Макс Сводная статистика средней производительности ЦП (в милликорах) или памяти контейнера для выбранного процентиля. Среднее значение измеряется на основании лимита ресурсов ЦП и памяти, установленного для pod.
Объект pod Контейнер, в котором находится pod.
Узел  Узел, на котором размещен контейнер.
Перезапуски Представляет время с момента запуска контейнера.
Время работы Представляет время с момента запуска или перезапуска контейнера.
Тренд Мин %, Средн %, 50-й %, 90-й %, 95-й %, Макс % Гистограмма тренда представляет средний процент по процентильной метрике контейнера.

Следующие шаги