Устранение неполадок с производительностью виртуальных машин Linux с помощью диагностики производительности (PerfInsights)

Область применения: ✔️ виртуальные машины Linux

PerfInsights Linux — это средство самостоятельной диагностики, которое собирает и анализирует диагностические данные и предоставляет отчет, помогающий устранить проблемы с производительностью виртуальных машин Linux в Azure. Используйте диагностику производительности для выявления и устранения проблем с производительностью в одном из двух режимов:

• Непрерывная диагностика собирает данные с интервалом в пять секунд и каждые пять минут сообщает о высоком использовании ресурсов.

• Диагностика по запросу помогает устранять проблемы с текущей производительностью с более подробными данными, аналитическими сведениями и рекомендациями на основе данных, собранных в один момент времени.

В этой статье объясняется, как скачать расширение диагностики производительности на виртуальную машину Linux и запустить средство с помощью средства CLI. Вы также можете запустить диагностику производительности на портале.

При возникновении проблем производительности на виртуальных машинах перед обращением в службу поддержки запустите это средство.

Поддерживаемые сценарии устранения неисправностей

Можно использовать диагностику производительности для устранения неполадок в различных сценариях. В следующих разделах описываются распространенные сценарии использования непрерывной и по запросу диагностики производительности для выявления и устранения проблем с производительностью. Сравнение непрерывной и по запросу диагностики производительности см. в аналитических сведениях и отчетах по диагностике производительности.

Непрерывная диагностика

Непрерывная диагностика производительности позволяет выявлять высокий уровень использования ресурсов, регулярно отслеживая виртуальную машину для:

• Высокая загрузка ЦП: обнаруживает периоды высокой загрузки ЦП и показывает наиболее распространенных потребителей использования ЦП в течение этих периодов.

• Высокая загрузка памяти: обнаруживает периоды высокой загрузки памяти и показывает основных потребителей памяти в течение этих периодов.

• Высокий уровень использования диска: обнаруживает периоды высокого уровня использования на физических носителях и показывает наиболее активных потребителей ресурсов дисков в течение этих периодов.

PerfInsights может собирать и анализировать несколько типов данных. В следующих разделах описываются типовые сценарии.

Быстрый анализ производительности

В этом сценарии собираются основные сведения, такие как хранилище и конфигурация оборудования виртуальной машины, различные журналы, в том числе:

• Сведения о операционной системе

• Сведения об устройстве PCI

• Общие журналы гостевой ОС

• Файлы конфигурации

• Сведения о хранилище

• Конфигурация виртуальной машины Azure (собранная с помощью службы метаданных экземпляра Azure)

• Список выполняемых процессов, дисков, памяти и ЦП

• Сведения о сети

Это пассивный сбор данных, который не должен повлиять на систему.

Анализ производительности

Этот сценарий аналогичен быстрому анализу производительности, но позволяет собирать диагностическую информацию в течение длительного времени.

Анализ производительности HPC

Этот сценарий предназначен для устранения неполадок на виртуальных машинах размера HPC, то есть серии H и N-серии. Он проверяет конфигурацию виртуальных машин в соответствии с тем, что команда платформы Azure HPC протестировала и рекомендует. Он также собирает журналы и диагностика, связанные с состоянием и конфигурацией специального оборудования, доступного на этих виртуальных машинах, в том числе:

• Сведения о драйвере GPU

• Аппаратная диагностика GPU

• Сведения о драйвере и конфигурации InfiniBand

• Диагностика устройства InfiniBand

• Файлы конфигурации сети

• Сведения о настройке производительности

Какой тип информации собирает PerfInsights

Собираются сведения о виртуальной машине Linux, операционной системе, блочных устройствах, потребителей ресурсов, конфигурации и различных журналах. Ниже приведены дополнительные сведения:

• Операционная система

  • Дистрибутив и версия Linux
  • Сведения о ядре
  • Сведения о драйвере
  • Журналы расширения драйвера виртуальной машины Azure HPC*
  • Конфигурация SELinux*

• Аппаратное обеспечение

  • Устройства PCI [*]
  • Выходные данные lscpu*
  • Дамп таблицы BIOS управления системой*

• Процессы и память

  • Список процессов (имя задачи, использованная память, открытые файлы)
  • Общая, доступная и бесплатная физическая память
  • Объем, доступное и свободное пространство подкачки памяти
  • Проведение профилирования ЦП и фиксирование использования ЦП с интервалом в 5 секунд
  • Сбор данных профилирования использования памяти процессов через каждые 5 секунд
  • Ограничения пользователей для доступа к памяти*
  • Конфигурация NUMA*

• графический процессор (GPU)

  • Выходные данные Nvidia SMI*
  • Диагностика NVIDIA DCGM*
  • Отладочные дампы Nvidia*

• Сети

  • Список сетевых адаптеров со статистикой адаптеров
  • Таблица маршрутизации сети
  • Открытые порты и состояние
  • Ключи разделов InfiniBand*
  • Выходные данные ibstat*

• Хранение

  • Список блокировок устройств
  • Список разделов
  • Список точек монтирования
  • Информация о томе MDADM
  • Информация о томе LVM
  • Запись данных профилирования на всех дисках с периодичностью в 5 секунд

• Logs

  • /var/log/messages
  • /var/log/syslog
  • /var/log/kern.log
  • /var/log/cron.log
  • /var/log/boot.log
  • /var/log/yum.log
  • /var/log/dpkg.log
  • /var/log/sysstat или /var/log/sa [**]
  • /var/log/cloud-init.log
  • /var/log/cloud-init-output.log
  • /var/log/gpu-manager.log
  • /var/log/waagent.log
  • /var/log/azure/[папка расширения]/*log*
  • /var/opt/microsoft/omsconfig/omsconfig.log
  • /var/opt/microsoft/omsagent/log/omsagent.log;
  • /etc/waagent.config
  • Вывод данных journalctl за последние пять дней

• Метаданные экземпляра виртуальной машины Azure

* Только в сценарии HPC

Трассировка диагностики производительности

Запускает в фоновом режиме систему на основе правил для сбора данных и диагностики текущих проблем, связанных с производительностью. Правила отображаются в отчете на вкладке "Категория —> поиск".

Каждое правило состоит из следующих элементов:

• Поиск. Описание нахождения.
• Рекомендация: Советы о том, какие действия можно предпринять в отношении вывода. Также имеются ссылки на документацию, которые предоставляют дополнительные сведения о выводах и/или рекомендациях.
• Уровень влияния: представляет потенциал для влияния на производительность.

В настоящее время поддерживаются следующие категории правил:

• Высокий уровень использования ресурсов:

  • Высокая загрузка ЦП: обнаруживает периоды использования ЦП и показывает наиболее распространенные потребители ЦП в течение этих периодов.
  • Высокая загрузка памяти: обнаруживает периоды использования большого объема памяти и показывает наиболее распространенных потребителей использования памяти в течение этих периодов.
  • Высокий уровень использования диска: обнаруживает периоды использования дисков на физических дисках и показывает наиболее распространенных потребителей использования дисков в течение этих периодов.

• Хранилище: определяет определенные конфигурации хранилища.

• Память: обнаруживает определенные конфигурации памяти.

• GPU: обнаруживает определенные конфигурации GPU.

• Сеть: обнаруживает определенные параметры сети.

• Система: обнаруживает определенные параметры системы.

Запуск PerfInsights Linux на виртуальной машине

Что нужно знать, прежде чем запускать инструмент

Требования к инструменту

• Это средство должно быть запущено на виртуальной машине с проблемой производительности.

• на виртуальной машине необходимо установить Python версии 3.6 или более поздней версии.

  Замечание

  Python 2 больше не поддерживается Python Software Foundation (PSF). Если на виртуальной машине установлен Python 2.7, можно установить PerfInsights. Однако в PerfInsights не будут вноситься изменения или исправления ошибок для поддержки Python 2.7. Дополнительные сведения см. в разделе Sunsetting Python 2.

• В настоящее время поддерживаются следующие дистрибутивы:

  Замечание

  Корпорация Майкрософт тестирует только версии, перечисленные в таблице. Если версия не указана в таблице, она не проверяется корпорацией Майкрософт, но версия может по-прежнему работать.

  Распределение	Версия
  Сервер Oracle Linux	6.10 [*], 7.3, 7.5, 7.6, 7.7, 7.8, 7.9
  RHEL (Red Hat Enterprise Linux)	7.4, 7.5, 7.6, 7.7, 7.8, 7.9, 8.0 [*], 8.1, 8.2, 8.4, 8.5, 8.6, 8.7, 8.8, 8.9
  Ubuntu	16.04, 18.04, 20.04, 22.04
  Debian	9, 10, 11 [*]
  SLES	12 SP5 [*], 15 SP1 [*], 15 SP2 [*], 15 SP3 [*], 15 SP4 [*], 15 SP5 [*], 15 SP6 [*]
  AlmaLinux	8.4, 8.5
  Azure Linux	2.0, 3.0

Известные проблемы

• RHEL 8 по умолчанию не установлен Python, так как доступны как Python 2, так и Python 3.6. Чтобы установить Python 3.6, выполните команду yum install python3.

• Сведения о устройствах PCI не собираются в дистрибутивах на основе Debian.

• Сведения о LVM частично собираются в некоторых дистрибутивах.

Как запустить PerfInsights

Вы можете запустить PerfInsights на виртуальной машине, установив Azure диагностику производительности на портале Azure. Его также можно запустить как автономное средство.

Установка и запуск PerfInsights на портале Azure

Дополнительные сведения об этом параметре см. в Azure Performance Diagnostics.

Запуск PerfInsights в автономном режиме

Чтобы запустить средство PerfInsights, выполните следующие действия.

1. Скачайте PerfInsights.tar.gz в папку на виртуальной машине и извлеките содержимое с помощью приведенных ниже команд из терминала.

   wget https://download.microsoft.com/download/9/F/8/9F80419C-D60D-45F1-8A98-718855F25722/PerfInsights.tar.gz
   

   tar xzvf PerfInsights.tar.gz
   

2. Перейдите к папке, содержащей perfinsights.py файл, и запустите perfinsights.py , чтобы просмотреть доступные параметры командной строки.

   cd <the path of PerfInsights folder>
   sudo python perfinsights.py
   

   

   Ниже приведен пример базового синтаксиса для запуска сценариев PerfInsights:

   sudo python perfinsights.py -r <ScenarioName> -d [duration]<H | M | S> [AdditionalOptions]
   

   В следующем примере можно запустить сценарий быстрого анализа производительности в течение 1 минуты и создать результаты в папке /tmp/output:

   sudo python perfinsights.py -r quick -d 1M -a -o /tmp/output
   

   Вы можете использовать следующий пример для выполнения сценария анализа производительности в течение 5 минут и отправки результата (хранится в TAR-файле) в учетную запись хранения:

   sudo python perfinsights.py -r vmslow -d 300S -a -t <StorageAccountName> -k <StorageAccountKey> -i <full resource Uri of the current VM>
   

   Вы можете использовать следующий пример для запуска сценария анализа производительности HPC в течение 1 минут и отправки результата TAR-файла в учетную запись хранения:

   sudo python perfinsights.py -r hpc -d 60S -a -t <StorageAccountName> -k <StorageAccountKey> -i <full resource Uri of the current VM>
   

   Замечание

   Перед запуском сценария PerfInsights запрашивает у пользователя согласие на обмен диагностическими данными и согласие с условиями лицензии. Используйте параметр -a или --accept-disclaimer-and-share-diagnostics, чтобы пропустить эти запросы.

   Если у вас есть активный запрос в службу поддержки Microsoft и вы запускаете PerfInsights по просьбе инженера поддержки, с которым работаете, обязательно укажите номер вашего запроса с помощью параметра -s или --support-request.

После завершения выполнения новый tar-файл появится в той же папке, что и PerfInsights, если не указана выходная папка. Имя файла — PerformanceDiagnostics_yyyy-MM-dd_hh-mm-ss-fff.tar.gz. Этот файл можно отправить агенту поддержки для анализа или открыть отчет внутри файла, чтобы просмотреть результаты и рекомендации.

Просмотр отчета диагностики

В файле PerformanceDiagnostics_yyyy-MM-dd_hh-mm-ss-fff.tar.gz можно найти HTML-отчет, который содержит сведения о результатах PerfInsights. Чтобы просмотреть отчет, разверните файл PerformanceDiagnostics_yyyy-MM-dd_hh-mm-ss-fff.tar.gz и откройте файл PerfInsights Report.html.

Вкладка "Обзор"

Вкладка "Обзор" содержит основные сведения о выполнении и сведения о виртуальной машине. На вкладке " Результаты " отображается сводка рекомендаций из всех различных разделов отчета PerfInsights.

Просмотрите рекомендации и ссылки на все высокие и средние результаты. Узнайте, как они могут повлиять на производительность, а также о рекомендациях по оптимизации производительности конфигураций.

Вкладка ЦП

Вкладка ЦП содержит сведения о потреблении ЦП на уровне системы во время выполнения PerfInsights. Сведения о периодах высокой загрузки ЦП и основных процессах длительного использования ЦП будут полезны для устранения проблем, связанных с высокой загрузкой ЦП.

Вкладка GPU

Вкладка GPU содержит сведения о результатах, которые будут полезны при устранении неполадок, связанных с GPU.

Вкладка "Network" (Сеть)

Вкладка "Сеть " содержит сведения о конфигурации сети и состоянии. Сведения о результатах, связанных с сетью, включая проблемы InfiniBand в сценарии HPC, см. здесь.

Вкладка хранилища

В разделе "Результаты " отображаются различные результаты и рекомендации, связанные с хранилищем.

Блочные устройства и другие связанные разделы, такие как разделы, LVM и MDADM, описывают, как настраиваются блочные устройства и как они связаны друг с другом.

Вкладка Linux

Вкладка Linux содержит сведения о оборудовании и операционной системе, работающей на виртуальной машине. Дополнительные сведения включают в себя список выполняемых процессов и сведений о гостевых агентах, PCI, ЦП, GPU, драйверах и драйверах LIS.

Или на виртуальной машине с поддержкой GPU:

Дальнейшие действия

Журналы диагностики и отчеты можно отправить в службу поддержки Майкрософт для дальнейшего просмотра. При работе с сотрудниками Microsoft Support они могут запросить передачу выходных данных, созданных PerfInsights, чтобы помочь в процессе устранения неполадок.

На следующем снимка экрана показано сообщение, аналогичное тому, что может быть получено:

Следуйте инструкциям в сообщении, чтобы получить доступ к рабочей области передачи файлов. Для обеспечения дополнительной безопасности необходимо изменить пароль при первом использовании.

После входа в систему появится диалоговое окно для отправки PerformanceDiagnostics_yyyy-MM-dd_hh-mm-ss-fff.tar.gz файла, собранного PerfInsights.