Мониторинг Azure HDInsight

Статья
2024-10-15

В этой статье рассматриваются следующие вопросы:

Типы данных мониторинга, которые можно собирать для этой службы.
Способы анализа данных.

Примечание.

Если вы уже знакомы с этой службой и (или) Azure Monitor и просто хотите знать, как анализировать данные мониторинга, см . раздел "Анализ " в конце этой статьи.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

Дополнительные сведения об Azure Monitor см. в обзоре Azure Monitor.
Дополнительные сведения о том, как отслеживать ресурсы Azure в целом, см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor.

Параметры мониторинга HDInsight

Конкретные метрики и журналы, доступные для кластера HDInsight, зависят от типа кластера и средств. Azure HDInsight предлагает типы кластеров Apache Hadoop, Spark, Kafka, HBase и Interactive Query. Вы можете отслеживать кластер с помощью веб-интерфейса Apache Ambari или в портал Azure, включив интеграцию Azure Monitor.

Мониторинг Apache Ambari

Apache Ambari упрощает управление, настройку и мониторинг кластеров HDInsight, предоставляя веб-интерфейс и REST API. Ambari включен во все кластеры HDInsight под управлением Linux. Чтобы использовать Ambari, выберите домашнюю страницу Ambari на странице обзора кластера HDInsight в портале Azure.

Сведения об использовании Ambari для мониторинга см. в следующих статьях:

Интеграция Azure Monitor

Вы также можете отслеживать кластеры HDInsight непосредственно в Azure. Новая интеграция Azure Monitor, находящаяся в предварительной версии, позволяет получать доступ к Insights, журналам и книгам из кластера HDInsight без необходимости обращаться к рабочей области Log Analytics.

Чтобы использовать новую интеграцию Azure Monitor, включите ее, выбрав "Монитор интеграции" в разделе "Мониторинг" в меню слева на странице портал Azure HDInsight. Вы также можете использовать PowerShell или Azure CLI для включения и взаимодействия с новой интеграцией мониторинга. Дополнительные сведения см. в следующей статье:

Мониторинг кластеров HDInsight с помощью агента Azure Monitor

Аналитические выводы (Insights)

Некоторые службы в Azure имеют встроенную панель мониторинга в портал Azure, которая предоставляет отправную точку для мониторинга службы. Эти панели мониторинга называются инсайтами, и их можно найти в Центре аналитики Insights Hub Azure Monitor в портале Azure.

Интеграция портала аналитических кластеров

После включения интеграции с Azure Monitor вы можете выбрать Insights (предварительная версия) в левом меню на странице портала Azure HDInsight, чтобы просмотреть предустановленную панель, автоматически заполняющую журналы и визуализирующую метрики, соответствующие типу вашего кластера. Панель мониторинга аналитики использует предварительно созданную Рабочую книгу Azure с разделами для каждого типа кластера, YARN, системных метрик и логов компонентов.

Эти подробные графики и визуализации дают подробные сведения о производительности и работоспособности кластера. Дополнительные сведения см. в статье Об использовании встроенной аналитики HDInsight для мониторинга одного кластера.

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, для виртуальной машины используется Microsoft.Compute/virtualMachinesодин тип ресурса. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично организует основные данные мониторинга в метрики и журналы, основываясь на типах ресурсов, также называемых пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Дополнительную информацию о типах ресурсов для Azure HDInsight см. в справочнике HDInsight monitoring data reference.

Хранилище данных

Для Azure Monitor:

Данные метрик хранятся в базе данных метрик Azure Monitor.
Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это инструмент в портале Azure, который может запрашивать это хранилище.
Журнал действий Azure — это отдельное хранилище с собственным интерфейсом в портале Azure.

При необходимости можно перенаправить данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примеры включают хранилище Azure, размещенные партнерские системы и партнерские системы, не являющиеся частью Azure, с использованием Центров событий.

Подробные сведения о том, как Azure Monitor хранит данные, см. на платформе данных Azure Monitor.

HDInsight хранит файлы журналов в файловой системе кластера и в хранилище Azure. Из-за большого количества и размера файлов журналов важно оптимизировать хранилище журналов и архивацию, чтобы помочь в управлении затратами. Дополнительные сведения см. в статье Управление журналами для кластера HDInsight.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

Индивидуально определяется для каждого пространства имен.
Хранится в базе данных метрик временных рядов Azure Monitor.
Легкий и способный поддерживать оповещения практически в режиме реального времени.
Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Настройка не требуется.

Маршрутизация: Вы также можете перенаправить некоторые метрики платформы в журналы Azure Monitor или Log Analytics, чтобы выполнять запросы по ним вместе с другими данными журнала. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor или Log Analytics.

Для получения дополнительной информации см. настройку метрики диагностики.
Сведения о настройке параметров диагностики для службы см. в статье "Создание параметров диагностики" в Azure Monitor.

Список всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. в статье "Поддерживаемые метрики в Azure Monitor".

Смотрите список метрик, автоматически собранных для HDInsight, в справочнике по данным мониторинга HDInsight.

Журналы ресурсов Azure Monitor

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Журналы организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Коллекция: Журналы ресурсов не собираются и не хранятся, пока вы не создадите настройку диагностики и не перенаправите журналы в одно или несколько расположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и поддержания параметров диагностики, включая портал Azure, программно и с помощью политики Azure.

Маршрутизация: рекомендуемая настройка по умолчанию — направить журналы ресурсов в Azure Monitor Logs, чтобы вы могли запросить их с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения см. в журналах ресурсов Azure и назначениях журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовков, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Собранные агентом журналы

HDInsight не создает журналы ресурсов обычным методом. Вместо этого он собирает журналы из кластера HDInsight и отправляет их в журналы Azure Monitor или таблицы Log Analytics с помощью агента Log Analytics.

Кластер HDInsight создает множество файлов журналов, таких как:

Журналы выполнения задания
Файлы журнала диспетчера ресурсов YARN
Журналы действий скриптов
Состояние оповещений кластера Ambari
Системные метрики Ambari
Журналы безопасности
Действие Hadoop, зарегистрированное в файлах журнала контроллера, stderr и системного журнала

Доступные журналы зависят от фреймворка кластера и используемых инструментов. После включения интеграции Azure Monitor для кластера вы можете просматривать и запрашивать любые из этих журналов.

Дополнительные сведения о собранных журналах см. в статье "Управление журналами для кластера HDInsight".
Для получения информации о доступных таблицах и схемах журналов Log Analytics и Azure Monitor для HDInsight см. справочник по данным мониторинга HDInsight.

Избирательная вырубка леса

Кластеры HDInsight могут собирать множество детальных журналов. Чтобы сэкономить на затратах на мониторинг и хранение, можно включить функцию выборочного ведения журналов с помощью действий скрипта для HDInsight в портале Azure. Выборочное ведение журнала позволяет включить и отключить различные журналы и источники метрик, доступные с помощью Log Analytics. С этой функцией необходимо платить только за то, что вы используете.

Вы можете настроить коллекцию журналов и анализ, чтобы включить или отключить таблицы в рабочей области Log Analytics и настроить тип источника для каждой таблицы. Подробные инструкции см. в статье "Использование выборочного ведения журнала с действием скрипта в Azure HDInsight".

Журнал действий Azure

Журнал действий содержит события уровня подписки, отслеживающие операции для каждого ресурса Azure, как видно извне этого ресурса; например, создание нового ресурса или запуск виртуальной машины.

Коллекция: события журнала действий автоматически создаются и коллекционируются в отдельном хранилище для просмотра в портале Azure.

Маршрутизация. Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о маршрутизации журнала действий см. в разделе "Обзор журнала действий Azure".

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

Средства Azure Monitor

Azure Monitor поддерживает следующие основные средства:

Средство просмотра метрик, инструмент в портале Azure, позволяющий просматривать и анализировать метрики для ресурсов Azure. Дополнительные сведения см. в разделе "Анализ метрик" с помощью обозревателя метрик Azure Monitor.
Log Analytics— средство в портал Azure, позволяющее запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в статье Начало работы с запросами журнала в Azure Monitor.
Журнал действий, имеющий пользовательский интерфейс в портале Azure для просмотра и выполнения базового поиска. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

Панели мониторинга, позволяющие сводить различные виды данных в единую область в портале Azure.
Рабочие книги, настраиваемые отчеты, которые можно создать в портале Azure. Рабочие книги могут включать текст, метрики и запросы журналов.
Grafana — открытая платформа, которая отлично подходит для оперативных панелей мониторинга. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

Журналы Azure Monitor собирают данные из ресурсов вашего кластера HDInsight, а также из других инструментов мониторинга и используют эти данные для анализа данных из нескольких источников.

Для просмотра и анализа журналов кластера непосредственно из кластера необходимо настроить интеграцию Azure Monitor. Дополнительные сведения см. в статье "Мониторинг доступности кластера с помощью журналов Azure Monitor в HDInsight".
Новая интеграция Azure Monitor (предварительная версия) для HDInsight заменяет Log Analytics. Для получения дополнительной информации см. руководство по миграции Log Analytics для кластеров Azure HDInsight.
Основные сценарии с помощью журналов Azure Monitor для анализа метрик кластера HDInsight и создания оповещений о событиях см. в статье "Запрос журналов Azure Monitor для мониторинга кластеров HDInsight".
Подробные инструкции по включению журналов Azure Monitor и добавлению решения мониторинга для операций кластера Hadoop см. в статье "Использование журналов Azure Monitor для мониторинга кластеров HDInsight".

Инструменты экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

Метрики. Используйте REST API для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Дополнительные сведения см. в справочнике по REST API Azure Monitor.
Журналы: используйте REST API или связанные клиентские библиотеки.
Другим вариантом является экспорт данных рабочей области.

Для начала работы с REST API для Azure Monitor см. пошаговое руководство по REST API мониторинга Azure.

Запросы Kusto

Данные мониторинга можно анализировать в хранилище журналов Azure Monitor или Log Analytics с помощью языка запросов Kusto (KQL).

Внимание

При выборе пункта Журналы в меню службы на портале откроется Log Analytics, где область запроса будет установлена для текущей службы. Эта область означает, что запросы журналов будут включать только данные из этого типа ресурса. Если вы хотите выполнить запрос, содержащий данные из других служб Azure, выберите журналы в меню Azure Monitor . Подробные сведения см. в статье Область запросов журнала и временной диапазон в Azure Monitor Log Analytics.

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

После включения интеграции Azure Monitor можно выбрать журналы (предварительная версия) в левой панели навигации на странице портала HDInsight, а затем перейти на вкладку "Запросы", чтобы просмотреть примеры запросов для вашего кластера. Например, в следующем запросе перечислены все известные компьютеры, которые не отправляли пульс за последние пять часов.

// Unavailable computers 
Heartbeat
| summarize LastHeartbeat=max(TimeGenerated) by Computer
| where LastHeartbeat < ago(5h)

Следующий запрос получает первые 10 ресурсоемких запросов на основе потребления ЦП за последние 24 часа.

// Top 10 resource intensive queries 
LAQueryLogs
| top 10 by StatsCPUTimeMs desc nulls last

Внимание

Новая интеграция Azure Monitor реализует новые таблицы в рабочей области Log Analytics. Чтобы удалить как можно больше неоднозначности, меньше схем, а форматирование схемы лучше упорядочено и проще понять.

Новая интеграция мониторинга в портал Azure использует новые таблицы, но для использования новых таблиц необходимо переработать старые запросы и панели мониторинга. Сопоставления таблиц журнала из классической интеграции Azure Monitor с новыми таблицами см. в разделе "Сопоставление таблиц журнала".

Оповещения

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в оповещениях Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространенных оповещений для ресурсов Azure см. Примеры запросов оповещений лога. Сайт базовых оповещений Azure Monitor (AMBA) предоставляет полуавтомативный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Этот сайт относится к постоянно расширяющемуся подмножеству служб Azure, включая все службы, которые являются частью Azure Landing Zone (ALZ).

Общая схема оповещений стандартизирует обработку уведомлений об оповещениях Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Типов оповещений

Вы можете получать оповещения о любых источниках данных метрик или журналов на платформе данных Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе "Выбор правильного типа оповещений мониторинга".

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

Метрики оповещений оценивают метрики ресурсов на регулярной основе. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики или метриками Application Insights. Метрики оповещений также могут применять множественные условия и динамические пороговые значения.
Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов на предопределенной частоте.
Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения о работоспособности ресурсов и работоспособности служб — это оповещения журнала действий, которые сообщают о работоспособности ваших служб и ресурсов.

Некоторые службы Azure также поддерживают оповещения интеллектуального обнаружения, оповещения Prometheus или рекомендуемые правила генерации оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Правила генерации оповещений HDInsight

После включения интеграции Azure Monitor можно выбрать оповещения в левой области навигации на странице портала HDInsight и выбрать команду "Создать правило генерации оповещений" для настройки оповещений. Вы можете создать оповещение для любого запроса Log Analytics или использовать сигналы из метрик или журнала действий.

В следующей таблице описано несколько правил генерации оповещений для HDInsight. Эти оповещения являются лишь примерами. Вы можете задать оповещения для любой метрики, записи журнала или журнала действий, указанной в справочнике по данным мониторинга HDInsight.

Тип оповещения	Условие	Описание
Метрика	ЦП в ожидании	Каждый раз, когда максимальный ЦП в ожидании обработки изменяется в ту или иную сторону по отношению к динамическому порогу.
Журнал действий	Удаление кластера	Всякий раз, когда в журнале действий появляется событие с Category='Administrative', Signal name='Delete Cluster (HDInsight Cluster)'

Пример создания оповещений см. в статье "Оповещения Azure Monitor".