Мониторинг Центров событий Azure

В этой статье рассматриваются следующие вопросы:

• Типы данных мониторинга, которые можно собирать для этой службы.
• Способы анализа данных.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

• Дополнительные сведения об Azure Monitor см. в обзоре Azure Monitor.
• Дополнительные сведения о том, как отслеживать ресурсы Azure в целом, см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor.

Документация Azure Monitor описывает следующие концепции:

• Общие сведения об Azure Monitor
• Затраты, связанные с мониторингом
• данные мониторинга, собираемые в Azure;
• настройка сбора данных;
• стандартные средства Azure для анализа данных мониторинга и оповещения.

В следующих разделах описываются определенные данные, собранные для Центры событий Azure. В них также приводятся примеры настройки сбора и анализа данных средствами Azure.

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, для виртуальной машины используется Microsoft.Compute/virtualMachinesодин тип ресурса. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично упорядочивает основные данные мониторинга в метрики и журналы на основе типов ресурсов, также называемых пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Для получения дополнительной информации о типах ресурсов Центров событий см. справочник по данным мониторинга Центры событий Azure.

Хранилище данных

Для Azure Monitor:

• Данные метрик хранятся в базе данных метрик Azure Monitor.
• Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это инструмент в портале Azure, который может запрашивать это хранилище.
• Журнал активности Azure — это отдельное хранилище с собственным интерфейсом в портале Azure.

При необходимости можно перенаправить данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примеры включают хранилище Azure, размещенные партнерские системы и партнерские системы за пределами Azure, используя Центры событий.

Подробные сведения о том, как Azure Monitor хранит данные, см. на платформе данных Azure Monitor.

• Хранилище Azure

  Если вы используете Azure Хранилище для хранения информации о ведении журнала диагностики, информация хранится в контейнерах с именами insights-logs-operationlogs и insights-metrics-pt1m. Пример URL-адреса для журнала операций: https://<служба хранилища Azure account>.blob.core.windows.net/insights-logs-operationallogs/resourceId=/SUBSCRIPTIONS/<Azure subscription ID>/RESOURCEGROUPS/<Resource group name>/PROVIDERS/MICROSOFT.EVENTHUB/NAMESPACES/<Namespace name>/y=<YEAR>/m=<MONTH-NUMBER>/d=<DAY-NUMBER>/h=<HOUR>/m=<MINUTE>/PT1H.json. URL-адрес для журнала метрик аналогичен.

• Центры событий Azure

  Если вы используете Центры событий Azure для хранения диагностических данных ведения журнала, данные хранятся в экземплярах Центров событий с именем insights-logs-operationlogs и insights-metrics-pt1m. Вы также можете выбрать существующий концентратор событий, за исключением того концентратора событий, для которого вы настраиваете параметры диагностики.

• Log Analytics

  Если вы используете Log Analytics для хранения сведений журнала диагностики, эти сведения хранятся в таблицах с именем AzureDiagnostics / AzureMetrics или в таблицах, специфичных для ресурса.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

• По отдельности определяется для каждого пространства имен.
• Хранится в базе данных метрик временных рядов Azure Monitor.
• Легкий и способный поддерживать оповещения почти в режиме реального времени.
• Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Настройка не требуется.

Маршрутизация: Вы также можете направлять некоторые показатели платформы в журналы Azure Monitor или Log Analytics, чтобы запросить их с другими данными журнала. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor или Log Analytics.

• Дополнительные сведения см. в разделе Параметры диагностики метрик.
• Сведения о настройке параметров диагностики для службы см. в статье "Создание параметров диагностики" в Azure Monitor.

Список всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. в статье "Поддерживаемые метрики в Azure Monitor".

Журналы ресурсов не собираются и не сохраняются, пока вы не создадите настройку диагностики и не передадите их в одно или несколько расположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Категории для Центров событий Azure перечислены в справочнике по данным мониторинга Центров событий Azure.

Для получения списка доступных метрик для Центров событий см. справочник по данным мониторинга Центры событий Azure.

Анализ метрик

Вы можете проанализировать метрики Центров событий Azure, а также метрики из других служб Azure, выбрав Метрики из раздела Azure Monitor на домашней странице для пространства имен Центров событий. Дополнительные сведения об использовании этого средства см. в разделе Анализ показателей с помощью обозревателя метрик Azure Monitor. Список собираемых метрик платформы приведен в разделе Метрики справочника по данным мониторинга Центров событий Azure.

Для справки можно просмотреть список всех метрик ресурсов, поддерживаемых Azure Monitor.

Фильтрация и разделение

Для метрик, поддерживающих измерения, можно применять фильтры по значению измерения. Например, добавьте фильтр с параметром EntityName, имеющим значение имени центра событий. Метрики можно разбивать по измерениям, чтобы наглядно сравнивать различные их сегменты. Дополнительные сведения о фильтрации и разбиении см. в статье "Расширенные возможности обозревателя метрик Azure".

Журналы ресурсов в Azure Monitor

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Журналы организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Сбор данных: Журналы ресурсов не собираются и не хранятся, пока вы не создадите настройку диагностики и не направите журналы в одно или несколько расположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и поддержания параметров диагностики, включая портал Azure, программно и через Политику Azure.

Маршрутизация: рекомендуемая настройка по умолчанию — направлять журналы ресурсов в журналы Azure Monitor, чтобы выполнять запросы вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения см. в журналах ресурсов Azure и назначениях журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовков, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Для получения информации о доступных категориях журналов ресурсов, связанных таблицах Log Analytics и схемах журналов для Центров обработки событий, см. справочник по данным мониторинга Центры событий Azure.

Анализ журналов

Для использования Azure Monitor Log Analytics необходимо создать диагностическую конфигурацию и включить параметр Отправлять сведения в Log Analytics. Дополнительные сведения см. в разделе "Метрики ". Данные журналов Azure Monitor хранятся в таблицах, каждая из которых имеет собственный набор уникальных свойств. Центры событий Azure могут отправлять журналы в одну из двух целевых таблиц: диагностическую таблицу Azure или таблицу ресурсов в Log Analytics. Подробные сведения о журналах и метриках см. в справочнике по данным мониторинга Центров событий Azure.

Использование журналов среды выполнения

Центры событий Azure позволяет отслеживать и аудитировать взаимодействия ваших клиентских приложений на плоскости данных, используя журналы аудита во время выполнения и журналы метрик приложений.

Используя журналы аудита среды выполнения, вы можете фиксировать агрегированную диагностическую информацию по всем операциям доступа к плоскости данных, таким как публикация или потребление событий. Логи метрик приложений фиксируют агрегированные данные по определённым метрикам во времени выполнения (например, задержке потребителей и активные соединения), связанных с клиентскими приложениями, подключёнными к Event Hubs.

Включение журналов среды выполнения

Вы можете включить аудит среды выполнения или ведение журнала метрик приложений, выбрав Настройки диагностики в разделе "Мониторинг" на странице пространства имен Центров событий в портале Azure. Выберите " Добавить параметр диагностики", как показано на следующем рисунке.

Затем при необходимости можно включить категории журналов RuntimeAuditLogs или ApplicationMetricsLogs.

Когда вы включите журналы во время выполнения, Event Hubs начинает собирать и хранить их согласно конфигурации диагностических параметров.

Публикация и использование примеров данных

Чтобы собрать образцы журналов аудита среды выполнения в вашем пространстве имён Event Hubs, публикуйте и считывайте образцы данных с помощью клиентских приложений, созданных на основе пакета SDK Event Hubs. Этот пакет SDK использует расширенный протокол очереди сообщений (AMQP). Или используйте любое клиентское приложение Apache Kafka.

Метрики приложения включают следующие метрики среды выполнения.

Используйте метрики приложения для мониторинга метрик времени выполнения, таких как отставание потребителя или активное подключение для конкретного клиентского приложения. Поля, связанные с журналами метрик приложений, можно найти в справочнике журналов метрик приложений.

Журнал действий Azure

Журнал действий содержит события уровня подписки, которые отслеживают операции для каждого ресурса Azure, как они видны извне этого ресурса; например, создание нового ресурса или запуск виртуальной машины.

Коллекция: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра в портале Azure.

Маршрутизация. Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о маршрутизации журнала действий см. в разделе "Обзор журнала действий Azure".

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

Средства Azure Monitor

Azure Monitor поддерживает следующие основные средства:

• Исследователь метрик, средство в портале Azure, позволяющее просматривать и анализировать метрики ресурсов Azure. Дополнительные сведения см. в разделе "Анализ метрик" с помощью обозревателя метрик Azure Monitor.

• Log Analytics— средство в портал Azure, позволяющее запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в статье Начало работы с запросами журнала в Azure Monitor.

• Журнал действий, пользовательский интерфейс которого доступен в портале Azure для просмотра и выполнения базового поиска. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

• Панели мониторинга, позволяющие объединить различные виды данных в одно окно в портале Azure.
• Рабочие книги, настраиваемые отчеты, которые можно создать в портале Azure. Рабочие книги могут включать текст, показатели и запросы логов.
• Grafana — инструмент с открытой платформой, который отлично работает с оперативными панелями. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
• Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

Инструменты экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

• Метрики. Используйте REST API для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Для получения дополнительной информации см. справочник по REST API Azure Monitor.

• Журналы: используйте REST API или связанные клиентские библиотеки.

• Другим вариантом является экспорт данных рабочей области.

Для начала работы с REST API для Azure Monitor, см. пошаговое руководство по мониторингу REST API Azure.

Запросы Kusto

Данные мониторинга можно анализировать в хранилище журналов Azure Monitor или Log Analytics с помощью языка запросов Kusto (KQL).

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

Примеры запросов Kusto

Следующие примеры запросов помогут вам отслеживать ресурсы Центры событий Azure:

Анализ журналов аудита среды выполнения

Вы можете проанализировать собранные журналы аудита во время выполнения с помощью следующего примера запроса.

AzureDiagnostics
| where TimeGenerated > ago(1h)
| where ResourceProvider == "MICROSOFT.EVENTHUB"
| where Category == "RuntimeAuditLogs"

AZMSRuntimeAuditLogs
| where TimeGenerated > ago(1h)
| where Provider == "EVENTHUB"

После выполнения запроса вы можете просмотреть соответствующие журналы аудита в следующем формате.

Анализируя эти логи, вы можете проверить, как каждое клиентское приложение взаимодействует с Event Hubs. Каждое поле, связанное с журналами аудита во время выполнения, определено в справочнике журналов аудита во время выполнения.

Анализ метрик приложения

Вы можете проанализировать собранные журналы метрик приложений, используя следующий пример запроса.

AzureDiagnostics
| where TimeGenerated > ago(1h)
| where Category == "ApplicationMetricsLogs"

AZMSApplicationMetricLogs
| where TimeGenerated > ago(1h)
| where Provider == "EVENTHUB"

Оповещения

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в оповещениях Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространенных оповещений для ресурсов Azure см. в примерах запросов оповещений журнала. Сайт базовых оповещений Azure Monitor (AMBA) предоставляет полуавтомативный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Сайт охватывает постоянно расширяющееся подмножество сервисов Azure, включая все сервисы, которые являются частью зоны приземления Azure (ALZ).

Единая схема оповещений стандартизирует использование уведомлений Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Типов оповещений

Вы можете получать оповещения о любых источниках данных метрик или журналов на платформе данных Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе "Выбор правильного типа оповещений мониторинга".

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

• Оповещения о метриках оценивают метрики ресурсов на регулярной основе. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики или метриками Application Insights. Метрические оповещения также могут применять несколько условий и динамические пороговые значения.
• Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов на предопределенной частоте.
• Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения о работоспособности ресурсов и оповещения о работоспособности служб — это оповещения журнала действий, которые сообщают о состоянии службы и ресурсов.

Некоторые службы Azure также поддерживают оповещения интеллектуального обнаружения, оповещения Prometheus или рекомендуемые правила генерации оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Вы можете получить доступ к оповещениям для Центров событий Azure, выбрав Оповещения в разделе Azure Monitor на домашней странице пространства имен Центров событий. Для подробностей о создании оповещений смотрите раздел «Создание, просмотр и управление метрическими оповещениями с помощью Azure Monitor».

Правила генерации оповещений Центров событий

В следующей таблице перечислены некоторые предлагаемые правила генерации оповещений для Центров событий. Эти оповещения являются лишь примерами. Вы можете задать оповещения для любой метрики, записи журнала или записи журнала действий, указанной в справочнике по данным мониторинга Центры событий Azure.

Рекомендации Помощника

Для некоторых служб, если критические условия или неизбежные изменения происходят во время операций ресурсов, на странице обзора службы на портале отображается оповещение. Дополнительные сведения и рекомендуемые исправления для оповещения можно найти в разделе «Рекомендации Помощника» под «Мониторинг» в меню слева. Во время обычных операций рекомендации помощника не отображаются.

Для получения дополнительной информации о Помощник по Azure см. раздел обзор Помощник по Azure.

Связанный контент

• См. справочник данных мониторинга Центры событий Azure для ознакомления с метриками, журналами и другими важными значениями, созданными для Центров событий.
• Общие сведения о мониторинге ресурсов Azure см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor .