Отслеживание кэша Azure для Redis

В этой статье рассматриваются следующие вопросы:

• Типы данных мониторинга, которые можно собирать для этой службы.
• Способы анализа данных.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

• Дополнительные сведения об Azure Monitor см. в Обзоре Azure Monitor.
• Дополнительные сведения о том, как отслеживать ресурсы Azure в целом, см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor.

Некоторые службы в Azure имеют встроенную панель мониторинга в портал Azure, которая предоставляет отправную точку для мониторинга службы. Эти панели мониторинга называются аналитическими сведениями, и вы можете найти их в Центре аналитики Azure Monitor на портале Azure.

Инсайты для Azure Cache для Redis предоставляют следующие возможности:

• Перспективный масштаб ваших ресурсов Azure Cache для Redis через подписки. Вы можете выборочно указать только те подписки и ресурсы, которые вас интересуют.
• Углубленный анализ ресурса Azure Cache для Redis. Для диагностики проблем можно просмотреть подробный анализ использования, сбоев, емкости и операций или подробный просмотр соответствующих сведений.
• Настройка, построенная на шаблонах рабочих книг Azure Monitor. Вы можете изменить отображаемые метрики и изменить или задать пороговые значения, которые соответствуют вашим ограничениям. Вы можете сохранить изменения в пользовательской рабочей книге, а затем закрепить диаграммы из книги на панелях мониторинга Azure.

Для Azure Cache для Redis не требуется включать или настраивать чего-либо для анализа. По умолчанию собирается информация кэша Azure для Redis, и дополнительная плата за доступ к аналитической информации не взимается.

Чтобы узнать, как просматривать, настраивать и кастомизировать аналитику для Azure Cache для Redis, см. в статье [Аналитика Azure Monitor для Azure Cache для Redis]/azure-cache-for-redis/cache-insights-overview.md).

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, для виртуальной машины используется Microsoft.Compute/virtualMachinesодин тип ресурса. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично упорядочивает основные данные мониторинга в метрики и журналы в зависимости от типов ресурсов, также называемых пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Для получения дополнительной информации о типах ресурсов для Azure Cache для Redis см. справочную информацию о данных мониторинга Azure Cache для Redis.

Для Azure Monitor:

• Данные метрик хранятся в базе данных метрик Azure Monitor.
• Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это средство в портале Azure, которое может выполнять запросы к этому хранилищу.
• Журнал действий Azure — это отдельное хранилище с собственным интерфейсом на портале Azure.

При необходимости можно перенаправить данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примеры включают Azure Storage, размещенные партнерские системы и партнерские системы, не относящиеся к Azure, с использованием Event Hubs.

Подробные сведения о том, как Azure Monitor хранит данные, см. на платформе данных Azure Monitor.

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

• Определяется отдельно для каждого пространства имен.
• Хранится в базе данных метрик временных рядов Azure Monitor.
• Лёгкий и может поддерживать оповещения практически в режиме реального времени.
• Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Настройка не требуется.

Маршрутизация: Вы также можете перенаправить некоторые метрики платформы в журналы Azure Monitor или Log Analytics, чтобы выполнять запросы по ним вместе с другими данными журнала. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor или Log Analytics.

• Дополнительные сведения см. в разделе настройки диагностики метрик.
• Сведения о настройке параметров диагностики для службы см. в статье "Создание параметров диагностики" в Azure Monitor.

Список всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. в статье "Поддерживаемые метрики в Azure Monitor".

Для списка доступных метрик для Кэша Azure для Redis, см. справочник по данным мониторинга Кэш Azure для Redis.

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Логи организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Сбор данных: Журналы ресурсов не собираются и не хранятся, пока вы не создадите диагностическую настройку и не перенаправите журналы в одно или несколько местоположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и поддержания параметров диагностики, включая портал Azure, программно и с помощью политики Azure.

Маршрутизация: рекомендуется по умолчанию маршрутизировать журналы ресурсов в Azure Monitor Logs, чтобы иметь возможность выполнять запросы к ним вместе с другими данными журналов. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения см. в журналах ресурсов Azure и местах назначения журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовков, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Доступные категории журналов ресурсов, связанные таблицы Log Analytics и схемы журналов для Azure Cache для Redis смотрите в справочнике по данным мониторинга Azure Cache для Redis.

В Azure Cache для Redis доступны два способа ведения логов:

• Метрики кэша ("AllMetrics") логирует метрики из Azure Monitor
• В журналах подключения регистрируются подключения к кэшу для обеспечения безопасности и проведения диагностики.

Кэш Azure для Redis выдает множество метрик, таких как Server Load и Connections per Second, полезные для ведения журнала. Если выбрать параметр AllMetrics, вы сможете фиксировать в журнале эти и другие метрики кэша. Вы можете настроить срок хранения метрик.

Кэш Azure для Redis использует параметры диагностики Azure для регистрации сведений о клиентских подключениях к кэшу. Ведение журнала и анализ этого параметра диагностики помогает понять, кто подключается к вашим кэшам, и узнать метку времени этих подключений. Данные журнала можно использовать для определения области нарушения безопасности и в целях аудита безопасности.

Журналы подключений имеют несколько различные реализации, содержимое и процедуры настройки для разных уровней Azure Cache для Redis. Дополнительные сведения см. в статье [Параметры диагностики Azure Monitor](azure-cache-for-redis/cache-monitor-diagnostic-settings.md).

Журнал действий включает события на уровне подписки, которые отслеживают операции для каждого ресурса Azure, как они видны из внешней среды; например, создание нового ресурса или активация виртуальной машины.

Сбор данных: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра на портале Azure.

Маршрутизация. Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о маршрутизации журнала действий см. в разделе "Обзор журнала действий Azure".

Существует множество средств для анализа данных мониторинга.

Azure Monitor поддерживает следующие основные средства:

• Обозреватель метрик — это средство в портале Azure, позволяющее просматривать и анализировать метрики для ресурсов Azure. Дополнительные сведения см. в статье Анализ метрик с помощью обозревателя метрик Azure Monitor.

• Log Analytics— средство в портал Azure, позволяющее запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в статье Начало работы с запросами журналов в Azure Monitor.

• Журнал действий, имеющий пользовательский интерфейс в портале Azure для просмотра и выполнения базовых поисковых запросов. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

• Панели мониторинга, позволяющие объединять различные виды данных в одну панель в портале Azure.
• Рабочие книги — это настраиваемые отчеты, которые можно создать в портале Azure. Рабочие книги могут включать текст, метрики и лог-запросы.
• Grafana — инструмент с открытой платформой, который превосходно подходит для операционных панелей мониторинга. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
• Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

• Метрики. Используйте REST API для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Дополнительные сведения см. в справочнике по REST API Azure Monitor.

• Журналы: используйте REST API или соответствующие клиентские библиотеки.

• Другим вариантом является экспорт данных рабочей области.

Чтобы начать работу с REST API для Azure Monitor, см. руководство по REST API для мониторинга Azure.

Метрики для экземпляров Azure Cache для Redis собираются с помощью команды Redis INFO. Метрики собираются примерно два раза в минуту, чтобы они могли отображаться в диаграммах метрик и оцениваться правилами генерации оповещений. Сведения о том, сколько времени хранятся данные и как настроить другую политику хранения, см. в статье "Хранение и архив данных" в журналах Azure Monitor.

Метрики передаются с помощью нескольких интервалов отчетности, включая прошлый час, сегодня, прошлая неделя и пользовательский. Для каждой диаграммы метрик отображаются среднее, минимальное и максимальное значения каждой метрики на данной диаграмме, а для некоторых также можно увидеть суммарное значение за весь интервал отчетности.

Каждая метрика включает две версии: одна метрика измеряет производительность всего кэша, а другая — кэшей, использующих кластеризацию. Вторая версия метрики, которая содержит (Shard 0-9) в имени, измеряет производительность отдельного сегмента в кэше. Например, если кэш содержит четыре сегмента, Cache Hits отражает общее количество попаданий для всего кэша, а Cache Hits (Shard 3) измеряет только количество попаданий для отдельного сегмента кэша.

Вы можете просматривать метрики Azure Monitor для Azure Cache for Redis непосредственно из ресурса кэша в портале Azure.

На портале выберите экземпляр Azure Cache для Redis. На странице "Обзор" показаны предопределенные диаграммы мониторинга использования памяти и загрузки сервера Redis. Эти диаграммы представляют собой полезные сводки, которые позволяют быстро определить состояние кэша.

Для получения подробных сведений можно отслеживать полезные метрики для Redis в Azure Cache из раздела «Мониторинг» в меню «Ресурс».

Вы можете создать собственную настраиваемую диаграмму для отслеживания нужных вам метрик. Показатели кэша регистрируются с определенной периодичностью: за последний час, за сегодня, за последнюю неделю и с настраиваемым интервалом. Слева выберите Метрика в разделе Мониторинг. Для каждой диаграммы метрик отображаются среднее, минимальное и максимальное значения каждой метрики на данной диаграмме, а для некоторых также можно увидеть суммарное значение за весь интервал отчетности.

Каждая метрика включает две версии: одна метрика измеряет производительность всего кэша, а другая — кэшей, использующих кластеризацию. Вторая версия метрики, которая содержит (Shard 0-9) в имени, измеряет производительность отдельного сегмента в кэше. Например, если кэш содержит четыре сегмента, Cache Hits отражает общее количество попаданий для всего кэша, а Cache Hits (Shard 3) измеряет только количество попаданий для отдельного сегмента кэша.

В меню "Ресурс" слева выберите Метрики в разделе Мониторинг. Здесь вы создадите собственную диаграмму для кэша, определив тип метрики и тип агрегирования.

Общие сведения о типах агрегирования см. в разделе "Настройка агрегирования".

В обычных условиях кэша среднее и максимальное значение аналогичны, так как только основной узел выдает эти метрики. В сценарии, когда количество подключенных клиентов быстро изменяется, Max, Average и Min отображает различные значения, что также ожидается.

Типы Count и Sum могут вводить в заблуждение для определенных метрик, таких как подключенные клиенты. Вместо этого лучше всего взглянуть на средние метрики, а не на метрики сумм.

Для некластеризованных кэшей лучше использовать метрики без суффикса Instance Based. Например, чтобы проверить нагрузку сервера для вашего экземпляра кэша, используйте метрику Нагрузка сервера.

В отличие от этого, для кластеризованных кэшей используйте метрики с суффиксом Instance Based. Затем добавьте разделитель или фильтр на ShardId. Например, чтобы проверить нагрузку сервера шарда 1, используйте метрику Нагрузка сервера (на основе экземпляра), а затем примените фильтр ShardId = 1.

Данные мониторинга можно анализировать в хранилище журналов Azure Monitor или Log Analytics с помощью языка запросов Kusto (KQL).

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

Ниже приведены некоторые базовые запросы для использования в качестве образца.

let IpRange = "10.1.1.0/24";
ACRConnectedClientList
// For particular datetime filtering, add '| where TimeGenerated between (StartTime .. EndTime)'
| where ipv4_is_in_range(ClientIp, IpRange)
| summarize ConnectionCount = sum(ClientCount) by TimeRange = bin(TimeGenerated, 1h)

ACRConnectedClientList
| summarize count() by ClientIp

REDConnectionEvents
// For particular datetime filtering, add '| where EventTime between (StartTime .. EndTime)'
// For particular IP range filtering, add '| where ipv4_is_in_range(ClientIp, IpRange)'
// IP range can be defined like this 'let IpRange = "10.1.1.0/24";' at the top of query.
| extend EventTime = unixtime_seconds_todatetime(EventEpochTime)
| where EventType == "new_conn"
| summarize ConnectionCount = count() by TimeRange = bin(EventTime, 1h)

REDConnectionEvents
| extend EventTime = unixtime_seconds_todatetime(EventEpochTime)
// For particular datetime filtering, add '| where EventTime between (StartTime .. EndTime)'
// For particular IP range filtering, add '| where ipv4_is_in_range(ClientIp, IpRange)'
// IP range can be defined like this 'let IpRange = "10.1.1.0/24";' at the top of query.
| where EventType == "auth"
| summarize AuthenticationRequestsCount = count() by TimeRange = bin(EventTime, 1h)

REDConnectionEvents
// https://docs.redis.com/latest/rs/security/audit-events/#status-result-codes
// EventStatus :
// 0    AUTHENTICATION_FAILED    -    Invalid username and/or password.
// 1    AUTHENTICATION_FAILED_TOO_LONG    -    Username or password are too long.
// 2    AUTHENTICATION_NOT_REQUIRED    -    Client tried to authenticate, but authentication isn’t necessary.
// 3    AUTHENTICATION_DIRECTORY_PENDING    -    Attempting to receive authentication info from the directory in async mode.
// 4    AUTHENTICATION_DIRECTORY_ERROR    -    Authentication attempt failed because there was a directory connection error.
// 5    AUTHENTICATION_SYNCER_IN_PROGRESS    -    Syncer SASL handshake. Return SASL response and wait for the next request.
// 6    AUTHENTICATION_SYNCER_FAILED    -    Syncer SASL handshake. Returned SASL response and closed the connection.
// 7    AUTHENTICATION_SYNCER_OK    -    Syncer authenticated. Returned SASL response.
// 8    AUTHENTICATION_OK    -    Client successfully authenticated.
| where EventType == "auth" and EventStatus == 2 or EventStatus == 8 or EventStatus == 7
| summarize count() by ClientIp

REDConnectionEvents
// https://docs.redis.com/latest/rs/security/audit-events/#status-result-codes
// EventStatus : 
// 0    AUTHENTICATION_FAILED    -    Invalid username and/or password.
// 1    AUTHENTICATION_FAILED_TOO_LONG    -    Username or password are too long.
// 2    AUTHENTICATION_NOT_REQUIRED    -    Client tried to authenticate, but authentication isn’t necessary.
// 3    AUTHENTICATION_DIRECTORY_PENDING    -    Attempting to receive authentication info from the directory in async mode.
// 4    AUTHENTICATION_DIRECTORY_ERROR    -    Authentication attempt failed because there was a directory connection error.
// 5    AUTHENTICATION_SYNCER_IN_PROGRESS    -    Syncer SASL handshake. Return SASL response and wait for the next request.
// 6    AUTHENTICATION_SYNCER_FAILED    -    Syncer SASL handshake. Returned SASL response and closed the connection.
// 7    AUTHENTICATION_SYNCER_OK    -    Syncer authenticated. Returned SASL response.
// 8    AUTHENTICATION_OK    -    Client successfully authenticated.
| where EventType == "auth" and EventStatus != 2 and EventStatus != 8 and EventStatus != 7
| project ClientIp, EventStatus, ConnectionId

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в оповещениях Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространенных оповещений для ресурсов Azure см. в Примерах журнальных запросов на оповещения. Сайт Azure Monitor Baseline Alerts (AMBA) предоставляет полуавтоматизированный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Этот сайт относится к постоянно расширяющемуся подмножеству служб Azure, включая все службы, которые являются частью Azure Landing Zone (ALZ).

Общая схема оповещений стандартизирует обработку уведомлений системы Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Вы можете настроить оповещения на любую метрику или источник данных в платформе Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе "Выбор правильного типа оповещений мониторинга".

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

• Оповещения на основе метрик оценивают показатели ресурсов с регулярными интервалами. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики или метриками Application Insights. Оповещения на основе метрик также могут применять несколько условий и динамические пороговые значения.
• Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов с заданной частотой.
• Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения о состоянии ресурсов и оповещения о состоянии служб — это оповещения журнала действий, которые сообщают о состоянии ваших ресурсов и служб.

Некоторые службы Azure также поддерживают оповещения интеллектуального обнаружения, оповещения Prometheus или рекомендуемые правила генерации оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Вы можете настроить получение уведомлений на основе метрик и журналов действий. Azure Monitor позволяет настроить действие, выполняемое при активации оповещения:

• Отправка уведомления по электронной почте
• Вызвать вебхук.
• Вызов приложения логики Azure.

Чтобы настроить оповещения для кэша, выберите Оповещения в разделе Мониторинг в меню "Ресурс".

В следующей таблице перечислены распространенные и рекомендуемые правила оповещений для Azure Cache для Redis.

Для некоторых служб, если во время операций ресурсов происходят критические условия или неизбежные изменения, на странице Обзор службы в портале отображается оповещение. Вы можете найти дополнительную информацию и рекомендуемые исправления для оповещения в рекомендациях Консультанта в разделе Мониторинг в меню слева. Во время обычных операций рекомендации помощника не отображаются.

Дополнительные сведения о Azure Advisor см. в разделе обзор продукта Azure Advisor.

На следующем снимке экрана показана рекомендация советника по оповещению для Azure Cache for Redis:

Чтобы обновить кэш, выберите Обновить сейчас. При этом будут изменены ценовая категория и размер кэша. Дополнительные сведения о выборе ценовой категории см. в статье Выбор подходящего уровня.

• Справочную информацию о метриках, журналах и других важных значениях, созданных для Azure Cache for Redis, можно найти в справочнике по данным мониторинга Azure Cache for Redis.
• Общие сведения о мониторинге ресурсов Azure см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor .