Мониторинг Azure Cosmos DB

В этой статье рассматриваются следующие вопросы:

• Типы данных мониторинга, которые можно собирать для этой службы.
• Способы анализа данных.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба мониторинга Azure собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

• Дополнительные сведения об Azure Monitor см. в Обзоре Azure Monitor.
• Дополнительные сведения о том, как отслеживать ресурсы Azure в целом, см. в разделе Мониторинг ресурсов Azure с использованием Azure Monitor.

Аналитика

Некоторые службы в Azure имеют встроенную панель мониторинга на портале Azure, которая предоставляет отправную точку для мониторинга службы. Эти панели мониторинга называются аналитическими сведениями, и вы можете найти их в Центре аналитики Azure Monitor на портале Azure.

Сведения о Azure Cosmos DB

Функция аналитики Azure Cosmos DB основана на рабочих книгах Azure Monitor. Используйте аналитику Azure Cosmos DB для представления общего объема производительности, сбоев, емкости и работоспособности всех ресурсов Azure Cosmos DB в едином интерактивном интерфейсе.

Дополнительные сведения о аналитике Azure Cosmos DB см. в следующих статьях:

• Изучение аналитики Azure Cosmos DB
• Мониторинг и отладка с помощью аналитических сведений в Azure Cosmos DB.

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, один тип ресурса для виртуальной машины — Microsoft.Compute/virtualMachines. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично упорядочивает основные данные мониторинга в метрики и журналы на основе типов ресурсов, которые также называются пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Дополнительные сведения о типах ресурсов для Azure Cosmos DB можно найти в справочнике по данным мониторинга Azure Cosmos DB.

Хранение данных

Для Azure Monitor:

• Данные метрик хранятся в базе данных метрик Azure Monitor.
• Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это инструмент в портале Azure, который может осуществлять запросы к этому хранилищу.
• Журнал активности Azure — это отдельное хранилище с собственным интерфейсом в портале Azure.

При необходимости можно направлять данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие места хранения за пределами Монитора Azure. Примеры включают службу хранилища Azure, системы партнеров, размещенные в облаке и системы партнеров, не относящиеся к Azure, использующие Центры событий.

Подробную информацию о том, как Azure Monitor хранит данные, смотрите в разделе Платформа данных Azure Monitor.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

• Определяется индивидуально для каждого пространства имен.
• Данные хранятся в базе данных метрик временных рядов Azure Monitor.
• Лёгкий и может поддерживать оповещения практически в режиме реального времени.
• Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Конфигурация не требуется.

Маршрутизация: Вы также можете направлять некоторые метрики платформы в Azure Monitor Logs / Log Analytics, чтобы выполнять запросы к ним вместе с другими журнальными данными. Проверьте настройку экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрики в журналы Azure Monitor или Log Analytics.

• Дополнительные сведения см. в настройках диагностики метрик.
• Сведения о том, как настроить параметры диагностики для службы, см. в разделе Создание диагностических параметров в Azure Monitor.

Для списка всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. раздел Поддерживаемые метрики в Azure Monitor.

Azure Monitor собирает метрики Azure Cosmos DB по умолчанию. Вам не нужно явно настраивать ничего. Большинство метрик доступны на странице портала Azure Cosmos DB или на странице Azure Monitor. По умолчанию метрики собираются с уровнем детализации в одну минуту. Степень детализации может отличаться в зависимости от выбранной метрики. Дополнительные сведения о периоде хранения по умолчанию см. в статье о хранении метрик Azure Monitor

Метрики на стороне сервера Azure Cosmos DB включают пропускную способность, хранилище, доступность, задержку, согласованность и метрики уровня системы. На стороне клиента можно собирать сведения об оплате за запрос, идентификатор действия, сведения об исключении и трассировке стека, состоянии HTTP и коде подстатуса и строке диагностики. По умолчанию срок хранения этих метрик составляет семь дней. Эти данные можно использовать для отладки проблем или при необходимости обратиться в службу поддержки Azure Cosmos DB.

Значения размерностей для метрик, таких как имя контейнера, не зависят от регистра. Эта ситуация может привести к путанице или столкновению данных телеметрии и действий в контейнерах с такими именами. Используйте регистронезависимое сравнение при сравнении строк для значений этих измерений.

Список доступных метрик для Azure Cosmos DB можно найти в справочнике по данным мониторинга Azure Cosmos DB.

Метрики, отличные от Azure Monitor

Эта служба предоставляет другие метрики, которые не включены в базу данных метрик Azure Monitor.

• Сведения о партнерских решениях и средствах, которые помогают отслеживать Azure Cosmos DB, см. в статье "Мониторинг Azure Cosmos DB" с помощью сторонних решений.
• Чтобы реализовать метрики Micrometer в пакете SDK для Java для Azure Cosmos DB, используя метрики Prometheus, см. статью "Использование клиентских метрик Micrometer для Java".

Журналы ресурсов в Azure Monitor

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Лог-файлы организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Сбор данных: Журналы ресурсов не собираются и не хранятся, пока вы не создадите диагностическую настройку и не перенаправите журналы в одно или несколько местоположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и поддержания параметров диагностики, включая портал Azure, программно и с помощью политики Azure.

Маршрутизация: Рекомендуется по умолчанию маршрутизировать журналы ресурсов в Azure Monitor Logs, чтобы иметь возможность выполнять запросы к ним вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Для получения дополнительной информации см. раздел Журналы ресурсов Azure и Назначения журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовка, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Журналы диагностики можно отслеживать из учетной записи Azure Cosmos DB и создавать панели мониторинга из Azure Monitor. Данные, такие как события и трассировки, которые происходят с точностью до секунды, хранятся в виде журналов. Например, если пропускная способность контейнера изменяется, свойства учетной записи Azure Cosmos DB изменяются. Журналы записывают эти события. Вы можете проанализировать эти журналы, выполнив запросы к собранным данным.

Доступные категории журналов ресурсов, связанные таблицы Log Analytics и схемы журналов для Azure Cosmos DB см. в справочнике по данным мониторинга Azure Cosmos DB.

Журнал действий Azure

Журнал действий включает события на уровне подписки, которые отслеживают операции для каждого ресурса Azure, как они видны из внешней среды; например, создание нового ресурса или активация виртуальной машины.

Сбор данных: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра на портале Azure.

Маршрутизация: Вы можете отправлять данные журнала действий в Azure Monitor Logs, чтобы анализировать их вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о том, как маршрутизировать журнал действий, см. в разделе Обзор журнала действий Azure.

Аудит восстановительных действий в режиме непрерывного резервного копирования

С помощью журналов действий можно перечислить все операции восстановления на определенный момент времени, которые были выполнены в непрерывном режиме для учетной записи службы Azure Cosmos DB. Сведения о том, как просматривать эти операции в портале Azure, см. в статье «Аудит действия восстановления на конкретный момент времени» для непрерывного режима резервного копирования.

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

средства мониторинга Azure

Azure Monitor поддерживает следующие основные средства:

• Обозреватель метрик — это средство в портале Azure, позволяющее просматривать и анализировать метрики для ресурсов Azure. Дополнительные сведения см. в разделе Анализ метрик с помощью обозревателя метрик Azure Monitor.

• Log Analytics— средство на портале Azure, позволяющее запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в разделе Начало работы с запросами журналов в Azure Monitor.

• Журнал действий, имеющий пользовательский интерфейс в портале Azure для просмотра и выполнения базовых поисковых запросов. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

• Панели мониторинга, позволяющие объединять различные виды данных в одну панель в портале Azure.
• Рабочие книги — это настраиваемые отчеты, которые можно создать в портале Azure. Рабочие книги могут включать текст, метрики и лог-запросы.
• Grafana — инструмент открытой платформы, который превосходно работает с операционными информационными панелями. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
• Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

средства для экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

• Метрики: Используйте API REST для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Дополнительные сведения см. в справочнике по REST API Azure Monitor.

• Logs: Используйте REST API или ассоциированные клиентские библиотеки.

• Другим вариантом является экспорт данных рабочей области.

Сведения о начале работы с REST API для Azure Monitor см. в руководстве по работе с REST API для Azure Monitor.

Анализ метрик Azure Cosmos DB

Исследователь метрик Azure Monitor можно использовать для анализа метрик для Azure Cosmos DB вместе с метриками из других служб Azure, выбрав метрики в разделе "Мониторинг" на панели навигации портала учетной записи Azure Cosmos DB. Дополнительные сведения об использовании обозревателя метрик см. в разделе "Анализ метрик" с помощью обозревателя метрик Azure Monitor.

Вы можете отслеживать задержку на стороне сервера, использование единиц запросов и нормализованное использование единиц запросов для ресурсов Azure Cosmos DB. Вы можете выбрать метрики, связанные с единицами запросов, хранилищем, задержкой, доступностью, Cassandra и т. д.

На стороне клиента можно отлаживать проблемы, собирая метрики для платы за запросы, идентификатора активности, информации об исключениях и трассировке стека, состояния HTTP и кода подстатуса, а также диагностической строки.

Дополнительные сведения и подробные инструкции см. в следующих статьях:

• Мониторинг задержки на стороне сервера
• Мониторинг использования единиц запросов
• Мониторинг использования нормализованных единиц запроса

Список всех метрик ресурсов, поддерживаемых в Azure Monitor, см. в статье "Поддерживаемые метрики Azure Monitor". Список метрик платформы, собранных для Azure Cosmos DB, см. в статье "Мониторинг ссылочных метрик данных Azure Cosmos DB".

Мониторинг Azure Cosmos DB с помощью программирования

Метрики уровня учетной записи, доступные на портале, такие как использование хранилища учетной записи и общие запросы, недоступны через API для NoSQL. Однако данные об использовании можно получить на уровне сбора с помощью API для NoSQL. Чтобы получить данные уровня сбора, используйте один из следующих подходов:

• Чтобы использовать REST API, выполните запрос GET к коллекции. Информация о квоте и использовании для коллекции возвращается в заголовках x-ms-resource-quota и x-ms-resource-usage в ответе.

• Чтобы использовать пакет SDK для .NET, используйте метод DocumentClient.ReadDocumentCollectionAsync, который возвращает ResourceResponse, содержащий множество свойств использования, таких как CollectionSizeUsage, DatabaseUsage и DocumentUsage.

Чтобы получить дополнительные метрики, используйте пакет SDK для Azure Monitor. Доступные определения метрик можно получить с помощью этого формата:

https://management.azure.com/subscriptions/{SubscriptionId}/resourceGroups/{ResourceGroup}/providers/Microsoft.DocumentDb/databaseAccounts/{DocumentDBAccountName}/providers/microsoft.insights/metricDefinitions?api-version=2018-01-01

Чтобы получать отдельные метрики, используйте следующий формат:

https://management.azure.com/subscriptions/{SubscriptionId}/resourceGroups/{ResourceGroup}/providers/Microsoft.DocumentDb/databaseAccounts/{DocumentDBAccountName}/providers/microsoft.insights/metrics?timespan={StartTime}/{EndTime}&interval={AggregationInterval}&metricnames={MetricName}&aggregation={AggregationType}&`$filter={Filter}&api-version=2018-01-01

Дополнительные сведения см. в разделе Azure REST API для мониторинга.

Анализ журналов Azure Cosmos DB

Данные в журналах Azure Monitor хранятся в таблицах. Каждая таблица имеет собственный набор уникальных свойств. Все журналы ресурсов в Azure Monitor имеют те же поля, за которыми следуют поля, характерные для службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Сведения о типах журналов ресурсов, собранных для Azure Cosmos DB, см. в справочнике по данным мониторинга Azure Cosmos DB.

Дополнительные сведения о работе с журналами Azure Monitor для Azure Cosmos DB см. в следующих статьях:

• Мониторинг данных с помощью параметров диагностики Azure
• Журналы контрольной плоскости
• Добавьте преобразование для данных рабочей области

Запросы для Kusto

Вы можете анализировать данные мониторинга в хранилище Azure Monitor Logs / Log Analytics с помощью языка запросов Kusto (KQL).

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

Прежде чем использовать Log Analytics для выполнения запросов Kusto, необходимо включить журналы диагностики для операций плоскости управления. При включении журналов диагностики можно выбрать между хранением данных в таблицах, относящихся к ресурсам, или одной таблицей AzureDiagnostics (устаревшей версией). Точный текст запросов Kusto зависит от выбранного режима сбора.

• Смотрите Устранение неполадок с диагностическими запросами для простых запросов, которые помогут устранить неполадки с Azure Cosmos DB.
• См. указания по устранению неполадок с расширенными запросами диагностики для Azure Cosmos DB для NoSQL для получения более подробных запросов, которые могут помочь устранить проблемы с вашей учетной записью Azure Cosmos DB, используя журналы диагностики, отправленные в таблицы Диагностика Azure (устаревшая версия) и таблицы с определенными ресурсами (предварительная версия).

Ниже приведены некоторые запросы, которые можно ввести в панель поиска по журналам, чтобы помочь отслеживать ресурсы Azure Cosmos DB.

CDBControlPlaneRequests

CDBDataPlaneRequests

CDBDataPlaneRequests
| where AccountName=="<account-name>"

CDBDataPlaneRequests
| summarize count() by AccountName

CDBDataPlaneRequests
| summarize count() by OperationName
| render piechart

AzureDiagnostics
| where ResourceProvider=="MICROSOFT.DOCUMENTDB"
| where Category=="ControlPlaneRequests"

AzureDiagnostics
| where ResourceProvider=="MICROSOFT.DOCUMENTDB"
| where Category=="DataPlaneRequests"

AzureDiagnostics
| where ResourceProvider=="MICROSOFT.DOCUMENTDB"
| where Category=="DataPlaneRequests"
| where Resource=="<account-name>"

AzureDiagnostics
| where ResourceProvider=="MICROSOFT.DOCUMENTDB"
| where Category=="DataPlaneRequests"
| summarize count() by Resource

AzureDiagnostics
| where ResourceProvider=="MICROSOFT.DOCUMENTDB"
| where Category=="DataPlaneRequests"
| summarize count() by OperationName
| render columnchart

Запросы Kusto можно использовать для устранения неполадок с Azure Cosmos DB, см. в следующих статьях:

• Устранение неполадок с помощью базовых запросов
• Устранение неполадок с помощью расширенных диагностических запросов

Эти примеры представляют собой лишь небольшую выборку расширенных запросов, которые можно запускать в Azure Monitor с помощью язык запросов Kusto (KQL). Для получения дополнительных примеров см. примеры запросов Kusto.

Alerts

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Для получения дополнительной информации см. оповещения Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространённых оповещений для ресурсов Azure см. в примерах запросов журнала оповещений. Сайт Azure Monitor Baseline Alerts (AMBA) предоставляет полуавтоматизированный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Этот сайт относится к постоянно расширяющемуся подмножеству служб Azure, включая все службы, которые являются частью Azure Landing Zone (ALZ).

Единая схема оповещений стандартизирует использование уведомлений Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Типов оповещений

Вы можете настроить оповещения на любую метрику или источник данных в платформе Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе Выберите правильный тип оповещения для мониторинга.

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

• Оповещения о метриках оценивают метрики ресурсов на регулярной основе. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики, или метриками Application Insights. Оповещения на основе метрик также могут применять несколько условий и динамические пороговые значения.
• Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов с заданной частотой.
• Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения о состоянии ресурсов и оповещения о состоянии сервиса — это оповещения журнала активности, которые сообщают о состоянии вашей службы и ресурсов.

Некоторые службы Azure также поддерживают умные оповещения об обнаружении, оповещения Prometheus или рекомендуемые правила оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Правила генерации оповещений Azure Cosmos DB

В следующей таблице перечислены некоторые распространенные и рекомендуемые правила генерации оповещений для Azure Cosmos DB.

Дополнительные сведения и инструкции по созданию оповещений для Azure Cosmos DB см. в статье "Создание оповещений по метрикам". Чтобы создать оповещение для мониторинга приближения размера хранилища для ключа логического раздела к 20 ГБ, см. Создать оповещение о размере ключа логического раздела.

Рекомендации помощника

Для некоторых служб, если во время операций ресурсов происходят критические условия или неизбежные изменения, на странице Обзор службы в портале отображается оповещение. Вы можете найти дополнительную информацию и рекомендуемые исправления для оповещения в рекомендациях Консультанта в разделе Мониторинг в меню слева. Во время обычных операций рекомендации помощника не отображаются.

Дополнительные сведения об Помощник по Azure см. в обзоре Помощник по Azure.

Связанный контент

• См. справочник по данным мониторинга Azure Cosmos DB для получения сведений о метриках, журналах и других важных значениях, созданных для Azure Cosmos DB.
• Общие сведения о мониторинге ресурсов Azure см. в разделе Мониторинг ресурсов Azure с помощью Azure Monitor.