Мониторинг хранилища таблиц Azure

В этой статье рассматриваются следующие вопросы:

• Типы данных мониторинга, которые можно собирать для этой службы.
• Способы анализа данных.

При наличии критически важных приложений и бизнес-процессов, использующих ресурсы Azure, необходимо отслеживать и получать оповещения для системы. Служба Azure Monitor собирает и агрегирует метрики и журналы из каждого компонента системы. Azure Monitor предоставляет представление о доступности, производительности и устойчивости, а также уведомляет вас о проблемах. Вы можете использовать портал Azure, PowerShell, Azure CLI, REST API или клиентские библиотеки для настройки и просмотра данных мониторинга.

• Дополнительные сведения об Azure Monitor см. в Обзоре Azure Monitor.
• Дополнительные сведения о том, как отслеживать ресурсы Azure в целом, см. в статье "Мониторинг ресурсов Azure" с помощью Azure Monitor.

Выводы

Некоторые службы в Azure имеют встроенную панель мониторинга в портал Azure, которая предоставляет отправную точку для мониторинга службы. Эти панели мониторинга называются аналитическими сведениями, и вы можете найти их в Центре аналитики Azure Monitor на портале Azure.

Аналитика Azure Storage предлагает единое представление о производительности, емкости и доступности хранилища. См. статью "Мониторинг хранилища" с помощью аналитики службы хранилища Azure Monitor.

Типы ресурсов

Azure использует концепцию типов ресурсов и идентификаторов для идентификации всего в подписке. Типы ресурсов также являются частью идентификаторов ресурсов для каждого ресурса, работающего в Azure. Например, для виртуальной машины используется Microsoft.Compute/virtualMachinesодин тип ресурса. Список служб и связанных с ними типов ресурсов см. в разделе "Поставщики ресурсов".

Azure Monitor аналогично упорядочивает основные данные мониторинга в метрики и журналы на основе типов ресурсов, которые также называются пространствами имен. Различные метрики и журналы доступны для различных типов ресурсов. Служба может быть связана с несколькими типами ресурсов.

Хранилище данных

Для Azure Monitor:

• Данные метрик хранятся в базе данных метрик Azure Monitor.
• Данные журнала хранятся в хранилище журналов Azure Monitor. Log Analytics — это инструмент в портале Azure, который может выполнять запросы к этому хранилищу.
• Журнал действий Azure — это отдельное хранилище с собственным интерфейсом на портале Azure.

При необходимости можно перенаправить данные журнала метрик и действий в хранилище журналов Azure Monitor. Затем с помощью Log Analytics можно запрашивать данные и сопоставлять их с другими данными журнала.

Многие службы могут использовать параметры диагностики для отправки данных метрик и журналов в другие расположения хранилища за пределами Azure Monitor. Примеры включают службу хранилища Azure, системы партнеров, размещенные в облаке и системы партнеров, не относящиеся к Azure, использующие Центры событий.

Подробные сведения о том, как Azure Monitor хранит данные, см. на платформе данных Azure Monitor.

Метрики платформы Azure Monitor

Azure Monitor предоставляет метрики платформы для большинства служб. Эти метрики перечислены ниже.

• Определяется отдельно для каждого пространства имен.
• Хранится в базе данных метрик временных рядов Azure Monitor.
• Лёгкий и может поддерживать оповещения практически в режиме реального времени.
• Используется для отслеживания производительности ресурса с течением времени.

Коллекция: Azure Monitor автоматически собирает метрики платформы. Настройка не требуется.

Маршрутизация: Вы также можете направлять часть метрик платформы в журналы Azure Monitor или Log Analytics, чтобы выполнять запросы к ним вместе с другими данными журнала. Проверьте параметр экспорта DS для каждой метрики, чтобы узнать, можно ли использовать параметр диагностики для маршрутизации метрик в журналы Azure Monitor или Log Analytics.

• Дополнительные сведения см. в настройках диагностики метрик.
• Сведения о настройке параметров диагностики для службы см. в статье "Создание параметров диагностики" в Azure Monitor.

Список всех метрик, которые можно собрать для всех ресурсов в Azure Monitor, см. в статье "Поддерживаемые метрики в Azure Monitor".

Список доступных метрик для хранилища таблиц Azure см. в справочнике по данным мониторинга хранилища таблиц Azure.

Журналы ресурсов Azure Monitor

Журналы ресурсов предоставляют аналитические сведения об операциях, выполненных ресурсом Azure. Журналы создаются автоматически, но их необходимо перенаправить в журналы Azure Monitor, чтобы сохранить или запросить их. Логи организованы по категориям. Заданное пространство имен может содержать несколько категорий журналов ресурсов.

Сбор данных: Журналы ресурсов не собираются и не хранятся, пока вы не создадите диагностическую настройку и не перенаправите журналы в одно или несколько местоположений. Создавая параметр диагностики, нужно указать, какие категории журналов должны собираться. Существует несколько способов создания и поддержания параметров диагностики, включая портал Azure, программно и с помощью политики Azure.

Маршрутизация: рекомендуется по умолчанию маршрутизировать журналы ресурсов в Azure Monitor Logs, чтобы иметь возможность выполнять запросы к ним вместе с другими данными журналов. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения см. в журналах ресурсов Azure и местах назначения журналов ресурсов.

Подробные сведения о сборе, хранении и маршрутизации журналов ресурсов см. в разделе "Параметры диагностики" в Azure Monitor.

Список всех доступных категорий журналов ресурсов в Azure Monitor см. в статье "Поддерживаемые журналы ресурсов" в Azure Monitor.

Все журналы ресурсов в Azure Monitor имеют одинаковые поля заголовков, а затем поля для конкретной службы. Общая схема показана в разделе Схема журнала ресурсов Azure Monitor.

Доступные категории журналов ресурсов, связанные таблицы Log Analytics и схемы журналов для хранилища таблиц Azure, см. в справочнике по данным мониторинга хранилища таблиц Azure.

Параметры диагностики хранилища таблиц Azure

При создании параметра диагностики выберите таблицу в качестве типа хранилища, для которого требуется включить журналы. Затем укажите одну из следующих категорий операций, для которой требуется вести журнал.

Группа категорий журналов аудита ресурсов позволяет собирать базовый уровень журналов ресурсов, которые корпорация Майкрософт считает необходимыми для аудита вашего ресурса. Собранные данные являются динамическими, и корпорация Майкрософт может изменить ее с течением времени, так как новые категории журналов ресурсов становятся доступными. Если выбрать группу категорий аудита , вы не можете указать другие категории ресурсов, так как система решит, какие журналы следует собирать. Дополнительные сведения см. в разделе "Параметры диагностики" в Azure Monitor: журналы ресурсов.

Ограничения по месту назначения

Общие ограничения назначения см. в разделе "Ограничения назначения". Следующие ограничения применяются только к учётным записям мониторинга хранилища Azure.

• Вы не можете отправлять журналы в ту же учетную запись хранения, которую вы отслеживаете с помощью этого параметра. Эта ситуация приведет к рекурсивным логам, в которых каждая запись описывает создание другой записи. Необходимо создать учетную запись или использовать другую существующую учетную запись для хранения сведений журнала.

• Нельзя задать политику хранения.

  При архивации журналов в учетную запись хранилища можно управлять политикой хранения контейнера журналов, определив политику управления жизненным циклом. Дополнительные сведения см. в статье "Оптимизация затрат путем автоматического управления жизненным циклом данных".

  При отправке журналов в Log Analytics можно управлять периодом хранения данных Log Analytics на уровне рабочей области или даже указывать различные параметры хранения по типу данных. Дополнительные сведения см. в разделе Изменение срока хранения данных.

Журнал действий Azure

Журнал действий включает события на уровне подписки, которые отслеживают операции для каждого ресурса Azure, как они видны из внешней среды; например, создание нового ресурса или активация виртуальной машины.

Сбор данных: события журнала действий автоматически создаются и собираются в отдельном хранилище для просмотра на портале Azure.

Маршрутизация. Вы можете отправлять данные журнала действий в журналы Azure Monitor, чтобы их можно было анализировать вместе с другими данными журнала. Также доступны другие расположения, такие как служба хранилища Azure, Центры событий Azure и некоторые партнеры по мониторингу Майкрософт. Дополнительные сведения о маршрутизации журнала действий см. в разделе "Обзор журнала действий Azure".

Анализ данных мониторинга

Существует множество средств для анализа данных мониторинга.

Средства Azure Monitor

Azure Monitor поддерживает следующие основные средства:

• Обозреватель метрик — это средство в портале Azure, позволяющее просматривать и анализировать метрики для ресурсов Azure. Дополнительные сведения см. в разделе "Анализ метрик" с помощью обозревателя метрик Azure Monitor.

• Log Analytics— средство на портале Azure, позволяющее запрашивать и анализировать данные журнала с помощью языка запросов Kusto (KQL). Дополнительные сведения см. в статье Начало работы с запросами журналов в Azure Monitor.

• Журнал действий, имеющий пользовательский интерфейс в портале Azure для просмотра и выполнения базовых поисковых запросов. Для более подробного анализа необходимо направлять данные в журналы Azure Monitor и выполнять более сложные запросы в Log Analytics.

Средства, которые позволяют более сложной визуализации, включают:

• Панели мониторинга, позволяющие объединять различные виды данных в одну панель в портале Azure.
• Рабочие книги — это настраиваемые отчеты, которые можно создать в портале Azure. Рабочие книги могут включать текст, метрики и лог-запросы.
• Grafana — инструмент с открытой платформой, который превосходно подходит для операционных панелей мониторинга. С помощью Grafana можно создавать панели мониторинга, содержащие данные из нескольких источников, отличных от Azure Monitor.
• Power BI— служба бизнес-аналитики, которая предоставляет интерактивные визуализации в различных источниках данных. Вы можете настроить Power BI на автоматический импорт данных журналов из Azure Monitor, чтобы воспользоваться этими визуализациями.

Инструменты экспорта Azure Monitor

Вы можете получить данные из Azure Monitor в другие средства с помощью следующих методов:

• Метрики. Используйте REST API для метрик для извлечения данных метрик из базы данных метрик Azure Monitor. API поддерживает выражения фильтров для уточнения полученных данных. Дополнительные сведения см. в справочнике по REST API Azure Monitor.

• Журналы: используйте REST API или соответствующие клиентские библиотеки.

• Другим вариантом является экспорт данных рабочей области.

Чтобы начать работать с REST API для Azure Monitor, смотрите Пошаговое руководство по REST API для мониторинга Azure.

Анализ метрик для хранилища таблиц Azure

Метрики для хранилища таблиц Azure находятся в следующих пространствах имен:

• Microsoft.Storage/storageAccounts (хранилища аккаунтов)
• Microsoft.Storage/storageAccounts/сервисТаблиц

Список всех поддерживаемых метрик Azure Monitor, включающих службу хранилища таблиц Azure, см. в поддерживаемых метриках Azure Monitor.

   $resourceId = "<resource-ID>"
   Get-AzMetricDefinition -ResourceId $resourceId

   $resourceId = "<resource-ID>"
   Get-AzMetric -ResourceId $resourceId -MetricNames "UsedCapacity" -TimeGrain 01:00:00

$resourceId = "<resource-ID>"
$dimFilter = [String](New-AzMetricFilter -Dimension ApiName -Operator eq -Value "QueryEntities" 3> $null)
Get-AzMetric -ResourceId $resourceId -MetricName Transactions -TimeGrain 01:00:00 -MetricFilter $dimFilter -AggregationType "Total"

   az monitor metrics list-definitions --resource <resource-ID>

   az monitor metrics list --resource <resource-ID> --metric "UsedCapacity" --interval PT1H

az monitor metrics list --resource <resource-ID> --metric "Transactions" --interval PT1H --filter "ApiName eq 'QueryEntities' " --aggregation "Total" 

    public static async Task ListStorageMetricDefinition()
    {
        var resourceId = "<resource-ID>";
        var subscriptionId = "<subscription-ID>";
        var tenantId = "<tenant-ID>";
        var applicationId = "<application-ID>";
        var accessKey = "<AccessKey>";

        MonitorManagementClient readOnlyClient = AuthenticateWithReadOnlyClient(tenantId, applicationId, accessKey, subscriptionId).Result;
        IEnumerable<MetricDefinition> metricDefinitions = await readOnlyClient.MetricDefinitions.ListAsync(resourceUri: resourceId, cancellationToken: new CancellationToken());

        foreach (var metricDefinition in metricDefinitions)
        {
            // Enumerate metric definition:
            //    Id
            //    ResourceId
            //    Name
            //    Unit
            //    MetricAvailabilities
            //    PrimaryAggregationType
            //    Dimensions
            //    IsDimensionRequired
        }
    }

    public static async Task ReadStorageMetricValue()
    {
        var resourceId = "<resource-ID>";
        var subscriptionId = "<subscription-ID>";
        var tenantId = "<tenant-ID>";
        var applicationId = "<application-ID>";
        var accessKey = "<AccessKey>";

        MonitorClient readOnlyClient = AuthenticateWithReadOnlyClient(tenantId, applicationId, accessKey, subscriptionId).Result;

        Microsoft.Azure.Management.Monitor.Models.Response Response;

        string startDate = DateTime.Now.AddHours(-3).ToUniversalTime().ToString("o");
        string endDate = DateTime.Now.ToUniversalTime().ToString("o");
        string timeSpan = startDate + "/" + endDate;

        Response = await readOnlyClient.Metrics.ListAsync(
            resourceUri: resourceId,
            timespan: timeSpan,
            interval: System.TimeSpan.FromHours(1),
            metricnames: "UsedCapacity",

            aggregation: "Average",
            resultType: ResultType.Data,
            cancellationToken: CancellationToken.None);

        foreach (var metric in Response.Value)
        {
            // Enumerate metric value
            //    Id
            //    Name
            //    Type
            //    Unit
            //    Timeseries
            //        - Data
            //        - Metadatavalues
        }
    }

    public static async Task ReadStorageMetricValueTest()
    {
        // Resource ID for table storage
        var resourceId = "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Storage/storageAccounts/{storageAccountName}/tableServices/default";
        var subscriptionId = "<subscription-ID}";
        // How to identify Tenant ID, Application ID and Access Key: https://azure.microsoft.com/documentation/articles/resource-group-create-service-principal-portal/
        var tenantId = "<tenant-ID>";
        var applicationId = "<application-ID>";
        var accessKey = "<AccessKey>";

        MonitorManagementClient readOnlyClient = AuthenticateWithReadOnlyClient(tenantId, applicationId, accessKey, subscriptionId).Result;

        Microsoft.Azure.Management.Monitor.Models.Response Response;

        string startDate = DateTime.Now.AddHours(-3).ToUniversalTime().ToString("o");
        string endDate = DateTime.Now.ToUniversalTime().ToString("o");
        string timeSpan = startDate + "/" + endDate;
        // It's applicable to define meta data filter when a metric support dimension
        // More conditions can be added with the 'or' and 'and' operators, example: BlobType eq 'BlockBlob' or BlobType eq 'PageBlob'
        ODataQuery<MetadataValue> odataFilterMetrics = new ODataQuery<MetadataValue>(
            string.Format("BlobType eq '{0}'", "BlockBlob"));

        Response = readOnlyClient.Metrics.List(
                        resourceUri: resourceId,
                        timespan: timeSpan,
                        interval: System.TimeSpan.FromHours(1),
                        metricnames: "BlobCapacity",
                        odataQuery: odataFilterMetrics,
                        aggregation: "Average",
                        resultType: ResultType.Data);

        foreach (var metric in Response.Value)
        {
            // Enumerate metric value
            //    Id
            //    Name
            //    Type
            //    Unit
            //    Timeseries
            //        - Data
            //        - Metadatavalues
        }
    }

Анализ журналов для хранилища таблиц Azure

Вы можете получить доступ к журналам ресурсов в виде объекта BLOB в учетной записи хранения, в виде данных о событиях или с помощью запросов Log Analytics. Сведения о том, как найти эти журналы, смотрите в журналах ресурсов Azure.

Чтобы получить список протоколируемых операций SMB и REST, см. Протоколируемые операции и сообщения о состоянии службы хранилища.

Записи журнала создаются только при получении запроса к конечной точке службы. Например, если учетная запись хранения имеет действие в конечной точке таблицы, но не в очереди или конечных точках BLOB-объектов, создаются только журналы, относящиеся к хранилищу таблиц. Журналы службы хранилища Azure содержат подробные сведения об успешных и неудачных запросах к службе хранилища. Эта информация может использоваться для мониторинга отдельных запросов и диагностики неполадок в службе хранилища. Запросы вносятся в журнал в меру возможностей.

При просмотре учетной записи хранения в портал Azure операции, вызываемые порталом, также регистрируются. По этой причине в учетной записи хранения могут отображаться операции, даже если вы не записали в нее данные.

Ведение журналов запросов, прошедших аутентификацию

Регистрируются следующие типы запросов, прошедших проверку подлинности:

• Успешные запросы
• Неудачные запросы, в том числе из-за ошибок, связанных со временем ожидания, регулированием, сетью, авторизацией и т. п.
• Запросы, в которых используется подписанный URL-адрес (SAS) или OAuth, в том числе неудачные и успешные запросы.
• Запросы к данным аналитики (классические данные журнала в контейнере $logs и данные метрик класса в таблицах $metric).

Запросы, сделанные самой службой хранилища таблиц, например создание журнала или удаление, не регистрируются. Полный список регистрируемых данных приведен на страницах об операциях с протоколированием и сообщениях о состоянии службы хранилища и формате журналов службы хранилища.

Ведение журналов анонимных запросов

Регистрируются следующие типы анонимных запросов:

• Успешные запросы
• Ошибки сервера
• Ошибки таймаута как на стороне клиента, так и на стороне сервера.
• Неудачные запросы GET с кодом ошибки 304 (Not Modified)

Запросы для Kusto

Данные мониторинга можно анализировать в хранилище журналов Azure Monitor или Log Analytics с помощью языка запросов Kusto (KQL).

Список распространенных запросов для любой службы см. в интерфейсе запросов Log Analytics.

Ниже приведены некоторые запросы, которые можно ввести в строке поиска по журналам , чтобы отслеживать хранилище таблиц. Эти запросы работают с новым языком. Дополнительные сведения см. в руководстве по Log Analytics.

• Для отображения 10 наиболее распространенных ошибок за последние три дня.

  StorageTableLogs
  | where TimeGenerated > ago(3d) and StatusText !contains "Success"
  | summarize count() by StatusText
  | top 10 by count_ desc
  

• Для отображения основных 10 операций, вызвавших наибольшее количество ошибок за последние три дня.

  StorageTableLogs
  | where TimeGenerated > ago(3d) and StatusText !contains "Success"
  | summarize count() by OperationName
  | top 10 by count_ desc
  

• Для отображения топ-10 операций с наибольшей задержкой от начала до конца за последние три дня.

  StorageTableLogs
  | where TimeGenerated > ago(3d)
  | top 10 by DurationMs desc
  | project TimeGenerated, OperationName, DurationMs, ServerLatencyMs, ClientLatencyMs = DurationMs - ServerLatencyMs
  

• Для отображения всех операций, вызвавших ошибки регулирования на стороне сервера за последние три дня.

  StorageTableLogs
  | where TimeGenerated > ago(3d) and StatusText contains "ServerBusy"
  | project TimeGenerated, OperationName, StatusCode, StatusText
  

• Для отображения всех запросов с анонимным доступом за последние три дня.

  StorageTableLogs
  | where TimeGenerated > ago(3d) and AuthenticationType == "Anonymous"
  | project TimeGenerated, OperationName, AuthenticationType, Uri
  

• Для создания круговой диаграммы операций, используемых за последние три дня.

  StorageTableLogs
  | where TimeGenerated > ago(3d)
  | summarize count() by OperationName
  | sort by count_ desc 
  | render piechart
  
  

Уведомления

Оповещения Azure Monitor заранее уведомляют вас о конкретных условиях, обнаруженных в данных мониторинга. Оповещения позволяют выявлять и устранять проблемы в системе, прежде чем клиенты заметят их. Дополнительные сведения см. в оповещениях Azure Monitor.

Существует множество источников распространенных оповещений для ресурсов Azure. Примеры распространённых оповещений для ресурсов Azure см. в примерах запросов журнала оповещений. Сайт Azure Monitor Baseline Alerts (AMBA) предоставляет полуавтоматизированный метод реализации важных оповещений метрик платформы, панелей мониторинга и рекомендаций. Этот сайт относится к постоянно расширяющемуся подмножеству служб Azure, включая все службы, которые являются частью Azure Landing Zone (ALZ).

Общая схема оповещений стандартизирует обработку уведомлений системы Azure Monitor. Дополнительные сведения см. в разделе "Общая схема оповещений".

Типов оповещений

Вы можете настроить оповещения на любую метрику или источник данных в платформе Azure Monitor. Существует множество различных типов оповещений в зависимости от служб, которые вы отслеживаете, и данных мониторинга, которые вы собираете. Различные типы оповещений имеют различные преимущества и недостатки. Дополнительные сведения см. в разделе "Выбор правильного типа оповещений мониторинга".

В следующем списке описаны типы оповещений Azure Monitor, которые можно создать:

• Оповещения на основе метрик оценивают показатели ресурсов с регулярными интервалами. Метрики могут быть метриками платформы, пользовательскими метриками, журналами из Azure Monitor, преобразованными в метрики или метриками Application Insights. Оповещения на основе метрик также могут применять несколько условий и динамические пороговые значения.
• Оповещения журнала позволяют пользователям использовать запрос Log Analytics для оценки журналов ресурсов с заданной частотой.
• Оповещения журнала действий активируются при возникновении нового события журнала действий, соответствующего определенным условиям. Оповещения о состоянии ресурсов и оповещения о состоянии служб — это оповещения журнала действий, которые сообщают о состоянии ваших ресурсов и служб.

Некоторые службы Azure также поддерживают оповещения интеллектуального обнаружения, оповещения Prometheus или рекомендуемые правила генерации оповещений.

Для некоторых служб можно отслеживать масштаб, применяя одно правило генерации оповещений метрик к нескольким ресурсам одного типа, которые существуют в одном регионе Azure. Для каждого отслеживаемого ресурса отправляются отдельные уведомления. Сведения о поддерживаемых службах и облаках Azure см. в статье "Мониторинг нескольких ресурсов с помощью одного правила генерации оповещений".

Правила генерации оповещений службы хранилища таблиц Azure

В следующей таблице перечислены распространенные и рекомендуемые правила генерации оповещений для хранилища таблиц Azure и правильная метрика, используемая для оповещения:

Рекомендации помощника

Для некоторых служб, если во время операций ресурсов происходят критические условия или неизбежные изменения, на странице Обзор службы в портале отображается оповещение. Вы можете найти дополнительную информацию и рекомендуемые исправления для оповещения в рекомендациях Консультанта в разделе Мониторинг в меню слева. Во время обычных операций рекомендации помощника не отображаются.

Дополнительные сведения о Azure Advisor см. в разделе обзор продукта Azure Advisor.

Связанный контент

Другое содержимое мониторинга хранилища таблиц:

• Справочник по данным мониторинга хранилища таблиц Azure. Ссылка на журналы и метрики, созданные хранилищем таблиц Azure.
• Контрольный список производительности и масштабируемости для хранилища таблиц

Общее содержимое мониторинга Azure Storage.

• Мониторинг хранилища с помощью аналитики службы хранилища Azure Monitor. Получение единого представления о производительности, емкости и доступности хранилища.
• Переход на метрики в Azure Monitor. Переход от метрик Аналитики Службы хранилища на метрики в Azure Monitor.
• Устранение неполадок с производительностью. Ознакомьтесь с распространенными проблемами производительности и рекомендациями по устранению неполадок.
• Устранение проблем с доступностью. Ознакомьтесь с распространенными проблемами доступности и рекомендациями по устранению неполадок.
• Устранение ошибок клиентского приложения. Ознакомьтесь с распространенными проблемами при подключении клиентов и их устранении.
• Мониторинг, диагностика и поиск и устранение неисправностей хранилища Azure (модуль обучения). Устранение неполадок с учетной записью хранения, используя пошаговое руководство.

Содержимое Azure Monitor:

• Мониторинг ресурсов Azure с помощью Azure Monitor. Общие сведения о мониторинге ресурсов Azure.
• Обзор метрик в Azure Monitor. Основы метрик и метрических величин.
• Обзор журналов Azure Monitor. Основы журналов и способы их сбора и анализа.
• Анализ метрик с помощью обозревателя метрик Azure Monitor. Знакомство с обозревателем метрик.
• Обзор Log Analytics в Azure Monitor. Знакомство с Log Analytics.