Учебное пособие: Получение и запросы данных мониторинга в Azure Data Explorer

Пример метрик диагностики

Диагностические метрики агрегируют данные с интервалом времени в одну минуту. В следующем примере показана схема события метрики Azure Data Explorer по длительности запроса:

{
    "records": [
    {
        "count": 14,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-20T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    },
    {
        "count": 12,
        "total": 0,
        "minimum": 0,
        "maximum": 0,
        "average": 0,
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
        "time": "2018-12-21T17:00:00.0000000Z",
        "metricName": "QueryDuration",
        "timeGrain": "PT1M"
    }
    ]
}

Примеры журналов диагностики

В следующем примере показан журнал приема диагностических данных Azure Data Explorer:

{
    "time": "2019-08-26T13:22:36.8804326Z",
    "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.KUSTO/CLUSTERS/<cluster-name>",
    "operationName": "MICROSOFT.KUSTO/CLUSTERS/INGEST/ACTION",
    "operationVersion": "1.0",
    "category": "FailedIngestion",
    "resultType": "Failed",
    "correlationId": "aaaa0000-bb11-2222-33cc-444444dddddd",
    "properties": {
        "OperationId": "00000000-0000-0000-0000-000000000000",
        "Database": "Kusto",
        "Table": "Table_13_20_prod",
        "FailedOn": "2019-08-26T13:22:36.8804326Z",
        "IngestionSourceId": "aaaa0000-bb11-2222-33cc-444444dddddd",
        "Details":
        {
            "error":
            {
                "code": "BadRequest_DatabaseNotExist",
                "message": "Request is invalid and cannot be executed.",
                "@type": "Kusto.Data.Exceptions.DatabaseNotFoundException",
                "@message": "Database 'Kusto' was not found.",
                "@context":
                {
                    "timestamp": "2019-08-26T13:22:36.7179157Z",
                    "serviceAlias": "<cluster-name>",
                    "machineName": "KEngine000001",
                    "processName": "Kusto.WinSvc.Svc",
                    "processId": 5336,
                    "threadId": 6528,
                    "appDomainName": "Kusto.WinSvc.Svc.exe",
                    "clientRequestd": "DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8",
                    "activityId": "f13e7718-1153-4e65-bf82-8583d712976f",
                    "subActivityId": "2cdad9d0-737b-4c69-ac9a-22cf9af0c41b",
                    "activityType": "DN.AdminCommand.DataIngestPullCommand",
                    "parentActivityId": "2f65e533-a364-44dd-8d45-d97460fb5795",
                    "activityStack": "(Activity stack: CRID=DM.IngestionExecutor;a70ddfdc-b471-4fc7-beac-bb0f6e569fe8 ARID=f13e7718-1153-4e65-bf82-8583d712976f > DN.Admin.Client.ExecuteControlCommand/5b764b32-6017-44a2-89e7-860eda515d40 > P.WCF.Service.ExecuteControlCommandInternal..IAdminClientServiceCommunicationContract/c2ef9344-069d-44c4-88b1-a3570697ec77 > DN.FE.ExecuteControlCommand/2f65e533-a364-44dd-8d45-d97460fb5795 > DN.AdminCommand.DataIngestPullCommand/2cdad9d0-737b-4c69-ac9a-22cf9af0c41b)"
                },
                "@permanent": true
            }
        },
        "ErrorCode": "BadRequest_DatabaseNotExist",
        "FailureStatus": "Permanent",
        "RootActivityId": "00000000-0000-0000-0000-000000000000",
        "OriginatesFromUpdatePolicy": false,
        "ShouldRetry": false,
        "IngestionSourcePath": "https://c0skstrldkereneus01.blob.core.windows.net/aam-20190826-temp-e5c334ee145d4b43a3a2d3a96fbac1df/3216_test_3_columns_invalid_8f57f0d161ed4a8c903c6d1073005732_59951f9ca5d143b6bdefe52fa381a8ca.zip"
    }
}

Пример журналов действий

Журналы действий Azure являются журналами уровня подписки, предоставляющими информацию об операциях, выполненных на ресурсах вашей подписки. В следующем примере показано событие журнала действий для проверки доступа:

{
    "records": [
    {
        "time": "2018-12-26T16:23:06.1090193Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Start",
        "resultSignature": "Started.",
        "durationMs": 0,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            ...
        }
    },
    {
        "time": "2018-12-26T16:23:06.3040244Z",
        "resourceId": "/SUBSCRIPTIONS/<subscriptionID>/RESOURCEGROUPS/<resource-group>/PROVIDERS/MICROSOFT.WEB/SITES/CLNB5F73B70-DCA2-47C2-BB24-77B1A2CAAB4D/PROVIDERS/MICROSOFT.AUTHORIZATION",
        "operationName": "MICROSOFT.AUTHORIZATION/CHECKACCESS/ACTION",
        "category": "Action",
        "resultType": "Success",
        "resultSignature": "Succeeded.OK",
        "durationMs": 194,
        "callerIpAddress": "13.66.225.188",
        "correlationId": "bbbb1111-cc22-3333-44dd-555555eeeeee",
        "identity": {
            "authorization": {
                ...
            },
            "claims": {
                ...
            }
        },
        "level": "Information",
        "location": "global",
        "properties": {
            "statusCode": "OK",
            "serviceRequestId": "87acdebc-945f-4c0c-b931-03050e085626"
        }
    }]
}

Создание таблиц для метрик диагностики

1. Создайте в базе данных TestDatabase таблицу с именем DiagnosticMetrics для хранения записей метрик диагностики. Используйте следующую .create table команду управления:

   .create table DiagnosticMetrics (Timestamp:datetime, ResourceId:string, MetricName:string, Count:int, Total:double, Minimum:double, Maximum:double, Average:double, TimeGrain:string)
   

2. Выберите Выполнить, чтобы создать таблицу.

   

3. Создайте промежуточную таблицу данных с именем DiagnosticRawRecords в базе данных TestDatabase для обработки данных с помощью следующего запроса. Выберите Выполнить, чтобы создать таблицу.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Задайте нулевую политику хранения для промежуточной таблицы:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Создание таблиц для журналов диагностики

1. Создайте в базе данных TestDatabase таблицу с именем DiagnosticLogs для хранения записей журнала диагностики. Используйте следующую .create table команду управления:

   .create table DiagnosticLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Result:string, OperationId:string, Database:string, Table:string, IngestionSourceId:string, IngestionSourcePath:string, RootActivityId:string, ErrorCode:string, FailureStatus:string, Details:string)
   

2. Выберите Выполнить, чтобы создать таблицу.

3. Создайте промежуточную таблицу данных с именем DiagnosticRawRecords в базе данных TestDatabase для обработки данных с помощью следующего запроса. Выберите Выполнить, чтобы создать таблицу.

   .create table DiagnosticRawRecords (Records:dynamic)
   

4. Задайте нулевую политику хранения для промежуточной таблицы:

   .alter-merge table DiagnosticRawRecords policy retention softdelete = 0d
   

Создание таблиц для журналов действий

1. Чтобы получить записи журнала действий, создайте таблицу с именем ActivityLogs в базе данных TestDatabase . Выполните следующий запрос Azure Data Explorer, чтобы создать эту таблицу:

   .create table ActivityLogs (Timestamp:datetime, ResourceId:string, OperationName:string, Category:string, ResultType:string, ResultSignature:string, DurationMs:int, IdentityAuthorization:dynamic, IdentityClaims:dynamic, Location:string, Level:string)
   

2. Создайте в базе данных TestDatabase промежуточную таблицу данных с именем ActivityLogsRawRecords для обработки данных:

   .create table ActivityLogsRawRecords (Records:dynamic)
   

3. Задайте нулевую политику хранения для промежуточной таблицы:

   .alter-merge table ActivityLogsRawRecords policy retention softdelete = 0d
   

Сопоставьте метрики и журналы диагностики с таблицей

Используйте следующий запрос, чтобы сопоставить диагностические метрики и данные журнала с таблицей:

.create table DiagnosticRawRecords ingestion json mapping 'DiagnosticRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Сопоставьте журналы действий с таблицей

Используйте следующий запрос, чтобы сопоставить данные журнала действий с таблицей:

.create table ActivityLogsRawRecords ingestion json mapping 'ActivityLogsRawRecordsMapping' '[{"column":"Records","Properties":{"path":"$.records"}}]'

Создание политики обновления данных для метрик диагностики

1. Создайте функцию , которая расширяет коллекцию записей диагностических метрик, чтобы каждое значение в коллекции получало отдельную строку. Используйте оператор mv-expand:

   .create function DiagnosticMetricsExpand() {
      DiagnosticRawRecords
      | mv-expand events = Records
      | where isnotempty(events.metricName)
      | project
          Timestamp = todatetime(events['time']),
          ResourceId = tostring(events.resourceId),
          MetricName = tostring(events.metricName),
          Count = toint(events['count']),
          Total = todouble(events.total),
          Minimum = todouble(events.minimum),
          Maximum = todouble(events.maximum),
          Average = todouble(events.average),
          TimeGrain = tostring(events.timeGrain)
   }
   

2. Добавьте политику обновления для целевой таблицы. Эта политика автоматически запускает запрос на все недавно полученные данные в промежуточной таблице данных DiagnosticRawRecords и возвращает результаты в таблицу "Диагностические метрики".

   .alter table DiagnosticMetrics policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticMetricsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Создание политики обновления данных для журналов диагностики

1. Создайте функцию , которая расширяет коллекцию записей журналов диагностики, чтобы каждое значение в коллекции получало отдельную строку. Вы включаете журналы приема в кластере Azure Data Explorer и используете схему журналов приема. Вы создаете одну таблицу, которая используется как для успешного, так и для неудачного приема данных, в то время как некоторые поля, такие как ErrorCode, остаются пустыми в случае успешного приема. Используйте оператор mv-expand:

   .create function DiagnosticLogsExpand() {
       DiagnosticRawRecords
       | mv-expand events = Records
       | where isnotempty(events.operationName)
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Result = tostring(events.resultType),
           OperationId = tostring(events.properties.OperationId),
           Database = tostring(events.properties.Database),
           Table = tostring(events.properties.Table),
           IngestionSourceId = tostring(events.properties.IngestionSourceId),
           IngestionSourcePath = tostring(events.properties.IngestionSourcePath),
           RootActivityId = tostring(events.properties.RootActivityId),
           ErrorCode = tostring(events.properties.ErrorCode),
           FailureStatus = tostring(events.properties.FailureStatus),
           Details = tostring(events.properties.Details)
   }
   

2. Добавьте политику обновления в целевую таблицу. Эта политика автоматически запускает запрос на все недавно полученные данные в промежуточной таблице данных DiagnosticRawRecords и возвращает результаты в таблицу DiagnosticLogs :

   .alter table DiagnosticLogs policy update @'[{"Source": "DiagnosticRawRecords", "Query": "DiagnosticLogsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Создание политики обновления данных для журналов действий

1. Создайте функцию , которая расширяет коллекцию записей журнала действий, чтобы каждое значение в коллекции получало отдельную строку. Используйте оператор mv-expand:

   .create function ActivityLogRecordsExpand() {
       ActivityLogsRawRecords
       | mv-expand events = Records
       | project
           Timestamp = todatetime(events['time']),
           ResourceId = tostring(events.resourceId),
           OperationName = tostring(events.operationName),
           Category = tostring(events.category),
           ResultType = tostring(events.resultType),
           ResultSignature = tostring(events.resultSignature),
           DurationMs = toint(events.durationMs),
           IdentityAuthorization = events.identity.authorization,
           IdentityClaims = events.identity.claims,
           Location = tostring(events.location),
           Level = tostring(events.level)
   }
   

2. Добавьте политику обновления для целевой таблицы. Эта политика автоматически запускает запрос на все недавно полученные данные в таблице промежуточных данных ActivityLogsRawRecords и возвращает результаты в таблицу ActivityLogs :

   .alter table ActivityLogs policy update @'[{"Source": "ActivityLogsRawRecords", "Query": "ActivityLogRecordsExpand()", "IsEnabled": "True", "IsTransactional": true}]'
   

Подключение журналов и метрик диагностики к концентратору событий

Выберите ресурс, из которого следует экспортировать метрики. Экспорт данных диагностики поддерживают ресурсы нескольких типов, в том числе пространство имен концентраторов событий, Azure Key Vault, Центр Интернета вещей и кластер Azure Data Explorer. В этом руководстве в качестве ресурса используйте кластер Azure Data Explorer. Вы можете просмотреть метрики производительности запросов и журналы результатов интеграции.

1. Выберите свой кластер Kusto на портале Azure.

2. Выберите элемент Параметры диагностики, а затем ссылку Включить диагностику.

   

3. Откроется панель Параметры диагностики. Выполните следующие шаги:

   1. Присвойте данным журнала диагностики имя ADXExportedData.

   2. В поле LOG установите флажки SucceededIngestion и FailedIngestion.

   3. В разделе Метрика установите флажок Производительность запроса.

   4. Установите флажок Передать в концентратор событий.

   5. Выберите Настроить.

      

4. На панели Выбор концентратора событий настройте метод экспорта данных из журналов диагностики в созданный вами концентратор событий.

   1. В списке Выбрать пространство имен концентратора событий выберите AzureMonitoringData.
   2. В списке Выберите имя концентратора событий выберите DiagnosticData.
   3. В списке Выбрать имя политики концентратора событий выберите RootManagerSharedAccessKey.
   4. Нажмите ОК.

5. Выберите Сохранить.

Подключение журналов действий к концентратору событий

1. В меню слева на портале Azure выберите Журнал действий.

2. Откроется окно Журнал действий. Выберите Параметры диагностики.

   

3. Откроется окно Параметры диагностики. Щелкните команду + Добавить параметр диагностики.

   

4. Откроется новое окно Параметры диагностики.

   

   Выполните следующие действия.

   1. Введите имя в поле Имя параметра диагностики.
   2. Слева от флажков выберите журналы платформы, которые нужно собирать из подписки.
   3. Установите флажок Передать в концентратор событий.
   4. Выберите свою подписку.
   5. В списке Пространство имен концентратора событий выберите элемент AzureMonitoringData.
   6. При необходимости выберите нужное имя концентратора событий.
   7. В списке Имя политики концентратора событий выберите имя политики концентратора событий по умолчанию.
   8. В левом верхнем углу этого окна выберите Сохранить. Концентратор событий с именем insights-operational-logs создается, если вы не выберете имя концентратора событий.

1. Примените следующие параметры в окне Подключение к данным.

   Источник данных:

   Параметр	Рекомендуемое значение	Описание поля
   Имя подключения к данным	DiagnosticsLogsConnection	Имя создаваемого подключения к обозревателю данных Azure.
   Пространство имен концентратора событий	AzureMonitoringData	Ранее выбранное вами имя, определяющее пространство имен.
   Концентратор событий	DiagnosticData	Созданный вами концентратор событий.
   Группа потребителей	adxpipeline	Группа потребителей, определенная в созданном вами концентраторе событий.

   Целевая таблица

   Существует два варианта маршрутизации: статическая и динамическая. В этом руководстве вы используете статическую маршрутизацию (по умолчанию), где указывается имя таблицы, формат данных и сопоставление. Не активируйте флажок My data includes routing info (Мои данные содержат сведения о маршрутизации).

   Параметр	Рекомендуемое значение	Описание поля
   Таблица	DiagnosticRawRecords	Таблица, которую вы создали в базе данных TestDatabase.
   Формат данных	JSON	Формат, используемый в этой таблице.
   Сопоставление столбцов	DiagnosticRawRecordsMapping	Сопоставление, которое вы создали в базе данных TestDatabase между входящими данными JSON и именами столбцов и типами данных в таблице DiagnosticRawRecords.

2. Нажмите кнопку создания.

1. Примените следующие параметры в окне Подключение к данным.

   Источник данных:

   Параметр	Рекомендуемое значение	Описание поля
   Имя подключения к данным	ActivityLogsConnection	Имя создаваемого подключения к обозревателю данных Azure.
   Пространство имен концентратора событий	AzureMonitoringData	Имя, выбранное ранее и определяющее пространство имен.
   Концентратор событий	insights-operational-logs	Созданный вами концентратор событий.
   Группа потребителей	$Default	Группа потребителей по умолчанию. При необходимости вы можете создать другую группу потребителей.

   Целевая таблица

   Существует два варианта маршрутизации: статическая и динамическая. В этом руководстве вы используете статическую маршрутизацию (по умолчанию), где указывается имя таблицы, формат данных и сопоставление. Не активируйте флажок My data includes routing info (Мои данные содержат сведения о маршрутизации).

   Параметр	Рекомендуемое значение	Описание поля
   Таблица	ActivityLogsRawRecords	Таблица, которую вы создали в базе данных TestDatabase.
   Формат данных	JSON	Формат, используемый в этой таблице.
   Сопоставление столбцов	ActivityLogsRawRecordsMapping	Сопоставление, которое вы создали в базе данных TestDatabase между входящими данными JSON и именами столбцов и типами данных в таблице ActivityLogsRawRecords.

2. Нажмите кнопку создания.

Выполнить запрос к таблице метрик диагностики

Приведенный ниже запрос анализирует данные о длительности запросов по записям метрик диагностики в Azure Data Explorer.

DiagnosticMetrics
| where Timestamp > ago(15m) and MetricName == 'QueryDuration'
| summarize avg(Average)

Результаты запроса:

Запросить таблицу журналов диагностики

Этот конвейер осуществляет загрузку данных через концентратор событий. Результаты этих загрузок можно просмотреть. Следующий запрос анализирует, сколько ин-гестий накопилось за минуту, включая выборку из Database, Table и IngestionSourcePath для каждого интервала.

DiagnosticLogs
| where Timestamp > ago(15m) and OperationName has 'INGEST'
| summarize count(), take_any(Database, Table, IngestionSourcePath) by bin(Timestamp, 1m)

Результаты запроса:

Выполнить запрос к таблице журналов действий

Приведенный ниже запрос анализирует данные в записях журнала действий Azure Data Explorer.

ActivityLogs
| where OperationName == 'MICROSOFT.EVENTHUB/NAMESPACES/AUTHORIZATIONRULES/LISTKEYS/ACTION'
| where ResultType == 'Success'
| summarize avg(DurationMs)

Результаты запроса: