Устранение неполадок с помощью расширенных запросов диагностики в Azure Cosmos DB для Apache Cassandra

ПРИМЕНЯЕТСЯ К: NoSQL Mongodb Кассандра Гремлин

В этой статье мы рассмотрим, как создавать более сложные запросы для устранения неполадок вашей учетной записи Azure Cosmos DB для Cassandra с помощью диагностических журналов, отправленных в таблицы, относящиеся к ресурсу.

Для таблиц Диагностики Azure все данные записываются в одну таблицу. Пользователи указывают, какая категория будет запрашиваться. Если вы хотите просмотреть полнотекстовый запрос своего запроса, см. раздел Мониторинг данных Azure Cosmos DB с помощью параметров диагностики в Azure, чтобы узнать, как включить эту функцию.

Для таблиц конкретных ресурсов данные записываются в отдельные таблицы для каждой категории ресурса. Мы рекомендуем этот режим, потому что он...

• Значительно упрощает работу с данными.
• Обеспечивает более эффективное обнаружение схем.
• Улучшает производительность как при приеме данных, так и при выполнении запросов.

Предпосылки

• Создание API для учетной записи Cassandra
• Создайте рабочую область Log Analytics.
• Создайте параметры диагностики.

Запросы Log Analytics с различными сценариями

потребление ЕЗ

• Операции Cassandra, потребляющие большое количество запросов в секунду (RU/s).

  CDBCassandraRequests 
  | where DatabaseName=="azure_comos" and CollectionName=="user" 
  | project TimeGenerated, RequestCharge, OperationName,
  requestType=split(split(PIICommandText,'"')[3], ' ')[0]
  | summarize max(RequestCharge) by bin(TimeGenerated, 10m), tostring(requestType), OperationName;
  

• Мониторинг потребления RUs на операцию по логическим ключам разделов.

  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_comos" and CollectionName=="user"
  | summarize TotalRequestCharge=sum(todouble(RequestCharge)) by PartitionKey, PartitionKeyRangeId
  | order by TotalRequestCharge;
  
  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_comos" and CollectionName=="user"
  | summarize TotalRequestCharge=sum(todouble(RequestCharge)) by OperationName, PartitionKey
  | order by TotalRequestCharge;
  
  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_comos" and CollectionName=="user"
  | summarize TotalRequestCharge=sum(todouble(RequestCharge)) by bin(TimeGenerated, 1m), PartitionKey
  | render timechart;
  

• Какие запросы в наибольшей степени влияют на потребление ресурсов?

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where TimeGenerated > ago(24h)
  | project ActivityId, DatabaseName, CollectionName, queryText=split(split(PIICommandText,'"')[3], ' ')[0], RequestCharge, TimeGenerated
  | order by RequestCharge desc;
  

• Потребление запросных единиц (RU) на основе изменений размеров полезной нагрузки для операций чтения и записи.

  // This query is looking at read operations
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName =="SELECT"
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  
  // This query is looking at write operations
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName in ("CREATE", "UPDATE", "INSERT", "DELETE", "DROP")
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  
  // Write operations over a time period.
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName in ("CREATE", "UPDATE", "INSERT", "DELETE", "DROP")
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  | render timechart;
  
  // Read operations over a time period.
  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project ResponseLength, TimeGenerated, RequestCharge, cassandraOperationName=split(split(PIICommandText,'"')[3], ' ')[0]
  | where cassandraOperationName =="SELECT"
  | summarize maxResponseLength=max(ResponseLength), maxRU=max(RequestCharge) by bin(TimeGenerated, 10m), tostring(cassandraOperationName)
  | render timechart;
  

• Потребление единиц запросов (RU) на основе операций чтения и записи по логическому разделу.

  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where OperationName in ("Delete", "Read", "Upsert")
  | summarize totalRU=max(RequestCharge) by OperationName, PartitionKeyRangeId
  

• Потребление RU по физическим и логическим разделам.

  CDBPartitionKeyRUConsumption
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | summarize totalRequestCharge=sum(RequestCharge) by PartitionKey, PartitionKeyRangeId;
  

• Высокое потребление единиц запросов вызвано горячим разделом?

  CDBPartitionKeyStatistics
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where  TimeGenerated > now(-8h)
  | summarize StorageUsed = sum(SizeKb) by PartitionKey
  | order by StorageUsed desc
  

• Как разделительный ключ влияет на потребление единиц запросов?

  let storageUtilizationPerPartitionKey = 
  CDBPartitionKeyStatistics
  | project AccountName=tolower(AccountName), PartitionKey, SizeKb;
  CDBCassandraRequests
  | project AccountName=tolower(AccountName),RequestCharge, ErrorCode, OperationName, ActivityId, DatabaseName, CollectionName, PIICommandText, RegionName
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | join kind=inner storageUtilizationPerPartitionKey  on $left.AccountName==$right.AccountName
  | where ErrorCode != -1 //successful
  | project AccountName, PartitionKey,ErrorCode,RequestCharge,SizeKb, OperationName, ActivityId, DatabaseName, CollectionName, PIICommandText, RegionName;
  

Latency

• Число истечений времени ожидания на стороне сервера (код состояния — 408) за период времени.

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where ErrorCode in (4608, 4352) //Corresponding code in Cassandra
  | summarize max(DurationMs) by bin(TimeGenerated, 10m), ErrorCode
  | render timechart;
  

• Наблюдаем ли мы пики задержек на стороне сервера в заданном временном окне?

  CDBCassandraRequests
  | where TimeGenerated > now(-6h)
  | DatabaseName=="azure_cosmos" and CollectionName=="user"
  | summarize max(DurationMs) by bin(TimeGenerated, 10m)
  | render timechart;
  

• Операции, подвергающиеся ограничению.

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | project RequestLength, ResponseLength,
  RequestCharge, DurationMs, TimeGenerated, OperationName,
  query=split(split(PIICommandText,'"')[3], ' ')[0]
  | summarize max(DurationMs) by bin(TimeGenerated, 10m), RequestCharge, tostring(query),
  RequestLength, OperationName
  | order by RequestLength, RequestCharge;
  

Throttling

• В вашем приложении происходит ограничение?

  CDBCassandraRequests
  | where RetriedDueToRateLimiting != false and RateLimitingDelayMs > 0;
  

• Какие запросы приводят к ограничению работы вашего приложения за указанный период времени, с особым учетом ошибок 429.

  CDBCassandraRequests
  | where DatabaseName=="azure_cosmos" and CollectionName=="user"
  | where ErrorCode==4097 // Corresponding error code in Cassandra
  | project DatabaseName , CollectionName , CassandraCommands=split(split(PIICommandText,'"')[3], ' ')[0] , OperationName, TimeGenerated;
  

Дальнейшие действия

• Включите аналитику журналов для API в учетной записи Cassandra.
• Обзор определения кодов ошибок.