Политика емкости

Область применения: ✅Azure Data Explorer

Политика емкости используется для управления вычислительными ресурсами операций управления данными в кластере.

Объект политики емкости

Политика емкости состоит из следующих компонентов:

• Прием ingestionCapacity
• ExtentsMergeCapacity
• ExtentsPurgeRebuildCapacity
• ExportCapacity
• ExtentsPartitionCapacity
• MaterializedViewsCapacity
• StoredQueryResultsCapacity
• StreamingIngestionPostProcessingCapacity
• PurgeStorageArtifactsCleanupCapacity
• PeriodicStorageArtifactsCleanupCapacity
• QueryAccelerationCapacity
• GraphSnapshotsCapacity

Чтобы просмотреть емкость кластера, используйте команду .show capacity .

Емкость приема

Формула

Команда .show capacity возвращает емкость приема кластера на основе следующей формулы:

Minimum(ClusterMaximumConcurrentOperations , Количество узлов в количестве ядер кластера*Maximum(1, на узел*CoreUtilizationCoefficient))

Емкость слияния экстентов

Формула

Команда .show capacity возвращает емкость слияния кластера на основе следующей формулы:

Minimum( Количество узлов в кластере*Одновременные операции на узел,ClusterMaximumConcurrentOperations)

Эффективное значение для параллельных операций на узел автоматически настраивается системой в диапазоне [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], если скорость успешного выполнения операций слияния составляет 90 % или выше.

Экстенты очистки емкости перестроения

Формула

Команда емкости .show возвращает экстенты восстановления емкости кластера на основе следующей формулы:

Количество узлов в кластере x MaximumConcurrentOperationsPerNode

Экспорт емкости

Формула

Команда .show capacity возвращает емкость экспорта кластера на основе следующей формулы:

Minimum(ClusterMaximumConcurrentOperations , Количество узлов в количестве ядер кластера*Maximum(1, на узел*CoreUtilizationCoefficient))

Емкость секционирования экстентов

Эффективное значение для параллельных операций автоматически настраивается системой в диапазоне [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], если скорость успешного выполнения операций секционирования составляет 90 % или выше.

Политика емкости материализованных представлений

Политику можно использовать для изменения параметров параллелизма для материализованных представлений. Изменение политики емкости материализованных представлений может оказаться полезным при наличии более одного материализованного представления, определенного в кластере.

По умолчанию выполняется только одна материализация одновременно (см . способ работы материализованных представлений). Система настраивает текущее параллелизм в диапазоне [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], основываясь на количестве материализованных представлений в кластере и ЦП кластера. Вы можете увеличить или уменьшить параллелизм, изменив эту политику. Например, если в кластере имеется 10 материализованных представлений, при задании ClusterMinimumConcurrentOperations пяти гарантируется, что по крайней мере пять из них могут материализоваться одновременно. Вы можете просмотреть эффективное значение текущего параллелизма с помощью команды .show capacity

Емкость результатов хранимого запроса

Формула

Команда .show capacity возвращает хранимую емкость результатов запроса кластера на основе следующей формулы:

Minimum(MaximumConcurrentOperationsPerDbAdmin , Количество узлов в количестве ядер кластера*Maximum(1, на узел*CoreUtilizationCoefficient))

Пропускная способность потоковой передачи после обработки

Формула

Команда емкости .show возвращает объем потоковой передачи потоковой передачи кластера после обработки на основе следующей формулы:

Количество узлов в кластере x MaximumConcurrentOperationsPerNode

Очистка емкости артефактов хранилища

Формула

Команда .show capacity возвращает емкость очистки хранилища кластера на основе следующей формулы:

MaximumConcurrentOperationsPerCluster

Периодические артефакты хранения емкости очистки

Формула

Команда .show емкости возвращает периодические артефакты хранилища кластера для очистки емкости на основе следующей формулы:

MaximumConcurrentOperationsPerCluster

Емкость ускорения запросов

Формула

Команда .show capacity возвращает емкость кэширования ускорения запросов кластера на основе следующей формулы:

Minimum(ClusterMaximumConcurrentOperations , Количество узлов в количестве ядер кластера*Maximum(1, на узел*CoreUtilizationCoefficient))

Емкость моментальных снимков Графа

Формула

Команда .show емкости возвращает периодические артефакты хранилища кластера для очистки емкости на основе следующей формулы:

ClusterMaximumConcurrentOperations

Параметры по умолчанию

Политика емкости по умолчанию имеет следующее представление JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "QueryAccelerationCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.5
  },
  "GraphSnapshotsCapacity": {
    "ClusterMaximumConcurrentOperations": 5
  }
}

Команды управления

• Используется .show cluster policy capacity для отображения текущей политики емкости кластера.
• Используется .alter-merge cluster policy capacity для изменения политики емкости кластера.

Регулирование команд управления

Kusto ограничивает количество одновременных запросов для следующих команд, инициированных пользователем:

• Прием
  • Эта категория включает команды, которые приема из хранилища, приема из запроса и приема встроенных данных.
  • Емкость приема определяет ограничение.
• Удаляет
  • Глобальное ограничение в настоящее время устанавливается по одному на кластер.
  • Емкость перестроения очистки используется внутренне для определения количества одновременных операций перестроения во время команд очистки. Команды очистки не блокируются и не регулируются из-за этого процесса, но выполняются быстрее или медленнее в зависимости от емкости перестроения очистки.
• Экспорты
  • Ограничение определяется в емкости экспорта.
• Ускорение запросов
  • Ограничение определяется в емкости ускорения запросов.

Когда кластер обнаруживает, что операция превысила ограничение на одновременные запросы:

• Состояние команды, представленное командами системной информации, имеет значение Throttled.
• Сообщение об ошибке содержит тип команды, источник регулирования и превышение емкости . Например:
  • Например: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
• Код ответа HTTP — это 429код. Вложенный код имеет значение TooManyRequests.
• Тип исключения — ControlCommandThrottledException.

Связанный контент

• .show capacity