Поделиться через


Общие сведения об использовании вычислительных ресурсов Eventhouse

Хранилище событий Microsoft Fabric создается для настройки вычислений в соответствии с шаблонами использования, что означает, что использование емкости автоматически масштабируется в соответствии с требованиями рабочей нагрузки.

В этой статье рассматриваются некоторые из наиболее распространенных факторов, определяющих размеры вычислительных ресурсов Eventhouse, чтобы вы могли принимать правильные решения для оптимизации Eventhouse.

Ключевые факторы, влияющие на размер вычислительных ресурсов

Некоторые факторы определяют правильный размер Eventhouse Compute. Понимая эти факторы, вы можете принимать обоснованные решения по оптимизации использования.

Использование кэша

Объем данных, хранящихся в горячем кэше, является основным фактором, влияющим на размер вычислительных ресурсов в хранилище событий. Каждый размер вычислительных ресурсов обеспечивает определенный объем емкости горячего кэша. При подходе к этому ограничению объем вычислительных ресурсов и кэша увеличивается соответствующим образом. Поэтому важно эффективно управлять использованием горячего кэша.

Общие сведения о уровне емкости текущего кэша

Чтобы понять текущее использование горячего кэша, выполните следующую команду:

.show diagnostics
| project HotDataDiskSpaceUsage

Снимок экрана: команда show diagnostics.

Эта команда отображает процент используемого в настоящее время места горячего кэша.

  • Если использование горячего кэша достигает ~95%, вычислительные ресурсы масштабируются до следующего уровня независимо от других видов использования (ЦП, загрузка данных и т. д.).
  • Если использование горячего кэша падает ниже ~35% и все остальные условия для уменьшения масштаба выполнены (ЦП, прием данных и т. д.), вычислительные ресурсы уменьшаются до следующего меньшего размера.

Чтобы понять, где потребляется активный кэш, выполните детализацию по конкретным таблицам. Начните с выполнения следующей команды.

.show tables details
| summarize HotExtentSize=format\_bytes(sum(HotOriginalSize),2)

Снимок экрана: команда

Чтобы настроить политику кэширования на уровне таблицы, измените политику кэширования на уровне таблицы.

Емкость приема

Еще одним фактором в размере вашего центра обработки событий является эффективность приема данных. Чтобы обеспечить своевременное прием данных, Fabric отслеживает нагрузку приема и настраивает вычислительные мощности Eventhouse, чтобы обеспечить прием данных.

Проверка нагрузки интеграции данных

При анализе нагрузки на систему важно наблюдать за ней во времени. Оптимальным способом его выполнения является включение мониторинга рабочей области.

После его включения выполните запрос, аналогичный следующему, чтобы увидеть текущую нагрузку на загрузку данных:

EventhouseMetrics
| where Timestamp > ago(1d)
| where ItemName == "FieldDemos"
| where MetricName == "IngestsLoadFactor"
| summarize MinValue=min(MetricMinValue), max(MetricMaxValue) by bin(Timestamp,15m)
| render timechart

Снимок экрана графика, показывающего коэффициент загрузки ввода с течением времени.

Эта команда показывает процент емкости обработки, который используется текущим размером вычислительных мощностей eventhouse. Несколько выводов из этого числа:

  • Если вы постоянно занимаете 70% или более емкости приема при текущем размере, вычислительные ресурсы определяются на основе объёма приема. Это означает, что если шаблон загрузки данных не изменился, вы продолжаете использовать на этом размере вычислительных ресурсов или больше, независимо от других действий.
  • Если этот процент постоянно снижается ниже 70%, это означает, что размер вычислений зависит от других факторов. Они могут быть минимальными настройками емкости, использованием кэша или нагрузкой от запросов на хранилище событий. Этот параметр также доступен на панели мониторинга рабочей области в EH | Вкладка загрузки таблиц.

Снимок экрана панели мониторинга пространства с статистикой обработки.

Нагрузка запросов

Загрузка и производительность запроса влияют на размер вычислительных потребностей eventhouse. Лучший способ мониторинга этой производительности — включить мониторинг рабочей области и использовать панель мониторинга мониторинга рабочей области.

Вы можете начать с вкладки "Дома событий" на панели мониторинга. В разделе Eventhouse Queries содержится информация о запросах.

  • Количество запросов
  • Состояние запроса с течением времени
  • Приложения, выполняющие запросы
  • Большинство запрашиваемых баз данных
  • Пользователи, выполняя большинство запросов

Снимок экрана: панель мониторинга рабочей области с сведениями о загрузке запросов.

Чтобы просмотреть более подробные сведения, используйте EH | Вкладка "Запросы ". Эта вкладка содержит подробные сведения о конкретных запросах и предоставляет следующие параметры, которые помогут быстро выполнить детализацию конкретных проблем.

Имя параметра Описание
Порядок таблицы "Основные запросы" Позволяет упорядочивать запросы по метке времени, времени ЦП, длительности, доступу к холодному хранилищу, пику памяти.
Имя дома событий Позволяет фильтровать по определенному центру мероприятий или просматривать несколько центров мероприятий.
Имя базы данных Позволяет выбрать нужные базы данных.
Пользователи Позволяет указать или исключить пользователей.
Состояние запроса Фильтрация на основе состояния запроса.
Заявление Позволяет фильтровать приложение, выполняющее запрос.

Снимок экрана: панель мониторинга рабочей области с диаграммами и графами запросов языка запросов Kusto (KQL) с течением времени.

Несколько распространенных проблем, которые легко обнаружить с помощью этой панели мониторинга:

  • Фильтруйте по верхнему времени ЦП, чтобы узнать, какие запросы могут привести к высокой загрузке ЦП.
  • Отфильтруйте по верхней длительности, чтобы узнать, какие запросы выполняются дольше всего.
  • Фильтрация по пику памяти, чтобы узнать, какие запросы могут вызывать проблемы с памятью.
  • Использование запросов по статусу по времени, чтобы узнать, был ли всплеск запросов.
  • Использование плитки с регулированием, чтобы узнать, регулирует ли емкость Fabric любые запросы.

С помощью этого отчета можно получить доступ к конкретным приложениям, пользователям и запросам, которые могут потребовать вашего внимания. В этой статье не рассматриваются оптимизации запросов, но поиск фактического текста запроса, требующего оптимизации, позволяет запустить этот процесс.

Автоматизация ответов

В этой статье описано, как наблюдать за использованием вашего хранилища событий с помощью команд управления, запросов к хранилищу событий мониторинга рабочей области и панели мониторинга рабочей области.

Чтобы настроить уведомления из любого из этих сценариев, используйте активатор. Активатор позволяет реагировать на данные из нескольких мест в Fabric, включая создание действий из:

Он позволяет настроить действия из наборов запросов KQL для управляющих команд и из Дашборда мониторинга Real-Time для элементов на панели мониторинга. Вы можете отправлять сообщения электронной почты, сообщения в Teams или инициализировать Microsoft Power Automate в соответствии с вашими требованиями.

Сводка

Наблюдаемость для вычислений в Eventhouse предоставляется с помощью инструментов «Обзор Eventhouse», «Обзор базы данных», команд управления базой данных KQL и базы данных наблюдения за рабочими областями. В этой статье описаны наиболее распространенные сценарии и использование команд управления базой данных KQL или базой данных мониторинга рабочих областей для понимания использования вычислительных ресурсов.