Руководство. Использование функций агрегирования

Переключайте службы с помощью раскрывающегося списка Версия. Дополнительные сведения о навигации.
Область применения: ✅ Microsoft Fabric ✅ Azure Data Explorer ✅ Azure Monitor ✅ Microsoft Sentinel

Функции агрегирования группируют и объединяют данные из нескольких строк в сводное значение. Сводное значение зависит от выбранной функции, например количества, максимального или среднего значения.

В этом руководстве вы узнаете, как:

В этом руководстве показано, как создать основу из первого руководства, изучить общие операторы.

Предварительные требования

Для выполнения следующих запросов требуется среда запроса с доступом к примеру данных. Используйте один из следующих вариантов:

Использование оператора Summarize

Оператор суммирования необходим для выполнения агрегирования по данным. Оператор summarize группирует строки на основе by предложения, а затем использует предоставленную функцию агрегирования для объединения каждой группы в одну строку.

Найдите количество событий по штатам с помощью summarize и агрегационной функции count.

StormEvents
| summarize TotalStorms = count() by State

Выходные данные

Визуализация результатов запроса

Визуализация результатов запроса в диаграмме или графе поможет определить шаблоны, тенденции и выбросы данных. Эти визуализации можно создать с помощью оператора отрисовки .

На протяжении всего руководства вы увидите примеры использования render для отображения результатов. Некоторые доступные типы диаграмм включают линейчатые диаграммы, графики, круговые диаграммы и точечные диаграммы. Теперь используйте render для просмотра результатов предыдущего запроса на линейчатой диаграмме.

StormEvents
| summarize TotalStorms = count() by State
| render barchart

Условное подсчет строк

При анализе данных используйте countif() для подсчета строк на основе определенного условия. Эта функция помогает понять, сколько строк соответствует заданным критериям.

Следующий запрос используется countif() для подсчета штормов, которые вызвали ущерб. Затем запрос использует оператор top, чтобы отфильтровать результаты и отобразить штаты с наибольшим ущербом урожаю, вызванным штормами.

StormEvents
| summarize StormsWithCropDamage = countif(DamageCrops > 0) by State
| top 5 by StormsWithCropDamage

Выходные данные

Группирование данных в ячейки

Чтобы агрегировать данные по числовым или временным значениям, сначала сгруппировать данные в ячейки с помощью функции bin(). Использование bin() помогает понять, как значения распределяются в определенном диапазоне и упрощают сравнение различных периодов.

Следующий запрос подсчитывает количество штормов, которые нанесли ущерб сельскохозяйственным культурам для каждой недели 2007 года. Аргумент 7d представляет неделю, так как функция требует допустимого значения интервала времени.

StormEvents
| where StartTime between (datetime(2007-01-01) .. datetime(2007-12-31)) 
    and DamageCrops > 0
| summarize EventCount = count() by bin(StartTime, 7d)

Выходные данные

Добавьте | render timechart в конец запроса, чтобы визуализировать результаты.

Вычисление минимальной, максимальной, avg и суммы

Чтобы узнать больше о типах штормов, которые наносят ущерб урожаю, вычислите значения min(), max() и avg() ущерба урожаю для каждого типа события. Затем сортируйте результат по среднему повреждению.

Для создания нескольких вычисляемых столбцов можно использовать несколько агрегатных функций в одном summarize операторе.

StormEvents
| where DamageCrops > 0
| summarize
    MaxCropDamage=max(DamageCrops), 
    MinCropDamage=min(DamageCrops), 
    AvgCropDamage=avg(DamageCrops)
    by EventType
| sort by AvgCropDamage

Выходные данные

Результаты предыдущего запроса указывают на то, что заморозки и морозы в среднем наносят наибольший ущерб сельскохозяйственным культурам. Однако запрос bin() показывает, что события, связанные с ущербом сельскохозяйственным культурам, в основном происходят в летние месяцы.

Используйте sum() для проверки общего количества поврежденных культур вместо количества событий, вызвавших некоторые повреждения, как показано в count() предыдущем запросе bin().

StormEvents
| where StartTime between (datetime(2007-01-01) .. datetime(2007-12-31)) 
    and DamageCrops > 0
| summarize CropDamage = sum(DamageCrops) by bin(StartTime, 7d)
| render timechart

Теперь можно увидеть пик ущерба урожаю в январе, который, вероятно, был вызван морозом/заморозками.

Вычисление процентных значений

Вычисление процентных значений позволяет понять распределение и пропорцию различных значений в данных. В этом разделе рассматриваются два распространенных метода вычисления процентных значений с помощью языка запросов Kusto (KQL).

Вычисление процента на основе двух столбцов

Используйте count() и countif, чтобы определить процентную долю штормовых явлений, которые нанесли ущерб сельскохозяйственным культурам в каждом штате. Сначала подсчитайте общее количество штормов в каждом штате. Затем подсчитайте количество штормов, которые нанесли ущерб сельскохозяйственным культурам в каждом штате.

Затем используйте extend, чтобы вычислить процентное соотношение между двумя столбцами, разделив количество штормов, нанесших ущерб урожаю, на общее количество штормов и умножив результат на 100.

Чтобы получить десятичный результат, используйте функцию todouble() для преобразования по крайней мере одного из целочисленных значений в двойной перед выполнением деления.

StormEvents
| summarize 
    TotalStormsInState = count(),
    StormsWithCropDamage = countif(DamageCrops > 0)
    by State
| extend PercentWithCropDamage = 
    round((todouble(StormsWithCropDamage) / TotalStormsInState * 100), 2)
| sort by StormsWithCropDamage

Выходные данные

Вычисление процента на основе размера таблицы

Чтобы сравнить количество штормов по типу события с общим числом штормов в базе данных, сначала сохраните общее количество штормов в базе данных в качестве переменной. Используйте инструкции Let для определения переменных в запросе.

Так как операторы табличных выражений возвращают табличные результаты, используйте функцию toscalar() для преобразования табличного результата count() функции в скалярное значение. Затем используйте числовое значение в расчете процента.

let TotalStorms = toscalar(StormEvents | summarize count());
StormEvents
| summarize EventCount = count() by EventType
| project EventType, EventCount, Percentage = todouble(EventCount) / TotalStorms * 100.0

Выходные данные

Извлечь уникальные значения

Используйте make_set(), чтобы превратить выбор строк в таблицу в массив уникальных значений.

Следующий запрос используется make_set() для создания массива типов событий, вызывающих смерть в каждом состоянии. Результирующая таблица затем сортируется по количеству типов штормов в каждом массиве.

StormEvents
| where DeathsDirect > 0 or DeathsIndirect > 0
| summarize StormTypesWithDeaths = make_set(EventType) by State
| project State, StormTypesWithDeaths
| sort by array_length(StormTypesWithDeaths)

Выходные данные

Группировать данные по условию

Функция case() группирует данные в контейнеры на основе указанных условий. Функция возвращает соответствующее выражение результата для первого удовлетворенного предиката или окончательное выражение else, если ни один из предикат не удовлетворен.

В этом примере группируются государства на основе числа травм, связанных с штормом, которые их граждане получили.

StormEvents
| summarize InjuriesCount = sum(InjuriesDirect) by State
| extend InjuriesBucket = case (
                              InjuriesCount > 50,
                              "Large",
                              InjuriesCount > 10,
                              "Medium",
                              InjuriesCount > 0,
                              "Small",
                              "No injuries"
                          )
| sort by State asc

Выходные данные

Создайте круговую диаграмму, чтобы визуализировать долю штатов, в которых произошли штормы, приведшие к большому, среднему или небольшому числу травм.

StormEvents
| summarize InjuriesCount = sum(InjuriesDirect) by State
| extend InjuriesBucket = case (
                              InjuriesCount > 50,
                              "Large",
                              InjuriesCount > 10,
                              "Medium",
                              InjuriesCount > 0,
                              "Small",
                              "No injuries"
                          )
| summarize InjuryBucketByState=count() by InjuriesBucket
| render piechart 

Выполнить агрегации в скользящем окне

В следующем примере показано, как суммировать столбцы с помощью скользящего окна.

Запрос вычисляет минимальный, максимальный и средний материальный ущерб от торнадо, наводнений и лесных пожаров с помощью скользящего окна длиной в семь дней. Каждая запись в результирующем наборе агрегирует данные за предыдущие семь дней, а результаты содержат запись за день в период анализа.

Ниже приведены пошаговые объяснения запроса:

1. Сгруппируйте каждую запись по одному дню относительно windowStart.
2. Добавьте семь дней в значение ячейки, чтобы задать конец диапазона для каждой записи. Если значение выходит за пределы диапазона windowStart и windowEndизмените значение соответствующим образом.
3. Создайте массив из семи дней для каждой записи, начиная с текущего дня записи.
4. Разверните массив из шага 3 с помощью mv-expand , чтобы дублировать каждую запись до семи записей с интервалами в один день между ними.
5. Выполните агрегацию для каждого дня. Из-за шага 4 этот шаг фактически суммирует предыдущие семь дней.
6. Исключите первые семь дней из окончательного результата, потому что для них нет семидневного периода обратного просмотра.

let windowStart = datetime(2007-07-01);
let windowEnd = windowStart + 13d;
StormEvents
| where EventType in ("Tornado", "Flood", "Wildfire") 
| extend bin = bin_at(startofday(StartTime), 1d, windowStart) // 1
| extend endRange = iff(bin + 7d > windowEnd, windowEnd, 
                      iff(bin + 7d - 1d < windowStart, windowStart, 
                        iff(bin + 7d - 1d < bin, bin, bin + 7d - 1d))) // 2
| extend range = range(bin, endRange, 1d) // 3
| mv-expand range to typeof(datetime) // 4
| summarize min(DamageProperty), max(DamageProperty), round(avg(DamageProperty)) by Timestamp=bin_at(range, 1d, windowStart), EventType // 5
| where Timestamp >= windowStart + 7d; // 6

Выходные данные

Следующая таблица результатов усечена. Чтобы просмотреть полные выходные данные, выполните запрос.

Следующий шаг

Теперь, когда вы знакомы с общими операторами запросов и функциями агрегирования, перейдите к следующему руководству, чтобы узнать, как присоединить данные из нескольких таблиц.