Поиск содержимого в наборе для проверки с помощью обозревателя расширенных наборов проверки (предварительная версия)

Обозреватель расширенных наборов проверок (предварительная версия) в Microsoft Purview eDiscovery позволяет рецензентам выполнять аналитику больших данных в режиме реального времени для содержимого набора проверки с помощью определенного подмножества язык запросов Kusto (KQL). С помощью обозревателя расширенных наборов проверки (предварительная версия) можно запрашивать, фильтровать и визуализировать данные набора проверки непосредственно на портале Microsoft Purview без изменения базового содержимого. Запросы выполняются к полному набору индексированных элементов и возвращают табличные результаты или визуализации диаграмм.

Используйте обозреватель расширенных наборов проверки (предварительная версия) для следующих способов:

• Определите основные типы элементов, точечные шаблоны и найдите тенденции в наборе для проверки.
• Создавайте эффективные запросы со сложной фильтрацией, извлечением текста на основе шаблона и анализом формата данных.
• Анализируйте и найдите ключевую информацию, относясь к вашему делу или организации.
• Визуализация результатов запроса с помощью диаграмм для полного понимания данных набора проверки.

Открытие обозревателя расширенных наборов проверки (предварительная версия)

Чтобы открыть обозреватель расширенных наборов проверки (предварительная версия), выполните следующие действия.

1. Перейдите на портал Microsoft Purview и войдите с учетными данными для учетной записи пользователя, назначенной разрешениями на обнаружение электронных данных.
2. Выберите решение eDiscovery карта, а затем выберите Варианты в области навигации слева.
3. Выберите вариант, а затем перейдите на вкладку Просмотр наборов .
4. Выберите набор проверки, а затем перейдите на вкладку Обозреватель расширенных наборов проверки (предварительная версия).

Здесь вы можете создавать и выполнять запросы KQL непосредственно к данным набора проверки.

Перейдите в обозреватель расширенных наборов проверки (предварительная версия)

Обозреватель расширенных наборов проверки (предварительная версия) содержит область навигации слева и область результатов, которая помогает создавать, обнаруживать и выполнять запросы KQL.

Левая область навигации

В левой области навигации содержатся три свертываемых раздела, которые позволяют изучить схему набора проверки и быстро вставить элементы запроса в редактор:

• Схема: отображает доступную таблицу (ReviewSetTable) для набора для проверки. Выберите имя таблицы, чтобы вставить ее в редактор запросов.
• Операторы: список всех поддерживаемых операторов KQL, включая count, distinct, extend, limit, mv-expand, order, project-awayproject, project-keep, render, sort, summarize, take, , topи where. Выберите любой оператор, чтобы добавить его в запрос.
• Примеры запросов. Предоставляет готовые к использованию шаблоны запросов для общих задач анализа набора проверки, таких как число классов файлов в виде круговой диаграммы, число типов файлов, число itemClass, количество участников, число меток конфиденциальности и число источников. Выберите пример запроса, чтобы загрузить его непосредственно в редактор запросов.

Вкладка "Начало работы"

На вкладке Приступая к работе под областью результатов запроса приведен краткий справочник по созданию запросов. Он включает в себя доступные для выбора примеры, упорядоченные в две категории.

Выберите любое имя запроса, чтобы загрузить пример непосредственно в редактор запросов:

Принцип работы обозревателя расширенных наборов проверки (предварительная версия) в наборе для проверки

Каждый запрос выполняется к данным полного набора проверки и возвращает:

• Табличный список соответствующих элементов;
• Визуализация диаграммы в зависимости от запроса.

Запросы следуют стандартному синтаксису конвейера KQL, где каждая строка основана на результатах предыдущего шага. Портал автоматически добавляет имя таблицы в ReviewSetTable качестве первой строки. Каждая последующая строка запроса должна начинаться с \|.

Например, вы можете:

ReviewSetTable
| where SubjectTitle has "Case"
| summarize count() by FileClass

Лучшие методики

• Начните с where фильтров, чтобы сузить данные перед использованием summarize или render.
• Используйте take для проверки логики запросов перед выполнением полных агрегатов.
• Избегайте слишком широких шаблонов регулярных выражений в больших наборах проверки.
• Используйте where isnotempty(columnName) , чтобы исключить элементы с пустыми значениями для свойства, что помогает избежать непредвиденных пустых строк в результатах.

Другие особенности

Обозреватель расширенных наборов проверки (предварительная версия) поддерживает не все операторы и свойства Kusto. При создании запросов учитывайте следующие аспекты.

• Запросы доступны только для чтения и не изменяют содержимое набора для проверки. Дополнительные сведения о работе с наборами проверки см. в разделе Управление наборами проверки в eDiscovery.
• Результаты отражают текущее индексированное состояние набора проверки. Если добавить дополнительные данные в набор для проверки, запрос может возвращать другие результаты.
• Не все типы файлов доступны для запросов. Дополнительные сведения см. в разделе Поддерживаемые типы файлов в eDiscovery.
• Если запрос возвращает более 10 000 результатов, он возвращает только первые 10 000 результатов. Измените запрос, чтобы сузить результаты.

Синтаксис Kusto и ссылки см. в следующих статьях:

• Соглашения о синтаксисе для справочной документации
• Рекомендации по язык запросов Kusto запросам

Поддерживаемые базовые операторы

Где

where Используйте оператор для фильтрации элементов по метаданным, таким как тема, ключевые слова, класс элементов, даты или участники.

В следующем примере набор проверки фильтруется для возврата только элементов, тема которых содержит текст "Day".

ReviewSetTable
| where SubjectTitle has "Day"

Этот запрос фильтрует набор проверки, чтобы включить все элементы, связанные с календарем, itemClass которых начинается с IPM.Appointment, который охватывает стандартные встречи и расширенные классы, такие как IPM.AppointmentSnapshot.SkypeTeams.Call.

ReviewSetTable
| where ItemClass startswith "IPM.Appointment"

Project

Используйте project для возврата только нужных свойств. Например, следующий запрос выполняет два действия:

• Фильтрация элементов по тексту темы. Предложение where SubjectTitle has "Day" ограничивает результаты только теми элементами, в которых SubjectTitle содержит слово "День".
• Проецируется один столбец. Затем project SubjectTitle предложение возвращает только свойство SubjectTitle для этих отфильтрованных элементов, удаляя все остальные столбцы из выходных данных.

ReviewSetTable
| where SubjectTitle has "Day"
| project SubjectTitle

Проецируемый проект

Оператор project-away удаляет указанные столбцы из результатов запроса, сохраняя при этом все остальные столбцы. Используйте его, если требуется исключить несколько свойств, а не перечислять все столбцы, которые нужно сохранить.

В следующем примере возвращаются все свойства элементов в наборе для проверки, кроме CompoundPath и InternetMessageId, которые исключаются из выходных данных.

ReviewSetTable
| where SubjectTitle has "Day"
| project-away CompoundPath, InternetMessageId

Сохранение проекта

Оператор project-keep сохраняет только столбцы, соответствующие указанному шаблону или списку, удаляя все остальное. В отличие от project, project-keep сохраняет исходный порядок столбцов и поддерживает шаблоны с подстановочными знаками.

В следующем примере сохраняются только столбцы, имена которых начинаются с "Sender" или "Recipient", что позволяет легко сосредоточиться на участниках взаимодействия без перечисления каждого свойства по отдельности.

ReviewSetTable
| where SubjectTitle has "Day"
| project-keep Sender*, Recipient*

Mv-expand

Оператор mv-expand развертывает свойства с несколькими значениями (например, списки участников или получателей) на отдельные строки с одной строкой на значение. Это полезно для анализа отдельных записей в полях, содержащих несколько значений.

В следующем примере поле Участники расширяется, чтобы каждый участник отображалось в своей строке, а затем подсчитывает количество элементов, связанных с каждым участником. Это помогает определить наиболее активных участников набора для проверки.

ReviewSetTable
| mv-expand Participants
| summarize count() by tostring(Participants)

Расширение

Оператор extend добавляет один или несколько вычисляемых столбцов в результаты запроса, создавая новые значения, производные от существующих полей, без изменения базовых данных.

В следующем примере элементы набора для проверки классифицируются по четырем категориям размера: Small (<1MB),Medium (1–5MB),Medium-Large (5–10MB) и Large (>10MB) — путем создания нового столбца SizeCategory с помощью case() функции, а затем агрегирования количества элементов в каждой категории с помощью summarize. Это помогает следователям быстро понять распределение размеров файлов в наборе для оценки рисков или определения приоритетов.

ReviewSetTable
| extend SizeCategory = case(Size > 10485760, "Large (>10MB)", Size >= 5242880 and Size <= 10485760, "Medium-Large (5–10MB)", Size >= 1048576 and Size < 5242880, "Medium (1–5MB)", "Small (<1MB)")
| summarize count() by SizeCategory

Сводка

Оператор summarize агрегирует данные, применяя такие функции, как count(), sum()или avg(), и группирует результаты на основе указанных столбцов.

В следующем примере подсчитываются элементы, сгруппированные по SubjectTitle , для элементов, содержащих слово "Day".

ReviewSetTable
| where SubjectTitle has "Day"
| summarize count() by SubjectTitle

Отрисовка линейчатой диаграммы, отрисовки столбцов, круговой диаграммы отрисовки

Оператор render barchart принимает табличные результаты запроса и отображает их в виде линейчатой диаграммы. Это упрощает визуализацию распределения или сравнения агрегированных значений.

В следующем примере количество заголовков субъектов отображается в виде линейчатой диаграммы.

ReviewSetTable
| where SubjectTitle has "Day"
| summarize count() by SubjectTitle
| render barchart

Take (limit)

Оператор take ограничивает выходные данные запроса указанным количеством строк. Он возвращает только первые n результатов из набора данных. Оператор limit является синонимом для take , и их можно использовать взаимозаменяемо.

В следующем примере возвращаются только первые 10 соответствующих элементов, что позволяет проверить логику запроса или точечный проверка содержимое перед выполнением полного запроса. Этот подход помогает при работе с большими наборами проверки или сложными фильтрами, где результаты могут занять больше времени для вычислений и загрузки без take ограничения выходных данных.

ReviewSetTable
| where SubjectTitle has "day"
| project SubjectTitle, SenderDomain, Custodian, Size
| take 10

Сортировка

Оператор sort упорядочивает результаты запроса на основе одного или нескольких указанных столбцов в порядке возрастания или убывания.

В следующем примере запроса вычисляется общее количество элементов для каждого NativeFileExtension в наборе проверки с помощью summarize count(). Затем эти группы расширений сортируются в порядке убывания количества элементов, чтобы можно было увидеть, какие типы файлов являются наиболее распространенными.

ReviewSetTable
| summarize ItemCount = count() by NativeFileExtension
| sort by ItemCount desc

Различные

Оператор distinct возвращает уникальные значения для указанных столбцов путем удаления повторяющихся строк из результатов запроса.

В следующем примере используется distinct для удаления дубликатов, чтобы вы видели только уникальные хранители, а затем используется sort by Custodian asc для их упорядочивания в алфавитном порядке, что упрощает сканирование или экспорт для создания отчетов.

ReviewSetTable
| distinct Custodian
| sort by Custodian asc

Count

Оператор count возвращает общее количество строк в результирующем наборе запроса, чтобы можно было быстро увидеть, сколько элементов в наборе.

В следующем примере подсчитывается количество уникальных заголовков субъектов, содержащих слово "Day".

ReviewSetTable
| where SubjectTitle has "Day"
| summarize by SubjectTitle
| count

В начало

Оператор top возвращает первые n строк из результатов запроса, упорядоченных по одному или нескольким указанным столбцам. Используйте его для получения самых высоких или наименьших значений на основе критериев сортировки.

В следующем примере показано пять самых больших элементов в наборе для проверки.

ReviewSetTable
| top 5 by Size desc

Бен

Функция bin() округляет значение datetime или числовое значение до ближайшего кратного указанного размера ячейки. Используйте эту функцию для группировки данных по интервалам времени или числовым диапазонам, таким как почасовые контейнеры или диапазоны размеров.

В следующем примере элементы в наборе проверки группируются в контейнеры размером 1 МБ с помощью bin(Size, 1048576), подсчитывает количество элементов, попадающих в каждый контейнер с summarize count()помощью , а затем сортирует контейнеры в порядке возрастания, чтобы можно было увидеть распределение размеров файлов от наименьшего к самому большому.

ReviewSetTable
| summarize ItemCount = count() by bin(Size, 1048576)
| sort by bin(Size, 1048576) asc

Общие сценарии

В следующих сценариях показано, как запросы Kusto в обозревателе расширенных наборов проверки (предварительная версия) помогают анализировать и лучше понимать данные набора для проверки.

Сценарий 1. Взаимодействие между двумя пользователями

Поиск элементов, которыми обмениваются исключительно между двумя конкретными пользователями - Джоном и Дэвидом - без других участников. Этот запрос изолирует их прямые взаимодействия "один к одному" и отображает только три свойства: название субъекта, отправитель и получателей.

ReviewSetTable
| where isnotempty(Participants)
| extend ParticipantEmails = extract_all(@"\<(\[^\>\]+)\>", tostring(Participants))
| extend ParticipantCount = array_length(ParticipantEmails)
| where ParticipantCount == 2
| where ParticipantEmails has "John@contoso.com" and ParticipantEmails has "David@contoso.com"
| project SubjectTitle, SenderAuthor, Recipients

Сценарий 2. Сообщения электронной почты, отправленные извне

Найдите все элементы набора проверки, которые включают по крайней мере одного внешнего получателя (за пределами организации contoso.com), и перечислите эти внешние адреса электронной почты для каждого элемента.

ReviewSetTable
| where isnotempty(Recipients)
| extend Emails = extract_all(@"\<(\[^\>\]+)\>", tostring(Recipients))
| mv-expand Email = Emails
| extend Email = tostring(Email)
| where Email !contains "@contoso.com"
| summarize ExternalRecipients = make_set(Email) by ImmutableId, SubjectTitle

Сценарий 3. Определение шаблонов даты и времени в наборе для проверки

Визуализация данных с течением времени помогает следователям выявлять пики или аномалии при взаимодействии или создании документов, например внезапный всплеск сообщений электронной почты, который может коррелировать с известным инцидентом. Квартальные представления соответствуют бизнес-циклам, что упрощает сопоставление результатов с периодами финансовой отчетности, внутренними аудитами или изменениями политики.

В следующем примере анализируется распределение элементов набора проверки по времени путем группировки элементов по годам и кварталам и визуализации результатов в виде гистограммы. Он фильтрует элементы по диапазону дат, извлекает год и квартал из поля Date каждого элемента, подсчитывает элементы в сочетании за год и квартал, создает удобочитаемую метку (например, 2 квартал 2024 г.) и отображает результаты в виде гистограммы.

ReviewSetTable
| where Date > datetime(2015-01-01) and Date < datetime(2025-08-31)
| extend Year = datetime_part("year", Date), Quarter = datetime_part("quarter", Date)
| summarize EventCount = count() by Year, Quarter
| sort by Year asc, Quarter asc
| extend QuarterLabel = strcat("Q", tostring(Quarter), " ", tostring(Year))
| project QuarterLabel, EventCount
| render columnchart

Сценарий 4. Визуализация типов сообщений Microsoft Teams в наборе для проверки

В следующем примере классифицируются и визуализируются типы сообщений Microsoft Teams в наборе проверки по классам элементов, помогая понять распределение сообщений различных форматов.

ReviewSetTable
| where ItemClass startswith "IPM.SkypeTeams.Message."
| project SubjectTitle, Date, SenderAuthor, FileClass, ItemClass, InternetMessageId
| summarize ItemCount = count() by ItemClass
| sort by ItemCount desc
| render piechart

Использование регулярных выражений в обозревателе расширенных наборов проверки (предварительная версия)

Обозреватель расширенных наборов проверки (предварительная версия) поддерживает регулярные выражения (регулярные выражения) для эффективного сопоставления шаблонов в текстовых полях. Поддержка регулярных выражений позволяет искать сложные последовательности символов, такие как буквенно-цифровые сочетания, специальные символы или структурированные узоры, помимо простого ключевое слово сопоставления. Используйте регулярные выражения, чтобы:

• Определите элементы с определенными форматами, такими как идентификаторы, коды или структурированные маркеры.
• Обнаружение шаблонов, которые стандартные операторы, как has или startswith которые не могут записать.
• Выполните расширенную фильтрацию для соответствия требованиям или судебно-медицинской экспертизы.

Советы по написанию регулярных выражений в KQL

• При необходимости правильное экранирование обратных косых слэшей (\\).
• Используйте привязки (^ для начала, $ для конца) для точного позиционирования.
• Тестируйте шаблоны постепенно, чтобы избежать слишком широких совпадений.
• Объединение с другими операторами (например, and, or) для точных запросов.
• Справка. Синтаксис регулярных выражений.

Синтаксис

matches regex Используйте оператор в предложенииwhere:

where <PropertyName> matches regex "<pattern>"

Пример. Сопоставление сложного шаблона в ключевых словах

ReviewSetTable
| where Keywords matches regex "\\w{10}\\d{10}\\W{10}"
| project SubjectTitle, CompoundPath, Date, SenderAuthor, FileClass, ItemClass, InternetMessageId

• Фильтрует элементы, содержащиеся в свойстве Keywords :

  • 10 символов слов (\w)
  • затем 10 цифр (\d)
  • 10 символов, не являющихся словами (\W)

• Возвращает ключевые поля метаданных, указанные для проверки.

Исправление распространенных синтаксических ошибок KQL

При создании запросов в обозревателе расширенных наборов проверки (предварительная версия) могут возникнуть синтаксические ошибки.

В следующей таблице перечислены распространенные ошибки и способы их устранения.