KQL и озеро данных Microsoft Sentinel

С озером данных Microsoft Sentinel можно хранить и анализировать журналы большого объема с низкой степенью детализации, такие как данные брандмауэров или DNS, инвентарные данные об активах и исторические данные, в течение 12 лет. Так как хранилище и вычисления разделены, вы можете запрашивать одну и ту же копию данных с помощью нескольких средств, не перемещая и не дублируя ее.

Вы можете анализировать данные в озере данных с помощью языка запросов Kusto (KQL) и ноутбуков Jupyter для решения широкого круга задач — от поиска угроз и расследований до обогащения данных и машинного обучения.

В этой статье рассматриваются основные понятия и сценарии исследования озера данных, рассматриваются распространенные варианты использования, а также показано, как взаимодействовать с данными с помощью знакомых средств.

Интерактивные запросы KQL

Используйте язык запросов Kusto (KQL), чтобы выполнять интерактивные запросы напрямую к озеру данных в нескольких рабочих областях.

С помощью KQL аналитики могут:

• Исследование и реагирование с помощью исторических данных. Используйте долгосрочные данные в озере данных для сбора судебно-медицинских доказательств, исследования инцидента, обнаружения закономерностей и реагирования на инциденты.
• Обогащайте расследования большими объёмами журналов: используйте зашумлённые данные или данные с низкой степенью достоверности, хранящиеся в озере данных, чтобы добавить контекст и глубину расследованиям в области безопасности.
• Сопоставляйте данные об активах и журналы в озере данных: выполняйте запросы к инвентарным данным об активах и журналам идентификации, чтобы связывать действия пользователей с ресурсами и выявлять более широкий контекст атаки.

Используйте запросы KQL в разделе Microsoft Sentinel>Исследование озера данных на портале Defender, чтобы выполнять специальные интерактивные запросы KQL непосредственно к данным долгосрочного хранения. Просмотр озера данных доступен после завершения процесса подключения . Запросы KQL идеально подходят для аналитиков SOC, изучающих инциденты, в которых данные больше не находятся на уровне аналитики. Запросы позволяют выполнять судебно-медицинский анализ с помощью знакомых запросов без перезаписи кода. Чтобы приступить к работе с запросами KQL, ознакомьтесь с разделом Data Lake Exploration — KQL-запросы.

Задания KQL

Задания KQL — это однократные или запланированные асинхронные KQL-запросы к данным в озере данных Microsoft Sentinel. Задачи полезны в исследовательских и аналитических сценариях, например;

• Длительные одноразовые запросы для расследования инцидентов и реагирования на инциденты (IR)
• Задачи агрегирования данных, поддерживающие рабочие процессы обогащения с использованием журналов с низкой точностью
• Исторические сканирования на совпадение с данными об угрозах (TI) для ретроспективного анализа
• Сканирование обнаружения аномалий, выявляющее необычные закономерности в нескольких таблицах
• Переместить данные из озера данных на аналитический уровень, чтобы обеспечить возможность расследования инцидентов или корреляции журналов.

Выполняйте разовые задания KQL в озере данных, чтобы переместить определённые исторические данные с уровня озера данных на уровень аналитики или создать пользовательские сводные таблицы на уровне озера данных. Повышение уровня данных полезно для анализа первопричин или обнаружения нулевого дня при исследовании инцидентов, выходящих за пределы окна уровня аналитики. Отправьте запланированное задание в data lake для автоматизации повторяющихся запросов для обнаружения аномалий или построения базовых показателей с использованием исторических данных. Охотники за угрозами могут использовать его для отслеживания необычных закономерностей с течением времени и отправки результатов в обнаружения или панели мониторинга. Дополнительные сведения см. в разделах Создание заданий в озере данных Microsoft Sentinel и Управление заданиями в озере данных Microsoft Sentinel.

Визуализировать данные в озере данных Microsoft Sentinel с помощью книг

Книги Microsoft Sentinel можно использовать для визуализации и мониторинга данных в озере данных Microsoft Sentinel. Если выбрать озеро данных Sentinel в качестве источника данных в книге, можно выполнять запросы KQL непосредственно к данным в озере данных и отображать результаты в виде интерактивных диаграмм и таблиц. Это позволяет создавать панели мониторинга и отчеты, использующие долгосрочные данные телеметрии большого объема, хранящиеся в озере данных, что делает их идеальными для расширенной охоты на угрозы, анализа тенденций и отчетности руководителей. Дополнительные сведения о том, как создавать книги с озером данных Microsoft Sentinel, см. в статье Визуализация данных в озере данных Microsoft Sentinel в книгах.

Сценарии исследования

Следующие сценарии показывают, как запросы KQL в озере данных Microsoft Sentinel могут использоваться для улучшения операций по обеспечению безопасности.

Связанные материалы

• Общие сведения о озере данных Microsoft Sentinel
• Подключение к озеру данных Microsoft Sentinel
• Создание заданий в озере данных Microsoft Sentinel
• Управление заданиями в озере данных Microsoft Sentinel
• Создание и запуск записных книжек в озере данных Microsoft Sentinel