Уровни хранения журналов в Microsoft Sentinel

Для рабочих областей Microsoft Sentinel, подключенных к Defender, управление распределением по уровням и сроками хранения необходимо выполнять в новом интерфейсе управления таблицами в портале Defender. Для рабочих областей Microsoft Sentinel, не подключенных к другим ресурсам, продолжайте использовать описанные ниже возможности для управления данными в этих рабочих областях.

Существует два конкурирующих аспекта сбора и хранения журналов, которые имеют решающее значение для успешной программы обнаружения угроз. С одной стороны, необходимо максимально увеличить количество собираемых источников журналов, чтобы обеспечить максимально полное покрытие безопасности. С другой стороны, необходимо свести к минимуму затраты, связанные с приемом всех этих данных.

Для этих конкурирующих потребностей требуется стратегия управления журналами, которая сбалансирует доступность данных, производительность запросов и затраты на хранение.

В этой статье рассматриваются категории данных и состояния хранения, используемые для хранения данных и доступа к ней. В нем также описываются уровни журналов, которые Microsoft Sentinel предлагает для разработки стратегии управления журналами и сроками их хранения.

Важно!

После 31 марта 2027 г. Microsoft Sentinel больше не будет поддерживаться в портале Azure и будет доступен только в портале Microsoft Defender. Все клиенты, использующие Microsoft Sentinel в портал Azure, будут перенаправлены на портал Defender и будут использовать Microsoft Sentinel только на портале Defender.

Если вы по-прежнему используете Microsoft Sentinel в портал Azure, рекомендуется начать планирование перехода на портал Defender, чтобы обеспечить плавный переход и в полной мере воспользоваться преимуществами унифицированных операций безопасности, предлагаемых Microsoft Defender.

Категории загружаемых данных

Корпорация Майкрософт рекомендует классифицировать данные, передаваемые в Microsoft Sentinel, на две общие категории:

  • Основные данные безопасности — это данные, содержащие критически важное значение безопасности. Эти данные используются для упреждающего мониторинга в режиме реального времени, запланированных оповещений и аналитики для обнаружения угроз безопасности. Данные должны быть доступны всем Microsoft Sentinel интерфейсам практически в режиме реального времени.

  • Вторичные данные безопасности — это дополнительные данные, часто в больших объемах подробных журналов. Эти данные имеют ограниченное значение для безопасности, но они могут обеспечить дополнительные возможности и контекст для обнаружения и расследований, помогая получить полную картину инцидента безопасности. Он не должен быть легкодоступен, но должен быть доступен по запросу по мере необходимости и в соответствующих дозах.

Основные данные безопасности

Эта категория состоит из журналов, которые содержат критически важное значение безопасности для вашей организации. Основные варианты использования данных безопасности для операций безопасности:

  • Частый мониторинг. Правила обнаружения угроз (аналитики) выполняются для этих данных через частые интервалы или почти в режиме реального времени.

  • Охота по запросу. По этим данным выполняются сложные запросы для интерактивного высокопроизводительного поиска угроз безопасности.

  • Корреляция. Данные из этих источников сопоставляются с данными из других основных источников данных безопасности для обнаружения угроз и создания историй атак.

  • Регулярные отчеты. Данные из этих источников легко доступны для компиляции в регулярные отчеты о работоспособности системы безопасности организации, как для лиц, принимающих решения в области безопасности, так и для лиц, принимающих общие решения.

  • Аналитика поведения. Данные из этих источников используются для создания базовых профилей поведения ваших пользователей и устройств, что позволяет выявлять отклоняющееся от нормы поведение как подозрительное.

Ниже приведены некоторые примеры основных источников данных.

  • Журналы из антивирусных или корпоративных систем обнаружения и реагирования (EDR)
  • Журналы проверки подлинности
  • Журналы аудита с облачных платформ
  • Потоки аналитических данных об угрозах
  • Оповещения от внешних систем

Журналы, содержащие основные данные безопасности, должны храниться на уровне аналитики.

Вторичные данные безопасности

Эта категория включает журналы, отдельные значения безопасности которых ограничены, но необходимы для предоставления полного представления об инциденте безопасности или нарушении безопасности. Как правило, эти журналы имеют большой объём и могут содержать избыточные подробности. Варианты использования операций безопасности для этих данных включают следующие:

  • Threat Intelligence. Первичные данные можно проверить по спискам индикаторов компрометации (IoC) или Индикаторов атак (IoA), чтобы быстро и легко обнаруживать угрозы.

  • Нерегламентированные охоты и расследования. Данные можно запрашивать в интерактивном режиме в течение 30 дней, что облегчает критически важный анализ для охоты на угрозы и исследования.

  • Крупномасштабные поисковые запросы. Данные можно загружать и выполнять по ним поиск в фоновом режиме в объёмах до петабайтов, при этом они эффективно хранятся при минимальной обработке.

  • Суммирование с помощью заданий KQL. Суммировать большие объемы журналов в статистические сведения и хранить результаты на уровне аналитики.

Примерами дополнительных источников журналов данных являются журналы доступа к облачному хранилищу, журналы NetFlow, журналы TLS/SSL-сертификатов, журналы брандмауэра, журналы прокси-сервера и журналы Интернета вещей.

Для журналов, содержащих вторичные данные безопасности, используйте озеро данных Microsoft Sentinel, которое обеспечивает повышенную масштабируемость, гибкость и возможности интеграции для расширенных сценариев безопасности и соответствия требованиям.

Уровни управления журналами

Microsoft Sentinel предоставляет два разных уровня, или типа, хранилища журналов для этих категорий принимаемых данных.

  • План уровня аналитики предназначен для хранения основных данных безопасности и обеспечения их легкой и постоянной доступности с высокой производительностью.

  • Уровень Data Lake оптимизирован для экономичного хранения вторичных данных безопасности в течение длительного времени при сохранении их доступности.

Уровень аналитики

Уровень аналитики хранит данные в интерактивном состоянии хранения в течение 90 дней по умолчанию, расширяемый до двух лет. Это интерактивное состояние, хотя и дорогое, позволяет запрашивать данные неограниченно, с высокой производительностью, без платы за запрос.

Уровень озера данных

Озеро данных Microsoft Sentinel — это полностью управляемое современное озеро данных, которое объединяет и хранит большие объёмы данных безопасности, обеспечивая расширенную аналитику по данным разных типов и обнаружение угроз с помощью агентного ИИ. Он позволяет группам безопасности исследовать долгосрочные угрозы, обогащать оповещения и создавать базовые показатели поведения, используя данные за несколько месяцев.

Если общий объем хранения дольше, чем срок хранения уровня аналитики, или когда срок хранения уровня аналитики истек, данные, хранящиеся за пределами хранения уровня аналитики, по-прежнему будут доступны на уровне озера данных.