Управление уровнями данных и хранением в Microsoft Sentinel

Данные, собираемые в Microsoft Sentinel (SIEM) и Microsoft Defender XDR, хранятся в таблицах. Портал Microsoft Defender позволяет управлять периодом хранения и затратами на хранение, связанными с данными. Вы можете управлять хранением и затратами, когда:

• Настройте соединители данных для отправки данных в Microsoft Sentinel или Microsoft Defender XDR.
• Управление существующими таблицами и данными.

В этой статье объясняется, как управлять хранением таблиц и параметрами уровней на портале Microsoft Defender для оптимизации операций безопасности и снижения затрат на Microsoft Sentinel и Microsoft Defender XDR.

Какие таблицы можно управлять на портале Microsoft Defender?

В этом разделе описываются типы таблиц, которыми можно управлять на портале Microsoft Defender.

Как работают уровни данных и сроки хранения

Данные можно хранить в Microsoft Sentinel на одном из двух уровней:

• Уровень аналитики. Этот уровень предоставляет доступ к данным для оповещений, охоты, книг и всех Microsoft Sentinel функций. Данные хранятся в двух состояниях:

  • Хранение аналитики. В этом "горячем" состоянии данные полностью доступны для аналитики в режиме реального времени, включая высокопроизводительные запросы, правила аналитики и поиск угроз. По умолчанию Microsoft Sentinel и Microsoft Defender XDR хранят данные на этом уровне в течение 30 дней. Срок хранения всех таблиц можно продлить до двух лет с пропорционально рассчитываемой ежемесячной платой за долгосрочное хранение. Вы можете бесплатно продлить срок хранения таблиц Microsoft Sentinel решений до 90 дней.
  • Общий объем хранения. По умолчанию все данные на уровне аналитики зеркально отображаются в озере данных за один и тот же период хранения. Вы можете продлить хранение данных в озере за пределы хранения аналитики, до 12 лет общего хранения при низких затратах.

• Уровень Озеро данных: на этом недорогом «холодном» уровне Microsoft Sentinel сохраняет ваши данные только в озере данных. Данные на уровне Озеро данных недоступны для функций аналитики в режиме реального времени и поиска угроз. Однако вы можете получать доступ к данным в озере при необходимости с помощью заданий KQL, анализировать тенденции с течением времени, выполняя запланированные задания KQL или Spark, а также регулярно агрегировать аналитические сведения из входящих данных с помощью сводных правил.

• Данные XDR: по умолчанию данные для поиска угроз в Microsoft Defender XDR всегда доступны на уровне Analytics в течение 30 дней. Вы можете увеличить срок хранения этих данных в уровне Analytics до 90 дней, что приведет к затратам на прием данных, при этом само хранение останется бесплатным. Продление срока хранения за пределами 90 дней на уровне Аналитики также несет затраты на хранение. Вы также можете загружать данные только в уровень Озеро данных, но данные будут оставаться доступными в уровне Analytics в течение 30 дней. Прием данных XDR непосредственно в уровень Озеро данных является более экономичным, но связан с затратами на прием, хранение и обработку. В этом случае клиенты по-прежнему получают данные на уровне Аналитики за 30 дней без дополнительных затрат.

Для получения дополнительной информации о различиях между уровнем Analytics и уровнем Озеро данных см. разделы «Сравните уровни аналитики» и «data lake».

Следующая схема иллюстрирует компоненты удержания стандартных уровней Analytics, Озеро данных и XDR, а также типы таблиц, применимые к каждому уровню:

Дополнительные сведения о озере данных Microsoft Sentinel см. в статье Что такое озеро данных Microsoft Sentinel.

Использование аналитики таблиц для наблюдения на уровне таблицы

На портале Microsoft Defender функция «Аналитика таблиц» представляет собой встроенное представление для мониторинга на странице «Таблицы», которое помогает оценить состояние приема данных на уровне таблиц для выбранной рабочей области Microsoft Sentinel. Он предоставляет оперативные сигналы наблюдаемости, чтобы вы могли выявить закономерности поступления данных и расходов до изменения уровня или настроек срока хранения.

Аналитика таблиц включает такие сигналы, как:

• Объем приема данных по уровням
• Колебания приема по дням на неделю
• Таблицы с наибольшим ежедневным объемом поступающих данных
• Последние полученные данные
• Предполагаемые ежедневные затраты на прием данных
• Аномалия тома

Используйте эти сигналы для обнаружения сбоев коннекторов, анализа резких скачков затрат, проверки корректности подключения нового коннектора и выявления кандидатов на оптимизацию срока хранения и уровня обслуживания.

Инструкции по настройке, доступу и интерпретации см. в разделе "Настройка параметров таблицы" в Microsoft Sentinel.

Сравните уровни аналитики и озера данных

В этой таблице сравниваются уровни аналитики и Озеро данных и их ключевые характеристики:

Что происходит при изменении параметров таблицы

Вы можете в любое время изменить уровень и параметры хранения таблицы.

При изменении уровня таблицы с "Аналитика" на Озеро данных все запросы аналитики в режиме реального времени и охоты перестают работать.

При сокращении общего срока хранения таблицы Microsoft ожидает 30 дней до удаления данных, чтобы восстановить изменение и избежать потери данных при возникновении ошибки конфигурации.

При увеличении общего объема хранения новый период хранения применяется ко всем данным, которые уже были ввезены в таблицу и еще не удалены.

При изменении параметров хранения аналитики таблицы с существующими данными изменение вступает в силу немедленно.

Пример:

• У вас есть таблица в уровне Analytics со сроком хранения аналитических данных 180 дней. По умолчанию общий срок хранения также имеет значение 180 дней.
• Вы изменяете срок хранения аналитики на 90 дней, не изменяя общий срок хранения, который остается 180 дней.
• Microsoft Sentinel автоматически удаляет данные за последние 90 дней из аналитического хранилища, но продолжает хранить данные возрастом от 90 до 180 дней на уровне Озеро данных.

Управление данными XDR в Microsoft Sentinel

По умолчанию Microsoft Defender XDR хранит данные охоты на угрозы на уровне XDR по умолчанию в течение 30 дней. По умолчанию эти данные не загружаются в уровни Analytics или Озеро данных. Если вы увеличиваете срок хранения поддерживаемых таблиц XDR сверх 30, но не более чем до 90 дней, применяется плата за прием данных в Sentinel, но дополнительная плата за хранение не взимается. Таблицы создаются в рабочей области Microsoft Sentinel на уровне Аналитики и отображаются на уровне Озеро данных.

Если вы включите коннектор Microsoft Sentinel XDR на портале Azure, таблицы, которые вы выберете при настройке, автоматически загружаются в уровень Analytics и дублируются в уровень Озеро данных. Срок хранения по умолчанию составляет 30 дней, и его можно продлить до 12 лет. Список таблиц см. в разделе Интеграция Microsoft Defender XDR с Microsoft Sentinel. Вы можете загрузить в уровень Analytics поддерживаемые таблицы XDR, которые не были выбраны при развертывании соединителя, и реплицировать их в уровень Озеро данных, установив срок хранения более 30 дней.

Если вы не включите соединитель Microsoft Sentinel XDR, таблицы XDR не будут загружаться автоматически, однако их все равно можно загружать, установив срок хранения для уровня Analytics или Озеро данных более 30 дней на портале Microsoft Defender.

Вы можете настроить прием поддерживаемых таблиц XDR исключительно в уровень Озеро данных tier, выбрав параметр Озеро данных tier при настройке параметров хранения данных. Дополнительные сведения см. в разделе Настройка хранения данных и распределения по уровням.

Чтобы прекратить погружение данных в уровень аналитики, сбросьте удержание аналитики и общее хранение до стандартных 30 дней.

Дополнительные сведения об управлении таблицами и данными см. в разделе Управление существующими таблицами и данными.

Хранение данных XDR и затраты

В следующих таблицах перечислены бесплатные сроки хранения и последствия затрат для различных уровней в Microsoft Sentinel.

Дополнительные сведения о выставлении счетов и затратах см. в статье "Общие сведения о полной модели выставления счетов для Microsoft Sentinel".

В следующих примерах данные XDR доступны при расширенной охоте не менее 30 дней, независимо от параметров хранения на уровнях аналитики или озера данных.

Дальнейшие действия

Дополнительные сведения:

• Настройка уровней таблицы журналов и параметров хранения
• Создание задания поиска для получения данных, соответствующих определенным условиям