Преобразование данных с помощью фильтрации и разделения в Microsoft Sentinel

По мере роста объемов данных безопасности организации сталкиваются с проблемой балансировки затратного хранения данных телеметрии, используемой для ИИ, соответствия требованиям и исследований, обеспечивая хранение только необходимых данных на высокопроизводительных уровнях хранилища. Используйте в Microsoft Sentinel преобразования данных с фильтрацией и разделением, чтобы решить эту проблему, изменяя данные при их приёме для оптимизации стратегии хранения данных.

В этой статье описывается настройка преобразования фильтра и разделения данных без необходимости вручную создавать пользовательские конфигурации правил сбора данных (DCR). Если вы адаптируете ввод данных с помощью фильтрующих и разделенных преобразований данных, вы можете повысить производительность и снизить уровень шума.

С помощью преобразований данных можно оптимизировать конвейер данных безопасности, контролируя, какие данные хранятся и на каком уровне. Использование преобразований фильтра и разделения обеспечивает следующие преимущества:

• Оптимизация затрат. Сокращение затрат на хранение и обработку путем фильтрации малоценных данных, которые не способствуют обнаружению угроз. Перемещайте редко используемые данные в экономичное хранилище озера данных, сохраняя высокоприоритетные данные на уровне Analytics.

• Улучшенная эффективность SOC. Сосредоточьтесь в центре управления безопасностью (SOC) на событиях, которые могут быть эффективными и высокоценными. Благодаря удалению шума на этапе приёма данных аналитики тратят меньше времени на отсев нерелевантных журналов и больше времени на расследование реальных угроз.

• Более быстрая производительность запросов: меньшие наборы данных на уровне Аналитики приводят к более быстрому выполнению запросов, что делает поиск угроз, расследование инцидентов и правила аналитики более адаптивными.

• Гибкость в вопросах соответствия требованиям и сроков хранения данных: Обеспечьте полное сохранение данных для нормативных аудитов и криминалистического анализа на уровне Data Lake, одновременно оптимизируя уровень аналитики для операционных нагрузок. Обеспечение комплексного хранения на уровне озера данных при оптимизации уровня Аналитики удовлетворяет требованиям соответствия требованиям без ущерба для производительности.

• Масштабируемое управление данными. По мере роста объемов данных в организации преобразования помогают контролировать затраты и производительность. Применяйте согласованные политики между таблицами, чтобы обеспечить предсказуемое управление данными.

Преобразования с фильтрацией и разделением — это первые шаги в более крупной платформе преобразования, которая позволяет развивать данные в соответствии с вашими потребностями. Дополнительные сведения об основных понятиях преобразования данных см. в статье Прием и преобразование пользовательских данных в Microsoft Sentinel.

Предварительные условия

Перед настройкой правил преобразования фильтра или разделения проверьте следующие требования:

• Рабочая область Microsoft Sentinel должна быть подключена к порталу Defender. Дополнительные сведения см. в статье Подключение Microsoft Sentinel к порталу Microsoft Defender.

• На портале Microsoft Defender с унифицированной системой управления доступом на основе ролей (RBAC) разрешения Данные (управление) в группе разрешений Операции с данными.

• Для рабочего пространства Microsoft Sentinel нужна роль участника Log Analytics, которая предоставляет:

  • Microsoft.OperationalInsights/workspaces/write
  • Разрешения Microsoft.OperationalInsights/workspaces/tables/write для рабочей области Log Analytics.

• Для настройки разделённого преобразования:

  • Внедрить рабочее пространство в озеро данных Microsoft Sentinel.
  • Убедитесь, что таблица сейчас находится в категории аналитики.

Поддерживаемые таблицы

Фильтрующие и разделённые преобразования имеют разные требования к поддержке таблиц. Правила сбора данных (DCR) определяют, как данные собираются и преобразуются во время поглощения.

• Фильтрация: поддерживается на любой таблице, поддерживающей DCR.
• Разделение: Поддерживается для любой таблицы, которая поддерживает приём данных только в Аналитику, приём данных только в Data Lake и правила сбора данных (DCR).

Чтобы проверить, поддерживают ли таблицы соединителя данных DCR, см. статью Поиск соединителя данных Microsoft Sentinel.

Преобразования фильтра

Преобразования фильтров позволяют снизить уровень шума за счет удаления данных во время приема, что не полезно для исследований. Используйте правило преобразования фильтра, чтобы указать условие KQL, которое определяет, какие данные следует отфильтровать, а остальные данные отправляются на уровень Аналитики.

Используйте преобразования фильтров, когда необходимо:

• Снижение шума: Сосредоточьте работу SOC на событиях, требующих реагирования, отфильтровав рутинные записи журналов с низким уровнем критичности, такие как события с действием "разрешить" в журналах брандмауэра.
• Оптимизация затрат: снижение затрат на хранение и обработку за счет отмены данных, которые не способствуют обнаружению угроз.
• Повышение производительности. Ускорение запросов и оптимизация аналитики за счет уменьшения объема хранимых данных.

Рассмотрим следующий пример преобразования фильтра:

Ваше предприятие использует журналы брандмауэра для выявления аномалий. Большинство журналов брандмауэра — это обычные события с низким уровнем серьезности, которые не способствуют обнаружению угроз. Чтобы сохранять только критически важные события, такие как заблокированный трафик или события высокого уровня серьезности, и отфильтровывать малоценные журналы, создайте правило преобразования с условием KQL, чтобы отправлять на уровень Analytics только данные со средним или высоким уровнем серьезности, исключая события "allow".

Разделение преобразований

Разделяющие преобразования позволяют маршрутизировать данные между аналитическим уровнем и уровнем озера данных в зависимости от заданных условий. Используйте правило преобразования с разделением, чтобы задать выражение KQL, определяющее, какие данные попадают в Analytics. Данные, которые не соответствуют выражению условия, направляются только на уровень Data Lake.

Используйте разделенные преобразования, когда необходимо сбалансировать затраты и производительность путем маршрутизации данных на соответствующий уровень хранилища:

• Оптимизация затрат на хранение. Перенаправка старых или менее часто используемых журналов на уровень Озера данных для экономичного долгосрочного хранения.
• Поддержание производительности. Сохраняйте последние журналы на уровне Аналитики, чтобы ускорить выполнение запросов во время активной охоты на угрозы.
• Соблюдайте нормативные требования: храните исторические журналы для регуляторных проверок и криминалистического анализа без ущерба для операционной гибкости.

Рассмотрим следующий пример разделённого преобразования:

Ваше предприятие ежедневно регистрирует миллионы записей в журналах брандмауэра для обнаружения угроз и обеспечения соответствия требованиям. Вашей команде SOC необходим доступ в режиме реального времени к последним журналам для текущих расследований, но при этом она также должна хранить исторические журналы для регуляторных проверок. Создайте правило преобразования с разделением для направления данных в реальном времени на уровень аналитики, а исторических данных — на уровень озера данных.

Настройка правил преобразования фильтра

Чтобы создать правило преобразования фильтра, выполните следующие действия:

1. На портале Microsoft Defender перейдите в раздел Microsoft Sentinel>Конфигурация>Таблицы.

2. Выберите таблицу. На боковой панели выберите Правило фильтрации.

   

3. На боковой панели введите имя правила.

4. В поле Условие введите выражение KQL, указывающее, какие данные следует отфильтровать. Выражение KQL должно иметь значение true для данных, которые вы не хотите принимать.

5. Установите для параметра состояние правила значение Вкл., чтобы включить фильтр.

   Важно!

   Фильтры исключают данные. Данные, соответствующие условию фильтра, отбрасываются и не загружаются ни на уровень Analytics, ни на уровень Data Lake. Убедитесь, что выражение KQL точно записывает данные, которые нужно исключить.

6. Чтобы добавить другое условие, выберите Добавить условие и введите новое выражение KQL для фильтрации данных. Несколько условий объединяются с логическим ИЛИ, поэтому данные, соответствующие любому из условий, отфильтровываются.

7. Нажмите кнопку Сохранить , чтобы применить правило.

8. Убедитесь, что правило фильтра применено, проверив столбец Правила преобразования для таблицы. В столбце отображается фильтр , если правило фильтра активно.

   

Настройте правило преобразования с разделением

Чтобы создать правило преобразования с разделением, выполните следующие действия:

1. На портале Defender перейдите в Microsoft Sentinel>Конфигурация>Таблицы.

2. Выберите таблицу, а затем выберите Правило разделения.

3. На боковой панели введите имя правила.

4. В поле KQL expression (Выражение KQL ) введите выражение KQL, определяющее, какие данные следует принимать на уровень Аналитики. Данные, не соответствующие этому выражению, загружаются в уровень озера данных.

5. Нажмите кнопку Сохранить , чтобы применить правило.

6. Убедитесь, что правило разделения применяется, проверив столбец Правила преобразования для таблицы. В столбце отображается Split, когда активно правило разделения.

Настройка хранения для разделенных таблиц

После создания правила разделения настройте параметры хранения для каждого уровня:

1. Под исходной таблицей просмотрите полученные после разделения таблицы Analytics и Data lake.

2. Чтобы настроить срок хранения, выберите нужную таблицу: Analytics или Data lake.

3. Выберите Параметры хранения данных.

4. Настройте период хранения и сохраните.

Либо выберите исходную таблицу и настройте сроки хранения для Аналитики и Озера данных в объединенном диалоговом окне Параметры хранения данных.

Управление правилами

Чтобы управлять существующими правилами, выберите таблицу, а затем выберите правило разделения или Правило фильтрации в зависимости от типа правила, которым вы хотите управлять.

• Чтобы отключить правило, выберите параметр Состояние правила , чтобы отключить правило, а затем нажмите кнопку Сохранить.
• Чтобы удалить правило, обратите внимание, что удаление правила трансформации сразу же останавливает обработку данных по этому правилу и может повлиять на активное погружение. Чтобы продолжить, нажмите кнопку "Удалить".

Проверьте правила, выполнив запросы KQL, чтобы убедиться, что данные приняты правильно и направляются на правильный уровень.

Известные ограничения

При использовании преобразований фильтра и разделения следует учитывать следующие ограничения.

• Видимость таблиц XDR. Преобразования разделения и фильтрации, применяемые к таблицам XDR, не отображаются в разделе Расширенный поиск в течение первых 30 дней данных. Преобразования применяются, и после того как данным становится больше 30 дней, они обрабатываются обычным образом в Advanced Hunting. Данные, запрашиваемые из Log Analytics или Microsoft Sentinel, немедленно отражают экономию средств.

• Задержка распространения. Для выполнения преобразований может потребоваться до одного часа.

• Поддержка таблиц. Только таблицы, поддерживающие правила сбора данных (DCR), поддерживают преобразования разделения и фильтрации.

Связанные материалы

• Прием и преобразование пользовательских данных в Microsoft Sentinel
• Преобразование или настройка данных во время приема в Microsoft Sentinel
• Правила сбора данных в мониторе Azure
• Примеры правил сбора данных в Azure Monitor
• Найдите нужный соединитель данных Microsoft Sentinel