Нормализация времени приема

Синтаксический анализ времени запроса

Как описано в обзоре ASIM, Microsoft Sentinel использует нормализацию времени запроса и времени приема, чтобы воспользоваться преимуществами каждого из них.

Чтобы использовать нормализацию времени запроса, используйте средства синтаксического анализа времени запроса, например _Im_Dns в запросах. Нормализация с помощью синтаксического анализа во время запроса имеет ряд преимуществ:

  • Сохранение исходного формата. Нормализация времени запроса не требует изменения данных, тем самым сохраняя исходный формат данных, отправляемый источником.
  • Предотвращение потенциального дублирования хранилища. Так как нормализованные данные являются только представлением исходных данных, нет необходимости хранить как исходные, так и нормализованные данные.
  • Упрощенная разработка. Так как средства синтаксического анализа времени запроса представляют представление данных и не изменяют данные, их легко разрабатывать. Разработка, тестирование и исправление средства синтаксического анализа можно выполнять с существующими данными. Кроме того, средства синтаксического анализа можно исправить при обнаружении проблемы, а исправление применяется к существующим данным.

Анализ времени приема

Хотя средства синтаксического анализа времени запросов ASIM оптимизированы, синтаксический анализ во время запросов может замедлить выполнение запросов, особенно в больших наборах данных.

Синтаксический анализ времени приема позволяет преобразовывать события в нормализованную схему при их приеме в Microsoft Sentinel и хранить их в нормализованном формате. Синтаксический анализ времени приема менее гибкий, и средства синтаксического анализа сложнее разрабатывать, но поскольку данные хранятся в нормализованном формате, обеспечивает более высокую производительность.

Нормализованные данные могут храниться в собственных нормализованных таблицах Microsoft Sentinel или в пользовательской таблице, использующей схему ASIM. Пользовательская таблица со схемой, близкой к схеме ASIM, но не идентичной, также обеспечивает преимущества нормализации времени приема.

В настоящее время ASIM поддерживает следующие собственные нормализованные таблицы в качестве назначения для нормализации времени приема:

Преимущество собственных нормализованных таблиц заключается в том, что они по умолчанию включаются в средства унифицированного синтаксического анализа ASIM. Пользовательские нормализованные таблицы можно включить в объединяющие средства синтаксического анализа, как описано в разделе Управление средствами синтаксического анализа.

Объединение времени приема и нормализации времени запроса

Запросы всегда должны использовать унифицированные средства синтаксического анализа времени запроса, например _Im_Dns , чтобы воспользоваться преимуществами нормализации времени запроса и времени приема. Собственные нормализованные таблицы включаются в запрашиваемые данные с помощью средства синтаксического анализа заглушки.

Средство синтаксического анализа заглушки — это средство синтаксического анализа времени запросов, которое использует в качестве входных данных нормализованную таблицу. Так как нормализованная таблица не требует синтаксического анализа, средство синтаксического анализа заглушки эффективно.

Средство синтаксического анализа заглушки представляет представление вызывающего запроса, который добавляется в собственную таблицу ASIM:

  • Псевдонимы . Чтобы не тратить хранение повторяющихся значений, псевдонимы не хранятся в собственных таблицах ASIM и добавляются во время запроса средствами синтаксического анализа заглушки.
  • Константные значения . Как и псевдонимы, и по той же причине в нормализованных таблицах ASIM также не хранятся значения констант, такие как EventSchema. Средство синтаксического анализа заглушки добавляет эти поля. Нормализованная таблица ASIM совместно используется многими источниками, и средства синтаксического анализа времени приема могут изменить выходную версию. Таким образом, такие поля, как EventProduct, EventVendor и EventSchemaVersion , не являются постоянными и не добавляются анализатором заглушки.
  • Фильтрация — средство синтаксического анализа заглушки также реализует фильтрацию. Хотя в собственных таблицах ASIM не требуются средства синтаксического анализа фильтрации для повышения производительности, фильтрация необходима для поддержки включения в унифицированный синтаксический анализатор.
  • Обновления и исправления. Использование средства синтаксического анализа заглушки позволяет быстрее устранять проблемы. Например, если данные были приняты неправильно, IP-адрес, возможно, не был извлечен из поля сообщения во время приема. IP-адрес можно извлечь с помощью средства синтаксического анализа заглушки во время запроса.

При использовании пользовательских нормализованных таблиц создайте собственный анализатор заглушки для реализации этой функции и добавьте его в унифицированные средства синтаксического анализа, как описано в разделе Управление средствами синтаксического анализа. В качестве отправной точки используйте средство синтаксического анализа заглушки для собственной таблицы, например средства синтаксического анализа собственных таблиц DNS и его аналога для фильтрации. Если таблица является полунормализованной, используйте средство синтаксического анализа заглушки, чтобы выполнить дополнительный необходимый анализ и нормализацию.

Дополнительные сведения о написании средства синтаксического анализа см. в статье Разработка анализаторов ASIM.

Реализация нормализации времени приема

Чтобы нормализовать данные при приеме, необходимо использовать правило сбора данных (DCR). Процедура реализации DCR зависит от метода, используемого для приема данных. Дополнительные сведения см. в статье Преобразование или настройка данных во время приема в Microsoft Sentinel.

Запрос преобразования KQL является ядром DCR. Версия KQL, используемая в dcr, немного отличается от версии, используемой в других местах в Microsoft Sentinel в соответствии с требованиями обработки событий конвейера. Поэтому необходимо изменить любое средство синтаксического анализа во время запроса, чтобы использовать его в DCR. Дополнительные сведения о различиях и способах преобразования средства синтаксического анализа во время запроса в средство синтаксического анализа во время приема см. в статье Об ограничениях KQL DCR.

Связанные материалы

  • Last updated on