Нормализация времени приема

Синтаксический анализ времени запроса

Как описано в обзоре ASIM, Microsoft Sentinel использует нормализацию времени запроса и времени приема, чтобы воспользоваться преимуществами каждого из них.

Чтобы использовать нормализацию времени запроса, используйте средства синтаксического анализа времени запроса, например _Im_Dns в запросах. Нормализация с помощью синтаксического анализа во время запроса имеет ряд преимуществ:

  • Сохранение исходного формата. Нормализация времени запроса не требует изменения данных, тем самым сохраняя исходный формат данных, отправляемый источником.
  • Предотвращение потенциального дублирования хранилища. Так как нормализованные данные являются только представлением исходных данных, нет необходимости хранить как исходные, так и нормализованные данные.
  • Упрощенная разработка. Так как средства синтаксического анализа времени запроса представляют представление данных и не изменяют данные, их легко разрабатывать. Разработка, тестирование и исправление средства синтаксического анализа можно выполнять с существующими данными. Кроме того, средства синтаксического анализа можно исправить при обнаружении проблемы, а исправление применяется к существующим данным.

Анализ времени приема

Хотя анализаторы ASIM, выполняющие разбор во время выполнения запроса, оптимизированы, такой разбор может замедлять запросы, особенно при работе с большими наборами данных.

Синтаксический анализ времени приема позволяет преобразовывать события в нормализованную схему при их приеме в Microsoft Sentinel и хранить их в нормализованном формате. Анализ временных данных при приёме менее гибок, а парсеры сложнее разрабатывать, но, поскольку данные хранятся в нормализованном формате, такой подход обеспечивает более высокую производительность.

Нормализованные данные могут храниться в собственных нормализованных таблицах Microsoft Sentinel или в пользовательской таблице, использующей схему ASIM. Пользовательская таблица, схема которой близка к схеме ASIM, но не идентична ей, также дает преимущества в производительности благодаря нормализации на этапе приема данных.

В настоящее время ASIM поддерживает следующие собственные таблицы с нормализованными данными в качестве целевых для нормализации на этапе приема данных:

Преимущество собственных нормализованных таблиц заключается в том, что они по умолчанию включаются в средства унифицированного синтаксического анализа ASIM. Пользовательские нормализованные таблицы можно добавлять в унифицирующие парсеры, как описано в разделе Управление парсерами.

Объединение времени приема и нормализации времени запроса

Запросы всегда должны использовать унифицированные средства синтаксического анализа времени запроса, например _Im_Dns , чтобы воспользоваться преимуществами нормализации времени запроса и времени приема. Встроенные нормализованные таблицы включаются в данные запроса с помощью парсера-заглушки.

Stub-парсер — это парсер, используемый во время выполнения запроса и принимающий на вход нормализованную таблицу. Поскольку нормализованная таблица не требует синтаксического анализа, парсер-заглушка эффективен.

Парсер-заглушка предоставляет вызывающему запросу представление, которое дополняет собственную таблицу ASIM:

  • Псевдонимы — чтобы не расходовать место на хранение повторяющихся значений, псевдонимы не хранятся в собственных таблицах ASIM и добавляются при выполнении запроса парсерами-заглушками.
  • Константные значения . Как и псевдонимы, и по той же причине в нормализованных таблицах ASIM также не хранятся значения констант, такие как EventSchema. Парсер заглушек добавляет эти поля. Нормализованная таблица ASIM используется многими источниками, и парсеры на этапе приема данных могут изменять версию выходных данных. Таким образом, такие поля, как EventProduct, EventVendor и EventSchemaVersion, не являются фиксированными и не добавляются парсером-заглушкой.
  • Фильтрация — парсер заглушек также поддерживает фильтрацию. Хотя собственным таблицам ASIM не нужны парсеры фильтрации для достижения более высокой производительности, фильтрация необходима, чтобы поддерживать включение в унифицирующий парсер.
  • Обновления и исправления — использование упрощённого синтаксического анализатора позволяет быстрее исправлять ошибки. Например, если данные были некорректно обработаны, IP-адрес мог не быть извлечён из поля сообщения при обработке. IP-адрес можно извлечь stub-парсером при выполнении запроса.

При использовании пользовательских нормализованных таблиц создайте собственный анализатор заглушки для реализации этой функции и добавьте его в унифицированные средства синтаксического анализа, как описано в разделе Управление средствами синтаксического анализа. Используйте парсер-заглушку для нативной таблицы, например парсер-заглушку нативной таблицы DNS и его соответствующий вариант для фильтрации, в качестве отправной точки. Если таблица полунормализована, используйте stub-parser, чтобы выполнить необходимый дополнительный синтаксический разбор и нормализацию.

Дополнительные сведения о написании анализаторов ASIM см. в статье «Разработка анализаторов ASIM».

Реализация нормализации времени приема

Чтобы нормализовать данные при приеме, необходимо использовать правило сбора данных (DCR). Процедура реализации DCR зависит от метода, используемого для приема данных. Дополнительные сведения см. в статье «Преобразование или настройка данных при приеме в Microsoft Sentinel».

Запрос преобразования KQL является ядром DCR. Версия KQL, используемая в dcr, немного отличается от версии, используемой в других местах в Microsoft Sentinel в соответствии с требованиями обработки событий конвейера. Поэтому необходимо изменить любой парсер, используемый при выполнении запроса, чтобы его можно было использовать в DCR. Дополнительные сведения о различиях и о том, как преобразовать анализатор на этапе выполнения запроса в анализатор на этапе приема данных, см. в статье об ограничениях DCR KQL.

Связанные материалы

  • Last updated on