Преобразования в Azure Monitor

Преобразования в Azure Monitor позволяют фильтровать или изменять входящие данные до того, как они будут отправлены в рабочую область Log Analytics. Преобразования выполняются после того, как источник данных доставляет данные и перед его отправкой в место назначения. Они определены в правиле сбора данных (DCR) и используют инструкцию язык запросов Kusto (KQL), которая применяется отдельно к каждой записи в входящих данных.

На следующей схеме показан процесс преобразования для входящих данных и показан пример запроса, который может использоваться. В этом примере собираются только те записи, в столбце message которых содержится слово error.

Поддерживаемые таблицы

Следующие таблицы в рабочей области Log Analytics поддерживают преобразования.

• Любая таблица Azure из числа перечисленных в таблицах, поддерживающих преобразования в журналах Azure Monitor. Вы также можете использовать ссылку на данные Azure Monitor, в которой перечислены атрибуты для каждой таблицы, включая, поддерживает ли она преобразования.
• Любая пользовательская таблица, созданная для агента Azure Monitor.

Создайте преобразование

Существуют некоторые сценарии сбора данных, которые позволяют добавлять преобразование с помощью портала Azure, но большинство сценариев требуют создания нового DCR с помощью определения JSON или добавления преобразования в существующий DCR. См. статью "Создание преобразования в Azure Monitor" для различных вариантов и рекомендаций и примеров преобразований в Azure Monitor для примеров запросов преобразования для распространенных сценариев.

DCR трансформация рабочей области

Преобразования определяются в правиле сбора данных (DCR), но в Azure Monitor по-прежнему существуют коллекции данных, которые еще не используют DCR. Примеры включают журналы ресурсов, собранные с помощью параметров диагностики, и данные приложения, собранные с помощью Application Insights.

Правило сбора данных преобразования рабочей области (DCR) — это специальный DCR, который применяется непосредственно к рабочей области Log Analytics. Цель этого DCR заключается в том, чтобы выполнять преобразования данных, которые еще не используют DCR для сбора данных, и поэтому не имеет средств для определения преобразования.

Для каждой рабочей области может быть только один DCR этой рабочей области, но он может включать преобразования для любого количества поддерживаемых таблиц. Эти преобразования применяются ко всем данным, отправляемым в эти таблицы, если данные не пришли из другого DCR.

Например, таблица событий используется для хранения событий из виртуальных машин Windows. Если вы создаете преобразование рабочей области в DCR для таблицы событий, оно будет применено к событиям, собранным виртуальными машинами, использующими агент Log Analytics¹, поскольку агент не использует DCR. Преобразование будет игнорироваться, хотя любые данные, отправляемые агентом Azure Monitor (AMA), так как он использует DCR для определения сбора данных. Вы по-прежнему можете использовать преобразование с агентом Azure Monitor, но вы бы включили это преобразование в DCR, связанный с агентом, а не в DCR преобразования рабочей области.

¹ Агент Log Analytics устарел, но некоторые среды по-прежнему могут использовать его. Это только один пример источника данных, который не использует DCR.

Затраты на преобразования

Обработка журналов (преобразование и фильтрация) в облачном конвейере Azure Monitor имеет различные последствия выставления счетов в зависимости от типа таблицы, в которую принимаются данные в рабочей области Log Analytics.

Вспомогательные журналы

Вспомогательные журналы взимают плату за обработку и получение данных в рабочее пространство Log Analytics. Плата за обработку данных применяется ко всем входящим данным, полученным облачным конвейером Azure Monitor, если назначение в рабочей области Log Analytics — это таблица вспомогательных журналов. Плата за прием данных применяется только к данным после преобразования, которые загружаются как таблица вспомогательных журналов в рабочую область Log Analytics. Преобразования могут увеличить размер данных.

В следующих таблицах показаны некоторые примеры:

См. цены на Azure Monitor для обработки журналов и приема данных журнала.

Аналитика или базовые журналы

Для аналитики или базовых журналов преобразования обычно не несут никаких затрат, но следующие сценарии могут привести к дополнительным затратам:

• Если преобразование увеличивает размер входящих данных, например путем добавления вычисляемого столбца, взимается стандартная скорость приема для дополнительных данных.
• Если преобразование уменьшает объем полученных данных более чем на 50%, плата взимается за объем данных, отфильтрованных выше 50%.

Чтобы вычислить плату за обработку данных, полученную из преобразований, используйте следующую формулу:

[ДАННЫЕ ГБ, удаленные преобразованием] — ([размер входящих данных в ГБ] / 2).

В следующей таблице показаны примеры.

Чтобы избежать этого расхода, следует фильтровать загружаемые данные альтернативными методами перед применением преобразований. Таким образом, можно уменьшить объем данных, обработанных преобразованиями, и, следовательно, свести к минимуму дополнительные затраты.

См. Цены на Azure Monitor для получения информации о ценах на обработку журналов и загрузку данных журнала.

Дальнейшие действия

• Дополнительные сведения о правилах сбора данных (DCR).
• Создайте правила преобразования рабочей области, которые применяются к данным, не собранным с помощью DCR.