Преобразования сбора данных в Azure Monitor
С помощью преобразований в Azure Monitor можно фильтровать или изменять входящие данные перед отправкой в рабочую область Log Analytics. В этой статье представлено базовое описание преобразований и их реализации. Он предоставляет ссылки на другое содержимое для создания преобразования.
Преобразования выполняются в конвейере приема данных в Azure Monitor после доставки данных источником данных и перед их отправкой в место назначения. Источник данных может выполнять собственную фильтрацию перед отправкой данных, но затем полагаться на преобразование для дальнейшей манипуляции перед отправкой в место назначения.
Преобразования определяются в правиле сбора данных (DCR) и используют инструкцию язык запросов Kusto (KQL), которая применяется отдельно к каждой записи в входящих данных. Инструкция должна определить формат входящих данных и создать выходные данные в структуре, ожидаемой местом назначения.
На следующей схеме показан процесс преобразования для входящих данных и показан пример запроса, который может использоваться. Сведения о создании запросов преобразования см. в разделе "Структура преобразования" в Azure Monitor .
Почему следует использовать преобразования
В следующей таблице описаны различные цели, которые можно достичь с помощью преобразований.
| Категория | Сведения |
|---|---|
| Удаление конфиденциальных данных | Возможно, у вас есть источник данных, который отправляет информацию, которую вы не хотите хранить по соображениям конфиденциальности или комплианности. Фильтрация конфиденциальных данных. Отфильтруйте все строки или определенные столбцы, содержащие конфиденциальную информацию. Маскирование конфиденциальной информации. Замените такие данные, как цифры в IP-адресе или номере телефона общим символом. Отправка в альтернативную таблицу. Отправка конфиденциальных записей в альтернативную таблицу с другой конфигурацией управления доступом на основе ролей. |
| Обогащение данных с помощью дополнительных или вычисляемых сведений | Используйте преобразование для добавления в данные информации, предоставляющей бизнес-контекст или упрощающей последующие запросы к данным. Добавьте столбец с дополнительными сведениями. Например, можно добавить столбец, определяющий, является ли IP-адрес в другом столбце внутренним или внешним. Добавьте сведения, относящиеся к бизнесу. Например, можно добавить столбец, указывающий подразделение компании на основании сведений о расположении в других столбцах. |
| Сокращение расходов на данные | Так как плата взимается за прием любых данных, отправленных в рабочую область Log Analytics, вы хотите отфильтровать любые данные, которые не требуются для снижения затрат. Удаление целых строк. Например, у вас может быть параметр диагностики для сбора журналов ресурсов из определенного ресурса, но не требует всех записей журнала, создаваемых им. Создайте преобразование, которое отбирает записи по определенным критериям. Удаление столбца из каждой строки. Например, данные могут содержать столбцы с избыточными или минимальными значениями. Создайте преобразование, отфильтровывающее ненужные столбцы. Анализ важных данных из столбца. У вас может быть таблица с ценными данными, похороненными в определенном столбце. Используйте преобразование для анализа ценных данных в новом столбце и удаления исходного столбца. Отправка определенных строк в базовые журналы. Отправляйте строки в данных, для которых требуются базовые возможности запроса, в базовые таблицы журналов для снижения затрат на прием. |
| Форматирование данных для назначения | У вас может быть источник данных, который отправляет данные в формате, который не соответствует структуре целевой таблицы. Используйте преобразование для переформатации данных в требуемую схему. |
Поддерживаемые таблицы
Сведения о таблицах, поддерживающих преобразования в журналах Azure Monitor, см. в списке таблиц, которые можно использовать с преобразованиями. Вы также можете использовать ссылку на данные Azure Monitor, в которой перечислены атрибуты для каждой таблицы, включая, поддерживает ли она преобразования. Помимо этих таблиц также поддерживаются любые пользовательские таблицы (суффикс _CL).
- Любая таблица Azure, указанная в таблицах, поддерживающих преобразования в журналах Azure Monitor. Вы также можете использовать ссылку на данные Azure Monitor, в которой перечислены атрибуты для каждой таблицы, включая, поддерживает ли она преобразования.
- Любая пользовательская таблица, созданная для агента Azure Monitor. (Пользовательская таблица MMA не может использовать преобразования)
Создание преобразования
Способы создания преобразований зависят от метода сбора данных. В следующей таблице приводятся рекомендации по различным способам создания преобразований.
| сбор данных | Справочные материалы |
|---|---|
| API приема журналов | Отправка данных в журналы Azure Monitor с помощью REST API (портал Azure) Отправка данных в журналы Azure Monitor с помощью REST API (шаблоны Azure Resource Manager) |
| Виртуальная машина с агентом Azure Monitor | Добавление преобразования в журнал Azure Monitor |
| Кластер Kubernetes с аналитикой контейнеров | Преобразования данных в аналитике контейнеров |
| Центры событий Azure | Руководство. Прием событий из Центры событий Azure в журналы Azure Monitor (общедоступная предварительная версия) |
Затраты на преобразования
Хотя преобразования сами по себе не несут прямых затрат, следующие сценарии могут привести к дополнительным расходам:
- Если преобразование увеличивает размер входящих данных, например путем добавления вычисляемого столбца, вы будете взимать плату за стандартную скорость приема для дополнительных данных.
- Если преобразование уменьшает прием данных более чем на 50%, вы будете взиматься за объем отфильтрованных данных выше 50 %.
Чтобы вычислить плату за обработку данных, полученную из преобразований, используйте следующую формулу:
[ГБ, отфильтрованный по преобразованиям] — ([ГБ данных, принятых конвейером] / 2). В следующей таблице показаны примеры.
| Прием данных конвейером | Данные, удаленные путем преобразования | Прием данных в рабочей области Log Analytics | Плата за обработку данных | Плата за прием |
|---|---|---|---|---|
| 20 ГБ | 12 ГБ | 8 ГБ | 2 ГБ 1 | 8 ГБ |
| 20 ГБ | 8 ГБ | 12 ГБ | 0 ГБ | 12 ГБ |
1 Эта плата исключает плату за прием данных в рабочей области Log Analytics.
Чтобы избежать этой платы, перед применением преобразований следует фильтровать прием данных с помощью альтернативных методов. Таким образом, можно уменьшить объем данных, обработанных преобразованиями, и, следовательно, свести к минимуму дополнительные затраты.
Сведения о ценах на Azure Monitor для приема и хранения данных журнала в Azure Monitor см. в ценах на текущие расходы.
Внимание
Если Azure Sentinel включена для рабочей области Log Analytics, плата за прием не взимается независимо от объема данных фильтров преобразования.