Руководство: Добавление преобразования в правило сбора данных рабочей области с помощью портала Azure

В этом руководстве описывается настройка примера преобразования в правиле сбора данных рабочей области (DCR) с помощью портала Azure. Преобразования в Azure Monitor позволяют фильтровать или изменять входящие данные до отправки в место назначения. Преобразования рабочей области обеспечивают поддержку преобразований времени приема для рабочих процессов, которые еще не используют конвейер приема данных Azure Monitor.

Преобразования рабочей области хранятся вместе в одном DCR для рабочей области, который называется DCR рабочей области. Каждое преобразование связано с определенной таблицей. Преобразование будет применено ко всем данным, отправленным в эту таблицу из любого рабочего процесса, не использующего DCR.

В этом руководстве описано следующее:

Предварительные условия

Для работы с этим учебником необходимы указанные ниже компоненты.

• Рабочая область Log Analytics, в которой у вас есть по крайней мере права участника.
• Разрешения на создание объектов DCR в рабочей области.
• Таблица, которая уже содержит некоторые данные.
• Нельзя присоединить таблицу к преобразованию рабочей области DCR.

Обзор

В этом учебнике вы уменьшите требуемое место для хранения данных в таблице LAQueryLogs, отфильтровав определенные записи. Вы также удалите содержимое столбца при анализе его данных для сохранения фрагмента данных в пользовательском столбце. Таблица LAQueryLogs создается при включении аудита запросов к журналу в рабочей области. Этот же базовый процесс можно использовать для создания преобразования любой поддерживаемой таблицы в рабочей области Log Analytics.

В этом руководстве используется портал Azure, который предоставляет мастер, который проведет вас через процесс создания преобразования на этапе приема данных. После завершения действий вы увидите, что мастер:

• Обновляет схему таблицы с любыми другими столбцами из запроса.
• WorkspaceTransforms Создает DCR и связывает его с рабочей областью, если DCR по умолчанию еще не связан с рабочей областью.
• Создаёт преобразование на этапе приема данных и добавляет его в DCR.

Включение журналов аудита запросов

Чтобы создать таблицу , с которой вы будете работать, необходимо включить LAQueryLogs для рабочей области. Этот шаг не требуется для всех преобразований времени приема. Этот шаг необходим для создания демонстрационных данных, с которыми мы будем работать.

1. В меню рабочих областей Log Analytics на портале Azure выберите Параметры диагностики, затем >.

   

2. Введите имя параметра диагностики. Выберите рабочую область, чтобы данные аудита хранились в той же рабочей области. Выберите категорию аудита и нажмите кнопку "Сохранить", чтобы сохранить параметр диагностики и закрыть страницу параметров диагностики.

   

3. Выберите Журналы, а затем выполните несколько запросов, чтобы наполнить LAQueryLogs данными. Для добавления в журнал аудита этим запросам не требуется ничего возвращать.

   

Добавление преобразования в таблицу

Теперь, когда таблица создана, для нее можно создать преобразование.

1. В меню рабочих областей "Log Analytics" в портале Azure выберите Таблицы. Перейдите к таблице LAQueryLogs и выберите Создать преобразование.

   

2. Поскольку это преобразование является первым в рабочей области, необходимо создать DCR для преобразования рабочей области. Если вы создаете преобразования для других таблиц в той же рабочей области, они будут храниться в этом же DCR. Выберите " Создать новое правило сбора данных". Параметры Подписка и Группа ресурсов для рабочей области будут уже заполнены. Введите имя DCR и нажмите кнопку "Готово".

   

3. Выберите Далее, чтобы просмотреть образцы данных из таблицы. При определении преобразования результат будет применен к образцу данных. По этой причине вы можете оценить результаты перед применением его к фактическим данным. Выберите редактор преобразования, чтобы определить преобразование.

   

4. В редакторе преобразования можно увидеть преобразование, которое будет применено к данным перед их загрузкой в таблицу. Входящие данные представлены виртуальной таблицей под названием source с тем же набором столбцов, что и целевая таблица. Преобразование изначально содержит простой запрос, возвращающий таблицу source без изменений.

5. Измените запрос на следующий пример:

   source
   | where QueryText !contains 'LAQueryLogs'
   | extend Context = parse_json(RequestContext)
   | extend Workspace_CF = tostring(Context['workspaces'][0])
   | project-away RequestContext, Context
   

   Изменение вносит следующие изменения:

   • Строки, связанные с запросом самой LAQueryLogs таблицы, были удалены для экономии места, так как эти записи журнала не полезны.
   • Добавлен столбец имени рабочей области, запрашиваемой.
   • Данные из столбца RequestContext были удалены для экономии места.

   Примечание.

   При использовании портала Azure выходные данные преобразования будут при необходимости инициировать изменения в схеме таблицы. Если требуемые столбцы ещё не существуют, они будут добавлены для соответствия выходным данным преобразования. Убедитесь, что выходные данные не содержат столбцов, которые вы не хотите добавить в таблицу. Если выходные данные не содержат столбцы, которые уже находятся в таблице, эти столбцы не будут удалены, но данные не будут добавлены.

   Все настраиваемые столбцы, добавленные в встроенную таблицу, должны заканчиваться _CF. Столбцы, добавленные в настраиваемую таблицу, не должны иметь этот суффикс. Пользовательская таблица имеет имя, которое заканчивается _CL.

6. Скопируйте запрос в редактор преобразования и выберите "Выполнить ", чтобы просмотреть результаты из примера данных. Вы можете убедиться, что новый столбец Workspace_CF содержится в запросе.

   

7. Нажмите кнопку "Применить" , чтобы сохранить преобразование, а затем нажмите кнопку "Далее ", чтобы просмотреть конфигурацию. Выберите "Создать", чтобы обновить DCR с помощью нового преобразования.

   

Тестирование преобразования

Преобразование вступает в силу в течение 30 минут. После этого протестируйте его, выполнив запрос к таблице. Будут затронуты только данные, отправленные в таблицу после применения преобразования.

Для работы с этим учебником выполните несколько примеров запросов для отправки данных в таблицу LAQueryLogs. Включите некоторые запросы по LAQueryLogs, чтобы убедиться, что преобразование фильтрует эти записи. Теперь выходные данные имеют новый столбец Workspace_CF, и нет записей для LAQueryLogs.

Устранение неполадок

В этом разделе описаны различные условия ошибки, которые могут возникнуть и как их исправить.

IntelliSense в Log Analytics не распознает новые столбцы в таблице

Кэш, который поддерживает IntelliSense, может занять до 24 часов на обновление.

Преобразование в динамическом столбце не работает

Известная проблема в настоящее время влияет на динамические столбцы. Временное решение заключается в том, чтобы явно проанализировать данные динамического столбца, используя parse_json(), перед выполнением любых операций с ними.

Следующие шаги

• Узнайте больше о преобразованиях
• Сведения о том, какие таблицы поддерживают преобразования рабочей области
• Дополнительные сведения о написании запросов преобразования