Правила сбора данных (DCR) в Azure Monitor

Правила сбора данных (DCR) являются частью процесса извлечения, преобразования и загрузки (ETL), который улучшает устаревшие методы сбора данных для Azure Monitor. Этот процесс использует общую стратегию приема данных для всех источников данных и стандартный метод конфигурации, который является более управляемым и масштабируемым, чем предыдущие методы сбора.

Во многих сценариях мониторинга вам не нужно понимать, как создается или назначается DCR. Вы можете просто использовать рекомендации на портале Azure для включения и настройки сбора данных, а Azure Monitor создает и настраивает для вас DCR. В этой статье содержатся дополнительные сведения о том, как работают контроллеры домена, чтобы приступить к созданию и настройке их вручную, чтобы можно было настроить процесс сбора данных.

К конкретным преимуществам сбора данных на основе DCR относятся:

• Согласованный метод для настройки различных источников данных.
• Возможность применить преобразование для фильтрации или изменения входящих данных перед отправкой в место назначения.
• Масштабируемые параметры конфигурации, поддерживающие модель "инфраструктура как код" и процессы DevOps.
• Вариант конвейера Azure Monitor в собственной среде для обеспечения высокой масштабируемости, многоуровневых конфигураций сети и периодического подключения.

Просмотр контроллеров домена

Правила сбора данных (DCR) хранятся в Azure и централизованно развертываются и управляются, как и любой другой ресурс Azure. Они предоставляют согласованный централизованный способ определения и настройки различных сценариев сбора данных. Чтобы просмотреть все правила сбора данных в вашей подписке и изучить определение DCR, см. раздел Просмотр правил сбора данных.

Замена устаревших методов сбора данных

Процесс сбора данных, использующий правила сбора данных (DCR), заменяет другие методы сбора данных в Azure Monitor. В следующей таблице перечислены устаревшие методы и их замены на основе DCR. В будущем ожидается, что правила сбора данных (DCR) заменят другие методы сбора данных в Azure Monitor.

Процесс сбора данных

Процесс сбора данных, который поддерживается DCR, обеспечивает единый конвейер обработки входящих данных. Каждый сценарий сбора данных определяется в DCR. DCR содержит инструкции по обработке получаемых данных в Azure Monitor. В зависимости от сценария DCR определяют все или некоторые из следующих элементов:

• Данные для сбора и отправки в Azure Monitor.
• Схема входящих данных.
• Преобразования, применяемые к данным перед сохранением.
• Назначение, в котором должны отправляться данные.

Связи правил сбора данных (DCRAs)

Создайте ассоциации правил сбора данных (DCRA) между ресурсом и правилом сбора данных (DCR), чтобы поддержать определенные сценарии сбора данных. Это связь «многие ко многим», при которой можно связать несколько ресурсов с одним DCR и до 30 DCR с одним ресурсом. Разработайте стратегию для поддержания мониторинга между наборами ресурсов с различными требованиями.

Использование DCR

После создания DCR используйте различные методы для его использования в зависимости от сценария сбора данных. В следующей таблице перечислены распространенные сценарии и метод, используемый для сбора данных в каждом случае. В следующих разделах приведены дополнительные сведения о каждом методе.

Сценарии

В следующих разделах описываются распространенные сценарии использования контроллеров домена для сбора данных в Azure Monitor. Они описывают сведения, включенные в DCR, и метод, используемый для указания того, какой DCR будет использоваться для этого сценария.

Агент Azure Monitor (AMA)

Используйте агент Azure Monitor (AMA) для сбора данных из виртуальных машин и кластеров Kubernetes. На следующей схеме показано, как AMA собирает данные при запуске на виртуальной машине. При установке агент подключается к Azure Monitor, чтобы получить все связанные с ним правила сбора данных (DCR). В этом сценарии правила сбора данных указывают события и данные о производительности, которые необходимо собирать. Для кластера Kubernetes эта коллекция также включает метрики Prometheus. Агент использует эти сведения для определения данных, собираемых с компьютера, и при необходимости применяет преобразование на стороне клиента (Preview<) для фильтрации и преобразования данных перед отправкой данных в Azure Monitor. После отправки данных запускаются все указанные в DCR преобразования, выполняемые во время приема данных, для дальнейшей фильтрации и изменения данных. Затем Azure Monitor доставляет данные в указанное место назначения.

Дополнительные сведения см. в разделе Сбор данных с клиента виртуальной машины с помощью Azure Monitor и Включение мониторинга для кластеров Kubernetes.

Центры событий (предварительная версия)

На следующей схеме показано, как данные поступают в рабочую область Log Analytics непосредственно из Центров событий. Когда концентратор событий получает данные, он передает данные в Azure Monitor. Azure Monitor затем преобразует данные и отправляет их во все целевые расположения, указанные в любых связанных с ними правилах сбора данных (DCR).

Дополнительные сведения см. в разделе Прием событий из Центры событий Azure в журналы Azure Monitor (предварительная версия).

Метрики платформы (предварительная версия)

Ресурсы Azure автоматически собирают метрики платформы и отправляют их в Azure Monitor Metrics. На следующей схеме показан процесс использования DCR для отправки этих данных в рабочую область Log Analytics для анализа с помощью запросов журналов. Этот процесс заменяет текущий метод использования параметров диагностики для выполнения этой функции.

При создании DCR указывает рабочую область и таблицу, в которой должны отправляться данные. DCR также включает преобразование, которое гарантирует, что данные имеют правильный формат для целевой таблицы. Затем DCR связывается с ресурсом, из которого собираются метрики платформы.

Дополнительные сведения см. в разделе "Экспорт метрик" с помощью правил сбора данных.

Прямое прием

Используйте прямой прием данных, чтобы указать конкретный DCR для обработки входящих данных. Например, на следующей схеме показаны данные из пользовательского приложения с помощью API приема журналов. Каждый вызов API задает DCR, обрабатывающий его данные. DCR понимает структуру входящих данных, включает преобразование , которое гарантирует, что данные имеют формат целевой таблицы, а также указывает рабочую область и таблицу для отправки преобразованных данных.

Дополнительные сведения см. в разделе API приема журналов.

DCR трансформация рабочей области

DCR преобразования рабочей области предоставляют преобразования для сбора данных, в которых не используется DCR. Они применяются непосредственно к рабочей области Log Analytics. Создав или обновив DCR, разрешите некоторое время, чтобы преобразования вступают в силу для входящих данных.

Дополнительные сведения см. в разделе DCR для преобразования рабочей области.

Преобразования

Преобразования — это запросы KQL , включенные в DCR, которые выполняются для каждой полученной записи. Они позволяют изменять входящие данные, прежде чем они хранятся в Azure Monitor или отправляются в другое место назначения. Отфильтруйте ненужные данные, чтобы сократить затраты на прием данных, удалить конфиденциальные данные, которые не должны сохраняться в рабочей области Log Analytics, или отформатировать данные так, чтобы они соответствовали схеме назначения. Преобразования также обеспечивают расширенные сценарии, такие как отправка данных в несколько пунктов назначения или обогащение данных еще больше информации.

Преобразования с несколькими этапами (предварительная версия) позволяют объединять несколько преобразований в одном DCR, где выходные данные одного преобразования являются входными данными следующего. Ключевыми компонентами многоэтапных преобразований являются:

• Преобразования на стороне клиента, назначенные источнику данных
• Преобразования при приеме данных, выполняемые в Azure Monitor и назначенные для потока данных

Регионы DCR

Правила сбора данных доступны во всех общедоступных регионах, где поддерживаются рабочие области Log Analytics и Azure для государственных организаций и облака Китая. Облака с воздушным зазором пока не поддерживаются. Вы создаете и храните DCR в определенном регионе, а служба создает резервную копию в парном регионе в пределах той же географической области. Служба развертывается во всех трех зонах доступности в регионе. По этой причине это зонально-резервированный сервис, что дополнительно увеличивает доступность.

Размещение данных в одном регионе — это предварительная версия функции, которая позволяет хранить данные клиентов в одном регионе, и в настоящее время доступна только в регионе Юго-Восточная Азия (Сингапур) в Гео Азиатско-Тихоокеанского региона и в регионе Бразилия Южная (штат Сан-Паулу) в Гео Бразилия. По умолчанию в этих регионах включена однорегионная резиденция.

Связанный контент

Для получения дополнительной информации о работе с DCR см. следующий раздел:

• Структура правила сбора данных для описания структуры JSON для DCR и различных элементов, используемых в разных рабочих процессах.
• Примеры правил сбора данных (DCR) для образцов DCR в различных сценариях сбора данных.
• Создание и изменение правил сбора данных (DCR) в Azure Monitor для различных методов создания правил для разных сценариев сбора данных.
• Обзор конечных точек сбора данных (DCE) в полном контексте, необходимом для прямого приема с использованием API приема журналов.
• Ограничения службы Azure Monitor, применяемые к каждому DCR.