Правила сбора данных (DCR) в Azure Monitor

Правила сбора данных (DCR) являются частью процесса извлечения, преобразования и загрузки (ETL), который улучшает устаревшие методы сбора данных для Azure Monitor. Этот процесс использует общий конвейер приема данных для всех источников данных и стандартный метод конфигурации, который является более управляемым и масштабируемым, чем предыдущие методы сбора.

К конкретным преимуществам сбора данных на основе DCR относятся:

• Согласованный метод для настройки различных источников данных.
• Возможность применить преобразование для фильтрации или изменения входящих данных перед отправкой в место назначения.
• Масштабируемые параметры конфигурации, поддерживающие модель "инфраструктура как код" и процессы DevOps.
• Возможность конвейера на границе сети в вашей собственной среде для обеспечения высокоуровневой масштабируемости, многоуровневых конфигураций сети и периодической подключаемости.

Просмотр контроллеров домена

Правила сбора данных (DCR) хранятся в Azure, чтобы их можно было централизованно развертывать и управлять, как и любой другой ресурс Azure. Они предоставляют согласованный и централизованный способ определения и настройки различных сценариев сбора данных.

Просмотрите все контроллеры домена в подписке из параметра "Правила сбора данных" в меню "Монитор" в портал Azure. Независимо от метода, используемого для создания DCR, и подробностей самого DCR, все DCR в подписке отображены на этом экране.

Заменены устаревшие методы сбора данных

Процесс сбора данных DCR был заменен или находится в процессе замены других методов сбора данных в Azure Monitor. В следующей таблице перечислены устаревшие методы с их заменами на основе DCR. Ожидается, что другие методы сбора данных в Azure Monitor также будут заменены контроллерами домена в будущем.

Конвейер Azure Monitor

Процесс сбора данных, поддерживаемый контроллерами домена, основан на конвейере Azure Monitor, который предоставляет общий путь обработки для входящих данных. Облачный конвейер является одним из компонентов конвейера Azure Monitor (см. пограничный конвейер для другого компонента) и автоматически доступен в подписке Azure в рамках платформы Azure Monitor. Он не требует настройки и не отображается в портал Azure.

Каждый сценарий сбора данных с помощью конвейера Azure Monitor определяется в DCR. DCR предоставляет инструкции по обработке получаемых данных в облачном конвейере. В зависимости от сценария, DCR могут указать все или некоторые из следующих элементов:

• Данные для сбора и отправки в конвейер.
• Схема входящих данных.
• Преобразования, применяемые к данным перед сохранением.
• Назначение, в котором должны отправляться данные.

Использование DCR

Существует два основных способа определения требований сбора данных для определенного сценария, как описано в следующих разделах. Каждый сценарий поддерживает один из этих методов, но не оба.

Связи правил сбора данных (DCRA)

Сопоставления правил сбора данных (DCRAs) используются для связывания DCR с отслеживаемым ресурсом. Это отношение "многие ко многим", где:

• Один DCR может быть связан с несколькими ресурсами.
• Один ресурс может быть связан с несколькими DCR.

Это позволяет разработать стратегию для поддержания мониторинга между наборами ресурсов с различными требованиями.

Например, на следующей схеме показана сбор данных для агента Azure Monitor (AMA), работающего на виртуальной машине. Когда агент установлен, он подключается к Azure Monitor, чтобы получить все контроллеры домена, связанные с ним. В этом сценарии правила сбора данных указывают события и данные о производительности, которые необходимо собирать. Агент использует эти сведения для определения данных, собираемых с компьютера, и отправки в Azure Monitor. После доставки данных облачный конвейер запускает любое преобразование , указанное в DCR, для фильтрации и изменения данных, а затем отправляет данные в указанную рабочую область и таблицу.

Прямое прием

При прямом приеме определенный DCR указывается для обработки входящих данных. Например, на следующей схеме показаны данные из пользовательского приложения с помощью API приема журналов. Каждый вызов API задает DCR, обрабатывающий его данные. DCR понимает структуру входящих данных, включает преобразование , которое гарантирует, что данные имеют формат целевой таблицы, а также указывает рабочую область и таблицу для отправки преобразованных данных.

Преобразования

Преобразования — это запросы KQL, включенные в DCR, которые выполняются для каждой отправляемой в облачный конвейер записи. Они позволяют изменять входящие данные, прежде чем они хранятся в Azure Monitor или отправляются в другое место назначения. Вы можете отфильтровать ненужные данные, чтобы сократить затраты на прием, удалить конфиденциальные данные, которые не должны сохраняться в рабочей области Log Analytics, или форматировать данные, чтобы обеспечить соответствие схеме назначения. Преобразования также обеспечивают расширенные сценарии, такие как отправка данных в несколько пунктов назначения или обогащение данных еще больше информации.

Пайплайн Edge

Граничный конвейер расширяет поток данных Azure Monitor до вашего центра обработки данных. Он обеспечивает масштабируемую коллекцию и маршрутизацию данных телеметрии перед доставкой в облачный конвейер. В отличие от облачного конвейера, пограничный конвейер является необязательным и требует настройки.

Конкретные варианты использования пограничного конвейера Azure Monitor:

• масштабируемость. Периферийный конвейер может обрабатывать большие объемы данных из мониторируемых ресурсов, которые могут ограничиваться другими способами сбора, например, агентом Azure Monitor.
• Периодическое подключение. Некоторые среды могут иметь ненадежное подключение к облаку или могут иметь длительные непредвиденные периоды без подключения. Периферийный конвейер может кэшировать данные локально и синхронизироваться с облаком при восстановлении подключения.
• Многоуровневая сеть. В некоторых средах сеть сегментирована и данные не могут отправляться непосредственно в облако. Пограничный конвейер можно использовать для сбора данных из отслеживаемых ресурсов без доступа к облаку и управления подключением к Azure Monitor в облаке.

Регионы DCR

Правила сбора данных доступны во всех общедоступных регионах, где поддерживаются рабочие области Log Analytics и Azure для государственных организаций и облака Китая. Облака с воздушным зазором пока не поддерживаются. DCR создается и хранится в определенном регионе и копируется для резервного хранения в парном регионе в той же географической области. Служба развертывается во всех трех зонах доступности в регионе. По этой причине это зонально-резервированный сервис, что дополнительно увеличивает доступность.

Размещение данных в одном регионе — это предварительная версия функции, которая позволяет хранить данные клиентов в одном регионе, и в настоящее время доступна только в регионе Юго-Восточная Азия (Сингапур) в Гео Азиатско-Тихоокеанского региона и в регионе Бразилия Южная (штат Сан-Паулу) в Гео Бразилия. По умолчанию в этих регионах включена однорегионная резиденция.

Дальнейшие действия

Для получения дополнительной информации о работе с DCR см. следующий раздел:

• Структура правила сбора данных для описания структуры JSON для DCR и различных элементов, используемых в разных рабочих процессах.
• Примеры правил сбора данных (DCR) для образцов DCR в различных сценариях сбора данных.
• Создание и изменение правил сбора данных (DCR) в Azure Monitor для различных методов создания правил для разных сценариев сбора данных.
• Ограничения службы Azure Monitor, применяемые к каждому DCR.