Поделиться через


Установка дневного лимита в рабочей области Log Analytics

Ежедневное ограничение в рабочей области Log Analytics позволяет сократить непредвиденные увеличения расходов на инжестирование данных путём остановки сбора платных данных журнала для таблиц в планах аналитики или базовых таблиц в течение оставшегося времени 24-часового периода при достижении установленного порога. Таблицы в вспомогательном плане таблиц не подлежат ежедневному ограничению.

Внимание

Функция суточного лимита в Azure Monitor не должна использоваться в качестве основного механизма для фильтрации или уменьшения данных перед приемом в рабочую область Log Analytics, чтобы сэкономить. Вместо этого используйте преобразования времени приема для фильтрации или повторной обработки данных перед приемом (подробнее). Ежедневное ограничение предназначено для защиты от непредвиденных всплесков данных , которые могут привести к незапланированным расходам. Его следует использовать тщательно и только в качестве защиты , а не как обычное средство управления затратами. Помните, что после достижения ежедневного ограничения сбор данных останавливается. Это повлияет на возможность мониторинга ресурсов, получения оповещений и поддержания работоспособности и функциональности зависимых служб и решений. Когда достигается ежедневное ограничение, вы фактически не видите текущего состояния отслеживаемой среды и не можете собирать потенциально критически важные события, которые могут понадобиться позже. Ваша цель состоит в том, чтобы избежать регулярного превышения суточного лимита и рассматривать его как резервную меру для редких или непредвиденных всплесков данных. Стратегии оптимизации затрат Azure Monitor см. в статье "Оптимизация затрат" и Azure Monitor.

В этой статье описано, как работает ежедневное ограничение и как настроить его в рабочей области.

Действие Необходимые разрешения или роли
Установка ежедневного ограничения в рабочей области Log Analytics Microsoft.OperationalInsights/workspaces/write разрешения для рабочих областей Log Analytics, на которые вы устанавливаете ежедневное ограничение, как указано в встроенной роли участника Log Analytics, например.
Установите ежедневный лимит для классического ресурса Application Insights microsoft.insights/components/CurrentBillingFeatures/write разрешения для классических ресурсов Application Insights, на которые вы устанавливаете ежедневное ограничение, как указывает встроенная роль участника компонента Application Insights, например.
Создание оповещения при достижении ежедневного ограничения для рабочей области Log Analytics microsoft.insights/scheduledqueryrules/writeразрешения, предоставляемые встроенной ролью участника мониторинга, например
Создание оповещения при достижении ежедневного ограничения для классического ресурса Application Insights microsoft.insights/activitylogalerts/writeразрешения, предоставляемые встроенной ролью участника мониторинга, например
Просмотр эффекта применения ежедневного ограничения Microsoft.OperationalInsights/workspaces/query/*/read разрешения на рабочие области Log Analytics, которые вы запрашиваете, например, предоставленные встроенной ролью Log Analytics Reader.

Как работает ежедневное ограничение

В каждой рабочей области устанавливается ежедневное ограничение, определяющее применимый к этой области лимит на собираемый объем данных. При достижении ежедневного ограничения в верхней части страницы для выбранной рабочей области Log Analytics на портале Azure появится предупреждающий баннер, и событие операции будет отправлено в таблицу Операция в категории LogManagement. При необходимости можно сформировать правило генерации оповещений для отправки оповещения при создании этого события.

Размер данных, используемый для ежедневного ограничения, представляет размер после преобразований данных, определенных клиентом. (Дополнительные сведения о преобразованиях данных в правилах сбора данных.)

Сбор данных возобновляется в момент времени сброса, который устанавливается в разные часы суток для каждой рабочей области. Настройка этого часа сброса невозможна.

Примечание.

Учтите, что ежедневный лимит не может остановить сбор данных точно на уровне заданного лимита, и ожидается некоторое превышение данных. При высокой интенсивности поступления данных в рабочую область возможно значительное превышение установленного ежедневного лимита. Если объем собираемых данных превышает ограничение, за него все равно выставляется счет. См. Обзор влияния ежедневного ограничения, чтобы получить запрос, полезный при изучении поведения ежедневного ограничения.

Внимание

С конца 2024 года в рабочих областях Log Analytics возникают проблемы с точным применением ежедневного лимита. В некоторых случаях ежедневный лимит может не срабатывать, даже если данные загружаются значительно выше этого лимита. Учитывая это, рекомендуется полагаться на множество других средств, доступных для управления приемом и уменьшения приема данных, таких как фильтрация данных и преобразования данных в правилах сбора данных. Эти и другие лучшие практики описаны в документе Оптимизация затрат и мониторинг Azure.

Когда следует использовать ежедневное ограничение

Ежедневное ограничение обычно используется организациями, которые особенно внимательно следят за своими расходами. Данный метод следует использовать не в качестве средства сокращения расходов, а в качестве профилактической меры для гарантии того, чтобы вы не выйдете за рамки установленного бюджета.

После остановке сбора данных вы фактически теряете возможность отслеживать компоненты и ресурсы, использующие эту рабочую область. Вместо того чтобы полагаться только на ежедневное ограничение, можно создать правило генерации оповещений, чтобы уведомить вас о достижении определенного уровня сбора данных до ежедневного ограничения. Уведомление позволит обработать любые увеличения нагрузки до полного прекращения сбора данных или даже временно отключить сбор данных для менее критически важных ресурсов.

Application Insights

Необходимо настроить параметр ежедневного ограничения для Application Insights и Log Analytics, чтобы ограничить объем данных телеметрии, принятых службой. Для ресурсов Application Insights, использующих рабочие области, эффективное ежедневное ограничение — минимальное значение из двух параметров. Для классических ресурсов Application Insights применяется только ежедневное ограничение Application Insights, так как их данные не находятся в рабочей области Log Analytics.

Совет

Если вы обеспокоены количеством собираемых Application Insights оплачиваемых данных, настройте выборку, чтобы отрегулировать объем данных до нужного уровня. Используйте ежедневное ограничение в качестве средства обеспечения безопасности в случае, если приложение неожиданно начинает отправлять значительно большие объемы данных телеметрии.

Максимальное ограничение в классическом ресурсе Application Insights составляет 1000 ГБ в сутки. Для приложения с большим объемом трафика можно запросить об увеличении этого ограничения. При создании ресурса на портале Azure устанавливается ограничение на уровне 100 ГБ в сутки. Ограничение по умолчанию при создании ресурса в Visual Studio достаточно мало (всего 32,3 МБ в сутки). Ежедневное ограничение по умолчанию задается для упрощения тестирования. Предполагается, что пользователь повысит ежедневное ограничение перед развертыванием приложения на производство.

Примечание.

Если вы используете строки подключения для отправки данных в Application Insights через региональные точки приема данных, то параметры ежедневного ограничения для Application Insights и Log Analytics применяются для каждого региона. Если вы используете только ключ инструментирования (ikey) для отправки данных в Application Insights через глобальную конечную точку приема, то настройка ограничения на дневной объем Application Insights может быть неэффективна в разных регионах, но ограничение на дневной объем Log Analytics по-прежнему действует.

Мы сняли ограничение с некоторых типов подписок, у которых был кредит, не использовавшийся для Аналитики приложений. Ранее, если для подписки была задана предельная сумма расходов, то в колонке ежедневного ограничения отображались инструкции по ее удалению, а также включению возможности повышения этого ограничения свыше 32,3 МБ в день.

Определение значения ежедневного ограничения

Для определения соответствующего ежедневного ограничения для рабочей области следует использовать статью Расходы и данные об использовании Azure Monitor, которая поможет вам понять тенденции приема данных. Вы также можете прочесть статью Анализ использования в рабочей области Log Analytics, в которой более подробно предоставлены методы анализа использования рабочей области.

Рабочая область с Microsoft Defender для облака

Внимание

Начиная с 18 сентября 2023 г., Azure Monitor ограничивает все оплачиваемые типы данных.
при достижении ежедневного лимита. При включении Microsoft Defender для серверов в рабочей области нет специального поведения для типов данных. Это изменение улучшает вашу способность полностью контролировать затраты на обработку данных, превышающих ожидаемые объемы. Если у вас установлен дневной лимит в рабочей области с включенной функцией Microsoft Defender для серверов, убедитесь, что лимит достаточно велик, чтобы учесть это изменение. Кроме того, установите оповещение (см. ниже), чтобы получать уведомления, как только достигнут ваш ежедневный лимит.

До 18 сентября 2023 г., если рабочая область включила решение Microsoft Defender для серверов после 19 июня 2017 г., некоторые типы данных, связанных с безопасностью, собираются для Microsoft Defender для облака или Microsoft Sentinel, независимо от установленного ежедневного лимита. Следующие типы данных подпадают под действие этого специального исключения из ежедневного лимита: WindowsEvent, SecurityAlert, SecurityBaseline, SecurityBaselineSummary, SecurityDetection, SecurityEvent, WindowsFirewall, MaliciousIPCommunication, LinuxAuditLog, SysmonEvent, ProtectionStatus, Update, UpdateSummary, CommonSecurityLog и Syslog.

Установка ежедневного ограничения

Рабочая область Log Analytics

Чтобы задать или изменить ежедневное ограничение для рабочей области Log Analytics на портале Azure:

  1. В меню Рабочие области Log Analytics выберите рабочую область, а затем раздел Данные об использовании и предполагаемые расходы.
  2. Выберите "Ежедневное ограничение" в верхней части страницы.
  3. Выберите ВКЛ, а затем установите ограничение объёма передаваемых данных (ГБ/сутки).

Настройка ограничения сбора данных в Log Analytics

Примечание.

Время сброса рабочей области отображается, но его нельзя настроить.

Чтобы настроить ежедневное ограничение с помощью Azure Resource Manager, задайте параметр dailyQuotaGb в разделе WorkspaceCapping,как описано в разделе Рабочие области — создание или обновление.

Классический ресурс Application Insights

Чтобы задать или изменить ежедневное ограничение для классического ресурса Application Insights на портале Azure:

  1. В меню Монитор нажмите Приложения, выберите ваше приложение, а затем щелкните Данные об использовании и предполагаемые расходы.
  2. Выберите Ограничение данных в верхней части страницы.
  3. Задайте ограничение объема данных в ГБ в сутки.
  4. Если при достижении ежедневного ограничения вы хотите направлять администратору подписки сообщение по электронной почте, выберите соответствующий параметр.
  5. Задайте уровень предупреждения о достижении ежедневного ограничения в процентах от ограничения объема данных.
  6. Если на уровне предупреждения о достижении ежедневного ограничения вы хотите направлять администратору подписки сообщение по электронной почте, выберите соответствующий параметр.

Настройка ограничения данных в Application Insights

Чтобы настроить ежедневное ограничение с помощью Azure Resource Manager, задайте параметры dailyQuota, dailyQuotaResetTime и warningThreshold, как описано в разделе Рабочие области — создание или обновление.

Оповещение при достижении дневного лимита

При достижении ежедневного ограничения для рабочей области Log Analytics, баннер отображается на портале Azure, а событие записывается в таблицу Операции в рабочей области. Чтобы вы знали, когда это произойдет, необходимо создать правило генерации оповещений.

Чтобы получить оповещение при достижении ежедневного ограничения, создайте правило оповещения для поиска по журналам со следующими сведениями.

Настройка Значение
Область применения
Целевая область Выберите рабочую область Log Analytics.
Условие
Тип сигнала Лог
Название сигнала Поиск по пользовательским логам
Запрос _LogOperation | where Category =~ "Ingestion" | where Detail contains "OverQuota"
Измерение Параметр: строки таблицы
Тип агрегирования: Количество
Степень детализации агрегирования: 5 минут
Логика оповещений Оператор: Больше чем
Пороговое значение: 0
Частота оценки: 5 минут
Действия Выберите или добавьте группу действий для получения уведомлений о превышении порогового значения.
Сведения
Серьезность Предупреждение
Имя правила генерации оповещений "Достигнут ежедневный предел сбора данных";

Классический ресурс Application Insights

Когда ежедневное ограничение достигнуто для классического ресурса Application Insights, в журнале действий Azure создается событие со следующими именами сигналов. Кроме того, при необходимости можно настроить отправку сообщения по электронной почте администратору подписки как при достижении ограничения, так и при достижении указанного процента ежедневного ограничения.

  • Достигнут порог предупреждения для дневного ограничения компонента Application Insights.
  • Достигнуто ежедневное ограничение для компонента Application Insights

Для создания оповещения при достижении ежедневного ограничения, создайте правило генерации оповещений журнала действий со следующими сведениями.

Настройка Значение
Область применения
Целевая область Выберите приложение.
Условие
Тип сигнала Журнал действий
Название сигнала Достигнуто ежедневное ограничение для компонента Application Insights
Или
Достигнут порог предупреждения для дневного ограничения компонента Application Insights.
Серьезность Предупреждение
Имя правила генерации оповещений "Достигнут ежедневный предел сбора данных";

Просмотр эффекта применения ежедневного ограничения

Для мониторинга объемов данных в соответствии с ежедневным ограничением для рабочей области Log Analytics между сбросами ежедневного ограничения можно использовать следующий запрос. В этом примере час сброса для рабочей зоны — 14:00. Измените DailyCapResetHour, чтобы соответствовать часу сброса вашей рабочей области, который вы можете увидеть на странице конфигурации суточного лимита.

let DailyCapResetHour=14;
Usage
| where TimeGenerated > ago(32d)
| extend StartTime=datetime_add("hour",-1*DailyCapResetHour,StartTime)
| where StartTime > startofday(ago(31d))
| where IsBillable
| summarize IngestedGbBetweenDailyCapResets=sum(Quantity)/1000. by day=bin(StartTime , 1d) // Quantity in units of MB
| render areachart  

Следующие шаги

  • См. Сведения о ценах на журналы Azure Monitor для получения информации о способах вычисления расходов для данных в рабочей области Log Analytics и о различных вариантах конфигурации для целей сокращения расходов.
  • См. Сведения о ценах на журналы Azure Monitor для получения информации о способах вычисления расходов для данных в рабочей области Log Analytics и о различных вариантах конфигурации для целей сокращения расходов.
  • См. Анализ использования в рабочей области Log Analytics для получения дополнительной информации об анализе данных в рабочей области и определении источника любого повышенного по сравнению с ожидаемым объема использования и возможностей уменьшения объема собранных данных.