Поделиться через


Обзор журналов Azure Monitor

Журналы Azure Monitor — это централизованная платформа программного обеспечения как услуга (SaaS) для сбора, анализа и управления данными телеметрии, созданными как Azure, так и другими источниками и приложениями.

Вы можете собирать журналы, управлять данными журнала и затратами, а также использовать различные типы данных в одной рабочей области Log Analytics, являющейся основным ресурсом для журналов в Azure Monitor. Это означает, что вам никогда не нужно перемещать данные или управлять другим хранилищем, и вы можете хранить различные типы данных до тех пор, пока вам потребуется.

В этой статье представлен обзор работы журналов Azure Monitor и объясняется, как она отвечает потребностям и навыкам различных лиц в организации.

Примечание.

Журналы Azure Monitor — это одна половина платформы данных, поддерживающей Azure Monitor. Другой компонент — это Azure Monitor Metrics, который сохраняет числовые данные в серии временных рядов.

Как работают журналы Azure Monitor

Журналы Azure Monitor предоставляют средства для выполнения следующих действий.

  • Собирайте любые данные с помощью методов сбора данных Azure Monitor. Преобразуйте данные на основе ваших потребностей в оптимизации затрат, удаления персональных данных и т. д. и маршрутизации данных в таблицы в рабочей области Log Analytics.
  • Управляйте и оптимизируйте данные журнала и затраты , настраивая рабочую область Log Analytics и таблицы журналов, включая схемы таблиц, планы таблиц, хранение данных, агрегирование данных, доступ к данным и затраты, связанные с журналами.
  • Получение данных практически в реальном времени с помощью языка запросов Kusto (KQL) или средств на основе KQL, которые не требуют знаний KQL, таких как простой режим в пользовательском интерфейсе Log Analytics, предварительно созданные средства мониторинга с именем Insights и предопределенные запросы.
  • Используйте данные гибко для различных вариантов использования, включая анализ данных, устранение неполадок, оповещение, панели мониторинга и отчеты, пользовательские приложения и другие службы Azure или службы, отличные от Azure.

Схема, показывающая, как Azure Monitor и журналы Azure Monitor Logs предоставляют комплексное решение для сбора, управления, извлечения и работы с журналами.

Сбор данных, маршрутизация и преобразование

Возможности сбора данных Azure Monitor позволяют собирать данные из всех приложений и ресурсов, работающих в Azure, других облаках и локальной среде. Мощный конвейер приема позволяет фильтровать, преобразовывать и маршрутизацию данных в целевые таблицы в рабочей области Log Analytics для оптимизации затрат, возможностей аналитики и производительности запросов.

Схема, показывающая, что данные собираются из источников данных и преобразуются и отправляются в таблицы в рабочей области Log Analytics.

Дополнительные сведения о сборе и преобразовании данных см. в статье "Источники данных Azure Monitor" и методы сбора данных и преобразования сбора данных в Azure Monitor.

Рабочая область Log Analytics

Рабочая область Log Analytics — это хранилище данных, в котором хранятся таблицы, в которые собираются данные.

Чтобы решить требования к хранению и использованию данных различных пользователей, использующих рабочую область Log Analytics, можно:

Снимок экрана рабочей области Log Analytics в портале Azure.

Вы также можете настроить сетевую изоляцию, реплицировать рабочую область в разных регионах и разработать архитектуру рабочей области на основе ваших бизнес-потребностей.

Планы таблиц

Одну рабочую область Log Analytics можно использовать для хранения любого типа журнала, необходимого для любой цели. Например:

  • Подробные данные с большим объемом, которые требуют дешевого долгосрочного хранилища для аудита и соответствия требованиям
  • Данные приложений и ресурсов для устранения неполадок разработчиками
  • Ключевые данные о событиях и производительности для масштабирования и для оповещений, чтобы обеспечить постоянное оперативное совершенство и безопасность
  • Агрегированные долгосрочные тенденции данных для расширенной аналитики и машинного обучения

Планы таблиц позволяют управлять затратами на данные на основе частоты использования данных в таблице и типах анализа, для которых требуются данные.

В этом видео представлен обзор включения многоуровневого ведения журнала в журналах Azure Monitor:

Схема и таблица ниже сравнивают планы аналитики, базовых и вспомогательных таблиц. Сведения об интерактивном и долгосрочном хранении см. в статье "Управление хранением данных" в рабочей области Log Analytics. Сведения о выборе или изменении плана таблицы см. в разделе "Выбор плана таблицы".

Схема, представляющую общие сведения о возможностях, предоставляемых планами аналитики, базовых и вспомогательных таблиц.

Компоненты Аналитика Базовая Вспомогательный
Лучше всего подходит для Высокозначные данные, используемые для непрерывного мониторинга, обнаружения в режиме реального времени и анализа производительности. Данные со средним уровнем детализации, необходимые для устранения неполадок и реагирования на инциденты. Данные с низким уровнем взаимодействия, такие как подробные журналы, и данные, необходимые для аудита и соблюдения нормативных требований.
Поддерживаемые типы таблиц Все типы таблиц Таблицы Azure, поддерживающие базовые журналы и пользовательские таблицы на основе DCR Пользовательские таблицы на основе DCR
Стоимость приема Стандартные Сниженная Минимальные
Цена запроса включена
Оптимизированная производительность запросов ❌ Медленные запросы.
Хорошо подходит для аудита. Не оптимизирован для анализа в режиме реального времени.
Возможности запросов Полные возможности запроса. Полный язык запросов Kusto (KQL) для одной таблицы, который можно расширить с помощью данных из таблицы Аналитики с использованием функции lookup. Полный KQL в одной таблице, которую можно расширить данными из таблицы Analytics, используя поиск.
Оповещения
Статистика
Панели мониторинга ✅ Затраты на запрос обновлений панели мониторинга не включены.1 Возможно, но она медленно обновляется, расходы на запрос при обновлении панели мониторинга не включены.1
Экспорт данных
Microsoft Sentinel
Задания поиска
Сводные правила ✅ KQL ограничен одной таблицей ✅ KQL ограничен одной таблицей
Восстановить
Интерактивное хранение 30 дней (90 дней для Microsoft Sentinel и Application Insights).
Может быть продлено до двух лет по пропорциональной ежемесячной долгосрочной оплате хранения.
30 дней 30 дней
Общее удержание До 12 лет До 12 лет До 12 лет

1 В настоящее время базовые и вспомогательные планы таблиц поддерживают рабочие книги и Grafana.

Примечание.

Базовые и вспомогательные планы таблиц недоступны для рабочих областей в устаревших ценовых категориях.

Примечание.

В настоящее время данные функции не поддерживаются в плане вспомогательных таблиц.

  • Репликация рабочей области Log Analytics; Azure Monitor не реплицирует данные в таблицах с вспомогательным планом в вторичную рабочую область. Данные не защищены от потери в случае регионального сбоя и недоступны, когда вы переключаетесь на вторичное рабочее пространство.
  • Блокировка клиента для Microsoft Azure; Интерфейс блокировки, который позволяет просматривать и отклонять запросы на доступ к данным клиента в ответ на запрос в службу поддержки, инициированный клиентом, или проблема, обнаруженная корпорацией Майкрософт, не применяется к таблицам со вспомогательным планом.

язык запросов Kusto (KQL) и Log Analytics

Вы извлекаете данные из рабочей области Log Analytics с помощью запроса языка запросов Kusto (KQL), представляющего собой запрос только для чтения для обработки данных и возврата результатов. KQL — это мощный инструмент, который может быстро анализировать миллионы записей. Используйте KQL для изучения журналов, преобразования и агрегирования данных, выявления шаблонов, аномалий, выбросов и т. д.

Log Analytics — это средство в портал Azure для выполнения запросов журналов и анализа их результатов. Простой режим Log Analytics позволяет любому пользователю независимо от их знаний KQL извлекать данные из одной или нескольких таблиц с одним щелчком мыши. Набор элементов управления позволяет изучить и проанализировать полученные данные с помощью наиболее популярных функций журналов Azure Monitor в интуитивно понятной электронной таблице.

Снимок экрана: простой режим Log Analytics.

Если вы знакомы с KQL, вы можете использовать режим KQL Log Analytics для редактирования и создания запросов, которые можно использовать в функциях Azure Monitor, таких как оповещения и книги, или поделиться с другими пользователями.

Дополнительные сведения о Log Analytics см. в разделе "Обзор Log Analytics" в Azure Monitor.

Встроенные аналитические сведения и пользовательские панели мониторинга, книги и отчеты

Многие готовые к использованию и специально подобранные аналитические решения Azure Monitor хранят данные в журналах Azure Monitor и представляют эти данные понятным и интуитивным образом, чтобы вы могли отслеживать производительность и доступность своих облачных и гибридных приложений и их вспомогательных компонентов.

Снимок экрана: встроенный интерфейс мониторинга Container Insights в Azure Monitor.

Вы также можете создавать собственные визуализации и отчеты с помощью книг, панелей мониторинга и Power BI.

Совет

Вместо выполнения сложных запросов на большие наборы данных или длительные диапазоны времени используйте сводные правила для агрегирования данных для пользовательских панелей мониторинга, книг и отчетов. Сводные правила агрегируют данные из одной или нескольких таблиц по мере поступления данных в рабочую область Log Analytics. Визуализация агрегированных данных непосредственно из пользовательской таблицы сводных данных вместо запроса необработанных данных из одной или нескольких таблиц, повышает производительность запросов и уменьшает ошибки и время ожидания запросов.

Случаи использования

В этой таблице описаны некоторые способы использования данных, собранных в журналах Azure Monitor, для получения операционной и бизнес-ценности.

Возможность Описание
Анализировать Используйте Log Analytics на портале Azure для создания запросов к журналам и интерактивного анализа данных журналов с помощью мощной подсистемы анализа.
Агрегированное Используйте сводные правила для агрегирования информации, необходимой для оповещения и анализа из необработанных данных журнала, которые вы собираете. Это позволяет оптимизировать затраты, возможности анализа и производительность запросов.
Обнаружение и анализ аномалий Используйте встроенные или настраиваемые алгоритмы обнаружения аномалий для выявления необычных шаблонов или поведения в данных журнала. Это помогает в начале обнаружения потенциальных проблем.
Предупреждение Настройте правило генерации оповещений поиска по журналам или оповещение метрик для отправки уведомления или автоматического действия при возникновении определенного условия.
Визуализировать Закрепляйте результаты запросов в виде таблиц и диаграмм на панели управления Azure.
Создать рабочую книгу для объединения нескольких наборов данных в интерактивном отчете.
Экспортируйте результаты запроса в Power BI , чтобы использовать различные визуализации и предоставлять общий доступ людям за пределами Azure.
Экспортируйте результаты запроса в решение Grafana, чтобы использовать его панель мониторинга и объединять результаты с данными из других источников.
Получайте аналитику Аналитика предоставляет настраиваемый интерфейс мониторинга для определенных ресурсов и служб.
Извлечь Доступ к результатам запроса журнала из:
Импорт Отправка журналов из пользовательского приложения с помощью REST API или клиентской библиотеки для .NET, Go, Java, JavaScript или Python.
Экспорт (Export) Настройте автоматический экспорт данных журнала в учетную запись служба хранилища Azure или Центры событий Azure.
Создавайте рабочие процессы для получения данных журналов и копирования их во внешнее расположение с помощью Azure Logic Apps.
Принесите свой собственный анализ Анализ данных в журналах Azure Monitor с помощью записной книжки для создания упрощенных многошаговых процессов на основе данных, которые вы собираете в журналах Azure Monitor. Это особенно полезно для таких целей, как создание и запуск конвейеров машинного обучения, расширенный анализ и руководства по устранению неполадок (TSG) для потребностей в поддержке.
Сохранение данных для аудита и соответствия требованиям Отправляйте данные непосредственно в таблицу с вспомогательным планом и расширяйте срок хранения данных в любой таблице , чтобы хранить данные для аудита и соответствия требованиям до 12 лет. План вспомогательных таблиц с низкой стоимостью и долгосрочным хранением данных в рабочем пространстве позволяет сократить затраты и быстро и легко использовать данные при необходимости.

Работа с Microsoft Sentinel и Microsoft Defender для облака

Microsoft Sentinel и Microsoft Defender для облака выполнять мониторинг безопасности в Azure.

Эти службы хранят свои данные в журналах Azure Monitor, чтобы их можно было анализировать с другими данными журнала, собранными Azure Monitor.

Подробнее

Сервис Дополнительные сведения
Microsoft Sentinel
Microsoft Defender для облака

Следующие шаги