Обнаружение аномалий в аналитике Real-Time (предварительная версия)

В этой статье объясняется, как настроить обнаружение аномалий в Real-Time Intelligence для автоматического определения необычных шаблонов и выбросов в таблицах Eventhouse. Система предоставляет рекомендуемые модели и позволяет настроить непрерывный мониторинг с помощью автоматизированных действий.

Ключевые возможности:

• Рекомендации по модели. Предлагает лучшие алгоритмы и параметры для данных.
• Интерактивное исследование аномалий: визуализация обнаруженных аномалий и настройка конфиденциальности модели.
• Непрерывный мониторинг: настройка обнаружения аномалий в режиме реального времени с помощью автоматических уведомлений.
• Повторное анализ с новыми данными: обновление моделей по мере поступления новых данных для повышения точности.

Предпосылки

• Рабочая область с емкостью , поддерживающей Microsoft Fabric.

• Роль администратора, участника или участникав рабочей области.

• В вашей рабочей области есть Eventhouse с базой данных KQL.

• Плагин Python включен в том же Eventhouse.

  1. Чтобы включить подключаемый модуль, перейдите в Eventhouse.
  2. На верхней панели инструментов выберите подключаемые модули и включите расширение языка Python.
  3. Выберите плагин Python 3.11.7 DL и выберите Готово.

  

Настройка обнаружения аномалий

Начало работы

Обнаружение аномалий можно начать тремя способами:

Настройка входных столбцов для анализа

Укажите столбцы для анализа и группирования данных.

1. В области конфигурации добавьте столбец значение для отслеживания, который содержит числовые данные, которые нужно мониторить на предмет аномалий.

   

   Замечание

   Убедитесь, что выбранный столбец содержит числовые значения, так как для обнаружения аномалий поддерживается только числовые данные.

2. Выберите столбец Группировка, чтобы указать, каким образом следует распределить данные для анализа. Этот столбец обычно представляет такие сущности, как устройства, расположения или другие логические группировки.

   

3. Выберите столбец метки времени , представляющий время записи каждой точки данных. Этот столбец имеет решающее значение для обнаружения аномалий временных рядов и обеспечивает точный анализ тенденций с течением времени.

   

4. Выберите "Выполнить анализ ", чтобы начать автоматическую оценку модели.

Ожидание завершения анализа

Система анализирует данные, чтобы найти лучшие модели обнаружения аномалий.

Во время анализа система:

• Отбирает данные из вашей таблицы для эффективной обработки
• Тестирование нескольких алгоритмов обнаружения аномалий
• Оценка различных конфигураций параметров
• Определяет наиболее эффективные модели для конкретных шаблонов данных

Просмотр рекомендуемых моделей и аномалий

После завершения анализа просмотрите результаты и изучите обнаруженные аномалии.

1. Откройте результаты обнаружения аномалий, выбрав полученное уведомление или вернувшись в таблицу и выбрав "Просмотреть результаты аномалий".

2. Страница результатов предоставляет следующие аналитические сведения:

   • Визуализация ваших данных, где четко выделены аномалии.
   • Список рекомендуемых алгоритмов, ранжированных по их эффективности для ваших данных.
   • Настройки чувствительности для настройки пороговых значений обнаружения.
   • Подробная таблица обнаруженных аномалий в выбранном диапазоне времени.

3. Используйте селектор модели, чтобы сравнить производительность различных рекомендуемых алгоритмов и выбрать тот, который лучше всего соответствует вашим потребностям.

4. Настройте параметры чувствительности, чтобы уточнить результаты обнаружения аномалий.

   • Варианты включают низкий, средний и высокий уровень достоверности.
   • Попробуйте настроить эти параметры, чтобы сбалансировать между обнаружением большего числа аномалий и уменьшением количества ложных срабатываний.

5. Взаимодействуйте с визуальными элементами и таблицами, чтобы получить более подробную информацию о обнаруженных аномалиях и понять шаблоны в данных.

6. Сохраните детектор аномалий, чтобы сохранить конфигурацию и вернуться к ней позже.

7. Опубликуйте обнаруженные аномалии в центре Real-Time, чтобы обеспечить непрерывный мониторинг входящих данных. Вы также можете настроить подчиненные действия, такие как отправка оповещений в Активатор.

Просматривая и настраивая результаты, вы можете убедиться, что настройка обнаружения аномалий оптимизирована для конкретного варианта использования.

Повторный анализ моделей обнаружения аномалий с новыми данными

Обновляйте модели обнаружения аномалий по мере того, как новые данные становятся доступными.

Выполните следующие действия, чтобы повторно настроить модель с новыми данными:

1. Перейдите к элементу обнаружения аномалий.
2. На панели "Изменить" измените все ранее заполненные поля по мере необходимости.
3. Щелкните элемент Run analysis (Выполнить анализ). Это действие запускает новый анализ на основе обновленных входных данных.

Изучение событий обнаружения аномалий и настройка оповещений

После публикации результатов обнаружения аномалий вы можете изучить обнаруженные аномалии в центре Real-Time и настроить оповещения для уведомления о будущих аномалиях. Дополнительные сведения можно найти здесь

• Изучение событий обнаружения аномалий
• Настройка оповещений о событиях обнаружения аномалий

Ограничения и рекомендации

Помните об этих текущих ограничениях:

• Обнаружение аномалий отключено, если входная таблица не соответствует требуемой схеме (числовой столбец значений, столбец datetime и строковый столбец).
• Достаточные исторические данные повышают рекомендации по модели и точность.
• Каждый детектор аномалий поддерживает только одну конфигурацию модели.

Выполнение нескольких операций в детекторе аномалий

При взаимодействии с детектором аномалий Eventhouse выполняет запросы Python в фоновом режиме для поддержки анализа в режиме реального времени. Эти операции включают:

• Выполнение обнаружения аномалий или других типов анализа.
• Переключение между рекомендуемыми моделями.
• Изменение временного диапазона или идентификаторов, просматриваемых вами.
• Непрерывный мониторинг входящих данных для аномалий путем установки оповещений.

Eventhouse поддерживает до восьми одновременных запросов на один Eventhouse. Если вы превышаете это ограничение, система повторяет запросы, но не помещает дополнительные запросы в очередь, и они могут тихо завершиться сбоем. Сообщения об ошибках, обеспечивающие более четкость, находятся в процессе разработки.

Чтобы избежать проблем:

• Разрешите каждому запросу завершиться перед запуском нового.
• Если производительность кажется медленной или неответственной, уменьшите число одновременных запросов.

Дополнительные сведения см. в разделе "Подключаемый модуль Python".

Время ожидания включения плагина Python

При запуске анализа данных детектор аномалий автоматически включает подключаемый модуль Python в вашем Эвентхаус. Включение подключаемого модуля может занять до одного часа. После включения анализ запускается автоматически.

Дополнительные сведения см. в разделе "Включение подключаемого модуля Python" в Real-Time Intelligence.

Дальнейшие шаги

После настройки обнаружения аномалий вы можете:

• Изучение событий обнаружения аномалий
• Настройка оповещений о событиях обнаружения аномалий
• Настройка активатора для автоматических ответов
• Узнайте о многовариантном обнаружении аномалий
• Создание оповещений из набора запросов KQL

Связанный контент

• Справочник по запросу KQL
• Документация по панели мониторинга в реальном времени
• Обзор активатора