Записные книжки Jupyter и озеро данных Microsoft Sentinel

Записные книжки Jupyter являются неотъемлемой частью экосистемы озера данных Microsoft Sentinel, предлагая мощные инструменты для анализа и визуализации данных. Записные книжки предоставляются расширением Microsoft Sentinel Visual Studio Code, которое позволяет взаимодействовать с озером данных с помощью Python для Spark (PySpark). Записные книжки позволяют выполнять сложные преобразования данных, запускать модели машинного обучения и создавать визуализации непосредственно в среде записной книжки.

Расширение Microsoft Sentinel Visual Studio Code с записными книжками Jupyter предоставляет эффективную среду для изучения и анализа данных озера со следующими преимуществами:

  • Интерактивное исследование данных. Записные книжки Jupyter предоставляют интерактивную среду для изучения и анализа данных. Вы можете выполнять фрагменты кода, визуализировать результаты и документировать результаты в одном месте.
  • Интеграция с библиотеками Python. Расширение Microsoft Sentinel включает в себя широкий спектр библиотек Python, что позволяет использовать существующие средства и платформы для анализа данных, машинного обучения и визуализации.
  • Эффективный анализ данных. Интеграция вычислительных сеансов Apache Spark позволяет эффективно использовать возможности распределенных вычислений для эффективного анализа больших наборов данных. Это позволяет выполнять сложные преобразования и агрегаты в данных безопасности.
  • Низкие и медленные атаки. Анализ крупномасштабных, сложных, взаимосвязанных данных, связанных с событиями безопасности, оповещениями и инцидентами, что позволяет обнаруживать сложные угрозы и закономерности, такие как боковое перемещение или низкое и медленное атаки, которые могут уклоняться от традиционных систем на основе правил.
  • Интеграция ИИ и машинного обучения: интеграция с ИИ и машинным обучением для улучшения обнаружения аномалий, прогнозирования угроз и анализа поведения, позволяя группам безопасности создавать агенты для автоматизации своих исследований.
  • Масштабируемость. Записные книжки обеспечивают масштабируемость для эффективной обработки огромных объемов данных и обеспечивают глубокую пакетную обработку для выявления тенденций, шаблонов и аномалий.
  • Возможности визуализации. Записные книжки Jupyter поддерживают различные библиотеки визуализации, позволяя создавать диаграммы, графы и другие визуальные представления данных, помогая получать аналитические сведения и эффективно сообщать о результатах.
  • Совместная работа и общий доступ. Записные книжки Jupyter можно легко предоставить коллегам, что позволяет совместно работать над проектами анализа данных. Вы можете экспортировать записные книжки в различных форматах, включая HTML и PDF, для удобного совместного использования и презентации.
  • Документация и воспроизводимость. Записные книжки Jupyter позволяют документировать код, анализ и результаты в одном файле, упрощая воспроизведение результатов и совместное использование работы с другими пользователями.

Сценарии исследования озера для записных книжек

В следующих сценариях показано, как можно использовать записные книжки Jupyter в Microsoft Sentinel Lake для повышения безопасности.

Сценарий Описание
Поведение пользователя при неудачном входе Определите базовые показатели обычного поведения пользователя, проанализировав шаблоны неудачных попыток входа. Исследуйте операции, предпринятые до и после неудачных попыток входа, чтобы обнаружить потенциальные компрометации или действия подбора.
Пути к конфиденциальным данным Определение пользователей и устройств, имеющих доступ к ресурсам конфиденциальных данных. Объединение журналов доступа с контекстом организации для оценки рисков, сопоставления путей доступа и определения приоритетов для проверки безопасности.
Анализ угроз аномалий Анализ угроз путем выявления отклонений от установленных базовых показателей, таких как имена входа из необычных расположений, устройств или времени. Наложение поведения пользователя данными активов для выявления действий с высоким риском, включая потенциальные внутренние угрозы.
Определение приоритетов при оценке рисков Применение пользовательских моделей оценки рисков к событиям безопасности в озере данных. Обогащайте события контекстными сигналами, такими как критичность активов и роль пользователя, для количественной оценки риска, оценки радиуса взрыва и определения приоритетов инцидентов для исследования.
Поисковый анализ и визуализация Выполняйте исследовательский анализ данных в нескольких источниках журналов, чтобы восстановить временные шкалы атак, определить первопричины и создать пользовательские визуализации, помогающие сообщать о результатах заинтересованным лицам.

Запись в озеро и уровень аналитики

Данные можно записывать на уровень озера и уровень аналитики с помощью записных книжек. Расширение Microsoft Sentinel для Visual Studio Code предоставляет библиотеку Python PySpark, которая абстрагирует сложность записи на уровнях озера и аналитики. Функцию MicrosoftSentinelProvider класса save_as_table() можно использовать для записи данных в пользовательские таблицы или добавления данных в существующие таблицы уровня озера или уровня аналитики. Дополнительные сведения см. в статье Справочник по классу поставщика Microsoft Sentinel.

Задания и планирование

Можно запланировать выполнение заданий с определенным временем или интервалами с помощью расширения Microsoft Sentinel для Visual Studio Code. Задания позволяют автоматизировать задачи обработки данных для формирования, преобразования или анализа данных в Microsoft Sentinel озера данных. Используйте задания для обработки данных и записи результатов в пользовательские таблицы уровня озера или уровня аналитики. Дополнительные сведения см. в статье Создание заданий записной книжки Jupyter и управление ими.