Записные книжки Jupyter и озеро данных Microsoft Sentinel

Записные книжки Jupyter являются неотъемлемой частью экосистемы озера данных Microsoft Sentinel, предлагая мощные инструменты для анализа и визуализации данных. Записные книжки предоставляются расширением Microsoft Sentinel Visual Studio Code, которое позволяет взаимодействовать с озером данных с помощью Python для Spark (PySpark). Записные книжки позволяют выполнять сложные преобразования данных, запускать модели машинного обучения и создавать визуализации непосредственно в среде записной книжки.

Расширение Microsoft Sentinel Visual Studio Code с записными книжками Jupyter предоставляет эффективную среду для изучения и анализа данных озера со следующими преимуществами:

  • Интерактивное исследование данных. Записные книжки Jupyter предоставляют интерактивную среду для изучения и анализа данных. Вы можете выполнять фрагменты кода, визуализировать результаты и документировать результаты в одном месте.
  • Интеграция с библиотеками Python. Расширение Microsoft Sentinel включает в себя широкий спектр библиотек Python, что позволяет использовать существующие средства и платформы для анализа данных, машинного обучения и визуализации.
  • Эффективный анализ данных. Интеграция вычислительных сеансов Apache Spark позволяет эффективно использовать возможности распределенных вычислений для эффективного анализа больших наборов данных. Это позволяет выполнять сложные преобразования и агрегацию с вашими данными безопасности.
  • Низкие и медленные атаки. Анализ крупномасштабных, сложных, взаимосвязанных данных, связанных с событиями безопасности, оповещениями и инцидентами, что позволяет обнаруживать сложные угрозы и закономерности, такие как боковое перемещение или низкое и медленное атаки, которые могут уклоняться от традиционных систем на основе правил.
  • Интеграция ИИ и машинного обучения: интеграция с ИИ и машинным обучением для улучшения обнаружения аномалий, прогнозирования угроз и анализа поведения, позволяя группам безопасности создавать агенты для автоматизации своих исследований.
  • Масштабируемость. Записные книжки обеспечивают масштабируемость для эффективной обработки огромных объемов данных и обеспечивают глубокую пакетную обработку для выявления тенденций, шаблонов и аномалий.
  • Возможности визуализации. Записные книжки Jupyter поддерживают различные библиотеки визуализации, позволяя создавать диаграммы, графы и другие визуальные представления данных, помогая получать аналитические сведения и эффективно сообщать о результатах.
  • Совместная работа и общий доступ. Записные книжки Jupyter можно легко предоставить коллегам, что позволяет совместно работать над проектами анализа данных. Вы можете экспортировать записные книжки в различных форматах, включая HTML и PDF, для удобного совместного использования и презентации.
  • Документация и воспроизводимость. Записные книжки Jupyter позволяют документировать код, анализ и результаты в одном файле, упрощая воспроизведение результатов и совместное использование работы с другими пользователями.

Сценарии исследования озера для записных книжек

В следующих сценариях показано, как можно использовать записные книжки Jupyter в Microsoft Sentinel Lake для повышения безопасности.

Сценарий Описание
Поведение пользователя при неудачном входе Определите базовые показатели обычного поведения пользователя, проанализировав шаблоны неудачных попыток входа. Изучите операции, выполненные до и после неудачных попыток входа, чтобы выявить признаки возможной компрометации или активности перебора паролей.
Пути к конфиденциальным данным Определение пользователей и устройств, имеющих доступ к ресурсам конфиденциальных данных. Объединение журналов доступа с контекстом организации для оценки рисков, сопоставления путей доступа и определения приоритетов для проверки безопасности.
Анализ угроз, связанных с аномалиями Анализируйте угрозы, выявляя отклонения от установленных базовых моделей поведения, такие как входы в систему из необычных местоположений, с необычных устройств или в необычное время. Сопоставьте данные о поведении пользователей с данными об активах, чтобы выявлять высокорисковую активность, включая потенциальные инсайдерские угрозы.
Определение приоритетов при оценке рисков Применяйте пользовательские модели оценки рисков к событиям безопасности в озере данных. Обогащайте события контекстными сигналами, такими как критичность активов и роль пользователя, для количественной оценки риска, оценки радиуса взрыва и определения приоритетов инцидентов для исследования.
Поисковый анализ и визуализация Выполняйте исследовательский анализ данных в нескольких источниках журналов, чтобы восстановить временные шкалы атак, определить первопричины и создать пользовательские визуализации, помогающие сообщать о результатах заинтересованным лицам.

Запись в озеро и уровень аналитики

Данные можно записывать на уровень озера и уровень аналитики с помощью записных книжек. Расширение Microsoft Sentinel для Visual Studio Code предоставляет библиотеку Python PySpark, которая абстрагирует сложность записи на уровнях озера и аналитики. Функцию MicrosoftSentinelProvider класса save_as_table() можно использовать для записи данных в пользовательские таблицы или добавления данных в существующие таблицы уровня Lake или уровня Analytics. Дополнительные сведения см. в статье Справочник по классу поставщика Microsoft Sentinel.

Задания и планирование

Можно запланировать выполнение заданий с определенным временем или интервалами с помощью расширения Microsoft Sentinel для Visual Studio Code. Задания позволяют автоматизировать обработку данных для их обобщения, преобразования или анализа в озере данных Microsoft Sentinel. Используйте задания для обработки данных и записи результатов в пользовательские таблицы уровня озера или уровня аналитики. Дополнительные сведения см. в статье Создание заданий записной книжки Jupyter и управление ими.

Задания записной книжки также могут использовать параметры, определенные в записной книжке. Параметры позволяют повторно использовать одно задание записной книжки с различными входными значениями, например выполнение одного анализа для разных пользователей, сущностей, диапазонов времени или других входных данных исследования. Можно сохранить значения параметров с конфигурацией задания и указать различные значения при выполнении задания вручную. Дополнительные сведения см. в статье "Создание параметризованных заданий записной книжки и управление ими".