Поиск угроз безопасности с помощью записных книжек Jupyter

В рамках исследований безопасности и охоты запустите записные книжки Jupyter для программного анализа данных.

В этой статье описано, как создать рабочую область машинного обучения Azure, запустить записную книжку из Microsoft Sentinel в рабочую область машинного обучения Azure и выполнить код в ней.

Важно!

После 31 марта 2027 г. Microsoft Sentinel больше не будет поддерживаться в портале Azure и будет доступен только в портале Microsoft Defender. Все клиенты, использующие Microsoft Sentinel в портал Azure, будут перенаправлены на портал Defender и будут использовать Microsoft Sentinel только на портале Defender.

Если вы по-прежнему используете Microsoft Sentinel в портал Azure, рекомендуется начать планирование перехода на портал Defender, чтобы обеспечить плавный переход и в полной мере воспользоваться преимуществами унифицированных операций безопасности, предлагаемых Microsoft Defender.

Предварительные условия

Мы рекомендуем ознакомиться с записными книжками Microsoft Sentinel, прежде чем выполнять действия, описанные в этой статье. См . статью Использование записных книжек Jupyter для поиска угроз безопасности.

Чтобы использовать записные книжки Microsoft Sentinel, необходимо иметь следующие роли и разрешения:

Тип Сведения
Microsoft Sentinel — роль «Участник Microsoft Sentinel», чтобы сохранять и запускать записные книжки в Microsoft Sentinel
Машинное обучение Azure — роль владельца или участника на уровне группы ресурсов, чтобы при необходимости создать новую рабочую область Azure машинного обучения.
— Роль участника в рабочей области машинного обучения Azure, где вы запускаете записные книжки Microsoft Sentinel.

Дополнительные сведения см. в статье Управление доступом к рабочей области машинного обучения Azure.

Создание рабочей области машинного обучения Azure из Microsoft Sentinel

Чтобы создать рабочую область, выберите вкладку "Общедоступная конечная точка " или " Частная конечная точка " в зависимости от конфигурации сети.

  • Мы рекомендуем использовать общедоступную конечную точку, если она имеется в рабочей области Microsoft Sentinel, чтобы избежать потенциальных проблем с сетевым взаимодействием.
  • Если вы хотите использовать рабочую область машинного обучения Azure в виртуальной сети, используйте частную конечную точку.

Выполните следующие действия, чтобы создать рабочую область Машинное обучение Azure с общедоступной конечной точкой из Microsoft Sentinel.

  1. Для Microsoft Sentinel в портал Azure в разделе Управление угрозами выберите Записные книжки.
    Для Microsoft Sentinel в портале Defender выберите Microsoft Sentinel>Управление угрозами>Записные книжки.

  2. Выберите Настроить Azure Машинное обучение>Создать новую рабочую область AML.

  3. Введите следующие сведения и нажмите кнопку Далее.

    Поле Описание
    Subscription Выберите подписку на Azure, которую вы хотите использовать.
    Группа ресурсов Используйте существующую группу ресурсов в подписке или введите имя, чтобы создать новую группу ресурсов. Группа ресурсов содержит связанные ресурсы для решения Azure.
    Имя рабочей области Введите уникальное имя, идентифицирующее рабочую область. Имена должны быть уникальными в группе ресурсов. Используйте имя, которое легко запоминать и отличать от рабочих областей, созданных другими пользователями.
    Region Выберите расположение, ближайшее к пользователям, и ресурсы данных для создания рабочей области.
    Учетная запись хранения Учетная запись хранения используется в качестве хранилища данных по умолчанию для рабочей области. Вы можете создать новый ресурс хранилища Azure или выбрать существующий в подписке.
    KeyVault Хранилище ключей используется для хранения секретов и других конфиденциальных сведений, необходимых рабочей области. Вы можете создать новый ресурс Azure Key Vault или выбрать существующий в подписке.
    Application Insights Рабочая область использует приложение Azure Insights для хранения данных мониторинга развернутых моделей. Вы можете создать новый ресурс приложение Azure Insights или выбрать существующий ресурс в своей подписке.
    Реестр контейнеров Реестр контейнеров используется для регистрации образов Docker, используемых в обучении и развертываниях. Чтобы минимизировать затраты, новый ресурс Реестр контейнеров Azure создаётся только после того, как вы соберёте свой первый образ. Кроме того, вы можете создать ресурс сейчас или выбрать существующий в подписке или выбрать нет , если вы не хотите использовать реестр контейнеров.
  4. На вкладке Сеть выберите Включить общедоступный доступ из всех сетей.

    Определите все соответствующие параметры на вкладках Дополнительно или Теги , а затем выберите Просмотр и создание.

  5. На вкладке Просмотр и создание просмотрите сведения, чтобы убедиться, что они правильные, а затем нажмите кнопку Создать , чтобы начать развертывание рабочей области. Например, вы можете:

    Просмотрите и создайте рабочую область Машинного обучения из Microsoft Sentinel.

    Создание рабочей области в облаке может занять несколько минут. В течение этого времени на странице Обзор рабочей области отображается текущее состояние развертывания и обновляется после завершения развертывания.

После завершения развертывания вернитесь к записным книжкам в Microsoft Sentinel и запустите записные книжки из новой рабочей области машинного обучения Azure.

Если у вас несколько записных книжек, обязательно выберите рабочую область AML по умолчанию для использования при запуске записных книжек. Например, вы можете:

Выберите рабочую область AML по умолчанию для записных книжек.

Запуск записной книжки в рабочей области машинного обучения Azure

После создания рабочей области машинного обучения Azure запустите записную книжку в этой рабочей области из Microsoft Sentinel.

Важно!

Если в учетной записи служба хранилища Azure включены частные конечные точки или ограничения доступа к общедоступной сети, вы не сможете запустить записные книжки в рабочей области Машинное обучение Azure из Microsoft Sentinel. Вместо этого скопируйте шаблон записной книжки из Microsoft Sentinel и отправьте записную книжку в Студия машинного обучения Azure.

Чтобы запустить записную книжку Microsoft Sentinel в рабочей области машинного обучения Azure, выполните следующие действия.

  1. Для Microsoft Sentinel в портал Azure в разделе Управление угрозами выберите Записные книжки.
    Для Microsoft Sentinel в портале Defender выберите Microsoft Sentinel>Управление угрозами>Записные книжки.

  2. Перейдите на вкладку Шаблоны, чтобы просмотреть записные книжки, которые предоставляются Microsoft Sentinel.

  3. Выберите записную книжку, чтобы просмотреть ее описание, необходимые типы данных и источники данных.

  4. Когда вы найдете нужную записную книжку, выберите Создать из шаблона и Сохранить , чтобы клонировать ее в собственную рабочую область. Можно выбрать только рабочие области Машинное обучение Azure в рамках одной подписки.

  5. При необходимости измените имя. Если записная книжка уже существует в рабочей области, перезапишите существующую или создайте новую. По умолчанию записная книжка сохраняется в каталоге /Users/<Your_User_Name>/ выбранной рабочей области AML.

    Сохраните блокнот, чтобы клонировать его в свою рабочую область.

  6. После сохранения записной книжки кнопка Сохранить записную книжку изменится на Запуск записной книжки. Выберите Запустить записную книжку , чтобы открыть ее в рабочей области AML.

    Например, вы можете:

    Запустите блокнот в рабочей области Azure Machine Learning.

  7. В верхней части страницы выберите вычислительный экземпляр, который будет использоваться для сервера записных книжек.

    Если у вас нет вычислительного экземпляра, создайте вычислительный экземпляр в Машинное обучение Azure. Если вычислительный экземпляр остановлен, убедитесь, что он запущен. Дополнительные сведения см. в статье «Запуск записной книжки в студии Azure Machine Learning».

    Только вы можете видеть и использовать вычислительные экземпляры, которые вы создаёте. Пользовательские файлы хранятся отдельно от виртуальной машины и совместно используются всеми вычислительными экземплярами в рабочей области.

    Если вы создаете новый вычислительный экземпляр для тестирования записных книжек, создайте вычислительный экземпляр с категорией общего назначения.

    Ядро также отображается в правом верхнем углу окна машинного обучения Azure. Если нужное ядро не выбрано, выберите другую версию в раскрывающемся списке.

  8. После создания и запуска сервера записных книжек запустите ячейки записной книжки. В каждой ячейке щелкните значок Выполнить , чтобы запустить код записной книжки.

    Дополнительные сведения о запуске ячеек блокнота см. в статье Запуск блокнотов Jupyter в Студии Azure Machine Learning.

  9. Если записная книжка зависает или вы хотите начать заново, можно перезапустить ядро и повторно запустить ячейки записной книжки с самого начала. При перезапуске ядра переменные и другое состояние удаляются. Повторно запустите все ячейки инициализации и проверки подлинности после перезапуска.

    Чтобы начать заново, выберите Операции> ядраПерезапуск ядра. Например, вы можете:

    Перезапустите ядро блокнота.

Запустите код в ноутбуке

Всегда последовательно выполняйте ячейки кода блокнота. Пропуск ячеек может привести к ошибкам.

В записной книжке:

  • Ячейки Markdown имеют текст, включая HTML, и статические изображения.
  • Ячейки кода содержат код. Выбрав ячейку кода, выполните код в ячейке, щелкнув значок Воспроизведения слева от ячейки или нажав клавиши SHIFT+ВВОД.

Следующий пример ячейки кода демонстрирует базовые операции Python и показывает, как ячейки кода работают в среде ноутбука. Запустите следующую кодовую ячейку в вашем блокноте:

# This is your first code cell. This cell contains basic Python code.

# You can run a code cell by selecting it and then selecting
# the Play button to the left of the cell, or by pressing SHIFT+ENTER.
# Code output displays below the code.

print("Congratulations, you just ran this code cell")

y = 2 + 2

print("2 + 2 =", y)

После запуска ячейки выборки ноутбук отображает следующий результат, подтверждающий, что ядро ноутбука работает корректно:

Congratulations, you just ran this code cell

2 + 2 = 4

Переменные, заданные в ячейке кода записной книжки, сохраняются между ячейками, поэтому ячейки можно объединить в цепочку. Например, следующая ячейка использует значение из y предыдущей ячейки. Этот пример также показывает, как Jupyter автоматически отображает результат последнего выражения в ячейке, даже если вы не вызываете print():

# Note that output from the last line of a cell is automatically
# sent to the output cell, without needing the print() function.

y + 2

В блокноте отображается вычисленный результат выражения y + 2 в выходной области:

6

Скачивание всех записных книжек Microsoft Sentinel

В этом разделе описывается, как с помощью Git скачать все блокноты, доступные в репозитории GitHub Microsoft Sentinel, из блокнота Microsoft Sentinel непосредственно в рабочую область Машинное обучение Azure.

Хранение записных книжек Microsoft Sentinel в рабочей области машинного обучения Azure позволяет легко обновлять их.

  1. В записной книжке Microsoft Sentinel введите следующий код в пустую ячейку, а затем запустите ячейку:

    !git clone https://github.com/Azure/Azure-Sentinel-Notebooks.git azure-sentinel-nb
    

    Копия содержимого репозитория GitHub создается в каталоге azure-Sentinel-nb в папке пользователя в рабочей области машинного обучения Azure.

  2. Скопируйте нужные записные книжки из этой папки в рабочий каталог.

  3. Чтобы обновить записные книжки с помощью последних изменений из GitHub, выполните следующую команду:

    !cd azure-sentinel-nb && git pull