Массовое добавление данных аналитики угроз в Microsoft Sentinel из CSV- или JSON-файла

В этой статье показано, как добавить в модуль аналитики угроз Microsoft Sentinel индикаторы из CSV-файла или объекты STIX из JSON-файла. Так как обмен аналитикой угроз по-прежнему происходит через электронную почту и другие неофициальные каналы во время текущего исследования, возможность быстро импортировать эти сведения в Microsoft Sentinel важна для передачи новых угроз вашей команде. Импортированные объекты разведки угроз затем доступны для поддержки других аналитических сигналов, таких как создание оповещений безопасности, инцидентов и автоматизированных реакций.

Предварительные условия

Для хранения аналитики угроз необходимо иметь разрешения на чтение и запись в рабочей области Microsoft Sentinel.

Выбор шаблона импорта для аналитики угроз

Добавьте несколько объектов аналитики угроз с помощью специально созданного CSV- или JSON-файла. Скачайте шаблоны файлов, чтобы ознакомиться с полями и способами их сопоставления с имеющимися у вас данными. Перед импортом просмотрите обязательные поля для каждого типа шаблона, чтобы проверить данные.

1. Для Microsoft Sentinel в портал Azure в разделе Управление угрозами выберите Аналитика угроз.

   Для Microsoft Sentinel на портале Defender выберите Microsoft Sentinel>Threat management>Threat Intelligence.

2. Выберите Импорт>Импортировать с помощью файла.

   • Портал Defender
   • Портал Azure

   

3. В раскрывающемся меню Формат файла выберите CSV или JSON.

   

   Примечание.

   Шаблон CSV поддерживает только индикаторы. Шаблон JSON поддерживает индикаторы и другие объекты STIX, такие как субъекты угроз, шаблоны атак, удостоверения и связи. Дополнительные сведения о создании поддерживаемых объектов STIX в JSON см. в справочнике по API отправки.

4. Выбрав шаблон массовой отправки, щелкните ссылку Скачать шаблон .

5. Рассмотрите возможность группировки аналитики угроз по источнику, так как для каждой отправки файлов требуется источник.

Шаблоны CSV и JSON предоставляют все поля, необходимые для создания единого допустимого индикатора, включая обязательные поля и параметры валидации. Воспроизведите структуру шаблонных полей для заполнения большего количества индикаторов в одном файле или добавьте объекты STIX в JSON-файл. Дополнительные сведения о шаблонах см. в статье Общие сведения о шаблонах импорта.

Отправка файла аналитики угроз

Отправьте подготовленный CSV-файл или JSON-файл и укажите исходные сведения для импорта.

1. Измените имя файла с шаблона по умолчанию, но оставьте расширение файла .csv или .json. При создании уникального имени файла проще отслеживать импорт на панели Управление импортом файлов .

2. Перетащите файл аналитики массовых угроз в раздел Отправка файла или найдите файл по ссылке.

3. Введите источник для аналитики угроз в текстовом поле Источник . Исходное значение помечено на всех индикаторах, включенных в этот файл. Рассматривайте это свойство как поле SourceSystem. Исходное значение также отображается в области "Управление импортом файлов ". Дополнительные сведения см. в статье Работа с индикаторами угроз.

4. Выберите, как Microsoft Sentinel будет обрабатывать недопустимые записи, выбрав одну из кнопок в нижней части панели Импорт с помощью файла:

   • Импортируйте только допустимые записи и оставьте в стороне все недопустимые записи из файла.
   • Не импортируйте записи, если один объект в файле недопустим.

   

5. Нажмите Импорт.

Управление импортом файлов

Отслеживайте импорт и просматривайте отчеты об ошибках на наличие частично импортированных или неудачных импортов.

1. Выберите Импорт Управление>импортом файлов.

   

2. Проверьте состояние импортированных файлов и количество недопустимых записей. Допустимое число записей обновляется после обработки файла. Дождитесь завершения импорта, чтобы получить обновленное количество допустимых записей.

   

3. Для просмотра и сортировки импорта выберите Источник, Имя файла аналитики угроз, Число импортированных данных, Общее количество записей в каждом файле или Дата создания .

4. Выберите предварительный просмотр файла с ошибками или загрузите файл с ошибками, содержащий сведения о недопустимых записях.

Microsoft Sentinel сохраняет состояние импорта файла в течение 30 дней. Фактический файл и связанный с ним файл ошибки хранятся в системе в течение 24 часов. Через 24 часа файл и файл об ошибке удаляются, но все данные о приеме индикаторов продолжают отображаться в аналитике угроз.

Общие сведения о шаблонах импорта

Проверьте шаблоны CSV и JSON, чтобы убедиться, что ваша разведка угроз успешно импортируется. Обязательно ссылайтесь на инструкции в файле шаблонов CSV или JSON, а также на дополнительные рекомендации в разделах CSV-структуры шаблонов и JSON-шаблонов .

Структура шаблона CSV

Используйте параметры шаблона CSV, чтобы выбрать правильную структуру для ваших индикаторных данных.

1. В раскрывающемся меню Тип индикатора выберите CSV. Затем выберите один из вариантов Индикаторы файла или Все другие типы индикаторов .

   Шаблону CSV требуется несколько столбцов для размещения типа индикатора файла, так как индикаторы файлов могут иметь несколько типов хэша, таких как MD5 и SHA256. Для всех других типов индикаторов, таких как IP-адреса, требуется только наблюдаемый тип и наблюдаемое значение.

2. Заголовки столбцов для шаблона CSV Все остальные типы индикаторов включают такие поля, как threatTypes, один или несколько tags, confidenceи tlpLevel. Поле tlpLevel задаёт уровень Traffic Light Protocol (TLP), который представляет собой обозначение уровня чувствительности, помогающее принимать решения об обмене аналитикой угроз.

3. Обязательны только поля validFrom, observableType и observableValue.

4. Удалите всю первую строку из шаблона, чтобы удалить комментарии перед отправкой.

   Максимальный размер файла для импорта CSV-файла составляет 50 МБ.

Следующий пример CSV показывает, как отформатировать индикатор доменного имени для массового импорта с помощью схемы шаблона CSV:

threatTypes,tags,name,description,confidence,revoked,validFrom,validUntil,tlpLevel,severity,observableType,observableValue
Phishing,"demo, csv",MDTI article - Franken-Phish domainname,Entity appears in MDTI article Franken-phish,100,,2022-07-18T12:00:00.000Z,,white,5,domain-name,1776769042.tailspintoys.com

Структура шаблона JSON

Шаблон JSON использует одну структуру STIX 2.1 для всех поддерживаемых типов объектов. Ознакомьтесь с наведением следующих деталей при подготовке вашего JSON-файла.

1. Существует только один шаблон JSON для всех типов объектов STIX. Шаблон JSON основан на формате STIX 2.1.

2. Элемент type поддерживает indicator, attack-pattern, identity, threat-actorи relationship.

3. Для индикаторов pattern элемент поддерживает типы индикаторов file, ipv4-addr, ipv6-addr, domain-name, urluser-account, email-addrи windows-registry-key.

4. Удалите примечания шаблона перед отправкой.

5. Закройте последний объект в массиве с помощью } без запятой.

   Максимальный размер файла для импорта JSON-файла составляет 250 МБ.

Следующий пример JSON показывает, как определить ipv4-addr индикатор и attack-pattern объект для массового импорта в формате STIX 2.1:

[
    {
      "type": "indicator",
      "id": "indicator--dbc48d87-b5e9-4380-85ae-e1184abf5ff4",
      "spec_version": "2.1",
      "pattern": "[ipv4-addr:value = '198.168.100.5']",
      "pattern_type": "stix",
      "created": "2022-07-27T12:00:00.000Z",
      "modified": "2022-07-27T12:00:00.000Z",
      "valid_from": "2016-07-20T12:00:00.000Z",
      "name": "Sample IPv4 indicator",
      "description": "This indicator implements an observation expression.",
      "indicator_types": [
        "anonymization",
        "malicious-activity"
      ],
      "kill_chain_phases": [
          {
            "kill_chain_name": "mandiant-attack-lifecycle-model",
            "phase_name": "establish-foothold"
          }
      ],
      "labels": ["proxy","demo"],
      "confidence": "95",
      "lang": "",
      "external_references": [],
      "object_marking_refs": [],
      "granular_markings": []
    },
    {
        "type": "attack-pattern",
        "spec_version": "2.1",
        "id": "attack-pattern--fb6aa549-c94a-4e45-b4fd-7e32602dad85",
        "created": "2015-05-15T09:12:16.432Z",
        "modified": "2015-05-20T09:12:16.432Z",
        "created_by_ref": "identity--f431f809-377b-45e0-aa1c-6a4751cae5ff",
        "revoked": false,
        "labels": [
            "heartbleed",
            "has-logo"
        ],
        "confidence": 55,
        "lang": "en",
        "object_marking_refs": [
            "marking-definition--34098fce-860f-48ae-8e50-ebd3cc5e41da"
        ],
        "granular_markings": [
            {
                "marking_ref": "marking-definition--089a6ecb-cc15-43cc-9494-767639779123",
                "selectors": [
                    "description",
                    "labels"
                ],
                "lang": "en"
            }
        ],
        "extensions": {
            "extension-definition--d83fce45-ef58-4c6c-a3f4-1fbc32e98c6e": {
                "extension_type": "property-extension",
                "rank": 5,
                "toxicity": 8
            }
        },
        "external_references": [
            {
                "source_name": "capec",
                "description": "spear phishing",
                "external_id": "CAPEC-163"
            }
        ],
        "name": "Attack Pattern 2.1",
        "description": "menuPass appears to favor spear phishing to deliver payloads to the intended targets. While the attackers behind menuPass have used other RATs in their campaign, it appears that they use PIVY as their primary persistence mechanism.",
        "kill_chain_phases": [
            {
                "kill_chain_name": "mandiant-attack-lifecycle-model",
                "phase_name": "initial-compromise"
            }
        ],
        "aliases": [
            "alias_1",
            "alias_2"
        ]
    }
]

Связанные материалы

Из этой статьи вы узнали, как вручную повысить аналитику угроз путем импорта индикаторов и других объектов STIX, собранных в неструктурированных файлах. Дополнительные сведения о том, как аналитика угроз обеспечивает другие возможности аналитики в Microsoft Sentinel, см. в следующих статьях:

• Работа с индикаторами угроз в Microsoft Sentinel
• Индикаторы угроз в аналитике киберугроз в Microsoft Sentinel
• Быстрое обнаружение угроз с помощью правил аналитики практически в реальном времени (NRT) в Microsoft Sentinel