Прием сообщений системного журнала и CEF для Microsoft Sentinel с помощью агента мониторинга Azure

В этой статье показано, как использовать системный журнал через AMA и общий формат событий (CEF) через соединители AMA для фильтрации и приема сообщений системного журнала и CEF с Linux компьютеров, сетевых устройств и устройств безопасности. Дополнительные сведения об этих соединителях данных см. в статье Системный журнал и общий формат событий (CEF) через соединители AMA для Microsoft Sentinel.

Примечание.

Аналитика контейнеров поддерживает автоматический сбор событий системного журнала с Linux узлов в кластерах AKS. Дополнительные сведения см . в статье Сбор системных журналов с помощью Аналитики контейнеров.

Предварительные условия

Перед началом работы необходимо настроить ресурсы и назначенные соответствующие разрешения, как описано в этом разделе.

предварительные требования Microsoft Sentinel

Установите соответствующее решение Microsoft Sentinel и убедитесь, что у вас есть разрешения на выполнение действий, описанных в этой статье.

Предварительные требования для средства пересылки журналов

Если вы собираете сообщения из средства пересылки журналов, действуют следующие предварительные требования.

  • Для сбора журналов должна быть назначена виртуальная машина Linux в качестве средства пересылки журналов.

  • Если средство пересылки журналов не является Azure виртуальной машиной, на нем должен быть установлен агент Azure Arc Connected Machine.

  • На виртуальной машине сервера пересылки журналов Linux должен быть установлен Python 2.7 или 3. python --version Используйте команду или python3 --version для проверка. Если вы используете Python 3, убедитесь, что он задан как команда по умолчанию на компьютере, или запустите скрипты с помощью команды python3, а не python.

  • В сервере пересылки журналов должна быть включена syslog-ng управляющая программа или rsyslog .

  • Требования к пространству для средства пересылки журналов см. в статье Производительность производительности агента мониторинга Azure. Вы также можете просмотреть эту запись блога, в которой представлены макеты для масштабируемого приема.

  • Источники журналов, устройства безопасности и устройства должны быть настроены для отправки сообщений журнала в управляемую программу syslog сервера пересылки журналов, а не в локальную управляемую программу системного журнала.

Примечание.

При развертывании AMA в масштабируемом наборе виртуальных машин (VMSS) настоятельно рекомендуется использовать подсистему балансировки нагрузки, которая поддерживает метод циклического перебора, чтобы обеспечить распределение нагрузки между всеми развернутыми экземплярами.

Предварительные требования к безопасности компьютера

Настройте безопасность компьютера в соответствии с политикой безопасности вашей организации. Например, настройте сеть в соответствии с политикой безопасности корпоративной сети и измените порты и протоколы в управляющей программе в соответствии с требованиями. Чтобы улучшить конфигурацию безопасности компьютера, защитите виртуальную машину в Azure или ознакомьтесь с рекомендациями по обеспечению безопасности сети.

Если устройства отправляют журналы системного журнала и CEF по протоколу TLS, так как, например, средство пересылки журналов находится в облаке, необходимо настроить управляющая программа системного журнала (rsyslog или syslog-ng) для обмена данными по протоколу TLS. Дополнительные сведения см. в разделе:

Настройка соединителя данных

Процесс настройки системного журнала через AMA или общий формат событий (CEF) через соединители данных AMA включает следующие действия.

  1. Установите агент мониторинга Azure и создайте правило сбора данных (DCR) с помощью любого из следующих методов:
  2. Если вы собираете журналы с других компьютеров с помощью средства пересылки журналов, запустите сценарий установки в средстве пересылки журналов, чтобы настроить управляемую программу системного журнала для прослушивания сообщений с других компьютеров и открыть необходимые локальные порты.

Выберите соответствующую вкладку для получения инструкций.

Создание правила сбора данных (DCR)

Чтобы приступить к работе, откройте системный журнал через AMA или общий формат событий (CEF) через соединитель данных AMA в Microsoft Sentinel и создайте правило сбора данных (DCR).

  1. Для Microsoft Sentinel в портал Azure в разделе Конфигурация выберите Соединители данных.
    Для Microsoft Sentinel на портале Defender выберите Microsoft Sentinel>Коннекторы данных конфигурации>.

  2. Для syslog введите Syslog в поле Поиска . В результатах выберите соединитель Системный журнал через AMA .
    Для параметра CEF введите CEF в поле Поиска . В результатах выберите соединитель Общий формат событий (CEF) через AMA .

  3. Выберите Открыть страницу соединителя в области сведений.

  4. В области Конфигурация выберите +Создать правило сбора данных.

    Снимок экрана: страница соединителя Syslog через AMA.

    Снимок экрана: страница соединителя CEF через AMA.

  5. На вкладке Базовый :

    • Введите имя DCR.
    • Выберите свою подписку.
    • Выберите группу ресурсов, в которой вы хотите найти DCR.

    Снимок экрана: сведения о DCR на вкладке

  6. Выберите Далее: ресурсы >.

Определение ресурсов виртуальной машины

На вкладке Ресурсы выберите компьютеры, на которых требуется установить AMA. В данном случае это компьютер сервера пересылки журналов. Если средство пересылки журналов не отображается в списке, в нем может не быть установлен агент Azure Connected Machine.

  1. Используйте доступные фильтры или поле поиска, чтобы найти виртуальную машину средства пересылки журналов. Разверните подписку в списке, чтобы просмотреть ее группы ресурсов, и группу ресурсов, чтобы увидеть ее виртуальные машины.

  2. Выберите виртуальную машину сервера пересылки журналов, на которой требуется установить AMA. Поле проверка появится рядом с именем виртуальной машины при наведении на него указателя мыши.

    Снимок экрана: выбор ресурсов при настройке DCR.

  3. Просмотрите изменения и нажмите кнопку Далее: собрать >.

Выбор средств и уровней серьезности

Имейте в виду, что использование одной и той же возможности для сообщений системного журнала и CEF может привести к дублированию приема данных. Дополнительные сведения см. в разделе Предотвращение дублирования приема данных.

  1. На вкладке Сбор выберите минимальный уровень журнала для каждого объекта. При выборе уровня журнала Microsoft Sentinel собирает журналы для выбранного уровня и других уровней с более высоким уровнем серьезности. Например, если выбрать LOG_ERR, Microsoft Sentinel собирает журналы для уровней LOG_ERR, LOG_CRIT, LOG_ALERT и LOG_EMERG.

    Снимок экрана: выбор уровней журнала при настройке DCR.

  2. Просмотрите выбранные варианты и выберите Далее: Просмотр и создание.

Просмотр и создание правила

После завершения всех вкладок просмотрите введенные данные и создайте правило сбора данных.

  1. На вкладке Просмотр и создание выберите Создать.

    Снимок экрана: просмотр конфигурации DCR и ее создание.

    Соединитель устанавливает агент мониторинга Azure на компьютерах, выбранных при создании DCR.

  2. Проверьте уведомления на портале портал Azure или Microsoft Defender, чтобы узнать, когда создается DCR и установлен агент.

  3. Выберите Обновить на странице соединителя, чтобы увидеть DCR, отображаемый в списке.

Запуск скрипта установки

Если вы используете средство пересылки журналов, настройте управляющая программа syslog для прослушивания сообщений с других компьютеров и откройте необходимые локальные порты.

  1. На странице соединителя скопируйте командную строку, которая отображается в разделе Выполните следующую команду, чтобы установить и применить сборщик CEF:.

    Снимок экрана: командная строка на странице соединителя.

    Или скопируйте его отсюда:

    sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
    
  2. Войдите на компьютер переадресации журналов, где вы только что установили AMA.

  3. Вставьте команду, скопированную на последнем шаге, чтобы запустить сценарий установки.
    Скрипт настраивает управляемую rsyslog программу или syslog-ng для использования требуемого протокола и перезапускает управляемую программу. Скрипт открывает порт 514 для прослушивания входящих сообщений по протоколам UDP и TCP. Чтобы изменить этот параметр, обратитесь к файлу конфигурации управляющей программы syslog в соответствии с типом управляющей программы, запущенной на компьютере:

    • Rsyslog: /etc/rsyslog.conf
    • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

    Если вы используете Python 3 и он не задан в качестве команды по умолчанию на компьютере, замените python3 на python в вставленной команде. См. раздел Предварительные требования для средства пересылки журналов.

    Примечание.

    Чтобы избежать сценариев с полным диском , в которых агент не может работать, рекомендуется настроить конфигурацию syslog-ng или rsyslog не для хранения ненужных журналов. Сценарий полного диска нарушает функцию установленного AMA. Дополнительные сведения см. в разделе RSyslog или Syslog-ng.

  4. Проверьте состояние службы.

    Проверьте состояние службы AMA в сервере пересылки журналов:

    sudo systemctl status azuremonitoragent.service
    

    Проверьте состояние службы rsyslog:

    sudo systemctl status rsyslog.service
    

    Для сред syslog-ng проверка:

    sudo systemctl status syslog-ng.service
    

Настройка устройства безопасности или (модуль)

Инструкции по настройке устройства безопасности или (модуль) см. в одной из следующих статей:

За дополнительными сведениями о (модуль) или устройстве обратитесь к поставщику решений.

Тестирование соединителя

Убедитесь, что сообщения журнала с Linux компьютера или устройств безопасности и устройств приема в Microsoft Sentinel.

  1. Чтобы проверить, запущена ли управляющая программа системного журнала на порту UDP и что AMA прослушивает, выполните следующую команду:

     netstat -lnptv
    

    Вы увидите rsyslog управляющую программу или syslog-ng , прослушивающую порт 514.

  2. Чтобы записать сообщения, отправленные из средства ведения журнала или подключенного устройства, выполните следующую команду в фоновом режиме:

    sudo tcpdump -i any port 514 or 28330 -A -vv &
    
  3. После завершения проверки остановите .tcpdump Введите fgи нажмите клавиши CTRL+C.

Отправка тестовых сообщений

Чтобы отправить демонстрационные сообщения, выполните одно из следующих действий.

  1. Используйте служебную nc программу netcat. В этом примере служебная программа считывает данные, опубликованные echo с помощью команды, с выключенным переключателем newline. Затем служебная программа записывает данные на UDP-порт 514 на локальном узле без истечения времени ожидания. Чтобы выполнить служебную программу netcat, может потребоваться установить другой пакет.

    echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
    
  2. logger Используйте команду . В этом примере сообщение записывается в local 4 объект с уровнем Warningсерьезности для порта 514на локальном узле в формате CEF RFC. Флаги -t и --rfc3164 используются для соответствия ожидаемому формату RFC.

    logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|rt=$common=event-formatted-receive_time"
    

    Проверьте прием Cisco ASA с помощью следующей команды:

    echo -n "<164>%ASA-7-106010: Deny inbound TCP src inet:1.1.1.1 dst inet:2.2.2.2" | nc -u -w0 localhost 514
    

    После выполнения этих команд сообщения поступают на порт 514 и перенаправяются на порт 28330.

  3. После отправки тестовых сообщений отправьте запрос к рабочей области Log Analytics. Для отображения журналов в рабочей области может потребоваться до 20 минут.

Для журналов CEF:

CommonSecurityLog
| where TimeGenerated > ago(1d)
| where DeviceProduct == "MOCK"

Для журналов Cisco ASA:

CommonSecurityLog
| where TimeGenerated > ago(1d)
| where DeviceVendor == "Cisco"
| where DeviceProduct == "ASA"

Дополнительные сведения об устранении неполадок

Если вы не видите трафик через порт 514 или тестовые сообщения не были приема, см. статью Устранение неполадок с системным журналом и CEF через соединители AMA для Microsoft Sentinel для устранения неполадок.