Сбор журналов из текстовых файлов с помощью агента Azure Monitor и приема в Microsoft Sentinel

В этой статье описывается, как использовать пользовательские журналы через соединитель AMA для быстрого фильтрации и приема журналов в текстовом формате из сетевых или приложений безопасности, установленных на компьютерах Windows или Linux.

Многие приложения записывают данные в текстовые файлы вместо стандартных служб журналирования, таких как журнал событий Windows или системный журнал. Агент Azure Monitor (AMA) можно использовать для сбора данных в текстовых файлах нестандартных форматов с компьютеров Windows и Linux. AMA также может влиять на преобразования данных во время сбора, чтобы проанализировать их в разных полях.

Дополнительные сведения о приложениях, для которых Microsoft Sentinel имеет решения для поддержки сбора журналов, см. в статье "Пользовательские журналы через соединитель данных AMA" — настройка приема данных в Microsoft Sentinel из конкретных приложений.

Дополнительные сведения о приеме пользовательских журналов из текстовых файлов см. в статье Сбор журналов из текстового файла с помощью агента Azure Monitor.

Необходимые компоненты

Перед началом работы необходимо настроить ресурсы и соответствующие разрешения, как описано в этом разделе.

Предварительные требования для Microsoft Sentinel

• Установите решение Microsoft Sentinel, соответствующее приложению, и убедитесь, что у вас есть разрешения на выполнение действий, описанных в этой статье. Эти решения можно найти в центре содержимого в Microsoft Sentinel, и все они включают пользовательские журналы через соединитель AMA.

  Список приложений с решениями в концентраторе контента см . в конкретных инструкциях для каждого приложения. Если для приложения нет решения, установите пользовательские журналы с помощью решения AMA .

  Дополнительные сведения см. в статье "Обнаружение и управление содержимым Microsoft Sentinel вне поля".

• У вас есть учетная запись Azure со следующими ролями управления доступом на основе ролей Azure (Azure RBAC):

  Встроенная роль	Область	Причина
  - Участник виртуальной машины - Подключенный компьютер Azure    Администратор ресурсов	Виртуальные машины Масштабируемые наборы виртуальных машин Серверы с поддержкой Azure Arc	Развертывание агента
  Любая роль, которая включает действие Microsoft.Resources/deployments/*	Подписка Группа ресурсов Существующее правило сбора данных	Развертывание шаблонов Azure Resource Manager
  Monitoring Contributor (Участник мониторинга)	Подписка Группа ресурсов Существующее правило сбора данных	Создание или изменение правил сбора данных

Предварительные требования для пересылки журналов

Некоторые пользовательские приложения размещаются на закрытых устройствах, которые требуют отправки журналов во внешний сборщик или пересылку журналов. В таком сценарии к серверу пересылки журналов применяются следующие предварительные требования:

• Для сбора журналов необходимо назначить виртуальную машину Linux в качестве средства пересылки журналов.

  • Создайте виртуальную машину Linux в портал Azure.
  • Поддерживаемые операционные системы Linux для агента Azure Monitor.

• Если сервер пересылки журналов не является виртуальной машиной Azure, он должен установить на него агент подключенной машины Azure Arc.

• Виртуальная машина пересылки журналов Linux должна быть установлена на Python 2.7 или 3. Для проверки используйте команду python --version или python3 --version. Если вы используете Python 3, убедитесь, что оно задано в качестве команды по умолчанию на компьютере или запустите скрипты с помощью команды Python3 вместо python.

• Средство пересылки журналов должно включать syslog-ng управляющая программа или rsyslog управляющая программа.

• Сведения о требованиях к пространству для сервера пересылки журналов см. в справочнике по производительности агента Azure Monitor. Вы также можете просмотреть эту запись блога, включающую проекты для масштабируемого приема.

• Источники журналов, устройства безопасности и устройства должны быть настроены для отправки сообщений журнала в управляющей программе syslog средства пересылки журналов вместо локальной управляющей программы системного журнала.

Предварительные требования для обеспечения безопасности компьютера

Настройте безопасность компьютера пересылки журналов в соответствии с политикой безопасности вашей организации. Например, настройте сеть в соответствии с политикой безопасности корпоративной сети и измените порты и протоколы в управляющей программе, чтобы соответствовать вашим требованиям. Чтобы улучшить конфигурацию безопасности компьютера, защитить виртуальную машину в Azure или ознакомьтесь с этими рекомендациями по обеспечению безопасности сети.

Если устройства отправляют журналы по протоколу TLS, так как, например, сервер пересылки журналов находится в облаке, необходимо настроить управляющая программа системного журнала (rsyslog или syslog-ng) для обмена данными в TLS. Дополнительные сведения см. в разделе:

• Шифрование трафика системного журнала с помощью TLS — rsyslog
• Шифрование сообщений журнала с помощью TLS — syslog-ng

Настройка соединителя данных

Процесс установки пользовательских журналов через соединитель данных AMA включает следующие действия.

1. Создайте целевую таблицу в Log Analytics (или расширенную охоту, если вы находитесь на портале Defender).

   Имя таблицы должно заканчиваться _CL и должно состоять только из следующих двух полей:

   • TimeGenerated (тип DateTime): метка времени создания сообщения журнала.
   • RawData (типа String): сообщение журнала в целом.
     (Если вы собираете журналы из средства пересылки журналов, а не непосредственно с устройства, на котором размещено приложение, назовите это поле. Сообщение вместо RawData.)

2. Установите агент Azure Monitor и создайте правило сбора данных (DCR) с помощью любого из следующих методов:

   • Портал Azure или Defender
   • Шаблон Azure Resource Manager

3. Если вы собираете журналы с помощью средства пересылки журналов, настройте управляющую программу системного журнала на этом компьютере для прослушивания сообщений из других источников и откройте необходимые локальные порты. Дополнительные сведения см. в разделе "Настройка средства пересылки журналов для приема журналов".

Выберите соответствующую вкладку для инструкций.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Настройка средства пересылки журналов для приема журналов

Если вы собираете журналы с устройства с помощью средства пересылки журналов, настройте управляю системного журнала в средстве пересылки журналов для прослушивания сообщений с других компьютеров и откройте необходимые локальные порты.

1. Скопируйте следующую командную строку:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Войдите на компьютер пересылки журналов, где вы только что установили AMA.

3. Вставьте команду, скопированную на последнем шаге, чтобы запустить скрипт установки.
   Скрипт настраивает rsyslog управляющая syslog-ng программа для использования требуемого протокола и перезапускает управляющая программа. Скрипт открывает порт 514 для прослушивания входящих сообщений в протоколах UDP и TCP. Чтобы изменить этот параметр, обратитесь к файлу конфигурации управляющей программы системного журнала в соответствии с типом управляющей программы, запущенным на компьютере:

   • rsyslog: /etc/rsyslog.conf;
   • syslog-ng: /etc/syslog-ng/syslog-ng.conf.

   Если вы используете Python 3, и оно не задано как команда по умолчанию на компьютере, замените python3 python в вставленной команде. См . предварительные требования для пересылки журналов.

   Примечание.

   Чтобы избежать сценариев полного диска, в которых агент не может функционировать, рекомендуется установить или rsyslog настроить syslog-ng конфигурацию, чтобы не хранить ненужные журналы. Сценарий полного диска нарушает функцию установленной AMA. Дополнительные сведения см. в статье RSyslog или Syslog-ng.

Настройка устройства безопасности или устройства

Инструкции по настройке приложения безопасности или устройства см. в разделе "Пользовательские журналы" с помощью соединителя данных AMA. Настройка приема данных в Microsoft Sentinel из определенных приложений

Обратитесь к поставщику решений, чтобы получить дополнительные сведения или где информация недоступна для устройства или устройства.

Связанный контент

• Правила сбора данных в Azure Monitor
• Сбор журналов из текстового файла с помощью агента Azure Monitor