Сбор журналов из текстовых файлов с помощью агента мониторинга Azure и прием Microsoft Sentinel

В этой статье описывается использование соединителя пользовательских журналов через AMA для быстрой фильтрации и приема журналов в текстовом формате из сетевых приложений или приложений безопасности, установленных на компьютерах с Windows или Linux.

Многие приложения регистрируют данные в текстовые файлы вместо стандартных служб ведения журнала, таких как журнал событий Windows или системный журнал. Агент мониторинга Azure (AMA) можно использовать для сбора данных в текстовых файлах нестандартных форматов с компьютеров Windows и Linux. AMA также может влиять на преобразования данных во время сбора, чтобы проанализировать их в разных полях.

Дополнительные сведения о приложениях, для которых у Microsoft Sentinel есть решения для поддержки сбора журналов, см. в статье Настраиваемые журналы через соединитель данных AMA. Настройка приема данных для Microsoft Sentinel из определенных приложений.

Дополнительные общие сведения о приеме пользовательских журналов из текстовых файлов см. в статье Сбор журналов из текстового файла с помощью агента мониторинга Azure.

Предварительные условия

Перед началом работы необходимо настроить ресурсы и назначенные соответствующие разрешения, как описано в этом разделе.

предварительные требования Microsoft Sentinel

• Установите решение Microsoft Sentinel, соответствующее вашему приложению, и убедитесь, что у вас есть разрешения на выполнение действий, описанных в этой статье. Эти решения можно найти в центре содержимого в Microsoft Sentinel, и все они включают настраиваемые журналы через соединитель AMA.

  Список приложений, имеющих решения в центре содержимого, см. в разделе Конкретные инструкции для каждого приложения. Если для приложения нет решения, установите решение Пользовательские журналы с помощью решения AMA .

  Дополнительные сведения см. в статье Обнаружение и управление Microsoft Sentinel готового содержимого.

• Используйте учетную запись Azure со следующими Azure ролями управления доступом на основе ролей (Azure RBAC).

  Встроенная роль	Scope	Reason
  - Участник виртуальной машины - Azure подключенный компьютер    Администратор ресурсов	Виртуальные машины Масштабируемые наборы виртуальных машин серверы с поддержкой Arc Azure	Развертывание агента
  Любая роль, включающая действие Microsoft.Resources/deployments/*	Подписка Группа ресурсов Существующее правило сбора данных	Развертывание шаблонов Azure Resource Manager
  Участник мониторинга	Подписка Группа ресурсов Существующее правило сбора данных	Создание или изменение правил сбора данных

Предварительные требования для средства пересылки журналов

Некоторые пользовательские приложения размещаются на закрытых устройствах, которые требуют отправки журналов во внешний сборщик журналов или сервер пересылки. В таком сценарии к серверу пересылки журналов применяются следующие предварительные требования:

• Для сбора журналов должна быть назначена виртуальная машина Linux в качестве средства пересылки журналов.

  • Создайте виртуальную машину Linux в портал Azure.
  • Поддерживаемые Linux операционных систем для агента Azure Monitor.

• Если средство пересылки журналов не является Azure виртуальной машиной, на нем должен быть установлен агент Azure Arc Connected Machine.

• На виртуальной машине сервера пересылки журналов Linux должен быть установлен Python 2.7 или 3. python --version Используйте команду или python3 --version для проверка. Если вы используете Python 3, убедитесь, что он задан как команда по умолчанию на компьютере, или запустите скрипты с помощью команды python3, а не python.

• В сервере пересылки журналов должна быть включена syslog-ng управляющая программа или rsyslog .

• Требования к пространству для средства пересылки журналов см. в статье Производительность производительности агента мониторинга Azure. Вы также можете просмотреть эту запись блога, в которой представлены макеты для масштабируемого приема.

• Источники журналов, устройства безопасности и устройства должны быть настроены для отправки сообщений журнала в управляемую программу syslog сервера пересылки журналов, а не в локальную управляемую программу системного журнала.

Предварительные требования к безопасности компьютера

Настройте безопасность компьютера сервера пересылки журналов в соответствии с политикой безопасности вашей организации. Например, настройте сеть в соответствии с политикой безопасности корпоративной сети и измените порты и протоколы в управляющей программе в соответствии с требованиями. Чтобы улучшить конфигурацию безопасности компьютера, защитите виртуальную машину в Azure или ознакомьтесь с рекомендациями по обеспечению безопасности сети.

Если ваши устройства отправляют журналы по протоколу TLS, так как, например, средство пересылки журналов находится в облаке, необходимо настроить управляемую программу системного журнала (rsyslog или syslog-ng) для обмена данными по протоколу TLS. Дополнительные сведения см. в разделе:

• Шифрование трафика системного журнала с помощью TLS — rsyslog
• Шифрование сообщений журнала с помощью TLS — syslog-ng

Настройка соединителя данных

Процесс настройки настраиваемых журналов через соединитель данных AMA включает в себя следующие действия.

1. Создайте целевую таблицу в Log Analytics (или Расширенной охоте, если вы используете портал Defender).

   Имя таблицы должно заканчиваться на _CL и состоять только из следующих двух полей:

   • TimeGenerated (тип DateTime): метка времени создания сообщения журнала.
   • RawData (типа String): сообщение журнала полностью.
     (Если вы собираете журналы из средства пересылки журналов, а не непосредственно с устройства, на котором размещено приложение, назовите это поле Сообщение , а не RawData.)

2. Установите агент мониторинга Azure и создайте правило сбора данных (DCR) с помощью любого из следующих методов:

   • Azure или портал Defender
   • шаблон Azure Resource Manager

3. Если вы собираете журналы с помощью средства пересылки журналов, настройте управляющую программу системного журнала на этом компьютере для прослушивания сообщений из других источников и откройте необходимые локальные порты. Дополнительные сведения см. в разделе Настройка средства пересылки журналов для приема журналов.

Выберите соответствующую вкладку для получения инструкций.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Настройка средства пересылки журналов для приема журналов

Если вы собираете журналы из (модуль) с помощью средства пересылки журналов, настройте управляемую программу системного журнала в средстве пересылки журналов для прослушивания сообщений с других компьютеров и откройте необходимые локальные порты.

1. Скопируйте следующую командную строку:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Войдите на компьютер переадресации журналов, где вы только что установили AMA.

3. Вставьте команду, скопированную на последнем шаге, чтобы запустить сценарий установки.
   Скрипт настраивает управляемую rsyslog программу или syslog-ng для использования требуемого протокола и перезапускает управляемую программу. Скрипт открывает порт 514 для прослушивания входящих сообщений по протоколам UDP и TCP. Чтобы изменить этот параметр, обратитесь к файлу конфигурации управляющей программы syslog в соответствии с типом управляющей программы, запущенной на компьютере:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Если вы используете Python 3 и он не задан в качестве команды по умолчанию на компьютере, замените python3 на python в вставленной команде. См. раздел Предварительные требования для средства пересылки журналов.

   Примечание.

   Чтобы избежать сценариев с полным диском , в которых агент не может работать, рекомендуется настроить конфигурацию syslog-ng или rsyslog не для хранения ненужных журналов. Сценарий полного диска нарушает функцию установленного AMA. Дополнительные сведения см. в разделе RSyslog или Syslog-ng.

Настройка устройства безопасности или (модуль)

Конкретные инструкции по настройке приложения безопасности или (модуль) см. в статье Настраиваемые журналы через соединитель данных AMA. Настройка приема данных для Microsoft Sentinel из определенных приложений.

Обратитесь к поставщику решений для получения дополнительных сведений или о том, где сведения недоступны для (модуль) или устройства.

Связанные материалы

• Правила сбора данных в мониторе Azure
• Сбор журналов из текстового файла с помощью агента мониторинга Azure