Сбор журналов из текстовых файлов с помощью Azure Monitor Agent и их прием в Microsoft Sentinel

В этой статье описывается, как использовать пользовательские логи через AMA коннектор для фильтрации и ввода логов текстовых файлов. Эти логи поступают из сетевых или охранных приложений, установленных на компьютерах с Windows или Linux. Перед тем как настроить коннектор, ознакомьтесь с разделом «Требования». Этот раздел охватывает необходимые права, поддерживаемые машины и установку агентов.

Многие приложения регистрируют данные в текстовые файлы вместо стандартных служб ведения журнала, таких как журнал событий Windows или системный журнал. Вы можете использовать Azure Monitor Agent (AMA) для сбора данных из текстовых файлов как на компьютерах Windows, так и с Linux. AMA также может преобразовывать данные во время сбора, чтобы разобрать их в разные поля.

Дополнительные сведения о приложениях, для которых у Microsoft Sentinel есть решения для поддержки сбора журналов, см. в статье Настраиваемые журналы через соединитель данных AMA. Настройка приема данных для Microsoft Sentinel из определенных приложений.

Дополнительные общие сведения о приеме пользовательских журналов из текстовых файлов см. в статье Сбор журналов из текстового файла с помощью агента мониторинга Azure.

Предварительные условия

Перед настройкой пользовательских журналов с помощью соединителя AMA убедитесь, что установлены следующие ресурсы и разрешения.

предварительные требования Microsoft Sentinel

• Установите решение Microsoft Sentinel, соответствующее вашему приложению, и убедитесь, что у вас есть разрешения на выполнение действий, описанных в этой статье. Эти решения можно найти в центре содержимого в Microsoft Sentinel, и все они включают настраиваемые журналы через соединитель AMA.

  Список приложений, имеющих решения в центре содержимого, см. в разделе Конкретные инструкции для каждого приложения. Если для вашего приложения нет доступного решения, установите решение «Пользовательские журналы через AMA».

  Дополнительные сведения см. в статье Поиск и управление готовым содержимым Microsoft Sentinel.

• Используйте учетную запись Azure со следующими Azure ролями управления доступом на основе ролей (Azure RBAC).

  Встроенная роль	Scope	Причина
  - Участник группы виртуальных машин - Подключённая машина Azure    Администратор ресурсов	Виртуальные машины Масштабируемые наборы виртуальных машин серверы с поддержкой Arc Azure	Развертывание агента
  Любая роль, включающая действие Microsoft.Resources/deployments/*	Подписка Группа ресурсов Существующее правило сбора данных	Развертывание шаблонов Azure Resource Manager
  Участник мониторинга	Подписка Группа ресурсов Существующее правило сбора данных	Создание или изменение правил сбора данных

Предварительные требования для пересылки журналов

Некоторые пользовательские приложения размещаются на закрытых устройствах, которые требуют отправки журналов во внешний сборщик журналов или сервер пересылки. В таком сценарии к серверу пересылки журналов применяются следующие предварительные требования:

• Для сбора журналов должна быть назначена виртуальная машина Linux в качестве средства пересылки журналов.

  • Создайте виртуальную машину Linux в портал Azure.
  • Поддерживаемые операционные системы Linux для агента Azure Monitor.

• Если средство пересылки журналов не является Azure виртуальной машиной, на нем должен быть установлен агент Azure Arc Connected Machine.

• На виртуальной машине сервера пересылки журналов Linux должен быть установлен Python 2.7 или 3. Используйте команду python --version или python3 --version, чтобы проверить. Если вы используете Python 3, убедитесь, что он задан как команда по умолчанию на компьютере, или запустите скрипты с помощью команды python3, а не python.

• В агенте пересылки журналов должен быть включён либо демон syslog-ng, либо rsyslog.

• Сведения о требованиях к дисковому пространству для средства пересылки журналов см. в статье Эталонные показатели производительности агента Azure Monitor. Вы также можете ознакомиться с вариантами архитектуры для реализации масштабируемой загрузки данных в Microsoft Sentinel.

• Источники журналов, устройства безопасности и аппаратные устройства должны быть настроены на отправку своих сообщений журнала демону syslog сервера пересылки журналов, а не их локальному демону syslog.

Предварительные требования к безопасности компьютера

Настройте безопасность компьютера сервера пересылки журналов в соответствии с политикой безопасности вашей организации. Например, настройте сеть в соответствии с политикой безопасности корпоративной сети и измените порты и протоколы в управляющей программе в соответствии с требованиями. Чтобы улучшить конфигурацию безопасности компьютера, защитите виртуальную машину в Azure или ознакомьтесь с рекомендациями по обеспечению безопасности сети.

Если ваши устройства отправляют журналы по протоколу TLS, так как, например, средство пересылки журналов находится в облаке, необходимо настроить управляемую программу системного журнала (rsyslog или syslog-ng) для обмена данными по протоколу TLS. Дополнительные сведения см. в разделе:

• Шифрование трафика системного журнала с помощью TLS — rsyslog
• Шифрование сообщений журнала с помощью TLS — syslog-ng

Настройка соединителя данных

Процесс настройки настраиваемых журналов через соединитель данных AMA включает в себя следующие действия.

1. Создайте целевую таблицу в Log Analytics (или в модуле расширенного поиска, если вы работаете в портале Defender).

   Имя таблицы должно заканчиваться на _CL и состоять только из следующих двух полей:

   • TimeGenerated (тип DateTime): метка времени создания сообщения журнала.
   • RawData (типа String): полное сообщение журнала.
     (Если вы собираете журналы из средства пересылки журналов, а не непосредственно с устройства, на котором размещено приложение, назовите это поле Сообщение , а не RawData.)

2. Установите агент мониторинга Azure и создайте правило сбора данных (DCR) с помощью любого из следующих методов:

   • портал Azure или Defender
   • шаблон Azure Resource Manager

3. Если вы собираете журналы с помощью средства пересылки журналов, настройте управляющую программу системного журнала на этом компьютере для прослушивания сообщений из других источников и откройте необходимые локальные порты. Дополнительные сведения см. в разделе Настройка средства пересылки журналов для приема журналов.

Выберите соответствующую вкладку для получения инструкций.

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Настройка средства пересылки журналов для приема журналов

Если вы собираете журналы с устройства с помощью сервера пересылки журналов, настройте демон syslog на сервере пересылки журналов так, чтобы он принимал сообщения от других компьютеров, и откройте необходимые локальные порты.

1. Скопируйте следующую командную строку:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Войдите на компьютер пересылки журналов, на котором вы только что установили AMA.

3. Вставьте команду, скопированную на последнем шаге, чтобы запустить сценарий установки.
   Скрипт настраивает демон rsyslog или syslog-ng для работы с требуемым протоколом и перезапускает демон. Скрипт открывает порт 514 для прослушивания входящих сообщений по протоколам UDP и TCP. Чтобы изменить конфигурацию порта или протокола прослушивания, обратитесь к файлу конфигурации управляющей программы системного журнала в соответствии с типом управляющей программы, запущенным на компьютере:

   • rsyslog: /etc/rsyslog.conf;
   • syslog-ng: /etc/syslog-ng/syslog-ng.conf.

   Если вы используете Python 3 и он не задан в качестве команды по умолчанию на компьютере, замените python3 на python в вставленной команде. См. Предварительные требования для пересылки журналов.

   Примечание.

   Чтобы избежать сценариев с полным диском , в которых агент не может работать, рекомендуется настроить конфигурацию syslog-ng или rsyslog не для хранения ненужных журналов. Ситуация переполнения диска нарушает работу установленного агента AMA. Дополнительные сведения см. в разделе RSyslog или Syslog-ng.

Настройте устройство безопасности или аппаратное устройство

Чтобы настроить ваше приложение или устройство безопасности, см. раздел «Пользовательские журналы через AMA data connector — Конфигурировать ввод данных в Microsoft Sentinel из конкретных приложений».

Если документы по продукту не покрывают ваше устройство, обратитесь за помощью к поставщику решений.

Связанные материалы

• Правила сбора данных в мониторе Azure
• Сбор журналов из текстового файла с помощью агента мониторинга Azure