Настройка автоматической отправки журналов с помощью Docker в Azure

В этой статье описывается настройка автоматической отправки журналов для непрерывных отчетов в Defender for Cloud Apps с помощью Docker в Ubuntu или CentOS в Azure.

Предварительные условия

Перед началом работы убедитесь, что ваша среда соответствует следующим требованиям:

Планируйте сборщики журналов с учётом производительности

Каждый сборщик журналов может успешно обрабатывать емкость журнала до 50 ГБ в час, состоящую из 10 источников данных. Основные узкие места в процессе сбора журналов:

• Пропускная способность сети. Скорость передачи журнала определяется пропускной способностью сети.

• Производительность ввода-вывода виртуальной машины определяет скорость записи журналов на диск сборщика журналов. Сборщик журналов имеет встроенный механизм безопасности, который отслеживает скорость поступления журналов и сравнивает ее со скоростью отправки. В случаях перегрузки сборщик журналов начинает удалять файлы журналов. Если ваша конфигурация обычно превышает 50 ГБ в час, мы рекомендуем распределить трафик между несколькими сборщиками журналов.

Если требуется более 10 источников данных, рекомендуется разделить источники данных между несколькими сборщиками журналов.

Определение источников данных

1. На портале Microsoft Defender выберите Параметры Облачные > приложения > Cloud Discovery > Автоматическая отправка журнала.

2. На вкладке Источники данных создайте соответствующий источник данных для каждого брандмауэра или прокси-сервера, из которого требуется отправить журналы:

   1. Выберите Добавить источник данных.

   2. В диалоговом окне Добавление источника данных введите имя источника данных, а затем выберите тип источника и получателя.

      Перед выбором источника выберите Просмотреть пример ожидаемого файла журнала и сравните журнал с ожидаемым форматом. Если формат файла журнала не соответствует этому примеру, добавьте источник данных в значение Другое.

      Чтобы работать с сетевым устройством, которое отсутствует в списке, выберите Другой > формат журнала клиента или Другое (только вручную). Дополнительные сведения см. в статье Работа с пользовательским анализатором журналов.

   Примечание.

   Для интеграции с протоколами безопасной передачи (FTPS и Syslog — TLS) часто требуются дополнительные параметры брандмауэра или прокси-сервера. Дополнительные сведения см. в разделе Расширенное управление сборщиком журналов.

Повторите эти действия по созданию источника данных для каждого брандмауэра и прокси-сервера, журналы которого можно использовать для обнаружения трафика в сети.

Рекомендуется настроить выделенный источник данных на каждое сетевое устройство, что позволяет отслеживать состояние каждого устройства отдельно для целей исследования и просматривать обнаружение теневых ИТ-ресурсов для каждого устройства, если каждое устройство используется в разных сегментах пользователей.

Создайте сборщик журналов

1. На портале Microsoft Defender выберите Параметры Облачные > приложения > Cloud Discovery > Автоматическая отправка журнала.

2. На вкладке Сборщики журналов выберите Добавить сборщик журналов.

3. В диалоговом окне Создание сборщика журналов введите следующие сведения:

   • Имя для сборщика журналов
   • IP-адрес узла, который является частным IP-адресом компьютера, который будет использоваться для развертывания Docker. IP-адрес узла также можно заменить именем компьютера при наличии DNS-сервера или эквивалента для разрешения имени узла.

   Затем выберите поле Источники данных , чтобы выбрать источники данных, которые нужно подключить к сборщику, и нажмите кнопку Обновить , чтобы сохранить изменения. Каждый сборщик журналов может обрабатывать несколько источников данных.

   В диалоговом окне Создание сборщика журналов отображаются дополнительные сведения о развертывании, включая команду для импорта конфигурации сборщика. Например:

   

4. Выберите Скопируйте значок рядом с командой, чтобы скопировать ее в буфер обмена.

   Сведения, отображаемые в диалоговом окне создания сборщика журналов , отличаются в зависимости от типа источника и типа приемника, выбранного при создании источника данных. Например, если вы выбрали Системный журнал, в диалоговом окне содержатся сведения о том, какой порт прослушивает прослушиватель системного журнала.

   Скопируйте содержимое экрана и сохраните его локально, так как они потребуются при настройке сборщика журналов для связи с Defender for Cloud Apps.

5. Выберите Экспорт , чтобы экспортировать исходную конфигурацию в .CSV файл, в котором описывается настройка экспорта журналов в устройствах.

Развертывание компьютера в Azure

В этой процедуре описывается развертывание компьютера с помощью Ubuntu. Шаги развертывания для других платформ немного отличаются. Docker CE устанавливается в рамках этой процедуры (шаг 5). Перед началом работы убедитесь, что у вас есть корневой доступ к компьютеру.

1. Создайте компьютер Ubuntu в среде Azure.

2. После того как компьютер будет включен, откройте порты:

   1. В представлении компьютера перейдите в раздел Сеть , выберите соответствующий интерфейс, дважды щелкнув его.

   2. Перейдите в раздел Группа безопасности сети и выберите соответствующую группу безопасности сети.

   3. Перейдите в раздел Правила безопасности для входящего трафика и нажмите кнопку Добавить.

   4. Добавьте следующие правила (в расширенном режиме):

      Имя	Диапазоны портов назначения	Протокол	Источник	Назначение
      caslogcollector_ftp	21	TCP	Your appliance's IP address's subnet	Любой
      caslogcollector_ftp_passive	20000-20099	TCP	Your appliance's IP address's subnet	Любой
      caslogcollector_syslogs_tcp	601-700	TCP	Your appliance's IP address's subnet	Любой
      caslogcollector_syslogs_udp	514-600	UDP	Your appliance's IP address's subnet	Любой

   Дополнительные сведения см. в статье Работа с правилами безопасности.

3. Назад на компьютер и нажмите кнопку Подключить, чтобы открыть терминал на компьютере.

4. Переключитесь на права root с помощью sudo -i.

5. Если вы принимаете условия лицензионного соглашения на программное обеспечение, удалите старые версии и установите Docker CE, выполнив команды, соответствующие вашей среде:

   • CentOS
   • Ubuntu

   1. Удалите старые версии Docker: yum erase docker docker-engine docker.io

   2. Необходимые компоненты для установки подсистемы Docker: yum install -y yum-utils

   3. Добавьте репозиторий Docker:

      yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
      yum makecache
      

   4. Установите подсистему Docker: yum -y install docker-ce

   5. Запуск Docker

      systemctl start docker
      systemctl enable docker
      

   6. Проверка установки Docker: docker run hello-world

6. Выполните команду, скопированную ранее из диалогового окна Создание сборщика журналов . Например:

   (echo db3a7c73eb7e91a0db53566c50bab7ed3a755607d90bb348c875825a7d1b2fce) | docker run --name MyLogCollector -p 21:21 -p 20000-20099:20000-20099 -e "PUBLICIP='192.168.1.1'" -e "PROXY=192.168.10.1:8080" -e "CONSOLE=mod244533.us.portal.cloudappsecurity.com" -e "COLLECTOR=MyLogCollector" --security-opt apparmor:unconfined --cap-add=SYS_ADMIN --restart unless-stopped -a stdin -i mcr.microsoft.com/mcas/logcollector starter
   

7. Чтобы убедиться, что сборщик журналов работает правильно, выполните следующую команду: docker logs <collector_name>. Вы должны получить результаты: успешно завершено!

Настройте локальные параметры сетевого устройства

Настройте сетевые брандмауэры и прокси-серверы для периодического экспорта журналов в выделенный порт Syslog каталога FTP в соответствии с инструкциями в диалоговом окне создания сборщика журналов . В следующем примере показан формат пути назначения для источника данных с именем BlueCoat_HQ, где <machine_name> имя компьютера сборщика журналов:

BlueCoat_HQ - Destination path: \<<machine_name>>\BlueCoat_HQ\

Проверьте развертывание в Defender for Cloud Apps

Проверьте состояние сборщика в таблице Сборщик журналов и убедитесь, что его состояние — Подключено. Если статус — Created, возможно, подключение сборщика журналов и обработка журналов ещё не завершены.

Например:

Вы также можете перейти к журналу управления и убедиться, что журналы периодически отправляются на портал.

В качестве альтернативы можно проверить состояние сборщика журналов из контейнера Docker с помощью следующих команд:

1. Войдите в контейнер с помощью следующей команды: docker exec -it <Container Name> bash
2. Проверьте состояние сборщика журналов с помощью следующей команды: collector_status -p

Если во время развертывания возникли проблемы, см. статью Устранение неполадок с обнаружением облака.

Необязательно — создание пользовательских непрерывных отчетов

Убедитесь, что журналы отправляются в Defender for Cloud Apps и что создаются отчеты. После проверки создайте настраиваемые отчеты. Вы можете создавать настраиваемые отчеты об обнаружении на основе групп пользователей Microsoft Entra. Например, если вы хотите просмотреть использование облачных технологий отдела маркетинга, импортируйте маркетинговую группу с помощью функции импорта группы пользователей. Затем создайте пользовательский отчет для этой группы. Вы также можете настроить отчет на основе тега IP-адреса или диапазонов IP-адресов.

1. На портале Microsoft Defender выберите Параметры. Затем выберите Облачные приложения.

2. В разделе Cloud Discovery выберите Непрерывные отчеты.

3. Нажмите кнопку Создать отчет и заполните поля.

4. В разделе Фильтры можно фильтровать данные по источнику данных, импортированной группе пользователей или по тегам и диапазонам IP-адресов.

   Примечание.

   При применении фильтров к непрерывным отчетам выбранное будет учитываться, а не исключаться. Например, если применить фильтр к определенной группе пользователей, в отчет будет включена только эта группа пользователей.

   

Удалите свой сборщик журналов

Если у вас есть существующий сборщик журналов и вы хотите удалить его перед его повторной развертыванием или если вы просто хотите удалить его, выполните следующие команды, чтобы остановить и удалить контейнер Docker сборщика журналов:

docker stop <collector_name>
docker rm <collector_name>

Дальнейшие действия

Если у вас возникнут какие-либо проблемы, мы здесь, чтобы помочь. Чтобы получить помощь или поддержку по проблеме с продуктом, отправьте запрос в службу поддержки.