Что такое журналы сети контейнеров (предварительная версия)?

Журналы сети контейнеров в Advanced Container Networking Services для службы Azure Kubernetes (AKS) предоставляют полную и контекстно обогащенную видимость каждого сетевого потока внутри вашего кластера. Хотя метрики сообщают, что происходит в вашей сети (например, скорость использования пропускной способности или частоты ошибок), журналы сети контейнеров сообщают вам, почему путем записи полной истории каждого подключения, включая тех, кто его инициировал, какие протоколы использовались, а также разрешен или заблокирован трафик.

Эти журналы фиксируют необходимые метаданные для каждого сетевого потока, включая исходные и целевые IP-адреса, имена модулей pod и служб, пространства имен, порты, протоколы, направление трафика и вердикты политики. Эта глубокая контекстная информация позволяет сопоставлять поведение сети с определенными рабочими нагрузками, устранять проблемы с подключением, проверять политики безопасности и выполнять судебно-медицинский анализ.

Журналы сети контейнеров записывают трафик уровня 3 (IP), уровня 4 (TCP/UDP) и трафика уровня 7 (HTTP/gRPC/Kafka), предоставляя подробные сведения, необходимые для мониторинга подключения, устранения неполадок, визуализации топологии сети, применения политик безопасности и обеспечения соответствия требованиям.

Выберите один из двух режимов:

• Сохраненные журналы
• Журналы по запросу

Сохраненные журналы

Режим хранимых журналов обеспечивает непрерывное создание и сбор журналов в кластере AKS при включении расширенных сетевых служб контейнеров и настройке пользовательских фильтров. По умолчанию сбор логов отключен.

Чтобы включить коллекцию журналов, необходимо определить настраиваемые ресурсы , чтобы указать типы трафика для отслеживания. Примерами являются пространства имен, модули pod, службы и протоколы. Эта функция остается активной, пока не отключите ее.

Режим хранимых журналов поддерживает расширенное хранение журналов и фильтрацию трафика. Для снижения затрат на хранение и упрощения анализа можно собирать и хранить только журналы, относящиеся к вам.

Как работает режим хранимых журналов

Расширенные сетевые службы контейнеров используют технологию eBPF с Cilium для получения журналов из узлов в кластере. Чтобы начать сбор журналов, необходимо определить один или несколько пользовательских ресурсов, чтобы указать типы трафика для отслеживания.

Пользовательские ресурсы обеспечивают точное управление для определения и отслеживания трафика, соответствующего вам. Агент Cilium, работающий на каждом узле, собирает сетевой трафик, соответствующий критериям, заданным в пользовательских ресурсах. Журналы хранятся в формате JSON на узле, предоставляя структурированный и доступный формат для дальнейшего использования.

Кроме того, если надстройка мониторинга #REF! включена, агенты для аналитики контейнеров собирают журналы с узла, применяют ограничения регулирования по умолчанию и отправляют их в рабочую область #REF!. Система агрегирует и сохраняет журналы эффективно, чтобы обеспечить видимость сетевого трафика для мониторинга, устранения неполадок и принудительного применения безопасности.

Схема работы журналов сети контейнеров.

Дополнительные сведения о регулировании и аналитике контейнеров см. в документации по аналитике контейнеров.

Ключевые возможности режима хранимых журналов

• Настраиваемые фильтры. Ведение журнала можно настроить, определив настраиваемые ресурсы типа ContainerNetworkLog . Используйте настраиваемые ресурсы для применения детализированных фильтров по пространству имен, pod, службе, порту, протоколу, вердикту или направлению трафика (входящего трафика или исходящего трафика). Эта гибкость обеспечивает точную сбор данных, адаптированную к конкретным вариантам использования. Регистрируется только соответствующий трафик, а хранилище оптимизировано для повышения производительности, соответствия требованиям и устранения неполадок.

• Параметры хранилища журналов. Функция журналов сети контейнеров имеет два основных варианта хранения: неуправляемое хранилище и управляемое хранилище.

  • Неуправляемое хранилище: При применении настраиваемого ресурса для начала сбора журналов, журналы сетевых потоков хранятся локально на узлах в фиксированном месте монтирования. Это временное расположение хранилища, так как сам узел не является постоянным решением для хранения. Когда файлы журналов достигают размера 50 МБ, они автоматически поворачиваются и старые журналы перезаписываются. Это решение для хранения данных подходит для мониторинга в режиме реального времени, но не поддерживает долгосрочное хранение.

    Для дополнительных возможностей управления журналами можно интегрировать службы ведения журналов партнеров, такие как сборщик OpenTelemetry. Интеграция партнеров обеспечивает гибкость управления журналами за пределами экосистемы #REF! и полезна, если вы уже развернули определенную платформу управления журналами.

  • Managed storage: Для долгосрочного хранения и расширенной аналитики рекомендуется настроить мониторинг #REF! в кластере AKS для сбора и хранения журналов в рабочей области #REF!. Эта настройка обеспечивает безопасное и соответствующее хранилище журналов. Он также предоставляет доступ к мощным возможностям, таким как обнаружение аномалий, настройка производительности и анализ исторических данных. Исторические журналы можно использовать для выявления тенденций, базовых параметров и для упреждающего решения повторяющихся проблем.

    Например, можно использовать управляемую службу Prometheus для настройки оповещений как метрик, так и журналов для мониторинга в режиме реального времени и быстрого обнаружения отклонений.

    Для хранения журналов используется та же рабочая область. Во время подключения вы настроили место для хранения журналов. Для этой функции поддерживаются планы таблиц аналитики и базовых таблиц журналов. Дополнительные сведения о планах таблиц см. в разделе Azure Monitor Журналы.

• Простая визуализация на панелях мониторинга #REF! и Grafana. Журналы и данные, представленные на панелях мониторинга Grafana, упрощают сложные сведения, упрощают понимание данных и помогают быстрее принимать решения.

Визуализация журналов на портале #REF!

Вы можете визуализировать, запрашивать и анализировать журналы потоков на портале #REF! в рабочей области #REF! кластера.

Визуализация журналов на панелях мониторинга Grafana

• Получите доступ к журналам потоков в экземпляре Управление Azure для Grafana.

  Чтобы упростить анализ журналов, мы предоставляем две предварительно настроенные панели мониторинга Grafana:

  • Перейдите к #REF!>Insights>Containers>Networking>Flow Logs. На этой панели мониторинга показано, какие рабочие нагрузки AKS взаимодействуют друг с другом, включая сетевые запросы, ответы, потери и ошибки. В настоящее время в качестве промежуточного шага во время предварительной версии необходимо импортировать панели мониторинга Grafana с помощью идентификатора пользователя для просмотра панели мониторинга журналов потоков на портале #REF!.

    Снимок экрана: панель мониторинга журналов потоков Grafana в управляемом экземпляре Grafana.

  • Перейдите к #REF!>Insights>Containers>Networking>Flow Logs (External Traffic). На этой панели мониторинга показано, какие рабочие нагрузки AKS отправляют и получают сообщения извне кластера AKS, включая сетевые запросы, ответы, удаления и ошибки.

    Снимок экрана: панель мониторинга журналов потоков (внешний) Grafana в управляемом экземпляре Grafana.

    Дополнительные сведения см. в разделе Set up Управление Azure для Grafana with Advanced Container Networking Services.

• Получите доступ к журналам потоков на портале #REF! через параметр Панели мониторинга с Grafana.

  

Панели мониторинга портала #REF! имеют следующие основные компоненты:

• Полный обзор работоспособности сети. Вы увидите ключевые метрики, такие как общие журналы потоков, уникальные запросы, удаленные запросы и перенаправленные запросы для быстрого обнаружения аномалий и эффективного устранения неполадок. Панель мониторинга классифицирует статистику по протоколу и поведению, включая удаленные DNS-запросы, ответы HTTP 2xx, частоту запросов и ответов уровня 4 и количество удаленных запросов. Граф зависимостей службы визуализирует взаимодействие приложения или кластера, выделение потока трафика, узких мест и зависимостей для оптимизации производительности.

  Снимок экрана: статистика журналов потоков и граф зависимостей службы.

• Журналы потоков и журналы ошибок для быстрого анализа. Журналы потоков можно фильтровать для анализа первопричин. Например, чтобы устранить неполадки с системой доменных имен (DNS), отфильтруйте журналы ошибок по протоколу DNS.

  Снимок экрана: журналы потоков и журналы ошибок.

  Разделение журналов потоков и журналов ошибок помогает быстрее анализировать проблемы. Вы можете выявлять и устранять ошибки без необходимости просматривать несвязанную информацию, что повышает эффективность процесса устранения неполадок и отладки.

  Используйте четкие метки и метки времени для каждой записи журнала, чтобы легче выявлять определенные события или ошибки в ваших системах или процессах.

  

• Основные пространства имен, рабочие нагрузки и ошибки DNS. Визуализация журнала сетевых потоков важна для мониторинга и анализа связи в кластере AKS. Он предоставляет аналитические сведения о пространствах имен, рабочих нагрузках, использовании портов и использовании запросов. Это помогает выявлять тенденции, обнаруживать узкие места и диагностировать проблемы. Обнаружение значительных сетевых действий, просмотр удаленных запросов и оценка распределения протоколов (например, TCP и UDP). В этом разделе обзора панели мониторинга поддерживается работоспособность кластера, оптимизация ресурсов и безопасность путем обнаружения и отображения необычных шаблонов трафика.

  Снимок экрана: основные пространства имен и метрики pod.

Журналы по запросу

Расширенные сетевые службы контейнеров обеспечивают сбор журналов потоков сети по запросу. Получите видимость в режиме реального времени без предварительной конфигурации или постоянного хранилища с помощью интерфейса командной строки Hubble и пользовательского интерфейса Hubble. Этот режим журналов по запросу доступен. Сведения о настройке хранилища журналов по запросу см. в разделе "Настройка интерфейса командной строки Hubble" и пользовательского интерфейса Hubble.

Hubble CLI

Интерфейс командной строки Hubble предоставляет гибкий и интерактивный способ запроса, фильтрации и анализа журналов потоков непосредственно в терминале. Вы можете выполнять команды в режиме реального времени для проверки потоков трафика, просмотра метаданных пакета и устранения неполадок с сетью, не покидая рабочую среду.

Снимок экрана: CLI Hubble.

Пользовательский интерфейс Hubble

Веб-интерфейс Hubble предлагает интуитивно понятную и визуальную платформу для мониторинга. С помощью таких функций, как панели мониторинга динамического трафика, сводки потоков и журналы, доступные для поиска, можно легко отслеживать обмен данными между службами, обнаруживать аномалии и получать аналитические сведения о действиях кластера.

Средства пользовательского интерфейса Hubble обеспечивают видимость в режиме реального времени и полезные аналитические сведения для ускорения устранения неполадок и улучшения управления сетями.

Снимок экрана: пользовательский интерфейс Hubble.

Основные преимущества журналов по запросу

• Быстрое разрешение проблем. Подробные и практические сведения о сетевом трафике позволяют быстрее выявлять и устранять проблемы с подключением или производительностью, минимизируя время простоя и нарушения работы.
• Оптимизированная операционная эффективность. Агрегированные и эффективно хранимые журналы снижают затраты на управление данными. Ваша команда может сосредоточиться на анализе и принятии решений вместо управления большими объемами необработанных данных.
• Улучшенная надежность приложения. Отслеживая взаимодействие между службами и обнаруживая аномалии, вы можете упреждающим образом устранять потенциальные проблемы и обеспечивать более гладкий и более надежный интерфейс приложения.
• Улучшено принятие решений. Визуализация шаблонов сети в Управление Azure для Grafana и применение карт служб предоставляют четкие сведения о поведении сети приложения. Это приводит к улучшению планирования и оптимизации инфраструктуры.
• Сокращение расходов. Эффективное агрегирование журналов и настраиваемые области ведения журнала снижают затраты на хранение и прием данных, обеспечивая экономичное решение для долгосрочного мониторинга сети.
• Упрощенное соответствие требованиям и безопасность. Постоянные и комплексные журналы поддерживают результаты аудита, соответствие нормативным требованиям и быструю идентификацию подозрительного трафика. Они помогают поддерживать безопасную и соответствующую среду.

Ограничения

• Сетевые журналы контейнеров в режиме хранимых журналов в настоящее время работают только с плоскостем данных Cilium.
• Журналы потоков уровня 7 записываются только в том случае, если включена поддержка политики уровня 7. Дополнительные сведения см. в разделе "Настройка политики уровня 7".
• Потоки и метрики DNS записываются только в том случае, если применяется сетевая политика Cilium для FQDN. Дополнительные сведения см. в разделе "Настройка политики полного доменного имени".
• Подключение с помощью Terraform в настоящее время не поддерживается.
• Если #REF! не настроено для хранения журналов, контейнерные сетевые журналы ограничиваются максимум 50 МБ места для хранения. По достижении этого ограничения новые записи перезаписывают старые журналы.
• Если для плана таблицы задано значение "Базовые журналы", предварительно созданные панели мониторинга Grafana не работают.
• Схема таблицы вспомогательных журналов не поддерживается.

Ценообразование

Дополнительные сведения о ценах см. в разделе "Расширенные сетевые службы контейнеров" — цены.

Связанный контент

• Узнайте, как настроить журналы сети контейнеров.
• Дополнительные сведения об услугах расширенной настройки сетей контейнеров для AKS.
• Изучите функцию наблюдения за сетями контейнеров в расширенных сетевых службах контейнеров.
• Изучите функцию безопасности сети контейнеров в расширенных сетевых службах контейнеров.