Базовые показатели управления, безопасности и соответствия требованиям для Kubernetes с поддержкой Azure Arc

В этой статье содержатся основные рекомендации по проектированию и обеспечению безопасности, управления и соответствия требованиям, которые следует использовать при создании развертывания Kubernetes с поддержкой Azure Arc. В то время как документация по целевой зоне корпоративного масштаба охватывает управление и безопасность в виде отдельных разделов, эти критически важные области проектирования объединяются в одну тему для Kubernetes с поддержкой Azure Arc.

Политика Azure и Microsoft Defender для облака — это облачные средства, которые позволяют реализовать средства защиты, элементы управления, отчеты, оповещения и задачи исправления в автоматическом масштабе. Объединяя их с Kubernetes с поддержкой Azure Arc, вы можете расширить политики управления и проверки безопасности в любом кластере Kubernetes в локальной среде и (или) многооблачной среде.

Архитектура

На следующей схеме показана концептуальная эталонная архитектура, изображающая области проектирования безопасности, соответствия и управления для Kubernetes с поддержкой Azure Arc:

Рекомендации по проектированию

Так как гибридные и многооблачные ресурсы становятся частью Azure Resource Manager, вы можете управлять ими из Azure. В этом разделе содержатся рекомендации по проектированию, которые следует учитывать при планировании безопасности и управления ресурсами кластера Kubernetes с поддержкой Azure Arc.

Просмотрите области проектирования безопасности и управления целевых зон Azure, чтобы оценить влияние Kubernetes с поддержкой Azure Arc на общие модели управления и безопасности.

Подготовка агента

Определите стратегию передачи полномочий для агента Kubernetes с поддержкой Azure Arc и используйте принцип наименьшего уровня привилегий при создании учетной записи службы подключения. Рекомендуется использовать автоматизацию для массовой регистрации.

Управление агентами

Агенты Kubernetes с поддержкой Azure Arc играют важную роль в гибридных операциях кластеров Kubernetes с поддержкой Azure Arc, так как они позволяют управлять кластерами из Azure. Реализуйте решения, которые отслеживают состояние подключения агента. Убедитесь, что вы определите процесс обновления агентов Kubernetes с поддержкой Azure Arc.

Управление доступом на основе ролей (RBAC)

Определите административные, операции и роли разработчика в организации, которые отвечают за повседневные операции в гибридных кластерах. Сопоставление каждой команды с действиями и обязанностями определяет роли контроля доступа на основе ролей Azure (RBAC) и привязки ClusterRole и Role для Kubernetes.

Рекомендуется использовать матрицу RACI для поддержки этих усилий и создания элементов управления в иерархии областей управления, определяемой на основе рекомендаций по обеспечению согласованности ресурсов и управления инвентаризацией.

Дополнительные сведения см. в статье "Управление удостоверениями и доступом" для Kubernetes с поддержкой Azure Arc.

Управление секретами и сертификатами

Защита секретов и сертификатов с помощью Azure Key Vault и развертывания его расширения в кластерах Kubernetes с поддержкой Azure Arc с помощью интерфейса хранилища контейнеров (CSI).

Место расположения данных

Расмотрите, в каком регионе Azure вы планируете подготовить кластер Kubernetes с функцией Azure Arc. Узнайте , какие данные собираются из ваших ресурсов и планируйте соответственно в зависимости от требований к размещению данных вашей организации.

Включение и защита конфигураций GitOps

Конфигурации GitOps обеспечивают требуемое состояние системы и являются важным средством для отслеживания соответствия кластера Kubernetes с поддержкой Arc. При работе с конфигурациями GitOps рекомендуется обеспечить защиту доступа к вашей системе контроля версий с помощью соответствующих сетевых и элементов управления доступом.

Управление политиками и отчеты

Определите план управления ресурсами для гибридных кластеров Kubernetes, который преобразуется в политики Azure, которые проверяют и применяют организационные стандарты на масштабируемом уровне. Например, вы можете применить политику sourceControlConfiguration к кластерам Kubernetes, чтобы гарантировать, что кластеры получают источник истины для рабочих нагрузок и конфигураций из определенного репозитория Git и отслеживают соответствие требованиям с помощью политики Azure.

Стратегия управления журналами

Ознакомьтесь с дисциплинами управления, критически важными вопросами проектирования и рекомендациями и планируйте сбор метрик и журналов из гибридных ресурсов в рабочую область Log Analytics для дальнейшего анализа и аудита.

Защита от угроз и управление безопасностью в облаке

Принудительное применение защиты от угроз и внедрение элементов управления для обнаружения неправильной настройки безопасности и отслеживания соответствия требованиям. Используйте аналитику Azure для защиты гибридных рабочих нагрузок от угроз. Включите мониторинг базовых показателей безопасности, управление безопасностью и защиту от угроз для всех подписок, содержащих Kubernetes с поддержкой Azure Arc, за счет включения Microsoft Defender для контейнеров.

Безопасный доступ к кластеру

Запланируйте безопасный доступ к API Kubernetes. Функция подключения кластера Kubernetes с поддержкой Azure Arc обеспечивает подключение к серверу API без включения входящего порта.

Улучшение наблюдаемости микрослужб и безопасности

Реализация сетки служб может помочь в проверке подлинности, авторизации, безопасности и видимости приложений на основе микрослужб. Kubernetes с поддержкой Azure Arc упрощает развертывание Open Service Mesh (OSM) в качестве расширения.

Рекомендации по проектированию

В этом разделе содержатся рекомендации по проектированию, которые следует следовать при планировании безопасности и управления ресурсами кластера Kubernetes с поддержкой Azure Arc.

Подготовка агента

• Определите стратегию подключения кластеров к Azure Arc, включая метод автоматизации для массовой регистрации. Создайте формальный план, который учитывает область развертывания и включает цели, критерии выбора, критерии успешности, планы обучения, откат и риски.

• Вы можете использовать субъект-службу для интеграции подготовки агентов в рамках конвейеров непрерывной интеграции и непрерывного развертывания (CI/CD). Необходимо ограничить привилегии этого субъекта-службы и назначить только роли, необходимые для подключения Kubernetes к Azure (роль "Кластер Kubernetes — подключение Azure Arc"), так как ее можно использовать только для подключения Kubernetes, а не отмены процесса или удаления ресурса.

Управление агентами

Агенты Azure Arc являются ключевыми компонентами Azure Arc-enabled Kubernetes, содержащими несколько логических компонентов, которые играют важную роль в операциях безопасности, управления и администрирования.

Если агент перестает отправлять пульс в Azure, переходит в автономный режим или теряет подключение к Azure, вы не сможете выполнять в ней операционные задачи. Узнайте, как вы будете получать уведомления, если эти сценарии происходят и как ваша организация должна реагировать.

Журнал действий Azure можно использовать для настройки оповещений о работоспособности ресурсов и оставаться в курсе текущего и исторического состояния работоспособности модулей агента. Чтобы понять, как правильно управлять агентом, просмотрите критически важную область проектирования управления.

Если служба не получила сигнал агента в течение 15 минут, кластер Kubernetes с поддержкой Azure Arc отображается как отключённый. Чтобы обеспечить безопасное подключение агента к конечным точкам Azure Arc, ознакомьтесь с критической областью проектирования подключения Kubernetes с поддержкой Azure Arc.

Управление доступом на основе ролей (RBAC)

После подключения кластера Kubernetes вы можете назначить Azure RBAC для ресурса кластера Kubernetes, поддерживаемого Azure Arc.

При назначении ролей, таких как "Участник" или "Владелец", следуйте принципу минимальных привилегий, чтобы они могли выполнять такие операции, как развертывание расширений с действиями уровня "ClusterAdmin" и оказывать влияние на весь кластер. Эти роли следует использовать с осторожностью, чтобы ограничить возможный радиус взрыва или в конечном итоге заменить пользовательскими ролями.

Вы должны применить тот же принцип RBAC к конфиденциальным данным, которые отправляются в рабочую область Azure Monitor Log Analytics. Kubernetes с поддержкой Azure Arc предоставляет доступ RBAC к данным журнала, собранным агентом Log Analytics, хранящимся в рабочей области Log Analytics, в которую зарегистрирован кластер. Чтобы узнать, как реализовать гранулярный доступ к рабочей области Log Analytics, просмотрите Проектирование развертывания журналов Azure Monitor.

Интеграция кластера Kubernetes, управляемого Azure Arc, с Microsoft Entra ID позволяет использовать назначения ролей Azure для более детального контроля над тем, кто имеет доступ и разрешения на ресурсы кластера, управляемого Azure Arc.

Интеграция с идентификатором Microsoft Entra также позволяет получить доступ к расширенным возможностям безопасности, которые следует использовать для настройки:

• Условный доступ с идентификатором Microsoft Entra. Дополнительные сведения об условном доступе можно найти в обзоре условного доступа.
• Just-In-Time (JIT) правила доступа для задач, которым требуются повышенные привилегии. Наличие постоянного доступа для некоторых пользователей к конфиденциальной информации или критически важным параметрам конфигурации сети в Kubernetes создает потенциальный путь для скомпрометированных учетных записей или внутренних действий угроз. Управление привилегированным доступом может помочь защитить организацию от нарушений и помочь вам удовлетворить рекомендации по соответствию требованиям, ограничив постоянный доступ к конфиденциальным данным или доступ к критически важным параметрам конфигурации.

Управление секретами и сертификатами

Не сохраняйте секреты или сертификаты в коде приложения или файловых системах. Секреты следует хранить в хранилищах ключей и передавать контейнерам во время выполнения по мере необходимости.

Рекомендуется использовать расширение Azure Key Vault для управления секретами и сертификатами в кластерах Kubernetes с поддержкой Azure Arc. Расширение Key Vault позволяет управлять жизненным циклом сертификата в развертываниях Kubernetes, как показано на следующей схеме.

Включение и защита конфигураций GitOps

GitOps является важным компонентом любой ИТ-стратегии, которая принимает полностью автоматизированный подход к операциям. GitOps предоставляет возможности масштабирования, согласованности, отслеживания и аудита для любого развертывания.

С помощью GitOps можно упростить развертывание нескольких приложений в кластерах и средах при отслеживании и применении требуемого состояния системы декларативно с помощью Git. При использовании Git в качестве единого источника истины и в качестве центрального средства для всех развертываний он становится лучшим способом отслеживания состояний кластера, учетной записи изменений и утверждений с течением времени, упрощения исследования ошибок и включения автоматизации в распределенных средах.

При добавлении конфигураций GitOps убедитесь, что вы защищаете доступ к репозиторию и его ключам и задаете разрешения ветви. Дополнительные сведения см. в критически важной области проектирования для GitOps.

Управление политиками и отчеты

Управление на основе политик — это базовый принцип облачных операций и Microsoft Cloud Adoption Framework для Azure. Политика Azure предоставляет механизм применения корпоративных стандартов и оценки соответствия в масштабе. С помощью политики Azure вы можете реализовать управление для согласованности развертываний, соответствия, затрат на управление, состояния безопасности. На панели мониторинга соответствия можно просмотреть агрегированное представление общего состояния среды в масштабе и найти возможности исправления на уровне кластера.

Kubernetes с поддержкой Azure Arc поддерживает политику Azure на уровне управления ресурсами Azure, а также принудительное применение политик в кластере путем расширения Gatekeeper для агента Open Policy. Вы можете реализовать любую из встроенных политик , чтобы быстро добиться соответствия требованиям и принудительного применения в масштабе. На следующей схеме показано, как Azure Policy применяет масштабируемые принудительные меры и функции защиты к кластерам Kubernetes с поддержкой Azure Arc.

Изучите область политики Azure и где ее можно применить (группу управления, подписку, группу ресурсов или отдельный уровень ресурсов). Используйте встроенную библиотеку политики Azure для Kubernetes с поддержкой Azure Arc. Создайте структуру группы управления в соответствии с рекомендациями, описанными в руководстве по масштабированию облачных решений Cloud Adoption Framework для предприятий.

• Определите, какие политики Azure необходимы для удовлетворения бизнес-требований, нормативных и требований безопасности вашей организации для Kubernetes, масштабируемых с помощью Azure Arc.
• Обеспечение выполнения тегирования и реализация задач исправления.
• Используйте политику Azure для принудительного применения GitOps и применения конфигураций в масштабе.
• Узнайте и оцените встроенные определения политики Azure для Kubernetes с поддержкой Azure Arc.
• Политики Azure DeployIfNotExists программно развертывают расширения и агенты службы управления в кластерах с поддержкой Arc в масштабе, включая Azure Monitor.
• Включите Аналитику контейнеров Azure Monitor для обеспечения соответствия требованиям и оперативного мониторинга кластеров Kubernetes с поддержкой Azure Arc.

Стратегия управления журналами

Проектирование и планирование развертывания рабочей области Log Analytics, представляющей собой хранилище данных, где данные собираются, агрегируются и анализируются позже. Так как рабочая область Log Analytics представляет географическое расположение данных, чтобы поддерживать уровень изоляции и области для конфигураций, таких как хранение данных, необходимо определить количество необходимых рабочих областей и их сопоставление со структурой организации.

Используйте одну рабочую область Azure Monitor Log Analytics для управления централизованным RBAC, видимостью и отчетами, как описано в рекомендациях по управлению и мониторингу Cloud Adoption Framework.

Дополнительные сведения см. в рекомендациях по проектированию развертывания журналов Azure Monitor.

Защита от угроз и управление безопасностью в облаке

• Microsoft Defender для Облака предоставляет унифицированную платформу управления безопасностью, сегментированную как управление безопасностью облака (CSPM) и платформу защиты облачных рабочих нагрузок (CWPP). Чтобы повысить безопасность вашей гибридной облачной системы, необходимо защитить информацию и активы, размещенные в Azure и других местах размещения.
• Microsoft Defender для контейнеров расширяет возможности Microsoft Defender для облака до Kubernetes с поддержкой Azure Arc. Чтобы усилить безопасность в вашей гибридной посадочной зоне, рассмотрите:
  • Использование расширения Kubernetes с поддержкой Azure Arc для подключения ресурсов Kubernetes с поддержкой Arc в Microsoft Defender для облака.
  • Включение плана Microsoft Defender для защиты контейнеров во всех подписках. По умолчанию план настраивается для автоматического развертывания расширения Defender в любом кластере Kubernetes с поддержкой Arc, подключенном к той же подписке. При необходимости эту конфигурацию можно изменить.
  • Проверка, что расширение Defender развернуто в ваших кластерах.
  • Интеграция сведений безопасности и управления событиями (SIEM) с Microsoft Defender для Облака и Microsoft Sentinel.

На следующей схеме показана концептуальная эталонная архитектура Microsoft Defender для облака в ресурсе кластера Kubernetes с поддержкой Azure Arc.

Если вы используете Реестр контейнеров Майкрософт в качестве центрального частного реестра Docker для хранения образов контейнеров и управления ими, следует использовать Microsoft Defender для контейнеров для сканирования образов уязвимостей.

Убедитесь, что вы просматриваете сетевую топологию и критически важную область проектирования подключения.

Безопасный доступ к кластеру

API Kubernetes получает запросы на выполнение действий в кластере. Так как это центральный способ взаимодействия с кластером и управления ими, API Kubernetes является ключевым элементом, который необходимо защитить. С помощью подключения кластера Kubernetes с поддержкой Azure Arc вы можете безопасно подключаться к кластерам Kubernetes с поддержкой Azure Arc, не требуя включения любого входящего порта в брандмауэре. Доступ к серверу API Kubernetes, поддерживаемому Azure Arc, обеспечивает следующие преимущества:

• Включает интерактивную отладку и устранение неполадок.
• Позволяет использовать размещенные агенты и средства выполнения Azure Pipelines, GitHub Actions или любую другую размещенную службу CI/CD, не требуя локальных агентов.
• Предоставляет кластерный доступ к службам Azure для пользовательских расположений и других ресурсов, созданных на основе этих служб.

Наблюдаемость микрослужб и безопасность

Реализация сетки служб позволяет вводить проверку подлинности и авторизацию для подключений служб, что обеспечивает минимальные привилегии и создает более безопасную среду. По умолчанию модули pod сидят в плоской доверенной сети. В реализации сервисной сетки развертывается набор контейнеров-сайдкаров, которые выступают в качестве сетевых прокси-серверов. Эти сайдкары управляют восточно-западной коммуникацией, шифруют трафик и в целом улучшают видимость трафика.

Реализации сетки служб могут защититься от:

• Несанкционированный доступ
• Атаки с использованием прослушивания
• Утечка данных
• Олицетворения

Для получения дополнительной информации ознакомьтесь с основной областью проектирования внедрения Open Service Mesh.

Дальнейшие шаги

Дополнительные сведения о гибридном и многооблачном облаке см. в следующих статьях.

• Просмотрите предварительные требования для Kubernetes с поддержкой Azure Arc.
• Просмотрите сертифицированные дистрибутивы Kubernetes с поддержкой Azure Arc.
• Узнайте, как управлять гибридными и многооблачными средами.
• Узнайте, как подключить существующий кластер Kubernetes к Azure Arc.
• Сведения об управлении секретами и сертификатами.
• Узнайте о защите от угроз и управлении безопасностью в облаке.
• Узнайте, как применить конфигурации GitOps в GKE в качестве подключенного кластера Azure Arc с помощью политики Azure для Kubernetes.
• Узнайте, как интегрировать Azure Defender с API кластера в качестве подключенного кластера Azure Arc с помощью расширений Kubernetes.
• Узнайте, как интегрировать Open Service Mesh (OSM) с API кластера в качестве подключенного кластера Azure Arc с помощью расширений Kubernetes.
• Узнайте больше об Azure Arc, пройдя учебный курс Azure Arc .
• Ознакомьтесь с часто задаваемыми вопросами. С поддержкой Azure Arc можно найти ответы на наиболее распространенные вопросы.