Внедрение виртуальной сети в Azure Chaos Studio

Виртуальная сеть Azure — это базовый стандартный блок для частной сети в Azure. Виртуальная сеть позволяет многим типам ресурсов Azure безопасно взаимодействовать друг с другом, Интернетом и локальными сетями. Виртуальная сеть похожа на традиционную сеть, которой вы управляете в собственном центре обработки данных. Это дает другие преимущества инфраструктуры Azure, такие как масштабирование, доступность и изоляция.

Внедрение виртуальной сети позволяет поставщику ресурсов Azure Chaos Studio внедрять контейнерные рабочие нагрузки в виртуальную сеть, чтобы доступ к ресурсам без общедоступных конечных точек можно было получить через частный IP-адрес в виртуальной сети. После настройки внедрения виртуальной сети для ресурса в виртуальной сети и включения ресурса в качестве целевого объекта его можно использовать в нескольких экспериментах. Эксперимент может использовать сочетание частных и неприватных ресурсов, если частные ресурсы настроены в соответствии с инструкциями в данной статье.

Chaos Studio также поддерживает выполнение экспериментов на основе агента с помощью частных конечных точек. Найдите подробные инструкции по настройке частной ссылки для агентных экспериментов.

Поддержка типов ресурсов

В настоящее время можно включить только определенные типы ресурсов для внедрения виртуальной сети Chaos Studio:

Целевые объекты службы Azure Kubernetes (AKS) можно включить с внедрением виртуальной сети с помощью портала Azure и Azure CLI. Можно использовать все сбои в сетке хаоса AKS.
Цели Azure Key Vault можно активировать с помощью внедрения виртуальной сети через портал Azure и Azure CLI. Ошибки, которые можно использовать при внедрении виртуальной сети, — это отключение сертификата, увеличение версии сертификата и обновление политики сертификата.

Включение внедрения виртуальной сети

Чтобы использовать Chaos Studio с внедрением виртуальной сети, необходимо выполнить следующие требования.

Поставщики ресурсов Microsoft.ContainerInstance и Microsoft.Relay должны быть зарегистрированы в вашей подписке.
Виртуальная сеть, в которой будут внедряться ресурсы Chaos Studio, должна иметь две подсети: подсеть контейнера и подсеть ретранслятора. Контейнерная подсеть используется для контейнеров Chaos Studio, которые будут интегрированы в вашу частную сеть. Подсеть ретранслятора используется для пересылки связи из Chaos Studio в контейнеры в частной сети.
1. Обе подсети должны по крайней мере /28 для размера адресного пространства (например /27 , больше /28). Примером является префикс 10.0.0.0/28 адреса или 10.0.0.0/24.
2. Подсеть контейнера должна быть делегирована Microsoft.ContainerInstance/containerGroups.
3. Подсети могут быть произвольно именованы, но рекомендуем ChaosStudioContainerSubnet и ChaosStudioRelaySubnet.
4. Группы безопасности сети (NSG): при использовании групп безопасности сети для управления трафиком убедитесь, что обе подсети разрешают необходимые порты для входящего и исходящего трафика. Дополнительные сведения о требованиях к портам см. в разделе "Разрешения и безопасность ".
Если вы включите требуемый ресурс в качестве целевого объекта, чтобы его можно было использовать в экспериментах Chaos Studio, необходимо задать следующие свойства:
1. Задайте properties.subnets.containerSubnetId идентификатор для подсети контейнера.
2. Задайте properties.subnets.relaySubnetId идентификатор для подсети ретранслятора.

Если вы используете портал Azure для включения частного ресурса в качестве целевого объекта Chaos Studio, в настоящее время Chaos Studio распознает только подсети с именем ChaosStudioContainerSubnet иChaosStudioRelaySubnet. Если эти подсети не существуют, рабочий процесс портала может создавать их автоматически.

При использовании интерфейса командной строки контейнер и подсети ретранслятора могут иметь любое имя (в соответствии с рекомендациями по именованию ресурсов). Укажите соответствующие идентификаторы при включении ресурса в качестве целевого объекта.

Автоматическое добавление тегов ресурсов эксперимента

Когда эксперимент Chaos Studio настроен для запуска с поддержкой частной сети, Chaos Studio автоматически подготавливает два ключевых ресурса в подписке:

Экземпляр контейнера Azure, который обеспечивает безопасное взаимодействие.
Ретранслятор Azure, который управляет маршрутизацией сети для эксперимента в серверную часть Chaos Studio.

Ранее созданные от имени ресурсов не наследуют теги , примененные к эксперименту, что может привести к конфликтам применения политики Azure в средах, требующих тегов ресурсов.

В этом обновлении Chaos Studio теперь автоматически применяет те же теги из эксперимента к контейнеру и ретрансляционным ресурсам, которые он создает. Это улучшение повышает видимость ресурсов, соответствие требованиям и управление в среде Azure.

Принцип работы

Предварительные требования. Вы создаете эксперимент, предназначенный для ресурсов, находящихся в виртуальной сети.
При пометке эксперименту эти же теги автоматически распространяются на любые ресурсы, которые создает Chaos Studio для частной сети.
Эти теги будут отображаться на портале Azure, Azure CLI и ЗАПРОСАх API ARM так же, как и в любом другом ресурсе Azure.
Дополнительная конфигурация не требуется. Просто применение тегов к эксперименту гарантирует, что они наследуются всеми связанными ресурсами.

Benefits

✅ Гарантирует соответствие требованиям. Ресурсы теперь соответствуют требованиям к тегам политики Azure .
✅ Улучшает отслеживание ресурсов . Все ресурсы, связанные с экспериментом, несут одни и те же теги для простой идентификации.
✅ Дополнительная настройка не требуется . Работает автоматически при добавлении тегов эксперимента.

Пример. Использование Chaos Studio с частным кластером AKS

В этом примере показано, как настроить частный кластер AKS для использования с Chaos Studio. Предполагается, что у вас уже есть частный кластер AKS в подписке Azure. Чтобы создать его, см. статью "Создание частного кластера службы Azure Kubernetes".

Портал Azure
Azure CLI

В портал Azure перейдите к >в подписке.
Microsoft.ContainerInstance и Microsoft.Relay зарегистрируйте поставщиков ресурсов, если они еще не зарегистрированы, выбрав их и нажав на «Зарегистрировать». Повторно зарегистрируйте Microsoft.Chaos поставщика ресурсов.
Перейдите в Студию Хаоса и выберите "Целевые объекты". Найдите нужный кластер AKS и выберите Включение целевых объектов>Включение целевых объектов для прямого обслуживания.
Выберите виртуальную сеть кластера. Если виртуальная сеть уже включает подсети с именем ChaosStudioContainerSubnet и ChaosStudioRelaySubnetвыберите их. Если они еще не существуют, они автоматически создаются для вас.
Выберите «Рецензирование + Включить»>Включить.

Теперь вы можете использовать частный кластер AKS с Chaos Studio. Чтобы узнать, как установить Chaos Mesh и запустить эксперимент, см. статью "Создание эксперимента хаоса с неисправностью Chaos Mesh с помощью Azure Portal".

Microsoft.ContainerInstance Microsoft.Relay Зарегистрируйте поставщиков ресурсов в подписке, выполнив следующие команды. Если они уже зарегистрированы, можно пропустить этот шаг. Дополнительные сведения см. в инструкциях по регистрации поставщика ресурсов .
```
az provider register --namespace 'Microsoft.ContainerInstance' --wait
```
```
az provider register --namespace 'Microsoft.Relay' --wait
```
Проверьте регистрацию, выполнив следующие команды:
```
az provider show --namespace 'Microsoft.ContainerInstance' | grep registrationState
```
```
az provider show --namespace 'Microsoft.Relay' | grep registrationState
```
В выходных данных должно появиться примерно следующее:
```
"registrationState": "Registered",
```
Повторно зарегистрируйте Microsoft.Chaos поставщика ресурсов в подписке.
```
az provider register --namespace 'Microsoft.Chaos' --wait
```
Проверьте регистрацию, выполнив следующую команду:
```
az provider show --namespace 'Microsoft.Chaos' | grep registrationState
```
В выходных данных должно появиться примерно следующее:
```
"registrationState": "Registered",
```
Создайте две подсети в виртуальной сети, в которую требуется внедрить ресурсы Chaos Studio (в этом случае виртуальная сеть частного кластера AKS):
- Подсеть контейнера (пример имени: ChaosStudioContainerSubnet)
  - Делегировать подсеть Microsoft.ContainerInstance/containerGroups службе.
  - Эта подсеть должна иметь по крайней мере /28 адресное пространство.
- Подсеть ретранслятора (пример имени: ChaosStudioRelaySubnet)
  - Эта подсеть должна иметь по крайней мере /28 адресное пространство.
```
az network vnet subnet create -g MyResourceGroup --vnet-name MyVnetName --name ChaosStudioContainerSubnet --address-prefixes "10.0.0.0/28" --delegations "Microsoft.ContainerInstance/containerGroups"
```
```
az network vnet subnet create -g MyResourceGroup --vnet-name MyVnetName --name ChaosStudioRelaySubnet --address-prefixes "10.0.0.0/28"
```
Если вы включите поддержку целей для кластера AKS, чтобы использовать его в хаотичных экспериментах, задайте свойства properties.subnets.containerSubnetId и properties.subnets.relaySubnetId с помощью новых подсетей, созданных на шаге 3.

Замените $SUBSCRIPTION_ID идентификатором своей подписки Azure. Замените $RESOURCE_GROUP на имя группы ресурсов и $AKS_CLUSTER на имя ресурса вашего кластера AKS. Кроме того, замените плейсхолдеры $AKS_INFRA_RESOURCE_GROUP и $AKS_VNET на имя группы ресурсов инфраструктуры AKS и имя виртуальной сети. Замените $URL соответствующим URL-адресом, используемым для подключения целевого ресурса. Чтобы найти этот URL-адрес, обратитесь к включению ресурса в качестве целевого объекта Chaos Studio.
```
CONTAINER_SUBNET_ID=/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$AKS_INFRA_RESOURCE_GROUP/providers/Microsoft.Network/virtualNetworks/$AKS_VNET/subnets/ChaosStudioContainerSubnet
RELAY_SUBNET_ID=/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$AKS_INFRA_RESOURCE_GROUP/providers/Microsoft.Network/virtualNetworks/$AKS_VNET/subnets/ChaosStudioRelaySubnet
BODY="{ \"properties\": { \"subnets\": { \"containerSubnetId\": \"$CONTAINER_SUBNET_ID\", \"relaySubnetId\": \"$RELAY_SUBNET_ID\" } } }"
az rest --method put --url $URL --body "$BODY"
```

Теперь вы можете использовать частный кластер AKS с Chaos Studio. Чтобы узнать, как установить Сетку Хаоса и запустить эксперимент, см. статью "Создание эксперимента хаоса, использующего ошибку "Сетка хаоса" с помощью Azure CLI.

Разрешения и безопасность

Необходимые разрешения RBAC

При использовании Chaos Studio с внедрением виртуальной сети управляемое удостоверение для эксперимента должно иметь следующие действия RBAC для развертывания необходимых ресурсов в подписке:

Microsoft.Relay/namespaces/* — Создание пространств имен Azure Relay и управление ими
Microsoft.Relay/namespaces/privateEndpointConnectionProxies/* — управление соединениями частной конечной точки для ретранслятора
Microsoft.ContainerInstance/containerGroups/* — Развертывание экземпляров контейнеров для экспериментов хаоса
Microsoft.Network/privateEndpoints/* — Создание частных конечных точек для безопасного подключения
Microsoft.Relay/namespaces/hybridConnections/* — управление гибридными подключениями, используемыми для туннелирования

Требования к порту группы безопасности сети (NSG)

Если вы используете группы безопасности сети для управления трафиком в виртуальной сети, может потребоваться добавить правила порта.

Это важно

По умолчанию все указанные ниже виды взаимодействия разрешены, но если у вас более строгая политика безопасности, вам может потребоваться соответствующим образом настроить правила группы сетевой безопасности (NSG).

ChaosStudioRelaySubnet и ChaosStudioContainerSubnet требуется двустороннее подключение TCP через порт 443 (каждая подсеть должна взаимодействовать с другой подсетью).
ChaosStudioContainerSubnet требует исходящего подключения к любому адресу через порт 443 и диапазон портов 9400-9599 для установления соединения со службой Azure Relay.
ChaosStudioContainerSubnet необходимо подключиться к серверу API AKS через порт 443

ChaosStudioRelaySubnet: используется гибридное подключение Azure Relay для безопасного туннелирования между Chaos Studio и вашими частными ресурсами.

ChaosStudioContainerSubnet: размещает контейнеризованные рабочие нагрузки, в которых проводятся эксперименты хаоса. Он запускает процесс прослушивания, который отслеживает гибридные подключения.

Узнайте больше о требованиях к портам в настройках ретрансляции Azure.

Конфигурация сети и безопасности

При работе в защищенной среде может потребоваться настроить определенные сетевые правила или понять идентификаторы, которые используются в Chaos Studio.

Настройка брандмауэра и NSG для сбоев, основанных на агентах

Для агента Chaos Studio требуется исходящий доступ к службе Azure Relay. Если вы используете группу безопасности сети (NSG), брандмауэр Azure или другое сетевое устройство для ограничения исходящего трафика, необходимо создать правила, чтобы разрешить обмен данными.

Стандартный исходящий доступ: Для агентов в сетях с брандмауэрами необходимо разрешить исходящий TCP-трафик к общедоступным конечным точкам Ретранслятора Azure через порты 443, 5671 и 5672.
Доступ к приватным каналу: Если вы используете частную конечную точку Azure Relay для агента, необходимо также разрешить исходящий TCP-трафик через порты 9400-9599. Это необходимо для частного слушателя ретрансляции, работающего на виртуальной машине.

В обоих сценариях агент инициирует подключение, поэтому на вашей виртуальной машине или NSG не требуются правила входящего порта, чтобы агент работал.

Ошибки AKS: понимание пользователя "masterclient" в журналах аудита

При использовании ошибок, интегрированных с Microsoft Entra ID (v2v2), в кластере AKS в Chaos Studio вы можете по-прежнему видеть учетную запись пользователя masterclient в журналах аудита сервера API кластера.

Это ожидаемое поведение в кластерах AKS, которые явно не отключили локальные учетные записи. Это masterclient встроенные учетные данные локального администратора. При проверке подлинности Chaos Studio, Kubernetes может использовать удостоверение Entra ID или эту локальную учетную запись.

Если политика безопасности требует, чтобы в журналах аудита отображались только субъекты-идентификаторы Entra, необходимо отключить локальные учетные записи в кластере AKS.

Подробные инструкции см. в официальной документации ПО AKS: отключение локальных учетных записей с интеграцией Microsoft Entra, управляемой AKS.

Limitations

Внедрение виртуальной сети в настоящее время возможно только в регионах или подписках, где доступны экземпляры контейнеров Azure и ретранслятор Azure.
Когда вы создаёте ресурс Target, который вы включаете с внедрением виртуальной сети, вам требуется Microsoft.Network/virtualNetworks/subnets/write доступ к виртуальной сети. Например, если кластер AKS развернут в virtualNetwork_A, необходимо иметь разрешения, чтобы создавать подсети в virtualNetwork_A, чтобы включить виртуальную сеть для кластера AKS.
Ограничение области подписки для внедрения виртуальной сети
При использовании Chaos Studio с частными сетями (внедрение виртуальной сети) виртуальная сеть (виртуальная сеть), содержащая целевой ресурс (например, кластер AKS), должна находиться в той же подписке Azure , что и эксперимент Chaos Studio.

Хотя Chaos Studio обычно поддерживает целевые ресурсы в подписках, эта возможность не применяется при включении частной сети. Это связано с тем, что частная конечная точка и другие вспомогательные ресурсы, необходимые для внедрения виртуальной сети, развертываются Студией Chaos Studio в той же подписке, что и эксперимент. Если целевая виртуальная сеть находится в другой подписке, создание частной конечной точки завершится ошибкой из-за ограничений, связанных с пересечением подписок.

Обходное решение: Чтобы успешно использовать частные сети, убедитесь, что целевая виртуальная сеть и эксперимент Chaos Studio создаются в той же подписке Azure.

Дальнейшие шаги

Теперь, когда вы понимаете, как можно реализовать внедрение виртуальной сети для Chaos Studio, вы готовы:

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2025-06-30