Краткое руководство. Создание частного кластера Службы Azure Kubernetes (AKS) в пользовательской виртуальной сети

Создание виртуальной сети

Создайте виртуальную сеть с помощью az network vnet create команды. Создайте подсеть сервера API и подсеть кластера с помощью az network vnet subnet create команды.

При использовании пользовательской виртуальной сети с AKS Automatic необходимо создать и делегировать подсеть Microsoft.ContainerService/managedClustersсервера API, в которую предоставляется разрешение службы AKS для внедрения модулей pod сервера API и внутренней подсистемы балансировки нагрузки в эту подсеть. Вы не можете использовать подсеть для других рабочих нагрузок, но ее можно использовать для нескольких кластеров AKS, расположенных в одной виртуальной сети. Минимальный поддерживаемый размер подсети сервера API — /28.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name clusterSubnet \
--address-prefixes 172.19.1.0/24

Правила группы безопасности сети

Весь трафик в виртуальной сети разрешен по умолчанию. Но если вы добавили правила группы безопасности сети (NSG), чтобы ограничить трафик между разными подсетями, убедитесь, что правила безопасности NSG разрешают следующие типы обмена данными:

Создайте управляемое удостоверение и предоставьте ему разрешения на виртуальную сеть.

Создайте управляемое удостоверение с помощью команды az identity create и получите идентификатор субъекта. Назначьте роль участника сети управляемому удостоверению на виртуальной сети, используя команду az role assignment create.

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee ${IDENTITY_PRINCIPAL_ID}

Создание частного кластера AKS Automatic в пользовательской виртуальной сети

Чтобы создать частный кластер AKS Automatic, используйте команду az aks create . Обратите внимание на использование флага --enable-private-cluster .

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--vnet-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/clusterSubnet" \
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

Через несколько минут выполнение команды завершается и отображаются сведения о кластере в формате JSON.

Подключение к кластеру

При создании автоматического кластера AKS в качестве частного кластера конечная точка сервера API не имеет общедоступного IP-адреса. Для управления сервером API, например с помощью kubectl, необходимо подключиться через компьютер, имеющий доступ к виртуальной сети Azure кластера. Существует несколько вариантов установления сетевого подключения к частному кластеру:

• Создайте виртуальную машину в той же виртуальной сети, что и автоматический кластер AKS, используя az vm create команду с флагом --vnet-name .
• Используйте виртуальную машину в отдельной виртуальной сети и настройте пиринг между виртуальными сетями.
• Используйте подключение Express Route или VPN.
• Используйте подключение к частной конечной точке .

Создание виртуальной машины в той же виртуальной сети, что и кластер AKS, является самым простым вариантом. ExpressRoute и VPN добавляют затраты и требуют дополнительных сложностей в сети. Для соединения виртуальных сетей необходимо спланировать диапазоны сети CIDR, чтобы убедиться в отсутствии перекрывающихся диапазонов. Дополнительные сведения см. в разделе "Параметры подключения к частному кластеру ".

Кластером Kubernetes можно управлять при помощи kubectl клиента командной строки Kubernetes. kubectl уже установлен, если вы используете Azure Cloud Shell. Чтобы установить kubectl локально, выполните команду az aks install-cli . Автоматические кластеры AKS настраиваются с идентификатором Microsoft Entra для управления доступом на основе ролей Kubernetes (RBAC).

При создании кластера с помощью Azure CLI вашему пользователю назначаются встроенные роли для Azure Kubernetes Service RBAC Cluster Admin.

Настройте kubectl на подключение к кластеру Kubernetes с помощью команды az aks get-credentials. Эта команда скачивает учетные данные и настраивает интерфейс командной строки Kubernetes для их использования.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

Проверьте подключение к кластеру, выполнив команду kubectl get. Эта команда возвращает список узлов кластера.

kubectl get nodes

В следующем примере выходных данных показано, как вам будет предложено войти в систему.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

После входа в систему в следующем примере выходных данных отображаются пулы узлов управляемой системы. Убедитесь, что состояние узла является "Готово".

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5

Создание виртуальной сети

Этот файл Bicep определяет виртуальную сеть.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the cluster subnet.')
param clusterSubnetName string = 'clusterSubnet'

@description('The subnet prefix of the cluster subnet.')
param clusterSubnetPrefix string = '172.19.1.0/24'

// Virtual network with an API server subnet and a cluster subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: clusterSubnetName
                properties: {
                    addressPrefix: clusterSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output clusterSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, clusterSubnetName)

Сохраните файл Bicep virtualNetwork.bicep на локальный компьютер.

Разверните Bicep-файл с помощью Azure CLI.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

Весь трафик в виртуальной сети разрешен по умолчанию. Но если вы добавили правила группы безопасности сети (NSG), чтобы ограничить трафик между разными подсетями, убедитесь, что правила безопасности NSG разрешают следующие типы обмена данными:

Создание управляемого удостоверения

Этот файл Bicep определяет управляемое удостоверение, назначаемое пользователем.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Сохраните файл Bicep uami.bicep на ваш локальный компьютер.

Разверните Bicep-файл с помощью Azure CLI.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

Назначение роли участника сети на виртуальной сети

Этот файл Bicep определяет назначения ролей в виртуальной сети.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://learn.microsoft.com/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Сохраните файл Bicep roleAssignments.bicep на локальный компьютер.

Разверните Bicep-файл с помощью Azure CLI. Необходимо предоставить идентификатор главного пользователя назначенной учётной записи.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Создание частного кластера AKS Automatic в пользовательской виртуальной сети

Файл Bicep, представленный здесь, определяет автоматический кластер AKS.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the cluster subnet.')
param clusterSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    agentPoolProfiles: [
      {
        name: 'systempool'
        mode: 'System'
          count: 3
        vnetSubnetID: clusterSubnetId
      }
    ]
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Сохраните файл Bicep aks.bicep на локальном компьютере.

Разверните Bicep-файл с помощью Azure CLI. Необходимо указать идентификатор ресурса подсети сервера API, идентификатор ресурса подсети кластера и идентификатор основной записи назначенной пользователем личности.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters clusterSubnetId=<cluster subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Подключение к кластеру

При создании автоматического кластера AKS в качестве частного кластера конечная точка сервера API не имеет общедоступного IP-адреса. Для управления сервером API, например с помощью kubectl, необходимо подключиться через компьютер, имеющий доступ к виртуальной сети Azure кластера. Существует несколько вариантов установления сетевого подключения к частному кластеру:

• Создайте виртуальную машину в той же виртуальной сети, что и автоматический кластер AKS, используя az vm create команду с флагом --vnet-name .
• Используйте виртуальную машину в отдельной виртуальной сети и настройте пиринг между виртуальными сетями.
• Используйте подключение Express Route или VPN.
• Используйте подключение к частной конечной точке .

Создание виртуальной машины в той же виртуальной сети, что и кластер AKS, является самым простым вариантом. Использование Express Route и VPN увеличивает затраты и сложность сети. Для соединения виртуальных сетей необходимо спланировать диапазоны сети CIDR, чтобы убедиться в отсутствии перекрывающихся диапазонов. Дополнительные сведения см. в разделе "Параметры подключения к частному кластеру ".

Кластером Kubernetes можно управлять при помощи kubectl клиента командной строки Kubernetes. kubectl уже установлен, если вы используете Azure Cloud Shell. Чтобы установить kubectl локально, выполните команду az aks install-cli . Автоматические кластеры AKS настраиваются с идентификатором Microsoft Entra для управления доступом на основе ролей Kubernetes (RBAC).

Настройте kubectl на подключение к кластеру Kubernetes с помощью команды az aks get-credentials. Эта команда скачивает учетные данные и настраивает интерфейс командной строки Kubernetes для их использования.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

Проверьте подключение к кластеру, выполнив команду kubectl get. Эта команда возвращает список узлов кластера.

kubectl get nodes

В следующем примере выходных данных показано, как вам будет предложено войти в систему.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

После входа в систему в следующем примере выходных данных отображаются пулы узлов управляемой системы. Убедитесь, что состояние узла является "Готово".

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5