Проверка подлинности с помощью Реестр контейнеров Azure (ACR) из службы Azure Kubernetes (AKS)

• Если вы используете Azure CLI, рекомендуется, чтобы вы работали с Azure CLI версии 2.7.0 или более поздней. Чтобы найти версию, выполните az --version команду. Если необходимо установить или обновить, см. раздел Install Azure CLI.

• Если вы используете Azure PowerShell, для применения этой статьи требуется, чтобы вы использовали Azure PowerShell версии не ниже 5.9.0. Чтобы найти версию, выполните команду Get-InstalledModule -Name Az. Если необходимо установить или обновить, см. раздел Install Azure PowerShell.
• Примеры и синтаксис для использования Terraform для настройки ACR можно найти в справочнике Terraform.

• Установлен Terraform (>= 1.6).
• Azure CLI установлено и выполнен вход в вашу подписку.
• Разрешения на назначение ролей (владелец или администратор доступа пользователей).

В этой статье описана настройка кластера Azure Kubernetes Service (AKS) для безопасного извлечения образов из Реестр контейнеров Azure (ACR). В Azure CLI используйте --attach-acr. В Terraform назначьте роль AcrPull управляемой идентичности kubelet в AKS.

Эта статья следует тому же процессу, что и рабочий процесс Azure CLI, при использовании Terraform для развертывания инфраструктуры. Чтобы убедиться, что вы вошли в правильную подписку, используйте следующие команды Azure CLI:

az login
az account show

Если у вас еще нет ACR, создайте его с помощью az acr create команды.

Имя реестра должно быть глобально уникальным в Azure и содержать 5–50 буквенно-цифровых символов, за исключением символов дефиса (-). Это имя является частью полного имени реестра в DNS.

export RANDOM_STRING=$(printf '%05d%05d' "$RANDOM" "$RANDOM")
export MYACR="mycontainerregistry$RANDOM_STRING"
export ACR_RESOURCE_GROUP="myContainerRegistryResourceGroup"
export LOCATION="westcentralus"

az group create \
  --name $ACR_RESOURCE_GROUP \
  --location $LOCATION

az acr create \
  --name $MYACR \
  --resource-group $ACR_RESOURCE_GROUP \
  --sku basic

Переменная RANDOM_STRING хранит случайную 10-разрядную строку. Значение MYACR объединяется со RANDOM_STRING значением для создания уникального имени.

Если у вас еще нет ACR, создайте его с помощью командлета New-AzContainerRegistry .

Имя реестра должно быть глобально уникальным в Azure и содержать 5–50 буквенно-цифровых символов, за исключением символов дефиса (-). Это имя является частью полного имени реестра в DNS.

$RandomString = (Get-Random -Minimum 1000000000 -Maximum 10000000000).ToString()
$MyAcr = "mycontainerregistry$RandomString"
$AcrResourceGroup = "myContainerRegistryResourceGroup"
$Location = "westcentralus"

New-AzResourceGroup -Name $AcrResourceGroup -Location $Location

$NewAcr = @{
 Name = $MyAcr
 ResourceGroupName = $AcrResourceGroup
 Location = $Location
 Sku = "Basic"
}

New-AzContainerRegistry @NewAcr

Переменная $RandomString хранит случайную 10-разрядную строку. Значение $MyAcr объединяется со $RandomString значением для создания уникального имени.

Создайте файл main.tf для конфигурации и начните с определения поставщиков Terraform и создания уникального суффикса для глобальных уникальных имен ресурсов. Глобально уникальное имя гарантирует, что имя Реестр контейнеров Azure не конфликтует с существующими реестрами.

terraform {
 required_version = ">= 1.6.0"
 required_providers {
   azurerm = {
     source  = "hashicorp/azurerm"
     version = "~> 4.0"
   }
   random = {
     source  = "hashicorp/random"
     version = "~> 3.6"
   }
 }
}
provider "azurerm" {
 features {}
}
resource "random_string" "suffix" {
 length  = 6
 upper   = false
 special = false
}

Создайте новый кластер AKS и интегрируйте с существующим ACR с помощью az aks create команды с параметром --attach-acr . Эта команда позволяет авторизовать существующий ACR в подписке и настроить соответствующую AcrPull роль для управляемого удостоверения.

export CLUSTER_NAME="myAKSCluster"
export CLUSTER_RESOURCE_GROUP="myClusterResourceGroup"

az group create \
  --name $CLUSTER_RESOURCE_GROUP \
  --location $LOCATION

az aks create \
  --name $CLUSTER_NAME \
  --resource-group $CLUSTER_RESOURCE_GROUP \
  --generate-ssh-keys \
  --attach-acr $MYACR

Использование ACR в другой подписке или подключение с помощью идентификатора ресурса

Если вы используете ACR, расположенную в другой подписке из кластера AKS, или предпочитаете использовать идентификатор ресурса ACR вместо имени ACR, используйте следующий синтаксис. В этом примере создается ACR_RESOURCE_ID переменная с помощью реестра контейнеров, созданного в предыдущем разделе.

ACR_RESOURCE_ID=$(az acr show \
  --name $MYACR \
  --resource-group $ACR_RESOURCE_GROUP \
  --query id --output tsv)

az aks create \
  --name $CLUSTER_NAME \
  --resource-group $CLUSTER_RESOURCE_GROUP \
  --generate-ssh-keys \
  --attach-acr $ACR_RESOURCE_ID

Создайте новый кластер AKS и интегрируйте его с существующим ACR с помощью командлета New-AzAksCluster и параметра -AcrNameToAttach. Эта команда позволяет авторизовать существующий ACR в подписке и настроить соответствующую AcrPull роль для управляемого удостоверения.

$ClusterName = "myAKSCluster"
$ClusterResourceGroup = "myClusterResourceGroup"

New-AzResourceGroup -Name $ClusterResourceGroup -Location $Location

$NewCluster = @{
 Name = $ClusterName
 ResourceGroupName = $ClusterResourceGroup
 GenerateSshKey = $true
 AcrNameToAttach = $MyAcr
}

New-AzAksCluster @NewCluster

Использование ACR в другой подписке или присоединение с помощью идентификатора ресурса

Azure PowerShell поддерживает только присоединение ACR к AKS с помощью параметра -AcrNameToAttach и не поддерживает присоединение к ACR с помощью идентификатора resource ID.

Затем создайте группу ресурсов и Реестр контейнеров Azure. В этом реестре хранятся образы контейнеров, которые кластер AKS извлекает позже.

locals {
 location           = "westcentralus"
 acr_name           = "myacr${random_string.suffix.result}"
 acr_resource_group = "myContainerRegistryResourceGroup"
}
resource "azurerm_resource_group" "acr_rg" {
 name     = local.acr_resource_group
 location = local.location
}
resource "azurerm_container_registry" "acr" {
 name                = local.acr_name
 resource_group_name = azurerm_resource_group.acr_rg.name
 location            = azurerm_resource_group.acr_rg.location
 sku                 = "Basic"
 admin_enabled       = false
}

Теперь создайте кластер AKS, который использует образы из реестра. В этом кластере используется системно назначаемое управляемое удостоверение, которому будет предоставлено разрешение на извлечение образов.

locals {
 aks_name           = "myAKSCluster"
 aks_resource_group = "myClusterResourceGroup"
}
resource "azurerm_resource_group" "aks_rg" {
 name     = local.aks_resource_group
 location = local.location
}
resource "azurerm_kubernetes_cluster" "aks" {
 name                = local.aks_name
 location            = azurerm_resource_group.aks_rg.location
 resource_group_name = azurerm_resource_group.aks_rg.name
 dns_prefix          = local.aks_name
 identity {
   type = "SystemAssigned"
 }
 default_node_pool {
   name       = "systempool"
   node_count = 2
   vm_size    = "Standard_DS2_v2"
 }
}

На этом этапе кластер AKS существует, но у него еще нет доступа к реестру контейнеров. В Azure CLI используйте параметр --attach-acr. В Terraform вы явно назначаете роль AcrPull.

resource "azurerm_role_assignment" "aks_acr_pull" {
 scope                = azurerm_container_registry.acr.id
 role_definition_name = "AcrPull"
 principal_id         = azurerm_kubernetes_cluster.aks.kubelet_identity[0].object_id
}

Интегрируйте существующий ACR с существующим кластером AKS с помощью команды az aks update с параметром --attach-acr.

# Attach using acr-name
az aks update \
  --name $CLUSTER_NAME \
  --resource-group $CLUSTER_RESOURCE_GROUP \
  --attach-acr $MYACR


# Attach using acr-resource-id
az aks update \
  --name $CLUSTER_NAME \
  --resource-group $CLUSTER_RESOURCE_GROUP \
  --attach-acr $ACR_RESOURCE_ID

Команда az aks update --attach-acr использует разрешения пользователя, выполняющего команду, для создания назначения роли ACR. Эта роль назначается управляемому удостоверению kubelet . Дополнительные сведения об управляемых удостоверениях AKS см. в разделе Сводка об управляемых удостоверениях.

Интегрируйте существующий ACR с существующим кластером AKS с помощью команды Set-AzAksCluster и параметра -AcrNameToAttach.

$AttachCluster = @{
 Name = $ClusterName
 ResourceGroupName = $ClusterResourceGroup
 AcrNameToAttach = $MyAcr
}

Set-AzAksCluster @AttachCluster

Командлет Set-AzAksCluster -AcrNameToAttach использует разрешения пользователя, выполняющего команду, для создания назначения роли ACR. Эта роль назначается управляемому удостоверению kubelet . Дополнительные сведения об управляемых удостоверениях AKS см. в разделе Сводка об управляемых удостоверениях.

Если ваш кластер AKS уже существует, вы можете подключить ACR, ссылаясь на оба ресурса и создав одинаковое назначение ролей для обоих ресурсов.

data "azurerm_kubernetes_cluster" "existing_aks" {
 name                = "myAKSCluster"
 resource_group_name = "myClusterResourceGroup"
}
data "azurerm_container_registry" "existing_acr" {
 name                = "mycontainerregistry"
 resource_group_name = "myContainerRegistryResourceGroup"
}
resource "azurerm_role_assignment" "existing_aks_acr_pull" {
 scope                = data.azurerm_container_registry.existing_acr.id
 role_definition_name = "AcrPull"
 principal_id         = data.azurerm_kubernetes_cluster.existing_aks.kubelet_identity[0].object_id
}

Удалите интеграцию между ACR и кластером AKS с помощью az aks update команды с параметром --detach-acr .

# Detach using acr-name
az aks update \
  --name $CLUSTER_NAME \
  --resource-group $CLUSTER_RESOURCE_GROUP \
  --detach-acr $MYACR

# Detach using acr-resource-id
az aks update \
  --name $CLUSTER_NAME \
  --resource-group $CLUSTER_RESOURCE_GROUP \
  --detach-acr $ACR_RESOURCE_ID

Удалите интеграцию между ACR и кластером AKS с помощью Set-AzAksCluster команды с параметром -AcrNameToDetach .

$DetachCluster = @{
 Name = $ClusterName
 ResourceGroupName = $ClusterResourceGroup
 AcrNameToDetach = $MyAcr
}

Set-AzAksCluster @DetachCluster

Чтобы удалить доступ, удалите роль, которая предоставляет кластеру разрешение на загрузку образов.

# Remove this resource to revoke access
# resource "azurerm_role_assignment" "existing_aks_acr_pull" {
#   scope                = data.azurerm_container_registry.existing_acr.id
#   role_definition_name = "AcrPull"
#   principal_id         = data.azurerm_kubernetes_cluster.existing_aks.kubelet_identity[0].object_id
# }

Инициализация и развертывание конфигурации

После завершения настройки инициализируйте Terraform и просмотрите план выполнения перед применением.

terraform fmt
terraform init
terraform validate
terraform plan
terraform apply

На этом этапе кластер AKS настроен для извлечения образов из ACR.

Теперь вы можете:

• Импорт изображений в ACR.
• Развертывание рабочих нагрузок в AKS.
• Проверьте развертывание pod.

Импортируйте изображение из Docker Hub в ACR с помощью команды az acr import.

az acr import \
  --name $MYACR \
  --source docker.io/library/nginx:latest \
  --image nginx:v1

Выполните следующие команды, чтобы убедиться, что образ импортирован.

az acr repository show --name $MYACR --repository nginx
az acr repository show-tags --name $MYACR --repository nginx

Импортируйте изображение из Docker Hub в ACR с помощью командлета Import-AzContainerRegistryImage.

$ImportImage = @{
 RegistryName = $MyAcr
 ResourceGroupName = $AcrResourceGroup
 SourceRegistryUri = 'docker.io'
 SourceImage = 'library/nginx:latest'
 TargetTag = 'nginx:v1'
}

Import-AzContainerRegistryImage @ImportImage

Выполните следующие команды, чтобы убедиться, что образ импортирован.

Get-AzContainerRegistryRepository -RegistryName $MyAcr

Get-AzContainerRegistryTag -RegistryName $MyAcr -Repository nginx

1. Убедитесь, что у вас есть правильные учетные данные AKS с помощью az aks get-credentials команды.

   az aks get-credentials \
     --resource-group $CLUSTER_RESOURCE_GROUP \
     --name $CLUSTER_NAME
   

2. Запустите развертывание в кластере AKS с помощью команды kubectl apply.

   kubectl apply -f acr-nginx.yaml
   

3. Контролируйте развертывание с помощью команды kubectl get pods.

   kubectl get pods
   

   Выходные данные должны отображать два запущенных модуля pod, как показано в следующем примере выходных данных:

   NAME                                 READY   STATUS    RESTARTS   AGE
   nginx0-deployment-669dfc4d4b-x74kr   1/1     Running   0          20s
   nginx0-deployment-669dfc4d4b-xdpd6   1/1     Running   0          20s
   

1. Убедитесь, что у вас есть корректные учетные данные AKS с помощью cmdlet Import-AzAksCredential.

   Import-AzAksCredential -ResourceGroupName $ClusterResourceGroup -Name $ClusterName
   

2. Запустите развертывание в кластере AKS с помощью команды kubectl apply.

   kubectl apply -f acr-nginx.yaml
   

3. Контролируйте развертывание с помощью команды kubectl get pods.

   kubectl get pods
   

   Выходные данные должны отображать два запущенных модуля pod, как показано в следующем примере выходных данных:

   NAME                                 READY   STATUS    RESTARTS   AGE
   nginx0-deployment-669dfc4d4b-x74kr   1/1     Running   0          20s
   nginx0-deployment-669dfc4d4b-xdpd6   1/1     Running   0          20s
   

az group delete --name $ACR_RESOURCE_GROUP --yes --no-wait
az group delete --name $CLUSTER_RESOURCE_GROUP --yes --no-wait

Remove-AzResourceGroup -Name $AcrResourceGroup -Force
Remove-AzResourceGroup -Name $ClusterResourceGroup -Force