Создать частный кластер Azure Kubernetes Service (AKS)

Эта статья поможет вам развернуть кластер AKS с использованием приватных ссылок. Если вы хотите создать кластер AKS без обязательного приватного канала или туннеля, см. статью "Создание кластера службы Azure Kubernetes с помощью интеграции виртуальной сети СЕРВЕРА API".

Обзор

В частном кластере уровень управления или сервер API имеют внутренние IP-адреса, определенные в документе RFC1918 — выделение адресов для частных сетей интернета. Используя частный кластер, вы можете гарантировать, что сетевой трафик между сервером API и пулами узлов остается только в частной сети.

Azure-уровень управления или сервер API находится в Azure-группе ресурсов, управляемой AKS, а кластер или пул узлов находится в вашей группе ресурсов. Сервер, кластер или пул узлов могут взаимодействовать друг с другом через службу Azure Private Link в виртуальной сети сервера API и частную конечную точку, развернутую в подсети данного кластера AKS.

При подготовке частного кластера AKS, система AKS по умолчанию создает частное ПДИ с частной зоной DNS и дополнительное публичное ПДИ с соответствующей A записью в публичной DNS Azure. Узлы агента продолжают использовать запись A в частной DNS-зоне для определения частного IP-адреса частной конечной точки с целью связи с сервером API.

Доступность по регионам

Частные кластеры доступны в общедоступных регионах, Azure Government и Microsoft Azure, управляемом регионами 21Vianet, где поддерживается AKS.

Предварительные условия

• Azure CLI версии 2.28.0 или более поздней. Запустите az --version, чтобы определить версию и запустите az upgrade для обновления версии. Если вам нужно установить или обновить, см. статью "Установка Azure CLI".
• При использовании Azure Resource Manager (ARM) или REST API Azure версия API AKS должна быть 2021-05-01 или выше.
• Чтобы использовать пользовательский DNS-сервер, добавьте общедоступный IP-адрес Azure 168.63.129.16 в качестве вышестоящего DNS-сервера в пользовательском DNS-сервере и обязательно добавьте этот общедоступный IP-адрес в качестве первого DNS-сервера. Дополнительные сведения об IP-адресе Azure см. в статье "Что такое IP-адрес 168.63.129.16?"
  • Зону DNS кластера следует перенаправить на 168.63.129.16. Дополнительные сведения о именах зон можно найти в конфигурации зоны DNS служб Azure.
• Существующие кластеры AKS с интеграцией с виртуальной сетью API Server могут активировать режим частного кластера. Дополнительные сведения см. в разделе "Включение или отключение режима частного кластера" в существующем кластере с интеграцией виртуальной сети API Server.

Ограничения

• Диапазоны разрешенных IP-адресов нельзя применять к конечной точке частного сервера API, они применяются только к общедоступному серверу API.
• Ограничения службы Приватного канала Azure применяются к частным кластерам.
• Нет поддержки агентов Azure DevOps, предоставляемых Microsoft, с частными кластерами. Рассмотрите возможность использования самостоятельно размещённых агентов.
• Если необходимо включить реестр контейнеров Azure для работы с частным кластером AKS, настройте приватный канал для реестра контейнеров в виртуальной сети кластера или настройте пиринг между виртуальной сетью реестра контейнеров и виртуальной сетью частного кластера.
• Удаление или изменение частной конечной точки в подсети клиента приведет к прекращению работы кластера.
• Поддержка для сервиса Azure Private Link осуществляется только на Azure Load Balancer уровня "Стандартный". Azure Load Balancer "Базовый" не поддерживается.

Создание частного кластера AKS

Подключение к частному кластеру

Чтобы управлять кластером Kubernetes, используйте клиент командной строки Kubernetes, kubectl. Если вы используете Azure Cloud Shell, kubectl уже установлен. Чтобы установить kubectl локально, используйте az aks install-cli команду.

1. Настройте kubectl для подключения к вашему кластеру Kubernetes с помощью команды az aks get-credentials. Эта команда скачивает учетные данные и настраивает интерфейс командной строки Kubernetes для их использования.

   az aks get-credentials --resource-group <private-cluster-resource-group> --name <private-cluster-name>
   

2. Проверьте подключение к кластеру kubectl get с помощью команды. Эта команда возвращает список узлов кластера.

   kubectl get nodes
   

Использование личных доменов

Если вы хотите настроить пользовательские домены, которые могут быть разрешены только внутри системы, см. раздел "Использование пользовательских доменов".

Отключение общедоступного полного доменного имени

Выключить общедоступное полное доменное имя на новом кластере

• Отключите общедоступное полное доменное имя при создании частного кластера AKS, используя команду az aks create с флагом --disable-public-fqdn.

  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone <private-dns-zone-mode> \
      --disable-public-fqdn \
      --generate-ssh-keys
  

Отключить общедоступное полное доменное имя (FQDN) в существующем кластере

• Отключите публичное полное доменное имя в существующем кластере AKS с помощью команды az aks update и флага --disable-public-fqdn.

  az aks update \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --disable-public-fqdn
  

Настройка частной зоны DNS

Частные зоны DNS можно настроить с помощью следующих параметров:

• system — это значение по умолчанию. --private-dns-zone Если аргумент опущен, AKS создает частную зону DNS в группе ресурсов узла.
• none: по умолчанию используется общедоступный DNS. AKS не создаст частную зону DNS.
• CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID: для этого требуется создать частную зону DNS в следующем формате для глобального облака Azure: privatelink.<region>.azmk8s.io или <subzone>.privatelink.<region>.azmk8s.io. Для дальнейшего использования потребуется идентификатор ресурса частной зоны DNS. Вам также требуется назначенная пользователем идентичность или главный компонент службы с ролью участника частной зоны DNS и ролью участника сети. При развертывании с помощью интеграции виртуальной сети сервера API зона DNS частной сети поддерживает формат названий private.<region>.azmk8s.io или <subzone>.private.<region>.azmk8s.io. Вы не можете изменить или удалить этот ресурс после создания кластера, так как это может привести к проблемам с производительностью и сбоям обновления кластера.
  • Если частная зона DNS находится в подписке, отличной от кластера AKS, необходимо зарегистрировать Microsoft.ContainerServices поставщика Azure в обеих подписках.
  • Можно использовать fqdn-subdomain вместе с CUSTOM_PRIVATE_DNS_ZONE_RESOURCE_ID только для предоставления возможностей поддомена privatelink.<region>.azmk8s.io.
  • Если ваш кластер AKS настроен с субъектом службы Active Directory, AKS не поддерживает использование управляемого удостоверения, системно назначаемого, с настраиваемой частной зоной DNS. Кластер должен использовать аутентификацию с помощью управляемого удостоверения, назначаемого пользователем.
  • Если вы задаете <subzone>, для имени <subzone> имеется ограничение в 32 символа.

properties.apiServerAccessProfile.privateDNSZone.
"apiServerAccessProfile": {
"enablePrivateCluster": true,
"privateDNSZone": "system|none|[resourceId(..., 'Microsoft.Network/privateDnsZones', 'privatelink.<region>.azmk8s.io']"
}

Создание частного кластера AKS с частной зоной DNS

• Создайте частный кластер AKS с частной зоной DNS с помощью az aks create команды со следующими флагами:

  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone [system|none] \
      --generate-ssh-keys
  

Создание частного кластера AKS с настраиваемой частной зоной DNS или частной подзоной DNS

• Создайте частный кластер AKS с настраиваемой частной зоной DNS или подзоной az aks create , используя команду со следующими флагами:

  # The custom private DNS zone name should be in the following format: "<subzone>.privatelink.<region>.azmk8s.io"
  
  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone <custom private dns zone or custom private dns subzone resourceID> \
      --generate-ssh-keys
  

Создание частного кластера AKS с настраиваемой частной зоной DNS и пользовательским поддоменом

• Создайте частный кластер AKS с настраиваемой частной зоной DNS и поддоменом az aks create с помощью команды со следующими флагами:

  # The custom private DNS zone name should be in one of the following formats: "privatelink.<region>.azmk8s.io" or "<subzone>.privatelink.<region>.azmk8s.io"
  
  az aks create \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --load-balancer-sku standard \
      --enable-private-cluster \
      --assign-identity <resourceID> \
      --private-dns-zone <custom private dns zone resourceID> \
      --fqdn-subdomain <subdomain> \
      --generate-ssh-keys
  

Обновление частного кластера из частной зоны DNS до общедоступной

Вы можете обновить только от byo или system до none. Никакое другое сочетание значений обновления не поддерживается. Перед обновлением убедитесь, что подключитесь к частному кластеру.

• Обновите частный кластер с byo или system на none с помощью команды az aks update и следующих флагов:

  az aks update \
      --name <private-cluster-name> \
      --resource-group <private-cluster-resource-group> \
      --private-dns-zone none
  

Варианты подключения к частному кластеру

Конечная точка сервера API не имеет общедоступного IP-адреса. Для управления сервером API необходимо использовать виртуальную машину или контейнер с доступом к виртуальной сети кластера AKS. Существует несколько вариантов установления сетевого подключения к частному кластеру:

• Используйте экземпляр Cloud Shell , развернутый в подсети, подключенной к серверу API для кластера.
• Используйте встроенную функцию туннелирования клиента Azure Bastion (предварительный просмотр).
• Создайте виртуальную машину в той же виртуальной сети, что и кластер AKS, используя az vm create команду с флагом --vnet-name .
• Используйте виртуальную машину в отдельной сети и настройте пиринг виртуальных сетей.
• Используйте express Route или VPN-подключение .
• Используйте функцию AKScommand invoke.
• Используйте подключение к частной конечной точке .

Использование Cloud Shell или Бастиона (предварительная версия) — это самые простые варианты. Использование Express Route и VPN увеличивает затраты и сложность сети. Для соединения виртуальных сетей необходимо спланировать диапазоны сети CIDR, чтобы убедиться в отсутствии перекрывающихся диапазонов.

В следующей таблице описаны основные различия и ограничения использования Azure Cloud Shell и Бастиона Azure.

Подключение через Azure Cloud Shell

Для подключения к частному кластеру AKS через Azure Cloud Shell требуется выполнить следующие действия:

1. Развертывание необходимых ресурсов: Cloud Shell необходимо развернуть в виртуальной сети, которая может получить доступ к частному кластеру. Этот шаг подготавливает необходимую инфраструктуру. Хотя Cloud Shell является бесплатной службой, использование Cloud Shell в виртуальной сети требует некоторых ресурсов, которые несут затраты. Дополнительные сведения см. в статье Deploy Cloud Shell в виртуальной сети.
2. Настройка подключения: После развертывания ресурсов любой пользователь в подписке с соответствующими разрешениями в кластере может настроить Cloud Shell для развертывания в виртуальной сети, чтобы разрешить безопасное подключение к частному кластеру.

В следующих разделах описывается, как выполнить каждый шаг.

Развертывание необходимых ресурсов

Чтобы развернуть и настроить необходимые ресурсы, необходимо назначить роль владельца в подписке. Сведения о просмотре и назначении ролей см. в разделе "Список владельцев подписки".

Вы можете развернуть необходимые ресурсы с помощью краткого руководства на портале Azure или с помощью предоставленного шаблона ARM, если вы управляете инфраструктурой как кодом или имеете политики организации, требующие определенных соглашений об именовании ресурсов.

При необходимости можно оставить развернутые ресурсы на месте для будущих подключений или удалить и повторно создать их по мере необходимости.

Настройка подключения

После развертывания необходимых ресурсов любой пользователь в подписке может настроить cloud Shell для развертывания в данной виртуальной сети, выполнив настройку Cloud Shell для использования виртуальной сети.

Убедитесь, что у пользователя есть соответствующий доступ на уровне Kubernetes для успешного подключения к частному кластеру. См. параметры доступа и удостоверений для службы Azure Kubernetes Service.

Подключение через Бастион Azure (предварительная версия)

Бастион Azure — это полностью управляемая служба PaaS, которую вы подготавливаете для безопасного подключения к частным ресурсам через частные IP-адреса. Чтобы использовать функцию туннелирования собственного клиента Бастиона, см. статью "Подключение к частному кластеру AKS" с помощью Бастиона Azure.

Пиринг между виртуальными сетями

Чтобы использовать пиринг между виртуальной сетью, необходимо настроить связь между виртуальной сетью и частной зоной DNS.

Звездообразная архитектура с настраиваемым DNS

Архитектуры концентраторов и периферийных узлов часто используются для развертывания сетей в Azure. Во многих из этих развертываний параметры DNS в периферийных виртуальных сетях настроены для обращения к центральному серверу пересылки DNS-запросов, чтобы обеспечить разрешение DNS, как локальных, так и базированных на Azure.

При развертывании кластера AKS в такой сетевой среде существуют некоторые особые аспекты:

• При подготовке частного кластера частная конечная точка (1) и частная зона DNS (2) создаются в группе ресурсов, управляемой кластером, по умолчанию. Кластер использует A запись в частной зоне для разрешения IP-адреса частной конечной точки и обеспечения связи с сервером API.

• Частная зона DNS связана только с виртуальной сетью, к которой подключены узлы кластера (3). Это означает, что частная конечная точка может разрешаться только узлами в этой связанной виртуальной сети. В сценариях, когда настраиваемое DNS не настроено в виртуальной сети (по умолчанию), это работает без проблемы, так как узлы указывают на 168.63.129.16 для DNS, которые могут разрешать записи в частной зоне DNS из-за ссылки.

• Если вы сохраняете поведение частной зоны DNS по умолчанию, AKS пытается связать зону непосредственно с периферийной виртуальной сетью, в которую размещается кластер, даже если зона уже связана с центральной виртуальной сетью. В периферийных виртуальных сетях, использующих пользовательские DNS-серверы, это действие может завершиться ошибкой, если управляемому удостоверению кластера не хватает участника сети в периферийной виртуальной сети. Чтобы предотвратить сбой, выберите одну из следующих поддерживаемых конфигураций:

  • Настраиваемая частная зона DNS — укажите предварительно созданную частную зону и задайте privateDNSZone его идентификатор ресурса. Свяжите эту зону с соответствующей виртуальной сетью (например, виртуальной сетью концентратора) и установите значение publicDNS для false.

  • Только публичный DNS — отключите создание зоны, задав privateDNSZone значение noneи оставив publicDNS в его значении по умолчанию (true).

Использование подключения к частной конечной точке

Частная конечная точка может быть настроена таким образом, чтобы виртуальная сеть не должна быть пиринговой для взаимодействия с частным кластером. Создайте новую частную конечную точку в виртуальной сети, содержащую потребляемые ресурсы, а затем создайте связь между виртуальной сетью и новой частной зоной DNS в той же сети.

Создайте ресурс частной конечной точки

Создайте ресурс частной конечной точки в виртуальной сети:

1. На домашней странице портала Azure выберите "Создать ресурс".
2. Найдите частную конечную точку и выберите "Создать>частную конечную точку".
3. Нажмите кнопку "Создать".
4. На вкладке "Основные сведения" настройте следующие параметры:
   • Сведения о проекте
     • Подписка. Выберите подписку, в которой находится частный кластер.
     • Группа ресурсов: выберите группу ресурсов, содержащую виртуальную сеть.
   • Сведения об экземпляре
     • Имя: введите имя частной конечной точки, например myPrivateEndpoint.
     • Регион. Выберите тот же регион, что и виртуальная сеть.
5. Выберите Далее: Ресурс и настройте следующие параметры:
   • Метод подключения. Выберите "Подключиться к ресурсу Azure" в моем каталоге.
   • Подписка. Выберите подписку, в которой находится частный кластер.
   • Тип ресурса: выберите Microsoft.ContainerService/managedClusters.
   • Ресурс. Выберите частный кластер.
   • Целевой вложенный ресурс: выберите управление.
6. Нажмите кнопку "Далее": виртуальная сеть и настройте следующие параметры:
   • Сети
     • Виртуальная сеть: выберите виртуальную сеть.
     • Подсеть: выберите подсеть.
7. Нажмите кнопку Далее: DNS>Далее: теги и (необязательно) настройте значения ключей по мере необходимости.
8. Нажмите кнопку "Далее": проверка и создание.>

После создания ресурса запишите частный IP-адрес частной конечной точки для дальнейшего использования.

Создание частной зоны DNS

Создав частную конечную точку, создайте частную зону DNS с тем же именем, что и частная зона DNS, созданная частным кластером. Не забудьте создать эту зону DNS в виртуальной сети, содержащей потребляемые ресурсы.

1. На портале Azure перейдите к группе ресурсов узла и выберите ресурс частной зоны DNS.
2. В меню службы в разделе "Управление DNS" выберите наборы записей и обратите внимание на следующее:
   • Имя частной зоны DNS, которая соответствует шаблону *.privatelink.<region>.azmk8s.io.
   • Имя записи A (кроме частного DNS имени).
   • Время жизни (TTL) — период времени, через который данные становятся недействительными или удаляются из системы.
3. На домашней странице портала Azure выберите "Создать ресурс".
4. Найдите частную зону DNS и выберите "Создать>частную зону DNS".
5. На вкладке "Основные сведения" настройте следующие параметры:
   • Сведения о проекте:
     • Выберите подписку.
     • Выберите группу ресурсов, в которой вы создали частную конечную точку.
   • Сведения об экземпляре
     • Имя. Введите имя зоны DNS, полученной из предыдущих шагов.
     • Регион по умолчанию используется для расположения группы ресурсов.
6. Выберите Рецензирование + создание>Создать.

A Создание записи

После создания частной зоны DNS создайте запись, которая связывает частную A конечную точку с частным кластером:

1. Перейдите в частную зону DNS, созданную на предыдущих шагах.
2. В меню службы в разделе "Управление DNS" выберите "Наборы записей">Добавить.
3. На странице "Добавление набора записей " настройте следующие параметры:
   • Имя. Введите имя, полученное A из записи в зоне DNS частного кластера.
   • Тип: выберите A - Адресная запись.
   • TTL: введите число из A записи в зоне DNS частного кластера.
   • Единица TTL: измените значение в раскрывающемся списке, чтобы оно соответствовало значению в записи из зоны DNS частного кластера.
   • IP-адрес: введите IP-адрес созданной частной конечной точки.
4. Нажмите кнопку "Добавить ", чтобы создать A запись.

Связывание частной зоны DNS с виртуальной сетью

A После создания записи свяжите частную зону DNS с виртуальной сетью, которая получит доступ к частному кластеру:

1. Перейдите в частную зону DNS, созданную на предыдущих шагах.
2. В меню службы в разделе "Управление DNS" выберите"Добавить ссылки >виртуальной сети".
3. На странице "Добавление канала виртуальной сети " настройте следующие параметры:
   • Имя ссылки: введите имя для ссылки виртуальной сети.
   • Подписка. Выберите подписку, в которой находится частный кластер.
   • виртуальная сеть. Выберите виртуальную сеть частного кластера.
4. Нажмите кнопку "Создать", чтобы создать ссылку.

Для завершения операции может потребоваться несколько минут. После создания ссылки виртуальной сети вы можете получить доступ к ней на вкладке "Ссылки виртуальной сети ", которую вы использовали на шаге 2.

Следующие шаги

Сведения о связанных рекомендациях см. в рекомендациях по сетевому подключению и безопасности в AKS.