Учебное пособие: Деплой приложений с использованием GitOps и Flux версии 2

Кластеры Kubernetes с поддержкой Azure Arc

• Кластер Kubernetes, подключенный через Azure Arc, который активен и работает. Кластеры на основе Arm64 поддерживаются начиная с microsoft.flux версии 1.7.0.

  Узнайте, как подключить кластер Kubernetes к Azure Arc. Если необходимо подключиться через исходящий прокси-сервер, убедитесь, что агенты Arc устанавливаются с параметрами прокси-сервера.

• Разрешения на чтение и запись для типа ресурса Microsoft.Kubernetes/connectedClusters.

Кластеры Службы Azure Kubernetes

• Кластер AKS на основе MSI, который введён в эксплуатацию.

  Внимание

  Убедитесь, что кластер AKS создан с помощью MSI (а не SPN), так как расширение microsoft.flux не работает с кластерами AKS на основе учетных записей службы. Для новых кластеров AKS, созданных с помощью az aks create, кластер по умолчанию основан на MSI. Чтобы преобразовать SPN-кластеры в MSI, выполните команду az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity. Для получения дополнительной информации см. статью об использовании управляемой идентичности в AKS.

• Разрешения на чтение и запись для типа ресурса Microsoft.ContainerService/managedClusters.

Общие для обоих типов кластеров

• Разрешения на чтение и запись для этих типов ресурсов:

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• Azure CLI 2.15 или более поздней версии. Установите Azure CLI или используйте следующие команды для обновления до последней версии:

  az version
  az upgrade
  

• Клиент командной строки Kubernetes, kubectl. Если вы используете Azure Cloud Shell, kubectl уже установлен.

  Установите kubectl локально с помощью az aks install-cli команды:

  az aks install-cli
  

• Регистрация следующих поставщиков ресурсов Azure:

  az provider register --namespace Microsoft.Kubernetes
  az provider register --namespace Microsoft.ContainerService
  az provider register --namespace Microsoft.KubernetesConfiguration
  

  Регистрация — это асинхронный процесс, который должен завершиться в течение 10 минут. Чтобы отслеживать процесс регистрации, используйте следующую команду:

  az provider show -n Microsoft.KubernetesConfiguration -o table
  
  Namespace                          RegistrationPolicy    RegistrationState
  ---------------------------------  --------------------  -------------------
  Microsoft.KubernetesConfiguration  RegistrationRequired  Registered
  

Поддержка версий и регионов

В настоящее время GitOps поддерживается во всех регионах, поддерживаемых Kubernetes с поддержкой Azure Arc. В настоящее время GitOps доступна в некоторых регионах, поддерживаемых AKS. Служба GitOps добавляет новые поддерживаемые регионы на регулярной основе.

Поддерживается последняя версия расширения Flux версии 2 и две предыдущие версии (N-2). Как правило, рекомендуется использовать последнюю версию расширения.

Требования к сети

Для работы агентов GitOps требуется исходящее TCP-подключение (исходящий трафик) к источнику репозитория через порт 22 (SSH) или 443 (HTTPS). Агенты также требуют доступа к следующим исходящим URL-адресам:

Включение расширений CLI

Установите последние пакеты расширений k8s-configuration и k8s-extension для CLI.

az extension add -n k8s-configuration
az extension add -n k8s-extension

Чтобы обновить эти пакеты до последних версий:

az extension update -n k8s-configuration
az extension update -n k8s-extension

Чтобы просмотреть список всех установленных расширений Azure CLI и их версий, выполните следующую команду:

az extension list -o table

Experimental   ExtensionType   Name                   Path                                                       Preview   Version
-------------  --------------  -----------------      -----------------------------------------------------      --------  --------
False          whl             connectedk8s           C:\Users\somename\.azure\cliextensions\connectedk8s         False     1.2.7
False          whl             k8s-configuration      C:\Users\somename\.azure\cliextensions\k8s-configuration    False     1.5.0
False          whl             k8s-extension          C:\Users\somename\.azure\cliextensions\k8s-extension        False     1.1.0

Кластеры Kubernetes с поддержкой Azure Arc

• Кластер Kubernetes, подключенный через Azure Arc, который активен и работает. Кластеры на основе Arm64 поддерживаются начиная с microsoft.flux версии 1.7.0.

  Узнайте, как подключить кластер Kubernetes к Azure Arc. Если необходимо подключиться через исходящий прокси-сервер, убедитесь, что агенты Arc устанавливаются с параметрами прокси-сервера.

• Разрешения на чтение и запись для типа ресурса Microsoft.Kubernetes/connectedClusters.

Кластеры Службы Azure Kubernetes

• Кластер AKS на основе MSI, который введён в эксплуатацию.

  Внимание

  Убедитесь, что кластер AKS создан с помощью MSI (а не SPN), так как расширение microsoft.flux не работает с кластерами AKS на основе учетных записей службы. Для новых кластеров AKS, созданных с помощью az aks create, кластер по умолчанию основан на MSI. Для уже созданных кластеров на основе имени субъекта-службы, которые необходимо преобразовать в MSI, выполните команду az aks update -g $RESOURCE_GROUP -n $CLUSTER_NAME --enable-managed-identity. Для получения дополнительной информации см. статью об использовании управляемой идентичности в AKS.

• Разрешения на чтение и запись для типа ресурса Microsoft.ContainerService/managedClusters.

Общие для обоих типов кластеров

• Разрешения на чтение и запись для этих типов ресурсов:

  • Microsoft.KubernetesConfiguration/extensions
  • Microsoft.KubernetesConfiguration/fluxConfigurations

• Регистрация следующих поставщиков ресурсов Azure:

  • Microsoft.ContainerService
  • Microsoft.Kubernetes
  • Microsoft.KubernetesConfiguration

Поддержка версий и регионов

В настоящее время GitOps поддерживается во всех регионах, поддерживаемых Kubernetes с поддержкой Azure Arc. В настоящее время GitOps доступна в некоторых регионах, поддерживаемых AKS. Служба GitOps добавляет новые поддерживаемые регионы на регулярной основе.

Поддерживается последняя версия расширения Flux версии 2 и две предыдущие версии (N-2). Как правило, рекомендуется использовать последнюю версию расширения.

Требования к сети

Для работы агентов GitOps требуется исходящее TCP-подключение (исходящий трафик) к источнику репозитория через порт 22 (SSH) или 443 (HTTPS). Агенты также требуют доступа к следующим исходящим URL-адресам:

В следующем примере команда используется az k8s-configuration flux create для применения конфигурации Flux к кластеру с помощью следующих значений и параметров:

• Группа ресурсов, содержащая кластер flux-demo-rg.
• Имя кластера Azure Arc flux-demo-arc.
• Тип кластера — Azure Arc (-t connectedClusters), но этот пример также работает с AKS (-t managedClusters).
• Имя конфигурации Flux — cluster-config.
• Пространство имен для установки конфигурации cluster-config.
• URL-адрес общедоступного репозитория https://github.com/Azure/gitops-flux2-kustomize-helm-mtGit.
• Ветвь репозитория Git — main.
• Область действия конфигурации cluster. Эта область предоставляет операторам разрешения на внесение изменений в кластер. Чтобы использовать область namespace с этим руководством, ознакомьтесь с необходимыми изменениями.
• Два настройки указаны с именами infra и apps. Каждый из них связан с путем к файлу в репозитории.
• Зависимость apps кастомизации от infra кастомизации. (Кастомизация infra должна завершиться до apps запуска кастомизации.)
• Задайте prune=true для обоих настроек. Этот параметр гарантирует, что объекты, развернутые Flux в кластере, очищаются, если они удалены из репозитория, или если удаляются конфигурация Flux или кастомизации.

az k8s-configuration flux create -g flux-demo-rg \
-c flux-demo-arc \
-n cluster-config \
--namespace cluster-config \
-t connectedClusters \
--scope cluster \
-u https://github.com/Azure/gitops-flux2-kustomize-helm-mt \
--branch main  \
--kustomization name=infra path=./infrastructure prune=true \
--kustomization name=apps path=./apps/staging prune=true dependsOn=\["infra"\]

Расширение microsoft.flux устанавливается в кластере (если оно еще не было установлено в предыдущем развертывании GitOps).

При первой установке конфигурации flux начальное состояние соответствия может быть Pending или Non-compliant потому, что сверка по-прежнему продолжается. Через минуту запросите конфигурацию еще раз, чтобы увидеть окончательное состояние соответствия.

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

Чтобы убедиться, что развертывание выполнено успешно, выполните следующую команду:

az k8s-configuration flux show -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters

При успешном развертывании создаются следующие пространства имен:

• flux-system: содержит контроллеры расширений Flux.
• cluster-config: содержит объекты конфигурации Flux.
• nginx, podinfo, redis: пространства имён, содержащие рабочие нагрузки, указанные в манифестах репозитория Git.

Чтобы подтвердить пространства имен, выполните следующую команду:

kubectl get namespaces

Пространство имен flux-system включает расширения объектов Flux:

• Контроллеры Azure Flux: fluxconfig-agentfluxconfig-controller
• Контроллеры Flux OSS: source-controller, kustomize-controller, helm-controller, notification-controller

Агент Flux и модули pod контроллера должны находиться в состоянии выполнения. Подтвердите это с помощью следующей команды:

kubectl get pods -n flux-system

NAME                                      READY   STATUS    RESTARTS   AGE
fluxconfig-agent-9554ffb65-jqm8g          2/2     Running   0          21m
fluxconfig-controller-9d99c54c8-nztg8     2/2     Running   0          21m
helm-controller-59cc74dbc5-77772          1/1     Running   0          21m
kustomize-controller-5fb7d7b9d5-cjdhx     1/1     Running   0          21m
notification-controller-7d45678bc-fvlvr   1/1     Running   0          21m
source-controller-df7dc97cd-4drh2         1/1     Running   0          21m

Пространство имен cluster-config содержит объекты конфигурации Flux.

kubectl get crds

NAME                                                   CREATED AT
alerts.notification.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
arccertificates.clusterconfig.azure.com                2022-03-28T21:45:19Z
azureclusteridentityrequests.clusterconfig.azure.com   2022-03-28T21:45:19Z
azureextensionidentities.clusterconfig.azure.com       2022-03-28T21:45:19Z
buckets.source.toolkit.fluxcd.io                       2022-04-06T17:15:48Z
connectedclusters.arc.azure.com                        2022-03-28T21:45:19Z
customlocationsettings.clusterconfig.azure.com         2022-03-28T21:45:19Z
extensionconfigs.clusterconfig.azure.com               2022-03-28T21:45:19Z
fluxconfigs.clusterconfig.azure.com                    2022-04-06T17:15:48Z
gitconfigs.clusterconfig.azure.com                     2022-03-28T21:45:19Z
gitrepositories.source.toolkit.fluxcd.io               2022-04-06T17:15:48Z
helmcharts.source.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmreleases.helm.toolkit.fluxcd.io                    2022-04-06T17:15:48Z
helmrepositories.source.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imagepolicies.image.toolkit.fluxcd.io                  2022-04-06T17:15:48Z
imagerepositories.image.toolkit.fluxcd.io              2022-04-06T17:15:48Z
imageupdateautomations.image.toolkit.fluxcd.io         2022-04-06T17:15:48Z
kustomizations.kustomize.toolkit.fluxcd.io             2022-04-06T17:15:48Z
providers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
receivers.notification.toolkit.fluxcd.io               2022-04-06T17:15:48Z
volumesnapshotclasses.snapshot.storage.k8s.io          2022-03-28T21:06:12Z
volumesnapshotcontents.snapshot.storage.k8s.io         2022-03-28T21:06:12Z
volumesnapshots.snapshot.storage.k8s.io                2022-03-28T21:06:12Z
websites.extensions.example.com                        2022-03-30T23:42:32Z

Подтвердите другие сведения о конфигурации с помощью следующих команд.

kubectl get fluxconfigs -A

NAMESPACE        NAME             SCOPE     URL                                                       PROVISION   AGE
cluster-config   cluster-config   cluster   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   Succeeded   44m

kubectl get gitrepositories -A

NAMESPACE        NAME             URL                                                       READY   STATUS                                                            AGE
cluster-config   cluster-config   https://github.com/Azure/gitops-flux2-kustomize-helm-mt   True    Fetched revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   45m

kubectl get helmreleases -A

NAMESPACE        NAME      READY   STATUS                             AGE
cluster-config   nginx     True    Release reconciliation succeeded   66m
cluster-config   podinfo   True    Release reconciliation succeeded   66m
cluster-config   redis     True    Release reconciliation succeeded   66m

kubectl get kustomizations -A


NAMESPACE        NAME                   READY   STATUS                                                            AGE
cluster-config   cluster-config-apps    True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m
cluster-config   cluster-config-infra   True    Applied revision: main/4f1bdad4d0a54b939a5e3d52c51464f67e474fcf   65m

Рабочие нагрузки развертываются из манифестов в репозитории Git.

kubectl get deploy -n nginx

NAME                                       READY   UP-TO-DATE   AVAILABLE   AGE
nginx-ingress-controller                   1/1     1            1           67m
nginx-ingress-controller-default-backend   1/1     1            1           67m

kubectl get deploy -n podinfo

NAME      READY   UP-TO-DATE   AVAILABLE   AGE
podinfo   1/1     1            1           68m

kubectl get all -n redis

NAME                 READY   STATUS    RESTARTS   AGE
pod/redis-master-0   1/1     Running   0          68m

NAME                     TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)    AGE
service/redis-headless   ClusterIP   None          <none>        6379/TCP   68m
service/redis-master     ClusterIP   10.0.13.182   <none>        6379/TCP   68m

NAME                            READY   AGE
statefulset.apps/redis-master   1/1     68m

Управление развертыванием контроллеров с помощью расширения кластера Flux

В некоторых сценариях может потребоваться изменить, какие контроллеры Flux устанавливаются с расширением кластера Flux.

Контроллеры source, helmи kustomizenotification Flux устанавливаются по умолчанию. Контроллеры image-automation и image-reflector, используемые для обновления репозитория Git при наличии новых образов контейнеров, должны быть включены явным образом.

Для изменения параметров по умолчанию можно использовать k8s-extension команду:

• --config source-controller.enabled=<true/false> (по умолчанию true)
• --config helm-controller.enabled=<true/false> (по умолчанию true)
• --config kustomize-controller.enabled=<true/false> (по умолчанию true)
• --config notification-controller.enabled=<true/false> (по умолчанию true)
• --config image-automation-controller.enabled=<true/false> (по умолчанию false)
• --config image-reflector-controller.enabled=<true/false> (по умолчанию false)

Например, чтобы отключить уведомления, можно задать значение notification-controller.enabledfalse.

В этом примере команда устанавливает image-reflector и image-automation контроллеры. Если расширение Flux было создано автоматически при создании конфигурации Flux, имя расширения — flux.

az k8s-extension create -g <cluster_resource_group> -c <cluster_name> -t <connectedClusters or managedClusters or provisionedClusters> --name flux --extension-type microsoft.flux --config image-automation-controller.enabled=true image-reflector-controller.enabled=true

Использование удостоверения Kubelet в качестве метода проверки подлинности для кластеров AKS

Для кластеров AKS один из используемых вариантов проверки подлинности — удостоверение kubelet. По умолчанию AKS создает собственное удостоверение kubelet в управляемой группе ресурсов. Если вы предпочитаете, можно использовать управляемое удостоверение kubelet, созданное заранее. Для этого добавьте параметр --config useKubeletIdentity=true во время установки расширения Flux.

az k8s-extension create --resource-group <resource-group> --cluster-name <cluster-name> --cluster-type managedClusters --name flux --extension-type microsoft.flux --config useKubeletIdentity=true

Руководство по подключению Red Hat OpenShift

Для контроллеров Flux требуется некорневоеограничение контекста безопасности для правильного развертывания подов в кластере. Эти ограничения необходимо добавить в кластер перед развертыванием microsoft.flux расширения.

NS="flux-system"
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:kustomize-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:helm-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:source-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:notification-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-automation-controller
oc adm policy add-scc-to-user nonroot system:serviceaccount:$NS:image-reflector-controller

Дополнительные сведения об использовании OpenShift для подключения Flux см. в документации по Flux.

Портал Azure удобен для управления конфигурациями GitOps и расширением Flux в кластерах с поддержкой Azure Arc или в кластерах AKS. В портал Azure можно просмотреть все конфигурации Flux, связанные с каждым кластером, и получить подробные сведения, включая общее состояние соответствия каждого кластера.

Выполните следующие действия, чтобы применить пример конфигурации Flux к кластеру. В рамках этого процесса Azure устанавливает microsoft.flux расширение в кластере, если оно еще не было установлено в предыдущем развертывании.

1. Перейдите к кластеру на портал Azure.

2. В меню службы в разделе "Параметры" выберите GitOps.

3. Нажмите кнопку "Создать".

4. В разделе "Основные сведения" :

   1. Введите имя конфигурации.
   2. Введите пространство имен, в котором необходимо установить пользовательские ресурсы Flux. Можно использовать существующее пространство имен или указать новое, которое необходимо создать при развертывании конфигурации.
   3. В разделе "Область" выберите кластер , чтобы оператор Flux получил доступ для применения конфигурации ко всем пространствам имен в кластере. Чтобы использовать область namespace с этим руководством, ознакомьтесь с необходимыми изменениями.
   4. Нажмите кнопку "Далее ", чтобы перейти к разделу "Источник ".

   

5. В разделе "Источник ":

   1. В исходном типе выберите репозиторий Git.
   2. Введите URL-адрес репозитория, где находятся манифесты Kubernetes: https://github.com/Azure/gitops-flux2-kustomize-helm-mt
   3. Для типа ссылки выберите Branch. Оставьте ветвьглавной.
   4. Для типа репозитория выберите "Общедоступный".
   5. Оставьте другие параметры по умолчанию, а затем нажмите кнопку "Далее".

   

6. В разделе Kustomizations создайте два kustomizations: infrastructure и staging. Эти kustomizations — это ресурсы Flux, каждый из которых связан с путем в репозитории, который представляет набор манифестов, которые Flux должен примирить с кластером.

   1. Нажмите кнопку "Создать".

   2. На экране Создание Kustomization:

      1. Для имени экземпляра введите инфраструктуру.

      2. Для поля Path, введите ./infrastructure.

      3. Установите флажок для Prune. Этот параметр гарантирует, что объекты, развернутые Flux в кластере, очищаются, если они удалены из репозитория, или если удаляются конфигурация Flux или кастомизации.

      4. Оставьте другие параметры как есть, а затем нажмите кнопку "Сохранить ", чтобы создать infrastructure kustomization.

         

   3. Теперь infrastructureкастомизация отображается в разделе Kustomizations. Чтобы создать следующую кастомизацию, нажмите Создать еще раз.

   4. На экране Создание Kustomization:

      1. Для имени экземпляра введите стейджинг.

      2. Для Путь введите ./apps/staging.

      3. Установите флажок для Prune.

      4. В поле "Зависит" выберите инфраструктуру.

      5. Оставьте другие параметры как есть, а затем нажмите кнопку "Сохранить ", чтобы создать staging kustomization.

         

   5. Теперь вы увидите оба kustomizations в разделе Kustomizations . Нажмите кнопку "Далее ", чтобы продолжить.

7. Просмотрите параметры, выбранные на предыдущих шагах. Затем нажмите кнопку "Создать ", чтобы завершить создание конфигурации GitOps.

Просмотр конфигураций и объектов

Чтобы просмотреть все конфигурации кластера, перейдите к кластеру и выберите GitOps в меню службы.

Выберите имя конфигурации, чтобы просмотреть дополнительные сведения, такие как состояние конфигурации, свойства и источник. Затем можно выбрать объекты конфигурации , чтобы просмотреть все объекты, созданные для включения конфигурации GitOps, включая состояние соответствия и другие сведения о каждом объекте.

Чтобы просмотреть другие ресурсы Kubernetes, развернутые в кластере, вернитесь на страницу обзора кластера и выберите ресурсы Kubernetes (предварительная версия) в меню службы.

Чтобы просмотреть подробные условия для объекта конфигурации, выберите его имя.

Дополнительные сведения см. в разделе Мониторинг статуса и активности GitOps (Flux версии 2).

Удалите конфигурации Flux

Следующая команда удаляет fluxConfigurations ресурс в Azure и объекты конфигурации Flux в кластере. Поскольку изначально конфигурация Flux была создана с параметром prune=true для kustomization, все объекты, которые были созданы в кластере на основе манифестов в репозитории Git, удаляются при удалении конфигурации Flux. Однако эта команда не удаляет само расширение Flux.

az k8s-configuration flux delete -g flux-demo-rg -c flux-demo-arc -n cluster-config -t connectedClusters --yes

Удаление расширения кластера Flux

При удалении расширения Flux удаляются как ресурс расширения в Azure, так и объекты Flux в кластере.

Если расширение Flux было создано автоматически при создании конфигурации Flux, имя расширения — flux.

az k8s-extension delete -g flux-demo-rg -c flux-demo-arc -n flux -t connectedClusters --yes

Удалите конфигурацию Flux

Чтобы удалить конфигурацию Flux, перейдите в кластер, в котором была создана конфигурация. В меню службы в разделе "Параметры" выберите GitOps. Выберите конфигурацию, которую нужно удалить. В верхней части страницы нажмите кнопку "Удалить", а затем снова нажмите кнопку "Удалить ", когда появится запрос на подтверждение.

При удалении конфигурации Flux все объекты конфигурации Flux в кластере удаляются. Однако это действие не удаляет microsoft.flux само расширение.

Удаление расширения кластера Flux

При удалении расширения Flux удаляются как ресурс расширения в Azure, так и объекты Flux в кластере.

Для кластера Kubernetes с поддержкой Azure Arc перейдите к кластеру. В меню службы в разделе "Параметры" выберите "Расширения". flux Выберите расширение и нажмите кнопку "Удалить", а затем подтвердите удаление.

Для кластеров AKS нельзя использовать портал Azure для удаления расширения. Вместо этого используйте следующую команду Azure CLI:

az k8s-extension delete -g <resource-group> -c <cluster-name> -n flux -t managedClusters --yes