Политики поддержки службы Azure Kubernetes

В этой статье описываются политики технической поддержки и ограничения для службы Azure Kubernetes (AKS). Он также содержит сведения об управлении узлами агента, компонентах управляющей плоскости, компонентах с открытым исходным кодом сторонних производителей и управлении безопасностью или исправлениями.

Обновления и выпуски сервиса

• Сведения о выпуске см. в заметках о выпуске AKS.
• Сведения о предварительных версиях функций см. в схеме развития AKS.

Управляемые функции в AKS

Базовая инфраструктура как услуга (IaaS), облачные компоненты, такие как вычислительные или сетевые компоненты, позволяют получать доступ к низкоуровневым контролям и параметрам настройки. В отличие от этого, AKS предоставляет готовое развертывание Kubernetes, которое предоставляет общий набор конфигураций и возможностей, необходимых для кластера. В качестве пользователя AKS у вас есть ограниченные параметры настройки и развертывания. В обмен вам не нужно беспокоиться о кластерах Kubernetes напрямую или управлять ими.

С помощью AKS вы получаете полностью управляемую плоскость управления. Плоскость управления содержит все компоненты и службы, необходимые для работы и доставки кластеров Kubernetes конечным пользователям. Корпорация Майкрософт поддерживает и управляет всеми компонентами Kubernetes.

Корпорация Майкрософт управляет и отслеживает следующие компоненты с помощью плоскости управления:

• Серверы API Kubelet или Kubernetes.
• etcd или совместимое хранилище key-value, предоставляющее качество обслуживания (QoS), масштабируемость и среду выполнения.
• Службы DNS, такие как kube-dns или CoreDNS.
• Проксирование и сетевые функции Kubernetes, за исключением случаев, когда используется BYOCNI.
• Любые другие дополнения или системные компоненты, работающие в пространстве имен kube-system.

AKS не является решением "Платформа как услуга" (PaaS). Некоторые компоненты, такие как узлы агента, несут общую ответственность, где необходимо поддерживать кластер AKS. Для применения исправления безопасности операционной системы агентного узла (ОС) требуется ввод данных пользователем.

Службы управляются в том смысле, что корпорация Майкрософт и команда AKS развертывают, работают и отвечают за доступность и функциональные возможности служб. Клиенты не могут изменять эти управляемые компоненты. Корпорация Майкрософт ограничивает возможности настройки, обеспечивая согласованное и масштабируемое взаимодействие с пользователями.

Общая ответственность

При создании кластера вы определяете узлы агента Kubernetes, создаваемые AKS. На этих узлах выполняются клиентские рабочие нагрузки.

Так как узлы агента выполняют частный код и хранят конфиденциальные данные, служба поддержки Майкрософт может получить к ним доступ только в ограниченном порядке. Служба поддержки Майкрософт не может войти в систему, выполнять команды или просматривать журналы для этих узлов без вашего явного разрешения или помощи.

Любые изменения, внесенные непосредственно на узлы агента с помощью любого из API для IaaS, делают кластер неподдерживаемым. Любые изменения, примененные к узлам агента, должны выполняться с помощью встроенных механизмов Kubernetes, таких как DaemonSet.

Аналогичным образом, хотя вы можете добавить любые метаданные в кластер и узлы, такие как теги и метки, изменение любых метаданных, созданных системой, делает кластер неподдерживаемым.

Покрытие поддержки AKS

В следующих разделах описаны поддерживаемые и неподдерживаемые сценарии технической поддержки AKS.

Поддерживаемые сценарии

Корпорация Майкрософт предоставляет техническую поддержку для следующих примеров:

• Подключение ко всем компонентам Kubernetes, которые предоставляет и поддерживает служба Kubernetes, например сервер API.
• Управление, время безотказной работы, QoS и операции служб управляющей плоскости Kubernetes, таких как управляющая плоскость Kubernetes, API сервера etcd и coreDNS.
• etcd хранилище данных. Поддержка включает автоматизированные, прозрачные резервные копии всех etcd данных каждые 30 минут для планирования аварий и восстановления состояния кластера. Эти резервные копии недоступны напрямую для вас или других пользователей. Они обеспечивают надежность и согласованность данных. Откат по запросу или восстановление не поддерживается как функция.
• Все точки интеграции в драйвере поставщика облачных служб Azure для Kubernetes. К ним относятся интеграции с другими службами Azure, такими как подсистемы балансировки нагрузки, постоянные тома или сети (Kubernetes и Azure CNI, за исключением случаев использования BYOCNI ).
• Вопросы или проблемы с настройкой компонентов уровня управления, таких как сервер API Kubernetes, etcdи coreDNS.
• Проблемы с сетями, такими как Azure CNI, kubenet или другие проблемы с доступом к сети и функциональными возможностями, за исключением случаев использования BYOCNI . Проблемы могут включать разрешение DNS, потерю пакетов, маршрутизацию и т. д. Корпорация Майкрософт поддерживает различные сетевые сценарии:
  • Kubenet и Azure CNI с управляемыми виртуальными сетями или с использованием собственных подсетей (bring your own).
  • Подключение к другим службам и приложениям Azure.
  • Контроллеры входящего трафика или конфигурации балансировщика нагрузки, управляемые корпорацией Microsoft.
  • Производительность сети и задержка.
  • Компоненты и функциональные возможности сетевых политик , управляемые компанией Microsoft.

Все действия кластера, выполняемые Корпорацией Майкрософт или AKS, выполняются с вашим согласием в соответствии со встроенной ролью aks-service Kubernetes и встроенной привязкой aks-service-rolebindingролей. Эта роль позволяет AKS устранять неполадки в работе кластера и диагностировать их, но она не может изменять разрешения и создавать роли или привязки ролей, а также осуществлять другие действия с высоким уровнем привилегий. Доступ к роли доступен только в рамках активных заявок в службу поддержки при условиях доступа по требованию (JIT).

Неподдерживаемые сценарии

Корпорация Майкрософт не предоставляет техническую поддержку для следующих сценариев:

• Вопросы об использовании Kubernetes. Например, служба поддержки Майкрософт не предоставляет рекомендации по созданию пользовательских контроллеров входящего трафика, использованию рабочих нагрузок приложений или применению сторонних пакетов программного обеспечения или средств с открытым исходным кодом.

  Служба поддержки Майкрософт может консультировать по функциональности кластера AKS, его настройке и оптимизации (например, вопросы и процедуры работы с Kubernetes).

• Сторонние проекты с открытым кодом, которые не являются частью контрольной плоскости Kubernetes или не развертываются вместе с кластерами AKS. Эти проекты могут включать Istio, Helm, Envoy или другие.

  Корпорация Майкрософт может обеспечить поддержку по возможности для сторонних проектов с открытым кодом, таких как Helm. Когда сторонние инструменты с открытым исходным кодом интегрируются с облачным провайдером Azure Kubernetes или возникают ошибки, специфичные для AKS, корпорация Майкрософт поддерживает примеры и приложения из документации Microsoft.

• Стороннее программное обеспечение с закрытым кодом. Это программное обеспечение может включать средства проверки безопасности и сетевые устройства или программное обеспечение.

• Настройка или устранение неполадок, связанных с кодом приложения или поведением сторонних приложений или инструментов, работающих в кластере AKS. Это включает проблемы с развертыванием приложений, не связанные с самой платформой AKS.

• Выдача, продление или управление сертификатами для приложений, работающих в AKS.

• Настройки сети, отличные от перечисленных в документации AKS. Например, служба поддержки Майкрософт не может настраивать устройства или виртуальные устройства, предназначенные для предоставления исходящего трафика для кластера AKS, например виртуальных сетей или брандмауэров.

  В рамках возможного служба поддержки Майкрософт может дать рекомендации по необходимой конфигурации для брандмауэра Azure, но не для других сторонних устройств.

• Пользовательские или сторонние CNI плагины, используемые в режиме BYOCNI.

• Настройка или устранение неполадок, не являющихся политиками сети, управляемыми корпорацией Майкрософт. Хотя использование политик сети поддерживается, служба поддержки Майкрософт не может исследовать проблемы, связанные с конфигурациями настраиваемой политики сети.

• Настройка или устранение неполадок контроллеров, не управляемых Microsoft, например, nginx, kong, и traefik и т. д. Это включает в себя адресацию проблем с функциональностью, которые возникают после операций в AKS, например, когда контроллер входящего трафика перестает работать после обновления версии Kubernetes. Такие проблемы могут возникать из-за несовместимости между версией контроллера входящего трафика и новой версией Kubernetes. Для полностью поддерживаемого варианта рекомендуется использовать управляемый корпорацией Майкрософт параметр контроллера входящего трафика.

• Настройка или устранение неполадок DaemonSet (включая скрипты), используемые для настройки конфигураций узлов. Хотя использование DaemonSet является рекомендуемым подходом для настройки, модификации или установки стороннего программного обеспечения на узлах агента кластера, если параметры файла конфигурации недостаточны, служба поддержки Майкрософт не может устранять проблемы, возникающие из-за пользовательской природы используемых в DaemonSet скриптов.

• Автономные и упреждающие сценарии. Служба поддержки Майкрософт предоставляет реактивную поддержку для решения активных проблем своевременно и профессионально. Однако резервная или упреждающая поддержка для устранения операционных рисков, повышения доступности и оптимизации производительности не рассматриваются. Соответствующие клиенты могут связаться со своей командой менеджеров аккаунта, чтобы быть номинированными для службы управления событиями Azure. Это платная служба, предоставляемая инженерами поддержки Майкрософт, которая включает упреждающую оценку рисков решения и охват во время мероприятия.

• Уязвимости и CVE с новым исправлением поставщика, которому менее 30 дней. Пока вы используете обновленный виртуальный жесткий диск, у вас не будет уязвимостей образа контейнера или CVEs, если исправление от поставщика было выпущено более 30 дней назад. Клиент несет ответственность за обновление виртуального жесткого диска и предоставление отфильтрованных списков в службу поддержки Майкрософт. После обновления виртуального жесткого диска клиент несет ответственность за фильтрацию отчетов об уязвимостях и CVEs и предоставление списка только с уязвимостями или CVEs с исправлением поставщика, которое превышает 30 дней. Если это так, служба поддержки Майкрософт обязательно будет работать, чтобы устранить проблемы в компонентах с исправлением, выпущенным поставщиком более 30 дней назад. Кроме того, корпорация Майкрософт предоставляет поддержку уязвимостей или CVE только для компонентов, управляемых корпорацией Майкрософт. Например, образы узлов AKS, управляемые образы контейнеров для приложений, которые используются при создании кластера или при установке управляемой надстройки. Дополнительные сведения об управлении уязвимостями для AKS см. в статье об управлении уязвимостями службы Azure Kubernetes (AKS).

• Пользовательские примеры кода или скрипты. Хотя служба поддержки Майкрософт может предоставлять небольшие примеры кода и проверки небольших примеров кода в случае поддержки, чтобы продемонстрировать, как использовать функции продукта Майкрософт, служба поддержки Майкрософт не может предоставлять пользовательские примеры кода, относящиеся к вашей среде или приложению.

Поддержка AKS для узлов агента

В следующих разделах описываются обязанности Майкрософт и клиентов в отношении агентских узлов AKS.

Ответственности Microsoft по узлам агента AKS

Корпорация Майкрософт и вы несете ответственность за узлы агента Kubernetes, где:

• Базовый образ ОС имеет необходимые дополнения, такие как мониторинг и сетевые агенты.
• Исправления ОС устанавливаются на узлы агента автоматически.
• Проблемы с компонентами уровня управления Kubernetes, которые выполняются на узлах агента, автоматически устраняются. Эти компоненты включают следующие элементы:
  • Kube-proxy
  • Сетевые туннели, предоставляющие пути связи к главным компонентам Kubernetes
  • Kubelet
  • containerd

Если узел агента не работает, AKS может перезапустить отдельные компоненты или весь узел агента. Эти операции перезапуска автоматизированы и предоставляют автоматическое восстановление для распространенных проблем. Дополнительные сведения о механизмах автоматического восстановления см. в разделе "Автоматическое восстановление узла".

Обязанности клиента для узлов агента AKS

Корпорация Майкрософт предоставляет исправления и новые образы для узлов образов еженедельно. Чтобы обеспечить актуальность компонентов ОС узла агента и среды выполнения, следует регулярно применять эти исправления и обновления вручную или автоматически. Дополнительные сведения можно найти здесь

• Обновление образов узлов AKS вручную.
• Автоматическое обновление образов узлов AKS.

Аналогичным образом AKS регулярно выпускает новые исправления Kubernetes и дополнительные версии. Это относится к обновлениям, которые содержат улучшения системы безопасности или функциональности Kubernetes. Вы несете ответственность за обновление версии Kubernetes кластера и в соответствии с политикой версий поддержки AKS Kubernetes.

Пользовательская настройка узлов агента

AKS управляет жизненным циклом и операциями узлов-агентов от лица пользователя, и изменение ресурсов IaaS, связанных с узлами-агентами, не поддерживается. Пример неподдерживаемой операции — изменение параметров масштабируемого набора виртуальных машин в пуле узлов путем ручного изменения конфигураций на портале Azure или из API.

Для конфигураций или пакетов, относящихся к рабочей нагрузке, AKS рекомендует использовать Kubernetes DaemonSet.

Использование привилегированных контейнеров DaemonSet и init Kubernetes позволяет настраивать, изменять и устанавливать стороннее программное обеспечение на узлах агента кластера. Примеры таких настроек включают добавление пользовательского программного обеспечения проверки безопасности или обновление параметров sysctl.

Хотя этот путь рекомендуется, если применяются указанные выше требования, инженерная служба и поддержка AKS не могут помочь в устранении неполадок или диагностике изменений, которые делают узел недоступным из-за развернутого вами DaemonSet.

Проблемы с безопасностью и установка исправлений

Если ошибка безопасности обнаружена в одном или нескольких управляемых компонентах AKS, команда AKS исправляет все затронутые кластеры, чтобы устранить проблему. Кроме того, команда AKS предоставляет рекомендации по обновлению.

Для узлов агента, затронутых уязвимостью, Microsoft уведомляет вас о влиянии и действиях по устранению или смягчению проблемы безопасности.

Обслуживание узлов и доступ к ним

Хотя вы можете войти в узлы агента и изменить их, это не рекомендуется, так как изменения могут сделать кластер неподдерживаемым.

Сетевые порты, доступ и группы сетевой безопасности

Вы можете настроить NSG только в пользовательских подсетях. Вы, возможно, не сможете настроить группы безопасности сети на управляемых подсетях или на уровне сетевых адаптеров узлов агентов. AKS имеет требования исходящего трафика к конкретным конечным точкам, для управления исходящим трафиком и обеспечения необходимого подключения, см. ограничение исходящего трафика. Для входящего трафика требования основаны на приложениях, развернутых в кластере.

Остановленные, выделенные и неготовые узлы

Если не требуется, чтобы ваши рабочие нагрузки в AKS выполнялись непрерывно, можно остановить кластер AKS, что приведёт к остановке всех пулов узлов и плоскости управления. При необходимости его можно запустить снова. При остановке кластера с помощью az aks stop команды состояние кластера сохраняется до 12 месяцев. Через 12 месяцев состояние кластера и все его ресурсы удаляются.

Ручное удаление всех узлов кластера из API IaaS, Azure CLI или портала Azure не поддерживается для остановки кластера или пула узлов AKS. Кластер будет считаться неподдерживаемым и остановлен службой AKS через 30 дней. Затем кластеры подвергаются той же 12-месячной политике сохранения, что и правильно остановленный кластер.

Кластеры с нулевыми узлами Готовые (или всеми Не готовы) и нулевыми Запущенными виртуальными машинами будут отключены через 30 дней.

AKS резервирует право архивировать плоскости управления, которые были настроены с нарушением рекомендаций по поддержке в течение длительных периодов, равных и более 30 дней. AKS поддерживает резервные копии метаданных кластера etcd и может легко перераспределить кластер. Это перемещение инициируется любой операцией PUT, возвращая кластер в состояние поддерживаемости, например, обновление или масштабирование до узлов активных агентов.

Все кластеры в приостановленной подписке будут остановлены немедленно и удалены через 90 дней. Все кластеры в удаленной подписке будут удалены немедленно.

Неподдерживаемые функции альфа-и бета-версии Kubernetes

AKS поддерживает только стабильные и бета-версии функции в вышестоящем проекте Kubernetes. Если иное не описано, AKS не поддерживает какие-либо альфа-функции, доступные в вышестоящем проекте Kubernetes.

Предварительные версии функций или флаги функций

Для функций и функций, требующих расширенного тестирования и отзывов пользователей, корпорация Майкрософт выпускает новые предварительные версии функций или функций за флагом функции. Считайте эти функции предварительными или функциями бета-версии.

Функции предварительной версии или функции с флагами не предназначены для производственной среды. Регулярные изменения интерфейсов API и поведения компонентов, исправления ошибок и другие изменения могут привести к нестабильной работе и простоям кластеров.

Функции в общедоступной предварительной версии подпадают под поддержку наилучших усилий, так как эти функции находятся в предварительном просмотре и не предназначены для производственной среды. Группы технической поддержки AKS предоставляют поддержку только в рабочие часы. Дополнительные сведения см. в статье "Часто задаваемые вопросы о поддержке Azure".

Ошибки и проблемы на ранних этапах разработки

Учитывая скорость разработки в вышестоящем проекте Kubernetes, ошибки неизбежны. Некоторые из этих ошибок не могут быть исправлены или обойдены в системе AKS. Вместо этого исправления ошибок требуют более крупных поправок для исходных проектов (таких как Kubernetes, операционные системы узлов или агентов, а также ядро). Для компонентов, принадлежащих Корпорации Майкрософт (например, поставщику облачных служб Azure), AKS и персонал Azure привержены устранению проблем в сообществе.

Если первопричина проблемы технической поддержки возникает из-за одной или нескольких вышестоящих ошибок, служба поддержки AKS и инженерные команды будут:

• Выявят и сопоставят вышестоящие ошибки с любыми дополнительными сведениями, которые помогут объяснить, почему эта проблема влияет на кластер или рабочую нагрузку. Клиенты получают ссылки на необходимые репозитории, чтобы они могли просматривать проблемы и видеть, когда новый выпуск предоставляет исправления.
• Предоставьте возможные обходные пути или меры по снижению. Если проблема может быть устранена, известная проблема будет представлена в репозитории AKS. Объяснение по подаче известных проблем гласит:
  • суть проблемы, включая ссылки на вышестоящее ошибки;
  • Обходное решение и сведения об обновлении или другой сохраняемости решения.
  • приблизительные сроки включения проблемы в соответствии с графиком выпуска вышестоящего проекта.