Матрица поддержки резервного копирования службы Azure Kubernetes

Azure Backup позволяет защитить Служба Azure Kubernetes (AKS). В статье перечислены поддерживаемые сценарии, ограничения и доступность по регионам.

Поддерживаемые регионы

• Azure Backup для AKS поддерживает хранение резервных копий на уровнях хранилища и операций (моментальных снимков) в следующих регионах Azure:

Центральная Австралия, Центральная Австралия 2, Восточная Австралия, Юго-Восточная Австралия, Южная Бразилия, Юго-Восточная Канада, Восточная Индия, Центральная Часть США, Восточная ЧАСТЬ США, Восточная часть США 2, Центральная Франция, Южная Франция, Северная Германия, Восточная Италия, Восточная Япония, Западная Япония, Центральная Корея, Северная Корея, Северная Европа, Восточная Норвегия, ЗападНая Норвегия, Северная Африка, Южная Индия, Юго-Восточная Азия, Центральная Швеция, Северная Швейцария, Западная Швейцария, Северная Часть ОАЭ, Северная Часть Великобритании, Западная часть США 2, Западная часть США 3

• Следующие регионы поддерживают только уровень операционных (моментальных снимков):

Восточная часть Китая 2, Восточная Китай 3, Северная Китай 2, Северная Китай 3, US GOV Аризона, US GOV Техас, US GOV Вирджиния, Центральная Польша, Центральная Польша и Центральная Испания

Поддерживаемые сценарии

• Azure Backup для AKS поддерживает только кластеры с поддерживаемыми версиями Kubernetes. Ниже приведен список поддерживаемых версий Kubernetes. Если кластер находится в неподдерживаемой версии, операции резервного копирования по-прежнему могут выполняться, но ошибки во время резервного копирования или восстановления не рассматриваются. Чтобы обеспечить полную поддержку и надежность, обновите ее до поддерживаемой версии, проверьте резервные копии и обратитесь к службе поддержки при сохранении проблем.

• Azure Backup для AKS поддерживает только постоянные тома на основе драйвера CSI (диски Azure). Подключаемые модули тома в дереве не поддерживаются. Убедитесь, что драйвер CSI и моментальный снимок включены для кластера. Если они отключены, включите эти параметры. Кроме того, если рабочие нагрузки используют тома в дереве, перенесите их в тома на основе CSI, чтобы включить поддержку резервного копирования.

• Azure Backup для AKS в настоящее время поддерживает только постоянные тома на основе дисков Azure, подготовленные с помощью драйвера CSI. Поддерживаемые номера SKU дисков включают HDD уровня "Стандартный", "Стандартный" и SSD уровня "Премиум".

• Поддерживаются динамически и статически подготовленные тома; Однако для статических томов класс хранилища должен быть явно определен в спецификации YAML . В противном случае том будет пропущен во время резервного копирования.

• Azure Backup для AKS поддерживает кластеры, использующие управляемое удостоверение, назначаемое системой или назначаемое пользователем. Кластеры, настроенные с помощью субъекта-службы, не поддерживаются. Чтобы включить резервное копирование, обновите кластер, чтобы использовать управляемое удостоверение, назначаемое системой, или управляемое удостоверение, назначаемое пользователем.

• Azure Backup для AKS предлагает резервные копии уровня операций и хранилища. Резервные копии уровня операций состоят из моментальных снимков поддерживаемых типов постоянных томов, а также метаданных, хранящихся в контейнере BLOB-объектов, указанном во время установки расширения резервного копирования. Резервные копии уровня хранилища, с другой стороны, хранятся вне сайта — безопасно и вне вашего клиента. С помощью политики резервного копирования можно включить как операционные, так и резервные копии уровня хранилища или использовать только операционный уровень.

• Моментальные снимки сохраняемого тома, сделанные в рамках резервного копирования операционного уровня, согласованы по природе. Хотя Azure Backup для AKS в настоящее время не поддерживает моментальные снимки всех виртуальных машин в одном миллисекундах для достижения согласованных моментальных снимков в разных томах.

• Минимальная поддерживаемая частота резервного копирования в Службе архивации Azure для AKS — каждые 4 часа с дополнительными параметрами для 6, 8, 12 и 24-часовых интервалов. Ожидается, что резервные копии будут завершены в течение 2-часового периода с запланированного времени начала. Эти частоты применяются к резервным копиям уровня операций, что позволяет выполнять несколько резервных копий в день. Однако только первая успешная резервная копия в течение 24-часового периода может быть передана на уровень хранилища. После создания резервной копии на операционном уровне может потребоваться до четырех часов для перемещения на уровень хранилища.

• Хранилище резервных копий и кластер AKS должны находиться в одном регионе. Однако они могут находиться в разных подписках, если они находятся в одном клиенте.

• Azure Backup для AKS поддерживает восстановление резервных копий в одном или другом кластере AKS с помощью резервных копий уровня операций и хранилища. Целевой кластер AKS может находиться в той же подписке или другой подписке, известной как восстановление между подписками.

• При восстановлении из операционного уровня целевой кластер AKS должен находиться в том же регионе, что и резервные копии. Однако если резервные копии хранятся на уровне хранилища с геоизбыточными параметрами хранилища и восстановлением между регионами в Хранилище резервных копий, можно восстановить в другом регионе в парном регионе Azure.

• Чтобы включить Azure Backup для AKS с помощью Azure CLI, убедитесь, что вы используете версию 2.41.0 или более позднюю. Вы можете обновить интерфейс командной строки, выполнив команду az upgrade.

• Чтобы включить Azure Backup для AKS с помощью Terraform, используйте версию 3.99.0 или более позднюю версию.

• Для Azure Backup для AKS требуется установить расширение резервного копирования. Для этого расширения требуется учетная запись хранения и желательно пустой контейнер BLOB-объектов внутри него в качестве входных данных при установке. Не используйте контейнер BLOB-объектов с файлами, не связанными с резервными копиями.

• Учетная запись хранения, указанная во время установки расширения резервного копирования, должна находиться в том же регионе, что и кластер AKS. Поддерживаются только учетные записи хранения общего назначения версии 2; Учетные записи хранения класса Premium не поддерживаются.

• Если кластер AKS развертывается в частной виртуальной сети, для включения операций резервного копирования необходимо настроить частную конечную точку.

• Расширение резервного копирования можно установить только в пулах узлов, использующих процессоры x86 и запускающие Ubuntu или Azure Linux в качестве операционной системы.

• Кластер AKS и модули pod расширения резервного копирования должны находиться в запущенном и работоспособном состоянии перед выполнением любых операций резервного копирования или восстановления, включая удаление точек восстановления с истекшим сроком действия.

• Azure Backup для AKS предоставляет оповещения через Azure Monitor, которые позволяют обеспечить согласованное управление оповещениями в разных службах Azure, включая классические оповещения, встроенные оповещения Azure Monitor и пользовательские оповещения журнала для уведомлений об ошибках резервного копирования. Поддерживаемые оповещения резервного копирования доступны здесь

• Azure Backup для AKS поддерживает различные отчеты, связанные с резервным копированием. В настоящее время данные резервного копирования можно просматривать только путем выбора "Все" для типа рабочей нагрузки в фильтрах отчетов. Поддерживаемые отчеты резервного копирования доступны здесь

• Azure Backup для AKS поддерживает расширенное обратимое удаление резервных копий, хранящихся на уровне хранилища, обеспечивая защиту от случайного или вредоносного удаления. Для резервных копий, хранящихся на операционном уровне, базовые моментальные снимки не защищены обратимым удалением и могут быть окончательно удалены.

• Azure Backup для AKS поддерживает многопользовательскую авторизацию (MUA), что позволяет добавить дополнительный уровень защиты в критически важные операции в хранилищах резервных копий, где настроены резервные копии.

• Azure Backup для AKS поддерживает неизменяемое хранилище, которое помогает защитить данные резервного копирования, предотвращая операции, которые могут привести к потере точек восстановления. Однако хранилище WORM (запись один раз, чтение много) для резервных копий в настоящее время не поддерживается.

• Azure Backup для AKS поддерживает шифрованиеCustomer-Managed ключа (CMK), но применимо только к резервным копиям, хранящимся на уровне хранилища.

• Для успешного выполнения операций резервного копирования и восстановления требуется назначение ролей для управляемого удостоверения хранилища резервных копий. Если необходимых разрешений у вас нет, вскоре после назначения ролей могут возникнуть проблемы с разрешениями при настройке резервного копирования или выполнении операций восстановления, так как назначенные роли начинают действовать только через несколько минут. Узнайте об определениях ролей.

Неподдерживаемые сценарии и ограничения

• Azure Backup для AKS не поддерживает следующие номера SKU дисков Azure: SSD уровня "Премиум" версии 2 и "Ультра".

• Общие папки Azure, хранилище BLOB-объектов Azure и постоянные тома на основе хранилища контейнеров Azure не поддерживаются резервным копированием AKS. Если вы используете эти типы постоянных томов в кластерах AKS, их можно создать отдельно с помощью выделенных решений Azure Backup. Дополнительные сведения см. в статье резервное копирование файлового ресурса Azure и Хранилище BLOB-объектов Azure резервное копирование.

• Все неподдерживаемые типы постоянных томов автоматически пропускаются во время резервного копирования кластера AKS.

• Расширение резервного копирования невозможно установить в пулах узлов на основе Windows или пулах узлов на основе ARM64. Кластеры AKS, использующие такие узлы, должны подготавливать отдельный пул узлов под управлением Linux (предпочтительно пул системных узлов с процессорами x86) для поддержки установки расширения резервного копирования.

• Azure Backup для AKS в настоящее время не поддерживается для кластеров AKS с изоляцией сети.

• Не устанавливайте расширение резервного копирования AKS вместе с Velero или любыми решениями резервного копирования на основе Velero, так как это может привести к конфликтам во время операций резервного копирования и восстановления. Кроме того, убедитесь, что ресурсы Kubernetes не используют метки или заметки, содержащие префикс velero.io, если явно не требуется для поддерживаемого сценария. Наличие таких метаданных может привести к неожиданному поведению.

• Изменение конфигурации резервного копирования или группы ресурсов моментальных снимков, назначенной экземпляру резервного копирования во время настройки резервного копирования кластера AKS, не поддерживается.

• Следующие пространства имен пропускаются из конфигурации резервного копирования и не могут быть настроены для резервных копий: kube-system, , kube-node-leasekube-public.

• Azure Backup не выполняет автоматическое масштабирование узлов AKS, оно восстанавливает только данные и связанные ресурсы. Автомасштабирование управляется самим AKS, используя такие функции, как автомасштабирование кластера. Если автомасштабирование включено в целевом кластере, он должен автоматически обрабатывать масштабирование ресурсов. Перед восстановлением убедитесь, что целевой кластер имеет достаточно ресурсов, чтобы избежать сбоев восстановления или проблем с производительностью.

• Ниже указаны лимиты резервного копирования AKS:

  Параметр	Лимит
  Количество политик резервного копирования на хранилище резервных копий	5 000
  Количество экземпляров резервных копий на хранилище резервных копий	5 000
  Число операций резервного копирования по запросу, разрешенных в день на экземпляр резервного копирования	10
  Количество пространств имен на экземпляр резервной копии	восемьсот
  Количество операций восстановления, разрешенных в день, на экземпляр резервного копирования	10

Ограничения, характерные для резервного копирования с хранилищем и восстановления между регионами

• В настоящее время диски Azure с постоянными томами размера <= 1 ТБ могут быть перемещены на уровень хранилища. Диски с более высоким размером пропускаются в данных резервного копирования, перемещаемых на уровень хранилища.

• В настоящее время поддерживаются экземпляры резервного копирования с <дисками = 100 дисков, подключенных как постоянный том. Операции резервного копирования и восстановления могут завершиться ошибкой, если количество дисков выше предела.

• Только диски Azure с включенным общедоступным доступом из всех сетей могут быть перенесены на уровень хранилища; Если есть диски с сетевым доступом, кроме общедоступного доступа, операция многоуровневого распределения завершается ошибкой.

• Функция аварийного восстановления доступна только между парными регионами Azure (если резервное копирование настроено в хранилище геоизбыточного резервного копирования с включенным восстановлением между регионами). Данные резервного копирования доступны только в парном регионе Azure. Например, если у вас есть кластер AKS на востоке США, который резервируется в хранилище геоизбыточного резервного копирования с включенным восстановлением между регионами, данные резервного копирования также доступны в западной части США для восстановления.

• На уровне хранилища создается только одна запланированная точка восстановления в день, обеспечивая целевую точку восстановления (RPO) в 24 часа в основном регионе. В дополнительном регионе репликация этой точки восстановления может занять до 12 дополнительных часов, что приведет к эффективному RPO до 36 часов.

• При создании резервного копирования на операционном уровне и получении права на уровень хранилища может потребоваться до четырех часов для начала процесса по уровням.

• При перемещении резервных копий с операционного уровня на уровень Хранилища логика очистки сохраняет основные моментальные снимки, чтобы обеспечить успешную операцию по уровням и целостность данных. В частности, во время многоуровневого распределения последней точки восстановления (RP) в исходном хранилище (операционный уровень), моментальные снимки из обоих следующих компонентов требуются:

  • Последняя RP в операционном уровне (исходное хранилище).
  • Предыдущая заклинивание RP на уровне хранилища (целевое хранилище).

В результате два точки восстановления на операционном уровне намеренно сохраняются и не удаляются:

• Последний RP в операционном уровне.
• RP в операционном уровне, связанном с последней версией RP уровня Vault.

Это поведение предотвращает случайную потерю данных и гарантирует согласованность резервных копий. Следовательно, можно заметить, что некоторые операционные резервные копии сохраняются дольше, чем настроенная политика ежедневного хранения из-за этих зависимостей по уровням.

• При перемещении резервных копий с операционного уровня на уровень Хранилища учетная запись хранения, предоставленная расширению резервного копирования, должна иметь доступ к общедоступной сети. Если учетная запись хранения находится за брандмауэром или имеет закрытый доступ, убедитесь, что Хранилище резервных копий добавляется в качестве доверенной службы в сетевых параметрах учетной записи хранения, чтобы обеспечить простой перенос данных.

• Во время восстановления из уровня хранилища гидратированные ресурсы в промежуточном расположении, включающее учетную запись хранения и группу ресурсов, не очищаются после восстановления. Их необходимо удалить вручную.

• Во время восстановления промежуточная учетная запись хранения должна иметь доступ к общедоступной сети, чтобы разрешить службе резервного копирования доступ к данным и передаче данных. Без общедоступного доступа операция восстановления может завершиться ошибкой из-за ограничений подключения.

• При восстановлении, если целевой кластер AKS развертывается в частной виртуальной сети, необходимо включить частную конечную точку между кластером и промежуточной учетной записью хранения, чтобы обеспечить безопасную и успешную передачу данных.

• Если целевая версия кластера AKS отличается от версии, используемой во время резервного копирования, операция восстановления может завершиться ошибкой или с предупреждениями для различных сценариев, таких как устаревшие ресурсы в новой версии кластера. При восстановлении из уровня Хранилища можно использовать гидратированные ресурсы в промежуточном расположении для восстановления ресурсов приложения в целевом кластере.

• В настоящее время резервное копирование на основе уровня хранилища не поддерживается при развертывании Terraform.

Следующие шаги

• Сведения о резервном копировании кластера службы Azure Kubernetes.
• Резервное копирование кластера службы Azure Kubernetes с помощью портала Azure, Azure CLI, AzurePowerShell, Azure Resource Manager, Bicep, Terraform.
• Восстановление кластера службы Azure Kubernetes с помощью портала Azure, Azure CLI, Azure PowerShell.
• Управление резервными копиями службы Azure Kubernetes с помощью Azure Backup.