Подключение кластера Kubernetes к рабочей области Машинного обучения Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение Azure CLI для машинного обучения версии 2 (текущая версия)Python SDK azure-ai-ml версии 2 (текущая версия)

После развертывания расширения Машинного обучения Azure в кластере Службы Azure Kubernetes (AKS) или Arc Kubernetes можно подключить кластер Kubernetes к рабочей области Машинного обучения Azure. Вы также можете создавать целевые объекты вычислений для использования специалистами по обработке и анализу данных.

Предварительные условия

Присоединение кластера Kubernetes к рабочей области Машинного обучения Azure может гибко поддерживать множество различных сценариев. Например, вы можете делиться сценариями с несколькими вложениями, скрипты обучения моделей могут иметь доступ к ресурсам Azure, и вы можете настроить аутентификацию для рабочей области.

Изоляция нескольких подключений и рабочей нагрузки

Один кластер в одну рабочую область, создание нескольких целевых объектов вычислений

• Для одного кластера Kubernetes его можно подключить к одной рабочей области несколько раз и создать несколько целевых объектов вычислений для различных проектов, команд или рабочих нагрузок.

Один кластер на несколько рабочих областей

• Один кластер Kubernetes можно также подключить к нескольким рабочим областям, а несколько рабочих областей могут совместно использовать один и тот же кластер Kubernetes.

Если вы планируете использовать разные целевые объекты вычислений для различных проектов или команд, можно указать существующее пространство имен Kubernetes в кластере для целевого объекта вычислений, чтобы изолировать рабочую нагрузку между различными командами или проектами.

Безопасный доступ к ресурсу Azure из скрипта обучения

Если необходимо безопасно получить доступ к ресурсам Azure из скрипта обучения, можно указать управляемое удостоверение для целевого объекта вычислений Kubernetes во время операции присоединения.

Присоединение к рабочей области с управляемым удостоверением, назначаемое пользователем

Рабочая область Azure Machine Learning по умолчанию предоставляется с управляемым удостоверением системы для доступа к ресурсам Azure Machine Learning. Действия завершены, если параметр по умолчанию, установленный системой, включен.

В противном случае, если вы указали управляемое удостоверение, назначенное пользователем, в рабочей области Машинного обучения Azure, вам необходимо вручную предоставить следующие назначения ролей для этого управляемого удостоверения перед присоединением вычислительных ресурсов.

Подключение кластера Kubernetes к рабочей области Машинного обучения Azure

Кластер Kubernetes можно подключить к рабочей области Машинного обучения Azure с помощью Azure CLI, пользовательского интерфейса студии или пакета SDK для Python.

az ml compute attach --resource-group <resource-group-name> --workspace-name <workspace-name> --type Kubernetes --name k8s-compute --resource-id "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ContainerService/managedClusters/<cluster-name>" --identity-type SystemAssigned --namespace <Kubernetes namespace to run Azure Machine Learning workloads> --no-wait

az ml compute attach --resource-group <resource-group-name> --workspace-name <workspace-name> --type Kubernetes --name amlarc-compute --resource-id "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Kubernetes/connectedClusters/<cluster-name>" --user-assigned-identities "subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<identity-name>" --no-wait

from azure.ai.ml.entities import KubernetesCompute, IdentityConfiguration

k8s_compute = KubernetesCompute(
    name="<COMPUTE_NAME>",
    resource_id=(
        "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>"
        "/providers/Microsoft.ContainerService"
        "/managedClusters/<CLUSTER_NAME>"
    ),
    namespace="<NAMESPACE>",
    identity=IdentityConfiguration(type="SystemAssigned"),
)
ml_client.begin_create_or_update(k8s_compute).result()

from azure.ai.ml.entities import (
    KubernetesCompute,
    IdentityConfiguration,
    ManagedIdentityConfiguration,
)

k8s_compute = KubernetesCompute(
    name="<COMPUTE_NAME>",
    resource_id=(
        "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>"
        "/providers/Microsoft.Kubernetes"
        "/connectedClusters/<CLUSTER_NAME>"
    ),
    namespace="<NAMESPACE>",
    identity=IdentityConfiguration(
        type="UserAssigned",
        user_assigned_identities=[
            ManagedIdentityConfiguration(
                resource_id=(
                    "/subscriptions/<SUBSCRIPTION_ID>"
                    "/resourceGroups/<RESOURCE_GROUP>"
                    "/providers/Microsoft.ManagedIdentity"
                    "/userAssignedIdentities/<IDENTITY_NAME>"
                )
            )
        ],
    ),
)
ml_client.begin_create_or_update(k8s_compute).result()

Назначение управляемого удостоверения целевому объекту вычислений

Распространенной проблемой для разработчиков является управление секретами и учетными данными, используемыми для защиты обмена данными между различными компонентами решения. Управляемые удостоверения устраняют необходимость в управлении учетными данными для разработчиков.

Чтобы получить доступ к Реестру контейнеров Azure (ACR) для образа Docker и учетной записи хранения данных для обучающих данных, подключите вычислительные ресурсы Kubernetes с включенным управляемым удостоверением, назначенным системой или пользователем.

Назначить управляемую идентичность.

• Управляемое удостоверение можно назначить вычислительным ресурсам на этапе их подключения.

• Когда вы уже подключили вычислительную среду, вы можете обновить параметры для использования управляемой идентификации в Azure Machine Learning studio.

  • Перейдите к Студия машинного обучения Azure. Выберите вычислительные ресурсы, подключенные вычисления и выберите подключенные вычислительные ресурсы.
  • Щелкните значок карандаша, чтобы изменить управляемую идентификацию.

  

  

Назначение ролей Azure управляемому удостоверению

Azure предлагает несколько способов назначения ролей управляемому удостоверению:

• Назначение ролей с помощью портал Azure
• Назначение ролей с помощью Azure CLI
• Назначение ролей с помощью Azure PowerShell

Если вы используете портал Azure для назначения ролей и имеете управляемое удостоверение, назначаемое системой, выберите Пользователь, Групповой принципал или Сервисный принципал, выберите Выбрать участников, чтобы найти имя удостоверения. Отформатируйте имя удостоверения следующим образом: <workspace name>/computes/<compute target name>.

Если у вас есть управляемое удостоверение, назначаемое пользователем, выберите управляемое удостоверение , чтобы найти целевое удостоверение.

Вы можете использовать управляемое удостоверение, чтобы извлекать образы из реестра контейнеров Azure. Предоставьте роль AcrPull управляемому удостоверению вычислений. Дополнительные сведения см. в разделе Роли и разрешения в реестре контейнеров Azure.

Для доступа к BLOB-объектам Azure можно использовать управляемое удостоверение:

• Для доступа только для чтения предоставьте роль чтения данных BLOB-объектов хранилища управляемому удостоверению вычислительных ресурсов.
• Для доступа на чтение и запись предоставьте роль Storage Blob Data Contributor управляемому удостоверению вычислительных ресурсов.

Следующие шаги

• Создание типов экземпляров и управление ими
• Требования к инференции и подключению маршрутизатора в Azure Machine Learning
• Безопасная среда вывода AKS