Управление средами Машинное обучение Azure с помощью интерфейса командной строки и пакета SDK (версия 2)

При использовании Azure CLI требуются параметры идентификатора — подписка, группа ресурсов и имя рабочей области. Хотя эти параметры можно указать для каждой команды, можно также задать значения по умолчанию, используемые для всех команд. Используйте следующие команды, чтобы задать значения по умолчанию. Замените <subscription ID>, <Azure Machine Learning workspace name>а <resource group> также значениями конфигурации:

az account set --subscription <subscription ID>
az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>

Чтобы подключиться к рабочей области, вам потребуются параметры идентификатора — подписка, группа ресурсов и имя рабочей области. Эти сведения используются в MLClient из пространства имен azure.ai.ml для получения доступа к необходимой рабочей области Azure Machine Learning. Для проверки подлинности используется проверка подлинности Azure по умолчанию. Дополнительные сведения о настройке учетных данных и подключении к рабочей области см. в этом примере .

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import Environment, BuildContext
from azure.identity import DefaultAzureCredential

# Enter details of your AML workspace
subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace = "<AML_WORKSPACE_NAME>"

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace
)

Следующий пример представляет собой файл спецификации YAML для среды, определенной на основе образа Docker. Образ из официального репозитория PyTorch в Docker Hub указан с помощью свойства image в файле YAML.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: docker-image-example
image: pytorch/pytorch:latest
description: Environment created from a Docker image.

Чтобы создать среду:

az ml environment create --file assets/environment/docker-image.yml

В следующем примере создается среда из образа Docker. Изображение из официального репозитория PyTorch в Docker Hub указывается через image свойство.

env_docker_image = Environment(
    image="pytorch/pytorch:latest",
    name="docker-image-example",
    description="Environment created from a Docker image.",
)
ml_client.environments.create_or_update(env_docker_image)

Следующий пример представляет собой файл спецификации YAML для среды, определенной на основе контекста сборки. Локальный путь к папке контекста сборки указывается в поле build.path, а относительный путь к файлу Dockerfile в этой папке контекста сборки указывается в поле build.dockerfile_path. Если в YAML отсутствует build.dockerfile_path, Azure Machine Learning будет искать Dockerfile с именем Dockerfile в корне контекста сборки.

В этом примере контекст сборки содержит файл Dockerfile с именем Dockerfile и файл requirements.txt, на который ссылается файл Dockerfile для установки пакетов Python.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: docker-context-example
build:
  path: docker-contexts/python-and-pip

Чтобы создать среду:

az ml environment create --file assets/environment/docker-context.yml

В следующем примере локальный путь к папке контекста сборки указывается в параметре path . Машинное обучение Azure ищет Dockerfile с именем Dockerfile в корне контекста сборки.

env_docker_context = Environment(
    build=BuildContext(path="docker-contexts/python-and-pip"),
    name="docker-context-example",
    description="Environment created from a Docker context.",
)
ml_client.environments.create_or_update(env_docker_context)

Следующий пример представляет собой файл спецификации YAML для среды, определенной на основе спецификации conda. Здесь относительный путь к файлу conda из YAML-файла среды Azure Machine Learning указывается через свойство conda_file. Можно также определить встроенную спецификацию conda с помощью свойства conda_file, а не определять ее в отдельном файле.

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: docker-image-plus-conda-example
image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04
conda_file: conda-yamls/pydata.yml
description: Environment created from a Docker image plus Conda environment.

Чтобы создать среду:

az ml environment create --file assets/environment/docker-image-plus-conda.yaml

Относительный путь к файлу conda указывается с помощью conda_file параметра.

env_docker_conda = Environment(
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
    conda_file="conda-yamls/pydata.yml",
    name="docker-image-plus-conda-example",
    description="Environment created from a Docker image plus Conda environment.",
)
ml_client.environments.create_or_update(env_docker_conda)

az ml environment list

envs = ml_client.environments.list()
for env in envs:
    print(env.name)

az ml environment list --name docker-image-example

envs = ml_client.environments.list(name="docker-image-example")
for env in envs:
    print(env.version)

az ml environment show --name docker-image-example --version 1

env = ml_client.environments.get(name="docker-image-example", version="1")
print(env)

az ml environment update --name docker-image-example --version 1 --set description="This is an updated description."

env.description="This is an updated description."
ml_client.environments.create_or_update(environment=env)

az ml environment archive --name docker-image-example

ml_client.environments.archive(name="docker-image-example")

az ml environment archive --name docker-image-example --version 1

ml_client.environments.archive(name="docker-image-example", version="1")

Чтобы использовать настраиваемую среду для задания обучения, укажите environment поле конфигурации YAML задания. Можно либо ссылаться на существующую зарегистрированную среду Azure Machine Learning с помощью environment: azureml:<environment-name>:<environment-version> или environment: azureml:<environment-name>@latest (чтобы ссылаться на последнюю версию среды), либо определить встроенную спецификацию среды. Если вы определяете встроенную среду, не указывайте name поля и version поля, так как эти среды рассматриваются как "отмена регистрации" сред и не отслеживаются в реестре ресурсов среды.

Чтобы использовать среду для задания обучения, укажите environment свойство команды.

Примеры отправки заданий см. в примерах https://github.com/Azure/azureml-examples/tree/main/sdk/python/jobs.

Среды также можно использовать для развертывания моделей как для оценки в реальном времени, так и для пакетной оценки. Для этого укажите поле environment в конфигурации YAML развертывания.

Дополнительные сведения об использовании сред в развертываниях см. в статье "Развертывание и оценка модели машинного обучения с помощью сетевой конечной точки".

Вы можете также использовать среды для развертывания модели. Дополнительные сведения см. в статье "Развертывание и оценка модели машинного обучения".