Обучение моделей с помощью Машинное обучение Azure интерфейса командной строки, пакета SDK и REST API

ПРИМЕНИМО К:Azure CLI расширение ml версии 2 (текущая)Python пакет SDK azure-ai-ml версии 2 (текущая)

Машинное обучение Azure предоставляет несколько способов отправки заданий обучения машинного обучения. В этой статье вы узнаете, как отправлять задания с помощью следующих методов:

  • расширение Azure CLI для машинного обучения: расширение ml также называется CLI версии 2.
  • пакет SDK версии 2 Python для Машинное обучение Azure.
  • REST API: API, на основе которых основан интерфейс командной строки и пакет SDK.

Необходимые условия

Чтобы использовать SDK, установите Машинное обучение Azure SDK версии 2 для Python.

Клонирование репозитория примеров

Фрагменты кода в этой статье основаны на примерах в репозитории примеров Машинное обучение Azure на GitHub. Чтобы клонировать репозиторий в среду разработки, используйте следующую команду:

git clone --depth 1 https://github.com/Azure/azureml-examples

Совет

Используйте --depth 1, чтобы клонировать только последний коммит в репозиторий, что сокращает время операции.

Пример задания

Примеры, приведенные в этой статье, используют набор данных цветка ириса для обучения модели MLFlow.

Обучение в облаке

При обучении в облаке необходимо подключиться к рабочей области Машинное обучение Azure и выбрать вычислительный ресурс для запуска задания обучения.

1. Подключение к рабочей области

Совет

Используйте следующие вкладки, чтобы выбрать метод, который вы хотите использовать для обучения модели. Выбор вкладки автоматически переключает все вкладки в этой статье на одну и ту же вкладку. Вы можете выбрать другую вкладку в любое время.

Чтобы подключиться к рабочей области, вам потребуются параметры идентификатора — подписка, группа ресурсов и имя рабочей области. Используйте эти сведения в пространстве имен MLClient из пространства имен azure.ai.ml, чтобы получить дескриптор требуемой рабочей области Машинное обучение Azure. Для аутентификации используйте стандартную аутентификацию Azure. Дополнительные сведения о настройке учетных данных и подключении к рабочей области см. в этой статье example.

#import required libraries
from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential

#Enter details of your Azure Machine Learning workspace
subscription_id = '<SUBSCRIPTION_ID>'
resource_group = '<RESOURCE_GROUP>'
workspace = '<AZUREML_WORKSPACE_NAME>'

#connect to the workspace
ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

2. Создание вычислительного ресурса для обучения

Примечание

Чтобы попробовать бессерверные вычисления, пропустите этот шаг и перейдите к 3. Отправьте задание обучения.

Вычислительный кластер Машинное обучение Azure — это полностью управляемый вычислительный ресурс, который можно использовать для запуска задания обучения. В следующих примерах создается вычислительный кластер с именем cpu-cluster.

from azure.ai.ml.entities import AmlCompute

# specify aml compute name.
cpu_compute_target = "cpu-cluster"

try:
    ml_client.compute.get(cpu_compute_target)
except Exception:
    print("Creating a new cpu compute target...")
    compute = AmlCompute(
        name=cpu_compute_target, size="STANDARD_D2_V2", min_instances=0, max_instances=4
    )
    ml_client.compute.begin_create_or_update(compute).result()

3. Отправка задания обучения

Чтобы запустить этот скрипт, используйте command, который выполняет скрипт main.py Python, расположенный в ./sdk/python/jobs/single-step/lightgbm/iris/src/. Вы отправляете команду как job в Машинное обучение Azure.

Примечание

Чтобы использовать бессерверные вычисления, удалите compute="cpu-cluster" в этом коде.

from azure.ai.ml import command, Input

# define the command
command_job = command(
    code="./src",
    command="python main.py --iris-csv ${{inputs.iris_csv}} --learning-rate ${{inputs.learning_rate}} --boosting ${{inputs.boosting}}",
    environment="AzureML-lightgbm-3.2-ubuntu18.04-py37-cpu@latest",
    inputs={
        "iris_csv": Input(
            type="uri_file",
            path="https://azuremlexamples.blob.core.windows.net/datasets/iris.csv",
        ),
        "learning_rate": 0.9,
        "boosting": "gbdt",
    },
    compute="cpu-cluster",
)
# submit the command
returned_job = ml_client.jobs.create_or_update(command_job)
# get a URL for the status of the job
returned_job.studio_url

В предыдущих примерах вы настроили следующее:

  • code — путь к расположению кода для выполнения команды.
  • command — команда, которая должна выполняться.
  • environment — среда, необходимая для запуска скрипта обучения. В этом примере используйте курированную или готовую среду, предоставляемую Машинное обучение Azure с именем AzureML-lightgbm-3.3@latest. Вы также можете использовать пользовательские среды, указав базовый образ Docker и указав файл yaml для conda поверх него.
  • inputs — словарь входных параметров команды, представленных в виде пар «имя-значение». Ключ — это имя входных данных в контексте задания, а значение — входное значение. Ссылайтесь на входные данные в command с помощью выражения ${{inputs.<input_name>}}. Чтобы использовать файлы или папки в качестве входных данных, используйте Input класс. Дополнительные сведения см. в выражениях SDK и CLI версии 2.

Дополнительные сведения см. в справочной документации.

При отправке задания служба возвращает URL-адрес состояния задания в Студия машинного обучения Azure. Используйте пользовательский интерфейс студии для просмотра хода выполнения задания. Можно также использовать returned_job.status для проверки текущего состояния задания.

Важно

Машинное обучение Azure обучающие и командные задания не поддерживают реестры контейнеров Azure (ACR), которые используют кастомизированные метки доменных имен. Задания, ссылающиеся на такой реестр, могут завершиться сбоем во время запуска из-за ошибок при извлечении образа или разрешении среды. Чтобы избежать этой проблемы, выполните указанные ниже действия.

  • Используйте формат сервера входа по умолчанию (<registry-name>.azurecr.io) для ACR.
  • При создании реестра задайте область метки доменного имени как незащищённое.

Регистрация обученной модели

В следующих примерах показано, как зарегистрировать модель в рабочей области Машинное обучение Azure.

Совет

Задание на обучение возвращает свойство name. Используйте это имя как часть пути к модели.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

run_model = Model(
    path="azureml://jobs/{}/outputs/artifacts/paths/model/".format(returned_job.name),
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL
)

ml_client.models.create_or_update(run_model)

Дальнейшие действия

Теперь, когда у вас есть обученная модель, узнайте, как развернуть ее с помощью сетевой конечной точки.

Дополнительные примеры см. в репозитории GitHub примеров Машинное обучение Azure.

Дополнительные сведения о командах Azure CLI, классах пакета SDK Python или REST API, используемых в этой статье, см. в следующей справочной документации:

  • Last updated on