Работа с зарегистрированными моделями в Машинное обучение Azure

Статья
09/02/2024

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

В этой статье описано, как зарегистрировать и работать с моделями в Машинное обучение Azure с помощью:

Пользовательский интерфейс Студия машинного обучения Azure.
Интерфейс командной строки Машинное обучение Azure версии 2.
Пакет SDK для Python Машинное обучение Azure версии 2.

Узнайте следующие темы:

Создайте зарегистрированные модели в реестре моделей из локальных файлов, хранилищ данных или выходных данных задания.
Работа с различными типами моделей, таких как custom, MLflow и Triton.
Используйте модели в качестве входных или выходных данных в заданиях обучения.
Управление жизненным циклом ресурсов модели.

регистрация модели;

Регистрация модели позволяет хранить и версии моделей в рабочей области в облаке Azure. Реестр моделей позволяет организовывать и отслеживать обученные модели. Модели можно зарегистрировать в качестве ресурсов в Машинное обучение Azure с помощью Azure CLI, пакета SDK для Python или пользовательского интерфейса студии Машинное обучение.

Поддерживаемые пути

Чтобы зарегистрировать модель, необходимо указать путь, указывающий на данные или расположение задания. В следующей таблице показаны различные расположения данных, которые поддерживаются Машинное обучение Azure, а также синтаксис параметраpath:

Расположение	Синтаксис
Локальный компьютер	`<model-folder>/<model-filename>`
хранилище данных Машинное обучение Azure	`azureml://datastores/<datastore-name>/paths/<path_on_datastore>`
задание Машинное обучение Azure	`azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>`
Задание MLflow	`runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>`
Ресурс модели в рабочей области Машинное обучение	`azureml:<model-name>:<version>`
Ресурс модели в реестре Машинное обучение	`azureml://registries/<registry-name>/models/<model-name>/versions/<version>`

Поддерживаемые режимы

При использовании моделей для входных или выходных данных можно указать один из следующих режимов. Например, можно указать, должна ли модель быть подключена только для чтения или загружена в целевой объект вычислений.

ro_mount: подключите данные к целевому объекту вычислений только для чтения.
rw_mount: чтение и запись подключения данных.
download: скачайте данные в целевой объект вычислений.
upload: отправка данных из целевого объекта вычислений.
direct: передайте универсальный код ресурса (URI) в виде строки.

В следующей таблице показаны доступные параметры режима для различных входных и выходных данных типа модели.

Тип	`upload`	`download`	`ro_mount`	`rw_mount`	`direct`
`custom` Входные данные файла
`custom` Входные данные папки		✓	✓		✓
`mlflow` ввод		✓	✓
`custom` Выходные данные файла	✓			✓	✓
`custom` Выходные данные папки	✓			✓	✓
`mlflow` выпуск	✓			✓	✓

Необходимые компоненты

Подписка Azure с бесплатной или платной версией Машинное обучение Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись, прежде чем приступить к работе.
Рабочая область Машинного обучения Azure.

Чтобы запустить примеры кода в этой статье и работать с пакетом SDK Машинное обучение Azure версии 2 или Python Машинное обучение Azure версии 2, вам также потребуется:

Azure CLI
Пакет SDK для Python

Azure CLI версии 2.38.0 или более поздней версии.
Версия 2 расширения, установленная с помощью следующей ml команды. Дополнительные сведения см. в разделе Установка, настройка и использование CLI (версия 2).
```
az extension add -n ml
```

Python 3.8 или более поздней версии.
Пакет SDK Машинное обучение Azure версии 2 для Python, установленный с помощью следующей команды:
```
pip install azure-ai-ml azure-identity
```

Примечание.

Версия 2 обеспечивает полную обратную совместимость. Вы по-прежнему можете использовать ресурсы модели из пакета SDK версии 1 или CLI. Все модели, зарегистрированные с помощью интерфейса командной строки версии 1 или пакета SDK, назначаются типу custom.

Регистрация модели с помощью пользовательского интерфейса студии

Чтобы зарегистрировать модель с помощью пользовательского интерфейса Студия машинного обучения Azure:

В рабочей области в студии выберите "Модели " в области навигации слева.
На странице списка моделей выберите "Зарегистрировать" и выберите одно из следующих расположений в раскрывающемся списке:
- Из локальных файлов
- Из выходных данных задания
- Из хранилища данных
- Из локальных файлов (на основе платформы)
На первом экране регистрации модели :
1. Перейдите к локальному файлу, хранилищу данных или выходным данным задания для модели.
2. Выберите тип входной модели: MLflow, Triton или Неопределенный тип.
На экране параметров модели укажите имя и другие необязательные параметры для зарегистрированной модели и нажмите кнопку "Далее".
На экране "Рецензирование" просмотрите конфигурацию и выберите "Зарегистрировать".

Регистрация модели с помощью Azure CLI или пакета SDK для Python

В следующих фрагментах кода описано, как зарегистрировать модель в качестве ресурса в Машинное обучение Azure с помощью Azure CLI или пакета SDK для Python. Эти фрагменты используют custom и mlflow типы моделей.

customТип относится к файлу модели или папке, обученному с пользовательским стандартом, который Машинное обучение Azure в настоящее время не поддерживается.
mlflow тип относится к модели, обученной с помощью MLflow. Обученные в MLflow модели размещаются в папке, содержащей файл MLmodel, файл модели, файл зависимостей conda и файл requirements.txt.

Совет

Вы можете следовать вместе с версиями Python следующих примеров, выполнив записную книжку model.ipynb в репозитории azureml-examples .

Подключение к рабочей области

Рабочая область — это ресурс верхнего уровня для Машинного обучения Azure, который обеспечивает централизованное расположение для работы со всеми артефактами, созданными в Машинном обучении Azure. В этом разделе описано, как подключиться к рабочей области Машинное обучение Azure для создания зарегистрированной модели.

Azure CLI
Пакет SDK для Python

Войдите в Azure, выполнив и выполнив az login запросы.
В следующих командах замените <subscription-id>, <workspace-name><resource-group>и <location> заполнители значениями среды.
```
az account set --subscription <subscription-id>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```

Импортируйте необходимые библиотеки:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential

Настройте сведения о рабочей области и получите дескриптор рабочей области. В следующем фрагменте кода замените <subscription-id><resource-group>заполнители и <workspace-name> заполнители значениями среды.
```
subscription_id = "<subscription-id>"
resource_group = "<resource-group>"
workspace = "<workspace-name>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```

Создание зарегистрированной модели

Вы можете создать зарегистрированную модель из модели, которая:

Расположен на локальном компьютере.
Находится в хранилище данных Машинное обучение Azure.
Выходные данные задания Машинное обучение Azure.

Создайте имя> файла <YAML.yml. В файле укажите имя зарегистрированной модели, путь к локальному файлу модели и описание. Например:
```
$schema: https://azuremlschemas.azureedge.net/latest/model.schema.json
name: local-file-example
path: mlflow-model/model.pkl
description: Model created from local file.
```
Выполните следующую команду, используя имя ФАЙЛА YAML:
```
az ml model create -f <file-name>.yml
```

Полный пример см. в YAML-файле модели.

В следующем примере показано создание зарегистрированной модели из локального файла.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

file_model = Model(
    path="mlflow-model/model.pkl",
    type=AssetTypes.CUSTOM_MODEL,
    name="local-file-example",
    description="Model created from local file.",
)
ml_client.models.create_or_update(file_model)

Хранилище данных

Модель можно создать из облачного пути с помощью любого из поддерживаемых форматов URI.

Azure CLI
Пакет SDK для Python

В следующем примере используется сокращенная azureml схема для указания пути к хранилищу данных с помощью синтаксиса azureml://datastores/<datastore-name>/paths/<path_on_datastore>.

az ml model create --name my-model --version 1 --path azureml://datastores/myblobstore/paths/models/cifar10/cifar.pt

Полный пример см. в справочнике по CLI.

В следующем примере используется сокращенная azureml схема для указания пути к хранилищу данных с помощью синтаксиса azureml://datastores/${{datastore-name}}/paths/${{path_on_datastore}}.

from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

cloud_model = Model(
    path=file_model.path,
    # The above line basically provides a path in the format "azureml://subscriptions/XXXXXXXXXXXXXXXX/resourceGroups/XXXXXXXXXXX/workspaces/XXXXXXXXXXX/datastores/workspaceblobstore/paths/model.pkl"
    # Users could also use,"azureml://datastores/workspaceblobstore/paths/model.pkl" as a shorthand to the same location
    name="cloud-path-example",
    type=AssetTypes.CUSTOM_MODEL,
    description="Model created from cloud path.",
)
ml_client.models.create_or_update(cloud_model)

Выходные данные заданий

Если данные модели приходят из выходных данных задания, у вас есть два варианта указания пути модели. Вы можете использовать формат URI MLflow runs: или azureml://jobs формат URI.

Примечание.

Зарезервированное ключевое слово артефактов представляет выходные данные из расположения артефактов по умолчанию.

Запуски MLflow: формат URI

Этот параметр оптимизирован для пользователей MLflow, которые, вероятно, уже знакомы с форматом URI MLflow runs: . Этот параметр создает модель из артефактов в расположении артефактов по умолчанию, где находятся все модели, зарегистрированные в MLflow, и артефакты. Этот параметр также устанавливает происхождение между зарегистрированной моделью и запуском модели.

Формат: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>

Пример:
- Azure CLI
- Пакет SDK для Python
```
az ml model create --name my-registered-model --version 1 --path runs:/my_run_0000000000/model/ --type mlflow_model
```
```
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import ModelType

run_model = Model(
    path="runs:/my_run_0000000000/model/"
    name="my-registered-model",
    description="Model created from run.",
    type=ModelType.MLFLOW_MODEL
)

ml_client.models.create_or_update(run_model) 
```

формат URI azureml://jobs

Параметр azureml://jobs URI ссылки позволяет зарегистрировать модель из артефактов в любом из выходных путей задания. Этот формат соответствует формату azureml://datastores URI ссылки, а также поддерживает ссылки на артефакты из именованных выходных данных, отличных от расположения артефактов по умолчанию.

Если вы не зарегистрировали модель непосредственно в скрипте обучения с помощью MLflow, вы можете использовать этот параметр для установления происхождения между зарегистрированной моделью и заданием, из который он был обучен.

Формат: azureml://jobs/<run-id>/outputs/<output-name>/paths/<path-to-model>
- Расположение артефакта по умолчанию: azureml://jobs/<run-id>/outputs/artifacts/paths/<path-to-model>/ Это расположение эквивалентно MLflow runs:/<run-id>/<model>.
- Именованной выходной папке: azureml://jobs/<run-id>/outputs/<named-output-folder>
- Определенный файл в именованной выходной папке: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-filename>
- Путь к определенной папке в именованной выходной папке: azureml://jobs/<run-id>/outputs/<named-output-folder>/paths/<model-folder-name>
Пример:
- Azure CLI
- Пакет SDK для Python
Сохраните модель из именованной выходной папки:
```
az ml model create --name run-model-example --version 1 --path azureml://jobs/my_run_0000000000/outputs/artifacts/paths/model/
```
Полный пример см. в справочнике по CLI.
Сохраните модель из именованных выходных данных:
```
from azure.ai.ml.entities import Model
from azure.ai.ml.constants import AssetTypes

job_name = "<JOB_NAME>"

run_model = Model(
    path=f"azureml://jobs/{job_name}/outputs/artifacts/paths/model/",
    name="run-model-example",
    description="Model created from run.",
    type=AssetTypes.MLFLOW_MODEL,
)
# Uncomment after adding required details above
# ml_client.models.create_or_update(run_model)
```
Полный пример см. в записной книжке модели.

Использование моделей для обучения

Azure CLI версии 2 и пакет SDK для Python также позволяют использовать модели в качестве входных или выходных данных в заданиях обучения.

Использование модели в качестве входных данных в задании обучения

Azure CLI
Пакет SDK для Python

Создайте файл YAML спецификации задания, <имя> файла.yml. inputs В разделе задания укажите:

Модель type, которая может быть mlflow_model, custom_modelили triton_model.
Расположение path модели, которое может быть любым из путей, перечисленных в комментарии следующего примера.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for models:
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

command: |
  ls ${{inputs.my_model}}
inputs:
  my_model:
    type: mlflow_model # List of all model types here: https://learn.microsoft.com/azure/machine-learning/reference-yaml-model#yaml-syntax
    path: ../../assets/model/mlflow-model
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

Выполните следующую команду, подставив имя файла YAML.
```
az ml job create -f <file-name>.yml
```

Полный пример см. в репозитории GitHub модели.

С помощью класса Input можно определить:

Тип ресурса модели, который может быть одним из следующих значений:
- AssetTypes.CUSTOM_MODEL
- AssetTypes.MLFLOW_MODEL
- AssetTypes.TRITON_MODEL
Данные path модели, которые могут быть одним из следующих расположений:
- Локальный путь: <model-folder>/<model-filename>
- хранилище данных Машинное обучение Azure:azureml://datastores/<datastore-name>/paths/<path_on_datastore>
- Запуск MLflow: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
- Работа: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
- Ресурс модели: azureml:<my_model>:<version>

В следующем примере введите модель MLflow из локальной папки.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input
from azure.ai.ml.constants import AssetTypes
from azure.ai.ml import MLClient

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model")
}

job = command(
    code="./src",  # local path where the code is stored
    command="ls ${{inputs.input_model}}",
    inputs=my_job_inputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.jobs.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Запись модели в качестве выходных данных для задания

Задание может записывать модель в облачное хранилище с помощью выходных данных.

Azure CLI
Пакет SDK для Python

Создайте спецификацию задания YAML <file-name>.yml. outputs Заполните раздел типом и путем выходной модели.

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json

# Possible Paths for Model:
# Local path: mlflow-model/model.pkl
# AzureML Datastore: azureml://datastores/<datastore-name>/paths/<path_on_datastore>
# MLflow run: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
# Job: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
# Model Asset: azureml:<my_model>:<version>

code: src
command: >-
  python hello-model-as-output.py 
  --input_model ${{inputs.input_model}} 
  --custom_model_output ${{outputs.output_folder}}
inputs:
  input_model: 
    type: mlflow_model # mlflow_model,custom_model, triton_model
    path: ../../assets/model/mlflow-model
outputs:
  output_folder: 
    type: custom_model # mlflow_model,custom_model, triton_model
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

Создайте задание с помощью интерфейса командной строки:
```
az ml job create --file <file-name>.yml
```

Полный пример см. в репозитории GitHub модели.

С помощью класса Output можно определить:

Тип ресурса модели, который может быть одним из следующих значений:
- AssetTypes.CUSTOM_MODEL
- AssetTypes.MLFLOW_MODEL
- AssetTypes.TRITON_MODEL
Данные path модели, которые могут быть одним из следующих расположений:
- Локальный путь: mlflow-model/model.pkl
- хранилище данных Машинное обучение Azure:azureml://datastores/<datastore-name>/paths/<path_on_datastore>
- Запуск MLflow: runs:/<run-id>/<path-to-model-relative-to-the-root-of-the-artifact-location>
- Работа: azureml://jobs/<job-name>/outputs/<output-name>/paths/<path-to-model-relative-to-the-named-output-location>
- Ресурс модели: azureml:<my_model>:<version>

В следующем примере создается вывод, который подключает хранилище данных по умолчанию в режиме чтения и записи. Код просто загружает локальную модель MLflow в качестве входных данных и экспортирует ту же модель, что и выходные данные задания, сохраненные в подключенном хранилище данных.

from azure.ai.ml import command
from azure.ai.ml.entities import Model
from azure.ai.ml import Input, Output
from azure.ai.ml.constants import AssetTypes

my_job_inputs = {
    "input_model": Input(type=AssetTypes.MLFLOW_MODEL, path="mlflow-model"),
    "input_data": Input(type=AssetTypes.URI_FILE, path="./mlflow-model/input_example.json"),}

my_job_outputs = {
    "output_folder": Output(type=AssetTypes.CUSTOM_MODEL)
}

job = command(
    code="./src",  # local path where the code is stored
    command="python load_write_model.py --input_model ${{inputs.input_model}} --output_folder ${{outputs.output_folder}}",
    inputs=my_job_inputs,
    outputs=my_job_outputs,
    environment="AzureML-sklearn-0.24-ubuntu18.04-py37-cpu:9",
    compute="cpu-cluster",
)

# submit the command
returned_job = ml_client.create_or_update(job)
# get a URL for the status of the job
returned_job.services["Studio"].endpoint

Manage models in the repository (Управление моделями в репозитории)

Пакет SDK Azure CLI и Python также позволяют управлять жизненным циклом ресурсов модели Машинное обучение Azure.

List

Azure CLI
Пакет SDK для Python

Список всех моделей в рабочей области:

az ml model list

Вывод списка всех версий модели под заданным именем:

az ml model list --name run-model-example

Список всех моделей в рабочей области:

models = ml_client.models.list()
for model in models:
    print(model.name)

Вывод списка всех версий модели под заданным именем:

models = ml_client.models.list(name="run-model-example")
for model in models:
    print(model.version)

Показать

Получите сведения о конкретной модели:

Azure CLI
Пакет SDK для Python

az ml model show --name run-model-example --version 1

model_example = ml_client.models.get(name="run-model-example", version="1")
print(model_example)

Обновить

Обновление изменяемых свойств конкретной модели:

Внимание

Только для моделей description и tags их можно обновить. Все остальные свойства неизменяемы, и если необходимо изменить их, необходимо создать новую версию модели.

Azure CLI
Пакет SDK для Python

az ml model update --name  run-model-example --version 1 --set description="This is an updated description." --set tags.stage="Prod"

model_example.description="This is an updated description."
model_example.tags={"stage":"Prod"}
ml_client.models.create_or_update(model=model_example)

Архив

Архивация модели скрывает ее из запросов списка, как az ml model list по умолчанию. Вы можете продолжать ссылаться и использовать архивную модель в рабочих процессах.

Вы можете архивировать все версии или только определенные версии модели. Если вы не указываете версию, архивируются все версии модели. Если вы создаете новую версию модели в контейнере архивной модели, новая версия также автоматически устанавливается в качестве архива.

Azure CLI
Пакет SDK для Python

Архивируйте все версии модели:

az ml model archive --name run-model-example

Архивируйте определенную версию модели:

az ml model archive --name run-model-example --version 1

Архивируйте все версии модели:

ml_client.models.archive(name="run-model-example")

Архивируйте определенную версию модели:

ml_client.models.archive(name="run-model-example", version="1")

Поделиться через

Работа с зарегистрированными моделями в Машинное обучение Azure

регистрация модели;

Поддерживаемые пути

Поддерживаемые режимы

Необходимые компоненты

Регистрация модели с помощью пользовательского интерфейса студии

Регистрация модели с помощью Azure CLI или пакета SDK для Python

Подключение к рабочей области

Создание зарегистрированной модели

Локальный файл или папка

Хранилище данных

Выходные данные заданий

Использование моделей для обучения

Использование модели в качестве входных данных в задании обучения

Запись модели в качестве выходных данных для задания

Manage models in the repository (Управление моделями в репозитории)

List

Показать

Обновить

Архив

Обратная связь

Дополнительные ресурсы

Поделиться через

Работа с зарегистрированными моделями в Машинное обучение Azure

регистрация модели;

Поддерживаемые пути

Поддерживаемые режимы

Необходимые компоненты

Регистрация модели с помощью пользовательского интерфейса студии

Регистрация модели с помощью Azure CLI или пакета SDK для Python

Подключение к рабочей области

Создание зарегистрированной модели

Локальный файл или папка

Хранилище данных

Выходные данные заданий

Использование моделей для обучения

Использование модели в качестве входных данных в задании обучения

Запись модели в качестве выходных данных для задания

Manage models in the repository (Управление моделями в репозитории)

List

Показать

Обновить

Архив

Связанный контент

Обратная связь

Дополнительные ресурсы