Совместное использование моделей, компонентов и сред в рабочих областях с помощью реестров

В примере CLI измените каталоги на cli/jobs/pipelines-with-components/nyc_taxi_data_regression в локальном клоне репозитория examples.

cd cli/jobs/pipelines-with-components/nyc_taxi_data_regression

В примере пакета SDK Python используйте пример nyc_taxi_data_regression из репозитория examples. Пример записной книжки share-models-components-environments.ipynb, доступен в папке sdk/python/assets/assets-in-registry. Все примеры YAML для компонентов, код обучения модели, примеры данных для обучения и вывода доступны в cli/jobs/pipelines-with-components/nyc_taxi_data_regression. Если вы хотите пошагово выполнить действия в записной книжке, перейдите в каталог sdk/resources/registry и откройте записную книжку share-models-components-environments.ipynb.

Мы создадим среду, которая использует образ docker python:3.10 и устанавливает Python пакеты, необходимые для выполнения задания обучения с помощью платформы SciKit Learn. Если вы клонировали репозиторий с примерами и находитесь в папке cli/jobs/pipelines-with-components/nyc_taxi_data_regression, вы сможете увидеть файл определения среды env_train.yml, который ссылается на docker-файл env_train/Dockerfile. Содержимое env_train.yml выглядит следующим образом:

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: SKLearnEnv
version: 1-<VERSION>
description: Scikit Learn environment
build:
  path: ./env_train

Создайте среду, используя az ml environment create, следующим образом.

az ml environment create --file env_train.yml --registry-name <registry-name>

Если в реестре уже существует среда с этим именем и версией, можно изменить поле version в env_train.yml, или указать другую версию в CLI, которая переопределяет значение версии в поле env_train.yml.

# use shell epoch time as the version
version=$(date +%s)
az ml environment create --file env_train.yml --registry-name <registry-name> --set version=$version

name Запишите значение и version окружающей среды из результатов выполнения команды az ml environment create и используйте их с командами az ml environment show следующим образом. При создании компонента в реестре вам потребуется name и version в следующем разделе.

az ml environment show --name SKLearnEnv --version 1 --registry-name <registry-name>

Вы также можете использовать az ml environment list --registry-name <registry-name> для перечисления всех сред в реестре.

Мы создадим среду, которая использует образ docker python:3.10 и устанавливает Python пакеты, необходимые для выполнения задания обучения с помощью платформы SciKit Learn. Содержимое Dockerfile с базовым образом и списком пакетов Python для установки доступно в cli/jobs/pipelines-with-components/nyc_taxi_data_regression/env_train. Необходимо инициализировать объект среды и создать среду.

env_docker_context = Environment(
    build=BuildContext(path="../../../../cli/jobs/pipelines-with-components/nyc_taxi_data_regression/env_train/"),
    name="SKLearnEnv",
    version=str(1),
    description="Scikit Learn environment",
)
ml_client_registry.environments.create_or_update(env_docker_context)

Запишите name и version среды из выходных данных и передайте их в метод ml_client_registry.environments.get(), чтобы извлечь среду из реестра.

Вы также можете использовать ml_client_registry.environments.list() для перечисления всех сред в реестре.

Убедитесь, что вы находитесь в папке cli/jobs/pipelines-with-components/nyc_taxi_data_regression. Вы находите файл train.yml определения компонента, который упаковывает скрипт train_src/train.py обучения Scikit Learn. Этот компонент train.yml использует курированную средуsklearn-1.5 из azureml реестра. Вы можете изменить поле environment в train.yml, чтобы использовать созданную вами на предыдущем шаге среду Scikit Learn или сохранить курируемую среду. Файл train.yml определения компонента аналогичен следующему примеру:

# <component>
$schema: https://azuremlschemas.azureedge.net/latest/commandComponent.schema.json
name: train_linear_regression_model
display_name: TrainLinearRegressionModel
version: 1
type: command
inputs:
  training_data: 
    type: uri_folder
  test_split_ratio:
    type: number
    min: 0
    max: 1
    default: 0.2
outputs:
  model_output:
    type: mlflow_model
  test_data:
    type: uri_folder
code: ./train_src
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
command: >-
  python train.py 
  --training_data ${{inputs.training_data}} 
  --test_data ${{outputs.test_data}} 
  --model_output ${{outputs.model_output}}
  --test_split_ratio ${{inputs.test_split_ratio}}
# </component>

Если вы хотите использовать свою среду из предыдущего шага вместо курированной среды, обновите поле environment на azureml://registries/<registry-name>/environments/SKLearnEnv/versions/1. az ml component create Выполните команду, чтобы создать компонент следующим образом.

az ml component create --file train.yml --registry-name <registry-name>

Если вы предпочитаете не изменять train.yml, можно переопределить имя среды в CLI следующим образом:

az ml component create --file train.yml --registry-name <registry-name> --set environment=azureml://registries/<registry-name>/environments/SKLearnEnv/versions/1

Запишите name и version компонента из выходных данных команды az ml component create и используйте их с командами az ml component show. В следующем разделе вам понадобятся name и version, когда вы будете создавать или отправлять задание обучения в рабочей области.

az ml component show --name <component_name> --version <component_version> --registry-name <registry-name>

Вы также можете использовать az ml component list --registry-name <registry-name> для перечисления всех компонентов в реестре.

Просмотрите файл определения компонента train.yml и код Python train_src/train.py для обучения модели регрессии с помощью Scikit Learn, доступной в папке cli/jobs/pipelines-with-components/nyc_taxi_data_regression. Загрузите объект компонента из файла train.ymlопределения компонента.

parent_dir = "../../../../cli/jobs/pipelines-with-components/nyc_taxi_data_regression"
train_model = load_component(path=parent_dir + "/train.yml")
print(train_model)

Обновите environment, чтобы он указывал на среду SKLearnEnv, созданную в предыдущем разделе, и создайте среду.

train_model.environment=env_from_registry
ml_client_registry.components.create_or_update(train_model)

Запишите name и version компонента из выходных данных и передайте их в метод ml_client_registry.components.get(), чтобы получить компонент из реестра.

Вы также можете использовать ml_client_registry.components.list() для перечисления всех компонентов в реестре или просмотра всех компонентов в пользовательском интерфейсе Студия машинного обучения Azure. Перейдите к глобальному пользовательскому интерфейсу и найдите центр реестров.

Мы запускаем задание конвейера с помощью компонента обучения Scikit Learn, созданного в предыдущем разделе для обучения модели. Убедитесь, что вы находитесь в папке cli/jobs/pipelines-with-components/nyc_taxi_data_regression. Набор данных обучения расположен в папке data_transformed . Измените раздел component в разделе train_job файла single-job-pipeline.yml, чтобы ссылаться на компонент обучения, созданный в предыдущем разделе. single-job-pipeline.yml Результат выглядит следующим образом:

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: nyc_taxi_data_regression_single_job
description: Single job pipeline to train regression model based on nyc taxi dataset

jobs:
  train_job:
    type: command
    component: azureml://registries/<registry-name>/component/train_linear_regression_model/versions/1
    compute: azureml:cpu-cluster
    inputs:
      training_data: 
        type: uri_folder
        path: ./data_transformed
    outputs:
      model_output: 
        type: mlflow_model
      test_data: 

Ключевым аспектом является то, что этот конвейер будет выполняться в рабочей области с помощью компонента, который не находится в определенной рабочей области. Компонент находится в реестре, который можно использовать с любой рабочей областью в вашей организации. Вы можете запустить это задание обучения в любой рабочей области, к которой у вас есть доступ, не беспокоясь о том, что код обучения и среда доступны в этой рабочей области.

Выполните задание конвейера командой az ml job create.

az ml job create --file single-job-pipeline.yml 

В качестве альтернативы, вы можете не редактировать single-job-pipeline.yml, а переопределить имя компонента, используемое train_job в интерфейсе командной строки (CLI).

az ml job create --file single-job-pipeline.yml --set jobs.train_job.component=azureml://registries/<registry-name>/component/train_linear_regression_model/versions/1

Так как компонент, используемый в задании обучения, предоставляется через реестр, вы можете отправить задание в любую рабочую область, доступ к которой у вас есть в организации, даже через разные подписки. Например, если у вас есть dev-workspace, test-workspace и prod-workspace, выполнение задания обучения в этих трех рабочей областях так же просто, как выполнение трех команд az ml job create.

az ml job create --file single-job-pipeline.yml --workspace-name dev-workspace --resource-group <resource-group-of-dev-workspace>
az ml job create --file single-job-pipeline.yml --workspace-name test-workspace --resource-group <resource-group-of-test-workspace>
az ml job create --file single-job-pipeline.yml --workspace-name prod-workspace --resource-group <resource-group-of-prod-workspace>

Вы запускаете работу конвейера с помощью компонента обучения Scikit Learn, созданного в предыдущем разделе, чтобы обучить модель. Набор данных обучения расположен в папке cli/jobs/pipelines-with-components/nyc_taxi_data_regression/data_transformed . Создайте конвейер с помощью компонента, созданного на предыдущем шаге.

Ключевым аспектом является то, что этот обработочный поток будет выполняться в рабочей области, используя компонент, который не принадлежит данной рабочей области. Компонент находится в реестре, который можно использовать с любой рабочей областью в вашей организации. Вы можете запустить это задание обучения в любой рабочей области, к которой у вас есть доступ, не беспокоясь о том, что код обучения и среда доступны в этой рабочей области.

@pipeline()
def pipeline_with_registered_components(
    training_data
):
    train_job = train_component_from_registry(
        training_data=training_data,
    )
pipeline_job = pipeline_with_registered_components(
    training_data=Input(type="uri_folder", path=parent_dir + "/data_transformed/"),
)
pipeline_job.settings.default_compute = "cpu-cluster"
print(pipeline_job)

Запустите задание конвейера и дождитесь завершения его работы.

pipeline_job = ml_client_workspace.jobs.create_or_update(
    pipeline_job, experiment_name="sdk_job_component_from_registry" ,  skip_validation=True
)
ml_client_workspace.jobs.stream(pipeline_job.name)
pipeline_job=ml_client_workspace.jobs.get(pipeline_job.name)
pipeline_job

Так как компонент, используемый в задании обучения, предоставляется через реестр, вы можете отправить задание в любую рабочую область, доступ к которой у вас есть в организации, даже в рамках разных подписок. Например, если у вас есть dev-workspace, test-workspace и prod-workspace, вы можете подключиться к этим рабочим областям и повторно отправить задание.

Скачайте модель, доступную как результат train_job, заменив <job-name> на имя задания из предыдущего раздела. Модель вместе с файлами метаданных MLflow должна быть доступна в ./artifacts/model/файле .

# fetch the name of the train_job by listing all child jobs of the pipeline job
train_job_name=$(az ml job list --parent-job-name <job-name> --query [0].name | sed 's/\"//g')
# download the default outputs of the train_job
az ml job download --name $train_job_name 
# review the model files
ls -l ./artifacts/model/

Если вы не можете скачать модель, вы можете найти пример модели MLflow, обученной данным заданием в предыдущем разделе в папке cli/jobs/pipelines-with-components/nyc_taxi_data_regression/artifacts/model/.

Создайте модель в реестре:

# create model in registry
az ml model create --name nyc-taxi-model --version 1 --type mlflow_model --path ./artifacts/model/ --registry-name <registry-name>

Убедитесь, что вы используете объект pipeline_job из предыдущего раздела или извлекаете задание в конвейере с помощью метода ml_client_workspace.jobs.get(name="<pipeline-job-name>"), чтобы получить список дочерних заданий в конвейере. Затем вы ищете задание с display_name как train_job и скачиваете обученную модель из train_job выхода. Скачаемая модель вместе с файлами метаданных MLflow должна быть доступна в ./artifacts/model/файле .

jobs=ml_client_workspace.jobs.list(parent_job_name=pipeline_job.name)
for job in jobs:
    if (job.display_name == "train_job"):
        print (job.name)
        ml_client_workspace.jobs.download(job.name)

Если вы не можете скачать модель, вы можете найти пример модели MLflow, обученной с помощью задания обучения, описанного в предыдущем разделе, в папке sdk/resources/registry/model.

Создайте модель в реестре.

mlflow_model = Model(
    path="./artifacts/model/",
    type=AssetTypes.MLFLOW_MODEL,
    name="nyc-taxi-model",
    version=str(1), # use str(int(time.time())) if you want a random model number
    description="MLflow model created from local path",
)
ml_client_registry.models.create_or_update(mlflow_model)

Убедитесь, что у вас есть имя задания конвейера из предыдущего раздела и замените его в команде, чтобы получить имя задания обучения. Затем вы регистрируете модель из выходных данных задания обучения в рабочей области. Обратите внимание, как --path параметр ссылается на выходные данные train_job с синтаксисом azureml://jobs/$train_job_name/outputs/artifacts/paths/model .

# fetch the name of the train_job by listing all child jobs of the pipeline job
train_job_name=$(az ml job list --parent-job-name <job-name> --workspace-name <workspace-name> --resource-group <workspace-resource-group> --query [0].name | sed 's/\"//g')
# create model in workspace
az ml model create --name nyc-taxi-model --version 1 --type mlflow_model --path azureml://jobs/$train_job_name/outputs/artifacts/paths/model 

Запишите имя и версию модели. Вы можете проверить, зарегистрирована ли модель в рабочей области, просматривая ее в пользовательском интерфейсе Студии или используя az ml model show --name nyc-taxi-model --version $model_version команду.

Затем вы делитесь моделью из рабочей области в реестр.

# share model registered in workspace to registry
az ml model share --name nyc-taxi-model --version 1 --registry-name <registry-name> --share-with-name <new-name> --share-with-version <new-version>

name и version модели запишите из результатов команды az ml model create и используйте их с az ml model show следующим образом. Для развертывания модели в сетевой конечной точке для выполнения вывода вам понадобятся name и version в следующем разделе.

az ml model show --name <model_name> --version <model_version> --registry-name <registry-name>

Вы также можете использовать az ml model list --registry-name <registry-name> для перечисления всех моделей в реестре или просмотра всех компонентов в пользовательском интерфейсе Студия машинного обучения Azure. Перейдите к глобальному пользовательскому интерфейсу и найдите центр реестров.

Убедитесь, что вы используете pipeline_job объект из предыдущего раздела или извлекаете задание конвейера с помощью ml_client_workspace.jobs.get(name="<pipeline-job-name>") метода, чтобы получить список дочерних заданий в конвейере. Затем вы будете искать задание с display_name как train_job и использовать nametrain_job для создания пути, указывающего на выходные данные модели, который выглядит следующим образом: azureml://jobs/<job_name>/outputs/artifacts/paths/model

jobs=ml_client_workspace.jobs.list(parent_job_name=pipeline_job.name)
for job in jobs:
    if (job.display_name == "train_job"):
        print (job.name)
        model_path_from_job="azureml://jobs/{job_name}/outputs/artifacts/paths/model".format(job_name=job.name)

print(model_path_from_job)

Зарегистрируйте модель, полученную из результатов задания обучения, в рабочей области, используя путь, созданный ранее.

mlflow_model = Model(
    path=model_path_from_job,
    type=AssetTypes.MLFLOW_MODEL,
    name="nyc-taxi-model",
    version=version_timestamp,
    description="MLflow model created from job output",
)
ml_client_workspace.models.create_or_update(mlflow_model)

Запишите имя и версию модели. Можно проверить, зарегистрирована ли модель в рабочей области, просматривая ее в пользовательском интерфейсе Студии или извлекая ее с помощью ml_client_workspace.model.get() метода.

Затем вы поделитесь моделью из рабочей области в реестр.

# share the model from workspace to registry
ml_client.models.share(
    name="nyc-taxi-model",
    version="1",
    registry_name="<registry-name>",
    share_with_name="<new-name>",
    share_with_version="<new-version>"
)

name version из выходных данных модели запишите, и используйте их с ml_client_workspace.model.get() командами следующим образом. В следующем разделе при развертывании модели на сетевую конечную точку для вывода вам потребуются name и version.

mlflow_model_from_registry = ml_client_registry.models.get(name="nyc-taxi-model", version=str(1))
print(mlflow_model_from_registry)

Вы также можете использовать ml_client_registry.models.list() для перечисления всех моделей в реестре или просмотра всех компонентов в пользовательском интерфейсе Студия машинного обучения Azure. Перейдите к глобальному пользовательскому интерфейсу и найдите центр реестров.

Создайте конечную точку в Сети.

az ml online-endpoint create --name reg-ep-1234

model: Обновите строкуdeploy.yml, доступную в папкеcli/jobs/pipelines-with-components/nyc_taxi_data_regression, чтобы ссылаться на имя модели и версию из предыдущего шага. Создайте сетевое развертывание в виртуальной конечной точке. Ниже показан deploy.yml для ознакомления.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: demo
endpoint_name: reg-ep-1234
model: azureml://registries/<registry-name>/models/nyc-taxi-model/versions/1
instance_type: Standard_DS3_v2
instance_count: 1

Создайте онлайн развертывание. Развертывание занимает несколько минут.

az ml online-deployment create --file deploy.yml --all-traffic

Извлеките URI оценки и отправьте пример оценочного запроса. Пример данных для запроса оценки доступен в папке scoring-data.jsoncli/jobs/pipelines-with-components/nyc_taxi_data_regression .

ENDPOINT_KEY=$(az ml online-endpoint get-credentials -n reg-ep-1234 -o tsv --query primaryKey)
SCORING_URI=$(az ml online-endpoint show -n reg-ep-1234 -o tsv --query scoring_uri)
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --data @./scoring-data.json

Создайте конечную точку в Сети.

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint for mlflow model",
    auth_mode="key"
)
ml_client_workspace.begin_create_or_update(endpoint)

Убедитесь, что у вас есть объект модели mlflow_model_from_registry из предыдущего раздела или получите модель из реестра с помощью метода ml_client_registry.models.get(). Передайте его в объект конфигурации развертывания и создайте сетевое развертывание. Развертывание занимает несколько минут. Направьте весь трафик на новое развертывание.

demo_deployment = ManagedOnlineDeployment(
    name="demo",
    endpoint_name=online_endpoint_name,
    model=mlflow_model_from_registry,
    instance_type="Standard_F4s_v2",
    instance_count=1
)
ml_client_workspace.online_deployments.begin_create_or_update(demo_deployment)

endpoint.traffic = {"demo": 100}
ml_client_workspace.begin_create_or_update(endpoint)

Отправьте пример запроса оценки с помощью примера файла scoring-data.jsonданных. Этот файл доступен в папке cli/jobs/pipelines-with-components/nyc_taxi_data_regression .

# test the  deployment with some sample data
ml_client_workspace.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="demo",
    request_file=parent_dir + "/scoring-data.json"
)

az ml online-endpoint delete --name reg-ep-1234 --yes --no-wait

ml_client_workspace.online_endpoints.begin_delete(name=online_endpoint_name)