Distribuire modelli di Machine Learning in Azure

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

• Un'area di lavoro di Azure Machine Learning. Per altre informazioni, vedere Creare risorse dell'area di lavoro.
• Un modello. Gli esempi in questo articolo usano un modello preaddestrato.
• Un computer in grado di eseguire Docker, ad esempio un'istanza di ambiente di calcolo.

• Un'area di lavoro di Azure Machine Learning. Per altre informazioni, vedere Creare risorse dell'area di lavoro.
• Un modello. Gli esempi in questo articolo usano un modello preaddestrato.
• SDK (Software Development Kit) di Azure Machine Learning per Python.
• Un computer in grado di eseguire Docker, ad esempio un'istanza di ambiente di calcolo.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

Per visualizzare le aree di lavoro a cui si ha accesso, usare i comandi seguenti:

az login
az account set -s <subscription>
az ml workspace list --resource-group=<resource-group>

SI APPLICA A:Azure Machine Learning SDK v1 per Python

from azureml.core import Workspace
ws = Workspace(subscription_id="<subscription_id>",
               resource_group="<resource_group>",
               workspace_name="<workspace_name>")

Per ulteriori informazioni sull'uso dell'SDK per connettersi a un'area di lavoro, consultare la documentazione di Azure Machine Learning SDK per Python.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

I comandi seguenti scaricano un modello per poi registrarlo nell'area di lavoro di Azure Machine Learning:

wget https://aka.ms/bidaf-9-model -O model.onnx --show-progress
az ml model register -n bidaf_onnx \
    -p ./model.onnx \
    -g <resource-group> \
    -w <workspace-name>

Impostare -p sul percorso di una cartella o di un file da registrare.

Per ulteriori informazioni su az ml model register, consultare la documentazione di riferimento.

Registrare un modello da un processo di training di Azure Machine Learning

Se si necessita di registrare un modello creato in precedenza tramite un processo di training di Azure Machine Learning, è possibile specificare l'esperimento, l'esecuzione e il percorso del modello:

az ml model register -n bidaf_onnx --asset-path outputs/model.onnx --experiment-name myexperiment --run-id myrunid --tag area=qna

Il parametro --asset-path fa riferimento alla posizione cloud del modello. In questo esempio viene usato il percorso di un singolo file. Per includere più file nella registrazione del modello, impostare --asset-path sul percorso di una cartella contenente i file.

Per ulteriori informazioni su az ml model register, consultare la documentazione di riferimento.

Registrare un modello da un file locale

È possibile registrare un modello specificando il percorso locale del modello. È possibile specificare il percorso di una cartella o di un singolo file nel computer locale.

import urllib.request
from azureml.core.model import Model

# Download model
urllib.request.urlretrieve("https://aka.ms/bidaf-9-model", "model.onnx")

# Register model
model = Model.register(ws, model_name="bidaf_onnx", model_path="./model.onnx")

Per includere più file nella registrazione del modello, impostare model_path sul percorso di una cartella contenente i file.

Per ulteriori informazioni, consultare la documentazione per la Classe del modello.

Registrare un modello da un processo di training di Azure Machine Learning

Quando si usa l'SDK per eseguire il training di un modello, è possibile ricevere un oggetto Run o un oggetto AutoMLRun, a seconda di come sia stato eseguito il training del modello. Ciascun oggetto può essere usato per registrare un modello creato da un'esecuzione dell'esperimento.

• Registrare un modello da un oggetto azureml.core.Run:

  SI APPLICA A:Azure Machine Learning SDK v1 per Python

  model = run.register_model(model_name='bidaf_onnx',
                             tags={'area': 'qna'},
                             model_path='outputs/model.onnx')
  print(model.name, model.id, model.version, sep='\t')
  

  Il parametro model_path fa riferimento alla posizione cloud del modello. In questo esempio viene usato il percorso di un singolo file. Per includere più file nella registrazione del modello, impostare model_path sul percorso di una cartella contenente i file. Per ulteriori informazioni, consultare la documentazione di Run.register_model.

• Registrare un modello da un oggetto azureml.train.automl.run.AutoMLRun:

  SI APPLICA A:Azure Machine Learning SDK v1 per Python

  description = 'My AutoML Model'
  model = run.register_model(description = description,
                              tags={'area': 'qna'})
  
  print(run.model_id)
  

  In questo esempio i metric parametri e iteration non vengono specificati, quindi l'iterazione con la metrica primaria migliore viene registrata. Il valore model_id restituito dall'esecuzione viene usato al posto di un nome modello.

  Per ulteriori informazioni, consultare la documentazione di AutoMLRun.register_model.

  Per distribuire un modello registrato da un oggetto AutoMLRun, è consigliabile farlo tramite il pulsante di distribuzione one-select nello Studio di Azure Machine Learning.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

Una configurazione di inferenza minima può essere scritta come segue:

{
    "entryScript": "echo_score.py",
    "sourceDirectory": "./source_dir",
    "environment": {
        "docker": {
            "arguments": [],
            "baseDockerfile": null,
            "baseImage": "mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04",
            "enabled": false,
            "sharedVolumes": true,
            "shmSize": null
        },
        "environmentVariables": {
            "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
        },
        "name": "my-deploy-env",
        "python": {
            "baseCondaEnvironment": null,
            "condaDependencies": {
                "channels": [],
                "dependencies": [
                    "python=3.6.2",
                    {
                        "pip": [
                            "azureml-defaults"
                        ]
                    }
                ],
                "name": "project_environment"
            },
            "condaDependenciesFile": null,
            "interpreterPath": "python",
            "userManagedDependencies": false
        },
        "version": "1"
    }
}

Salvare il file con il nome dummyinferenceconfig.json.

Per una descrizione più approfondita delle configurazioni di inferenza, vedere questo articolo.

Nell'esempio seguente viene illustrato come creare un ambiente minimo senza dipendenze pip, usando lo script di assegnazione dei punteggi fittizi definito in precedenza.

from azureml.core import Environment
from azureml.core.model import InferenceConfig

env = Environment(name="project_environment")
dummy_inference_config = InferenceConfig(
    environment=env,
    source_directory="./source_dir",
    entry_script="./echo_score.py",
)

Per ulteriori informazioni sugli ambienti, vedere Creare e gestire ambienti per il training e la distribuzione.

Per ulteriori informazioni sulla configurazione dell'inferenza, consultare la documentazione della classe InferenceConfig.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

Le voci del documento deploymentconfig.json vengono mappate ai parametri per LocalWebservice.deploy_configuration. La tabella seguente descrive il mapping tra le entità nel documento JSON e i parametri per il metodo:

Il codice JSON seguente è un esempio di configurazione della distribuzione da usare con l'interfaccia della riga di comando:

{
    "computeType": "local",
    "port": 32267
}

Salvare il codice JSON come file denominato deploymentconfig.json.

Per ulteriori informazioni, consultare lo schema di distribuzione.

Il seguente codice Python illustra come creare una configurazione di distribuzione locale:

from azureml.core.webservice import LocalWebservice

deployment_config = LocalWebservice.deploy_configuration(port=6789)

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

Sostituire bidaf_onnx:1 con il nome del modello e il relativo numero di versione.

az ml model deploy -n myservice \
    -m bidaf_onnx:1 \
    --overwrite \
    --ic dummyinferenceconfig.json \
    --dc deploymentconfig.json \
    -g <resource-group> \
    -w <workspace-name>

service = Model.deploy(
    ws,
    "myservice",
    [model],
    dummy_inference_config,
    deployment_config,
    overwrite=True,
)
service.wait_for_deployment(show_output=True)

print(service.get_logs())

Per ulteriori informazioni, consultare la documentazione per Model.deploy() e Webservice.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

curl -v http://localhost:32267
curl -v -X POST -H "content-type:application/json" \
    -d '{"query": "What color is the fox", "context": "The quick brown fox jumped over the lazy dog."}' \
    http://localhost:32267/score

import requests
import json

uri = service.scoring_uri
requests.get("http://localhost:6789")
headers = {"Content-Type": "application/json"}
data = {
    "query": "What color is the fox",
    "context": "The quick brown fox jumped over the lazy dog.",
}
data = json.dumps(data)
response = requests.post(uri, data=data, headers=headers)
print(response.json())

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

{
    "entryScript": "score.py",
    "sourceDirectory": "./source_dir",
    "environment": {
        "docker": {
            "arguments": [],
            "baseDockerfile": null,
            "baseImage": "mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04",
            "enabled": false,
            "sharedVolumes": true,
            "shmSize": null
        },
        "environmentVariables": {
            "EXAMPLE_ENV_VAR": "EXAMPLE_VALUE"
        },
        "name": "my-deploy-env",
        "python": {
            "baseCondaEnvironment": null,
            "condaDependencies": {
                "channels": [],
                "dependencies": [
                    "python=3.6.2",
                    {
                        "pip": [
                            "azureml-defaults",
                            "nltk",
                            "numpy",
                            "onnxruntime"
                        ]
                    }
                ],
                "name": "project_environment"
            },
            "condaDependenciesFile": null,
            "interpreterPath": "python",
            "userManagedDependencies": false
        },
        "version": "2"
    }
}

Salvare il file con nome inferenceconfig.json

SI APPLICA A:Azure Machine Learning SDK v1 per Python

env = Environment(name='myenv')
python_packages = ['nltk', 'numpy', 'onnxruntime']
for package in python_packages:
    env.python.conda_dependencies.add_pip_package(package)

inference_config = InferenceConfig(environment=env, source_directory='./source_dir', entry_script='./score.py')

Per altre informazioni, consultare la documentazione relativa a LocalWebservice, Model.deploy() e Webservice.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

Sostituire bidaf_onnx:1 con il nome del modello e il relativo numero di versione.

az ml model deploy -n myservice \
    -m bidaf_onnx:1 \
    --overwrite \
    --ic inferenceconfig.json \
    --dc deploymentconfig.json \
    -g <resource-group> \
    -w <workspace-name>

service = Model.deploy(
    ws,
    "myservice",
    [model],
    inference_config,
    deployment_config,
    overwrite=True,
)
service.wait_for_deployment(show_output=True)

print(service.get_logs())

Per ulteriori informazioni, consultare la documentazione per Model.deploy() e Webservice.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

curl -v -X POST -H "content-type:application/json" \
    -d '{"query": "What color is the fox", "context": "The quick brown fox jumped over the lazy dog."}' \
    http://localhost:32267/score

import requests

uri = service.scoring_uri

headers = {"Content-Type": "application/json"}
data = {
    "query": "What color is the fox",
    "context": "The quick brown fox jumped over the lazy dog.",
}
data = json.dumps(data)
response = requests.post(uri, data=data, headers=headers)
print(response.json())

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

Le opzioni disponibili per una configurazione di distribuzione variano a seconda della destinazione di calcolo scelta.

{
    "computeType": "aci",
    "containerResourceRequirements":
    {
        "cpu": 0.5,
        "memoryInGB": 1.0
    },
    "authEnabled": true,
    "sslEnabled": false,
    "appInsightsEnabled": false
}

Salvare il file come re-deploymentconfig.json.

Per ulteriori informazioni, consultare questa guida di riferimento.

from azureml.core.webservice import AciWebservice

deployment_config = AciWebservice.deploy_configuration(
    cpu_cores=0.5, memory_gb=1, auth_enabled=True
)

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

Sostituire bidaf_onnx:1 con il nome del modello e il relativo numero di versione.

az ml model deploy -n myservice \
    -m bidaf_onnx:1 \
    --overwrite \
    --ic inferenceconfig.json \
    --dc re-deploymentconfig.json \
    -g <resource-group> \
    -w <workspace-name>

Per visualizzare i log del servizio, usare il comando seguente:

az ml service get-logs -n myservice \
    -g <resource-group> \
    -w <workspace-name>

service = Model.deploy(
    ws,
    "myservice",
    [model],
    inference_config,
    deployment_config,
    overwrite=True,
)
service.wait_for_deployment(show_output=True)

print(service.get_logs())

Per ulteriori informazioni, consultare la documentazione per Model.deploy() e Webservice.

SI APPLICA A:estensione ML dell'interfaccia della riga di comando di Azure v1

# Get the current model id
import os

stream = os.popen(
    'az ml model list --model-name=bidaf_onnx --latest --query "[0].id" -o tsv'
)
MODEL_ID = stream.read()[0:-1]
MODEL_ID

az ml service delete -n myservice
az ml service delete -n myaciservice
az ml model delete --model-id=<MODEL_ID>

Per eliminare un servizio Web distribuito, usare az ml service delete <name of webservice>.

Per eliminare un modello registrato dall'area di lavoro, usare az ml model delete <model id>

Altre informazioni sull'eliminazione di un servizio Web e sull'eliminazione di un modello.

service.delete()
model.delete()

Per eliminare un servizio Web distribuito, usare service.delete(). Per eliminare un modello registrato, usare model.delete().

Per altre informazioni, vedere la documentazione per Webservice.delete() e Model.delete().