Condividi tramite

InferenceConfig Classe

Rappresenta le impostazioni di configurazione per un ambiente personalizzato utilizzato per la distribuzione.

La configurazione dell'inferenza è un parametro di input per Model le azioni correlate alla distribuzione:

Inizializzare l'oggetto config.

Costruttore

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametri

Nome Descrizione
entry_script
Necessario
str

Percorso di un file locale che contiene il codice da eseguire per l'immagine.
runtime
str

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".

Valore predefinito: None
conda_file
str

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.

Valore predefinito: None
extra_docker_file_steps
str

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.

Valore predefinito: None
source_directory
str

Percorso della cartella che contiene tutti i file per creare l'immagine.

Valore predefinito: None
enable_gpu
bool

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata nei servizi di Microsoft Azure, ad esempio Istanze di Azure Container, calcolo di Azure Machine Learning, macchine virtuali di Azure e servizio Azure Kubernetes. Il valore predefinito è False.

Valore predefinito: None
description
str

Descrizione da assegnare a questa immagine.

Valore predefinito: None
base_image
str

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.

Valore predefinito: None
base_image_registry
ContainerRegistry

Registro immagini che contiene l'immagine di base.

Valore predefinito: None
cuda_version
str

Versione di CUDA da installare per le immagini che necessitano del supporto GPU. L'immagine GPU deve essere usata nei servizi di Microsoft Azure, ad esempio Istanze di Azure Container, calcolo di Azure Machine Learning, macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, il valore predefinito è '9.1'.

Valore predefinito: None
environment
Environment

Oggetto ambiente da usare per la distribuzione. Non è necessario registrare l'ambiente.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Valore predefinito: None
entry_script
Necessario
str

Percorso di un file locale che contiene il codice da eseguire per l'immagine.
runtime
Necessario
str

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".
conda_file
Necessario
str

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.
extra_docker_file_steps
Necessario
str

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.
source_directory
Necessario
str

Percorso della cartella che contiene tutti i file per creare l'immagine.
enable_gpu
Necessario
bool

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata nei servizi di Microsoft Azure, ad esempio Istanze di Azure Container, calcolo di Azure Machine Learning, macchine virtuali di Azure e servizio Azure Kubernetes. Il valore predefinito è False.
description
Necessario
str

Descrizione da assegnare a questa immagine.
base_image
Necessario
str

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.
base_image_registry
Necessario
ContainerRegistry

Registro immagini che contiene l'immagine di base.
cuda_version
Necessario
str

Versione di CUDA da installare per le immagini che necessitano del supporto GPU. L'immagine GPU deve essere usata nei servizi di Microsoft Azure, ad esempio Istanze di Azure Container, calcolo di Azure Machine Learning, macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, il valore predefinito è '9.1'.
environment
Necessario
Environment

Oggetto ambiente da usare per la distribuzione. Non è necessario registrare l'ambiente.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Commenti

L'esempio seguente illustra come creare un oggetto InferenceConfig e usarlo per distribuire un modello.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variabili

Nome Descrizione
entry_script
str

Percorso di un file locale che contiene il codice da eseguire per l'immagine.
runtime
str

Runtime da usare per l'immagine. I runtime supportati correnti sono "spark-py" e "python".
conda_file
str

Percorso di un file locale contenente una definizione di ambiente conda da usare per l'immagine.
extra_docker_file_steps
str

Percorso di un file locale contenente passaggi Docker aggiuntivi da eseguire durante la configurazione dell'immagine.
source_directory
str

Percorso della cartella che contiene tutti i file per creare l'immagine.
enable_gpu
bool

Indica se abilitare il supporto GPU nell'immagine. L'immagine GPU deve essere usata nei servizi di Microsoft Azure, ad esempio Istanze di Azure Container, calcolo di Azure Machine Learning, macchine virtuali di Azure e servizio Azure Kubernetes.
azureml.core.model.InferenceConfig.description

Descrizione da assegnare a questa immagine.
base_image
str

Immagine personalizzata da usare come immagine di base. Se non viene specificata alcuna immagine di base, l'immagine di base verrà usata in base al parametro di runtime specificato.
base_image_registry
ContainerRegistry

Registro immagini che contiene l'immagine di base.
cuda_version
str

Versione di CUDA da installare per le immagini che necessitano del supporto GPU. L'immagine GPU deve essere usata nei servizi di Microsoft Azure, ad esempio Istanze di Azure Container, calcolo di Azure Machine Learning, macchine virtuali di Azure e servizio Azure Kubernetes. Le versioni supportate sono 9.0, 9.1 e 10.0. Se enable_gpu è impostato, il valore predefinito è '9.1'.
azureml.core.model.InferenceConfig.environment

Oggetto ambiente da usare per la distribuzione. Non è necessario registrare l'ambiente.

Specificare questo parametro o gli altri parametri, ma non entrambi. I singoli parametri non fungono da override per l'oggetto ambiente. Le eccezioni includono entry_script, source_directorye description.

Metodi

build_create_payload

Compilare il payload di creazione per l'immagine contenitore.
build_profile_payload

Compilare il payload di profilatura per il pacchetto model.
validate_configuration

Verificare che i valori di configurazione specificati siano validi.

Genera un oggetto WebserviceException se la convalida non riesce.
validation_script_content

Verificare che la sintassi dello script score sia valida con ast.parse.

Genera un oggetto UserErrorException se la convalida non riesce.

build_create_payload

Compilare il payload di creazione per l'immagine contenitore.

build_create_payload(workspace, name, model_ids)

Parametri

Nome Descrizione
workspace
Necessario
Workspace

Oggetto area di lavoro in cui creare l'immagine.
name
Necessario
str

Nome dell'immagine.
model_ids
Necessario
list[str]

Elenco di ID modello da inserire nell'immagine.

Restituisce

Tipo Descrizione
dict

Payload di creazione dell'immagine del contenitore.

Eccezioni

Tipo Descrizione
WebserviceException

build_profile_payload

Compilare il payload di profilatura per il pacchetto model.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametri

Nome Descrizione
profile_name
Necessario
str

Nome dell'esecuzione della profilatura.
input_data
str

Dati di input per la profilatura.

Valore predefinito: None
workspace
Workspace

Oggetto Workspace in cui profilare il modello.

Valore predefinito: None
models
list[Model]

Elenco di oggetti modello. Può essere un elenco vuoto.

Valore predefinito: None
dataset_id
str

ID associato al set di dati contenente i dati di input per l'esecuzione della profilatura.

Valore predefinito: None
container_resource_requirements
ContainerResourceRequirements

requisiti delle risorse del contenitore per l'istanza più grande in cui deve essere distribuito il modello

Valore predefinito: None
description
str

Descrizione da associare all'esecuzione della profilatura.

Valore predefinito: None

Restituisce

Tipo Descrizione
dict

Payload del profilo del modello

Eccezioni

Tipo Descrizione
WebserviceException

validate_configuration

Verificare che i valori di configurazione specificati siano validi.

Genera un oggetto WebserviceException se la convalida non riesce.

validate_configuration()

Eccezioni

Tipo Descrizione
WebserviceException

validation_script_content

Verificare che la sintassi dello script score sia valida con ast.parse.

Genera un oggetto UserErrorException se la convalida non riesce.

validation_script_content()

Eccezioni

Tipo Descrizione
UserErrorException