Как развернуть конвейеры с помощью пакетных конечных точек

ОБЛАСТЬ ПРИМЕНЕНИЯ:Дополнение Azure CLI для машинного обучения версии 2 (текущая версия)Python SDK azure-ai-ml версии 2 (текущая версия)

Компоненты конвейера можно развертывать на конечной точке пакета, предоставляя удобный способ их реализации в Azure Machine Learning. В этой статье вы узнаете, как создать пакетное развертывание, содержащее простой конвейер. Вы научитесь:

Создание и регистрация компонента конвейера
Создание пакетной конечной точки и развертывание компонента конвейера
Тестирование развертывания

Сведения об этом примере

В этом примере вы развертываете компонент конвейера, состоящий из простой командной задачи, которая выводит на экран "hello world!". Этот компонент не требует входных или выходных данных и является самым простым сценарием развертывания конвейера.

Пример в этой статье основан на примерах кода, содержащихся в репозитории azureml-examples . Чтобы выполнять команды локально, не копируя и вставляя YAML и другие файлы, используйте следующие команды, чтобы клонировать репозиторий и перейти в папку для языка программирования:

Azure CLI
Питон

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

Файлы для этого примера находятся в следующих файлах:

cd endpoints/batch/deploy-pipelines/hello-batch

Следуйте за процессом в записных книжках Jupyter

Вы можете работать с версией SDK для Python этого примера, открыв записную книжку sdk-deploy-and-test.ipynb в клонированном репозитории.

Предварительные требования

Подписка Azure. Если у вас нет подписки Azure, создайте бесплатную учетную запись.
Рабочая область Машинного обучения Azure. Чтобы создать рабочую область, смотрите раздел Управление рабочими областями Azure Machine Learning.
Следующие разрешения в рабочей области Машинное обучение Azure:
- Для создания или управления пакетными конечными точками и развертываниями используйте роль владельца, участника или настраиваемую роль с разрешениями Microsoft.MachineLearningServices/workspaces/batchEndpoints/*.
- Для создания развертываний Azure Resource Manager в группе ресурсов рабочей области: используйте роль «владелец», «участник» или настраиваемую роль, которая имеет разрешение Microsoft.Resources/deployments/write в группе ресурсов, в которой развернута рабочая область.
Интерфейс командной строки (CLI) «Машинное обучение Azure» или пакет SDK «Машинное обучение Azure» для Python:
- Azure CLI
- Питон
Выполните следующую команду, чтобы установить Azure CLI и mlрасширение для Машинное обучение Azure:
```
az extension add -n ml
```
Для развертывания компонентов конвейера для пакетных конечных точек требуется расширение версии 2.7 или более поздней для Azure CLI (текущая версия: 2.37.0). az extension update --name ml Используйте команду, чтобы получить последнюю версию.
Выполните следующую команду, чтобы установить SDK для Python для Машинного обучения Azure:
```
pip install azure-ai-ml
```
Для ModelBatchDeployment и PipelineComponentBatchDeployment классов требуется версия 1.7.0 или более поздней версии пакета SDK (текущая версия: 1.32.0). pip install -U azure-ai-ml Используйте команду, чтобы получить последнюю версию.

Подключитесь к рабочей области

Рабочая область — это ресурс верхнего уровня для Машинного обучения Azure. Он предоставляет централизованное место для работы со всеми объектами, создаваемыми при использовании Azure Machine Learning. В этом разделе описано, как подключиться к рабочей области, в которой выполняются задачи развертывания.

Azure CLI
Питон

В следующей команде введите идентификатор подписки, имя рабочей области, имя группы ресурсов и расположение:

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Импортируйте необходимые библиотеки:

from azure.ai.ml import MLClient, Input, load_component
from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
from azure.ai.ml.dsl import pipeline
from azure.identity import DefaultAzureCredential

Настройте сведения о рабочей области и получите идентификатор рабочей области.

В следующей команде введите идентификатор подписки, имя группы ресурсов и имя рабочей области:
```
subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```

Создание компонента конвейера

Конечные точки пакетной службы могут развертывать модели или компоненты конвейера. Компоненты конвейера можно использовать повторно, и вы можете оптимизировать практику MLOps с помощью общих реестров для перемещения этих компонентов из одной рабочей области в другую.

Компонент конвейера в этом примере содержит один шаг, который только выводит сообщение 'hello world' в журналах. Для этого не требуются входные или выходные данные.

Файл hello-component/hello.yml содержит конфигурацию компонента конвейера:

hello-component/hello.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponent.schema.json
name: hello_batch
display_name: Hello Batch component
version: 1
type: pipeline
jobs:
  main_job:
    type: command
    component:
      code: src
      environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
      command: >-
        python hello.py

Зарегистрируйте компонент:

Azure CLI
Питон

az ml component create -f hello-component/hello.yml

hello_batch = load_component(source="hello-component/hello.yml")
hello_batch_registered = ml_client.components.create_or_update(hello_batch)

Создание пакетной конечной точки

Укажите имя конечной точки. Имя пакетной конечной точки должно быть уникальным в каждом регионе, так как имя используется для создания URI вызова. Чтобы обеспечить уникальность, добавьте все конечные символы в имя, указанное в следующем коде.
- Azure CLI
- Питон
```
ENDPOINT_NAME="hello-batch"
```
```
endpoint_name = "hello-batch"
```

Настройка конечной точки:

Azure CLI
Питон

Файл endpoint.yml содержит конфигурацию конечной точки.

endpoint.yml

$schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
name: hello-batch
description: A hello world endpoint for component deployments.
auth_mode: aad_token

endpoint = BatchEndpoint(
    name=endpoint_name,
    description="A hello world endpoint for component deployments",
)

Создание конечной точки:

Azure CLI
Питон

az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml

ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

Запросите универсальный код ресурса (URI) конечной точки:

Azure CLI
Питон

az ml batch-endpoint show --name $ENDPOINT_NAME

endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
print(endpoint)

Развертывание компонента конвейера

Чтобы развернуть компонент конвейера, необходимо создать пакетное развертывание. Развертывание — это набор ресурсов, необходимых для размещения ресурса, который выполняет фактическую работу.

Создайте вычислительный кластер. Конечные точки и развертывания пакетной обработки выполняются в вычислительных кластерах. Они могут работать на любом вычислительном кластере Azure Machine Learning, который уже существует в пространстве рабочей области. Таким образом, несколько пакетных развертываний могут совместно использовать одну и ту же инфраструктуру вычислений. В этом примере используется вычислительный кластер Azure Machine Learning, называемый batch-cluster. Убедитесь, что вычислительный узел существует в рабочей области, или создайте его в противном случае.
- Azure CLI
- Питон
```
az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5
```
```
compute_name = "batch-cluster"
if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
    compute_cluster = AmlCompute(
        name=compute_name,
        description="Batch endpoints compute cluster",
        min_instances=0,
        max_instances=5,
    )
    ml_client.begin_create_or_update(compute_cluster).result()
```

Настройка развертывания:

Azure CLI
Питон

Файл deployment.yml содержит конфигурацию развертывания. Вы можете проверить схему YAML для полной пакетной конечной точки, чтобы получить дополнительные свойства.

deployment.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
name: hello-batch-dpl
endpoint_name: hello-pipeline-batch
type: pipeline
component: azureml:hello_batch@latest
settings:
    default_compute: batch-cluster

deployment = PipelineComponentBatchDeployment(
    name="hello-batch-dpl",
    description="A hello world deployment with a single step.",
    endpoint_name=endpoint.name,
    component=hello_batch,
    settings={"continue_on_step_failure": False, "default_compute": compute_name},
)

Создайте развертывание
- Azure CLI
- Питон
Выполните следующий код, чтобы создать пакетное развертывание в пакетной конечной точке и установить его в качестве развертывания по умолчанию.
```
az ml batch-deployment create --endpoint $ENDPOINT_NAME -f deployment.yml --set-default
```
Совет

Обратите внимание на использование флага --set-default , чтобы указать, что это новое развертывание теперь используется по умолчанию.
Эта команда начнет процесс развертывания и вернет ответ с подтверждением, пока развертывание продолжается.
```
ml_client.batch_deployments.begin_create_or_update(deployment).result()
```
После создания настройте это новое развертывание как стандартное:
```
endpoint = ml_client.batch_endpoints.get(endpoint_name)
endpoint.defaults.deployment_name = deployment.name
ml_client.batch_endpoints.begin_create_or_update(endpoint).result()
```
Развертывание готово для использования.

Тестирование развертывания

После создания развертывания, оно готово к получению заданий. Вы можете вызвать развертывание по умолчанию следующим образом:

Azure CLI
Питон

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
)

Совет

В этом примере конвейер не имеет входных или выходных данных. Однако если компонент конвейера требует некоторых элементов, их можно указать во время вызова. Чтобы узнать, как указывать входные и выходные данные, см. статью "Создание задач и входных данных для конечных точек пакетной обработки" или руководство по развертыванию конвейера для выполнения пакетной оценки с предварительной обработкой.

Вы можете отслеживать ход выполнения шоу и потоковую передачу журналов с помощью:

Azure CLI
Питон

az ml job stream -n $JOB_NAME

ml_client.jobs.get(job.name)

Чтобы дождаться завершения задания, выполните следующий код:

ml_client.jobs.stream(name=job.name)

Очистка ресурсов

После завершения удалите связанные ресурсы из рабочей области:

Azure CLI
Питон

Выполните следующий код, чтобы удалить конечную точку пакетной обработки и её базовое развертывание. --yes используется для подтверждения удаления.

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Удалите конечную точку:

ml_client.batch_endpoints.begin_delete(endpoint_name).result()

(Необязательно) Удалите вычислительные ресурсы, если вы не планируете повторно использовать вычислительный кластер с последующими развертываниями.

Azure CLI
Питон

az ml compute delete -n batch-cluster

ml_client.compute.begin_delete(name="batch-cluster")

Следующие шаги

Обратная связь

Были ли сведения на этой странице полезными?

Last updated on 2026-03-12