Использование пользовательского контейнера для развертывания модели в сетевой конечной точке

APPLIES TO:Azure CLI ml extension v2 (current)Python SDK azure-ai-ml v2 (current)

В Машинном обучении Azure можно использовать пользовательский контейнер для развертывания модели в сетевой конечной точке. Пользовательские развертывания контейнеров могут использовать веб-серверы, отличные от сервера Python Flask по умолчанию, используемого машинным обучением Azure.

При использовании настраиваемого развертывания можно:

• Используйте различные инструменты и технологии, такие как TensorFlow Service (TF Service), TorchServe, Triton Inference Server, пакет Plumber R и минимальное изображение машинного обучения Azure.
• По-прежнему используются встроенные функции мониторинга, масштабирования, оповещения и проверки подлинности, предлагаемые машинным обучением Azure.

В этой статье показано, как использовать образ службы TF для обслуживания модели TensorFlow.

Prerequisites

• Рабочая область Машинного обучения Azure. Инструкции по созданию рабочей области см. в разделе "Создание рабочей области".

• Интерфейс командной строки Azure и расширение ml или Python SDK v2 для Azure Machine Learning:

  • Azure CLI
  • Python SDK

  Чтобы установить Azure CLI и расширение, см. статью ml".

  Примеры в этой статье предполагают, что вы используете оболочку Bash или совместимую с ней. Например, можно использовать оболочку в системе Linux или подсистеме Windows для Linux.

• Группа ресурсов Azure, содержащая вашу рабочую область и к которой вы или ваш главный объект службы имеете доступ с правами участника. Если вы используете действия, описанные в разделе "Создание рабочей области " для настройки рабочей области, вы соответствуете этому требованию.

• Docker Engine, installed and running locally. This prerequisite is highly recommended. Вам потребуется развернуть модель локально, и это полезно для отладки.

Deployment examples

The following table lists deployment examples that use custom containers and take advantage of various tools and technologies.

В этой статье показано, как использовать пример tfserving/half-plus-two.

Скачивание исходного кода

The steps in this article use code samples from the azureml-examples repository. Чтобы клонировать репозиторий, используйте следующие команды:

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Инициализация переменных среды

Чтобы использовать модель TensorFlow, вам потребуется несколько переменных среды. Выполните следующие команды, чтобы определить эти переменные:

BASE_PATH=endpoints/online/custom-container/tfserving/half-plus-two
AML_MODEL_NAME=tfserving-mounted
MODEL_NAME=half_plus_two
MODEL_BASE_PATH=/var/azureml-app/azureml-models/$AML_MODEL_NAME/1

Загрузите модель TensorFlow.

Скачайте и распакуйте модель, разделяющую входное значение на два и добавляя два в результат:

wget https://aka.ms/half_plus_two-model -O $BASE_PATH/half_plus_two.tar.gz
tar -xvf $BASE_PATH/half_plus_two.tar.gz -C $BASE_PATH

Тестируйте образ TF Serving локально

Используйте Docker для локального запуска образа для тестирования:

docker run --rm -d -v $PWD/$BASE_PATH:$MODEL_BASE_PATH -p 8501:8501 \
 -e MODEL_BASE_PATH=$MODEL_BASE_PATH -e MODEL_NAME=$MODEL_NAME \
 --name="tfserving-test" docker.io/tensorflow/serving:latest
sleep 10

Отправка запросов на проверку активности и оценки изображения

Отправьте запрос активности, чтобы проверить, выполняется ли процесс внутри контейнера. Вы должны получить код состояния ответа 200 OK.

curl -v http://localhost:8501/v1/models/$MODEL_NAME

Отправьте запрос на оценивание, чтобы проверить, можно ли получить прогнозы о неразмеченных данных.

curl --header "Content-Type: application/json" \
  --request POST \
  --data @$BASE_PATH/sample_request.json \
  http://localhost:8501/v1/models/$MODEL_NAME:predict

Остановка образа

После локального тестирования остановите изображение:

docker stop tfserving-test

Развертывание сетевой конечной точки в Azure

Чтобы развернуть конечную точку в Интернете в Azure, выполните действия, описанные в следующих разделах.

$schema: https://azuremlsdk2.blob.core.windows.net/latest/managedOnlineEndpoint.schema.json
name: tfserving-endpoint
auth_mode: aml_token

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: <model-version>
  path: ./half_plus_two
environment_variables:
  MODEL_BASE_PATH: /var/azureml-app/azureml-models/tfserving-mounted/<model-version>
  MODEL_NAME: half_plus_two
environment:
  #name: tfserving
  #version: 1
  image: docker.io/tensorflow/serving:latest
  inference_config:
    liveness_route:
      port: 8501
      path: /v1/models/half_plus_two
    readiness_route:
      port: 8501
      path: /v1/models/half_plus_two
    scoring_route:
      port: 8501
      path: /v1/models/half_plus_two:predict
instance_type: Standard_DS3_v2
instance_count: 1

# To create a unique endpoint name, use a time stamp of the current date and time.
import datetime

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")

# Configure an online endpoint.
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="A sample online endpoint",
    auth_mode="key",
    tags={"env": "dev"},
)

# create a blue deployment
model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

env = Environment(
    image="docker.io/tensorflow/serving:latest",
    inference_config={
        "liveness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "readiness_route": {"port": 8501, "path": "/v1/models/half_plus_two"},
        "scoring_route": {"port": 8501, "path": "/v1/models/half_plus_two:predict"},
    },
)

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    environment_variables={
        "MODEL_BASE_PATH": "/var/azureml-app/azureml-models/tfserving-mounted/1",
        "MODEL_NAME": "half_plus_two",
    },
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

В следующих разделах рассматриваются важные понятия параметров YAML и Python.

Base image

environment В разделе YAML или Environment конструкторе в Python необходимо указать базовый образ в качестве параметра. Этот пример использует docker.io/tensorflow/serving:latest как значение image.

При проверке контейнера вы увидите, что этот сервер использует ENTRYPOINT команды для запуска скрипта точки входа. Этот скрипт принимает такие переменные среды, как MODEL_BASE_PATH и MODEL_NAME, и предоставляет такие порты, как 8501. Эти сведения относятся к этому серверу, и вы можете использовать эту информацию для определения способа развертывания. Например, если в определении развертывания указаны переменные среды MODEL_BASE_PATH и MODEL_NAME, служба TF использует эти значения для запуска сервера. Аналогичным образом, если в определении развертывания задать порт для каждого маршрута как 8501, пользовательские запросы к этим маршрутам правильно направляются на сервер TF Serving.

Этот пример основан на примере TF Serving. Но вы можете использовать любой контейнер, который остаётся в сети и отвечает на запросы, поступающие по маршрутам проверки активности, готовности и оценки. Чтобы узнать, как сформировать Dockerfile для создания контейнера, см. другие примеры. Некоторые серверы используют CMD инструкции вместо инструкций ENTRYPOINT .

Параметр inference_config

В разделе environment или в классе Environment элемент inference_config является параметром. Он задает порт и путь для трех типов маршрутов: проверки активности, готовности и оценки состояния. Этот inference_config параметр необходим, если требуется запустить собственный контейнер с управляемой сетевой конечной точкой.

Маршруты готовности и маршруты активности

Некоторые серверы API предоставляют способ проверки состояния сервера. Существует два типа маршрутов, которые можно указать для проверки состояния:

• Liveness routes: To check whether a server is running, you use a liveness route.
• Readiness routes: To check whether a server is ready to do work, you use a readiness route.

В контексте вывода машинного обучения сервер может ответить с кодом состояния 200 OK на запрос динамической активности перед загрузкой модели. Сервер может ответить с кодом состояния 200 OK к запросу готовности только после загрузки модели в память.

Дополнительные сведения об исследованиях на живучесть, готовность и запуск см. в разделе Настройка живучести, готовности и стартовых проб.

Сервер API, который вы выбираете, определяет маршруты активности и готовности. Этот сервер определяется на предыдущем шаге при локальном тестировании контейнера. В этой статье пример развертывания использует тот же путь для маршрутов проверки работоспособности и готовности, потому что TF Serving определяет только маршрут проверки работоспособности. Другие способы определения маршрутов см. в других примерах.

Scoring routes

Используемый сервер API предоставляет способ получения полезной нагрузки для работы. В контексте вывода машинного обучения сервер получает входные данные через определенный маршрут. Определите этот маршрут для сервера API при локальном тестировании контейнера на предыдущем шаге. Укажите этот маршрут в качестве маршрута оценки при определении развертывания, которое нужно создать.

Успешное создание развертывания также обновляет параметр scoring_uri конечной точки. Этот факт можно проверить, выполнив следующую команду: az ml online-endpoint show -n <endpoint-name> --query scoring_uri

Определите местоположение установленной модели

When you deploy a model as an online endpoint, Azure Machine Learning mounts your model to your endpoint. При установке модели можно развернуть новые версии модели, не создавая новый Docker-образ. By default, a model registered with the name my-model and version 1 is located on the following path inside your deployed container: /var/azureml-app/azureml-models/my-model/1.

Например, рассмотрим следующую настройку:

• Структура каталогов на вашем локальном компьютере в /azureml-examples/cli/endpoints/online/custom-container
• модель под названием half_plus_two

model:
    name: tfserving-mounted
    version: 1
    path: ./half_plus_two

model = Model(name="tfserving-mounted", version="1", path="half_plus_two")

В этом случае при создании развертывания ваша модель находится в следующей папке: /var/azureml-app/azureml-models/tfserving-mounted/1.

Можно при необходимости настроить параметр model_mount_path. Изменив этот параметр, можно изменить путь, в котором подключена модель.

При изменении значения model_mount_pathтакже необходимо обновить MODEL_BASE_PATH переменную среды. Установите для MODEL_BASE_PATH то же значение, что и для model_mount_path, чтобы избежать неудачного развертывания из-за ошибки о ненайденном базовом пути.

name: tfserving-deployment
endpoint_name: tfserving-endpoint
model:
  name: tfserving-mounted
  version: 1
  path: ./half_plus_two
model_mount_path: /var/tfserving-model-mount
environment_variables:
  MODEL_BASE_PATH: /var/tfserving-model-mount
...

blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=online_endpoint_name,
    model=model,
    environment=env,
    model_mount_path="/var/tfserving-model-mount",
    environment_variables={
        "MODEL_BASE_PATH": "/var/tfserving-model-mount",
    ...
)

В вашем развертывании ваша модель находится в папке /var/tfserving-model-mount/tfserving-mounted/1. Он больше не находится в azureml-app/azureml-models, но в пути подключения, который вы указываете:

Создание конечной точки и развертывания

az ml online-endpoint create --name tfserving-endpoint -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-endpoint.yml

az ml online-deployment create --name tfserving-deployment -f endpoints/online/custom-container/tfserving/half-plus-two/tfserving-deployment.yml --all-traffic

ml_client.begin_create_or_update(endpoint)

ml_client.begin_create_or_update(blue_deployment)

Вызов конечной точки

После завершения развертывания выполните запрос на оценку к развернутой конечной точке.

RESPONSE=$(az ml online-endpoint invoke -n $ENDPOINT_NAME --request-file $BASE_PATH/sample_request.json)

# Test the blue deployment by using some sample data.
response = ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="sample_request.json",
)

Удаление конечной точки

Если конечная точка больше не нужна, выполните следующую команду, чтобы удалить ее:

az ml online-endpoint delete --name tfserving-endpoint

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

Related content

• Обеспечение безопасного развертывания новых внедрений для предсказания в реальном времени
• Устранение неполадок при развертывании и оценке веб-конечной точки
• Пример предоставления Torch