Развертывание моделей MLflow в подключенных конечных точках

Статья
09/02/2024

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

Из этой статьи вы узнаете, как развернуть модель MLflow в подключенной конечной точке для вывода в реальном времени. При развертывании модели MLflow в сетевой конечной точке не требуется указывать скрипт оценки или среду. Эта функция называется развертыванием без кода.

Для развертывания без кода Машинное обучение Azure:

Динамически устанавливает пакеты Python, предоставляемые conda.yaml в файле. Поэтому зависимости устанавливаются во время выполнения контейнера.
Предоставляет базовый образ MLflow или курированную среду, содержащую следующие элементы:
- azureml-inference-server-http
- mlflow-skinny
- Скрипт оценки для вывода.

Совет

Рабочие области без доступа к общедоступной сети. Перед развертыванием моделей MLflow в сетевых конечных точках без подключения к исходящим данным необходимо упаковать модели (предварительная версия). Используя упаковку моделей, можно избежать необходимости подключения к Интернету, Машинное обучение Azure в противном случае потребуется динамически установить необходимые пакеты Python для моделей MLflow.

Пример

В этом примере показано, как развернуть модель MLflow в сетевой конечной точке для выполнения прогнозов. В примере используется модель MLflow, основанная на наборе данных диабета. Этот набор данных содержит 10 базовых переменных: возраст, секс, индекс массы тела, среднее кровяное давление и шесть измерений крови, полученных от 442 пациентов с диабетом. Он также содержит ответ на интерес, количественное измерение прогрессирования заболеваний в течение одного года после базового плана.

Модель была обучена с помощью scikit-learn регрессии, и все необходимые предварительной обработки были упакованы в виде конвейера, что делает эту модель сквозным конвейером, который переходит от необработанных данных к прогнозам.

Сведения в этой статье основаны на примерах кода, имеющихся в репозитории azureml-examples. Чтобы выполнить команды локально без необходимости копирования и вставки YAML и других файлов, клонируйте репозиторий и измените каталоги cliна , если вы используете Azure CLI. Если вы используете пакет SDK Машинное обучение Azure для Python, измените каталоги sdk/python/endpoints/online/mlflowна .

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Следуйте инструкциям в Jupyter Notebook

Чтобы использовать пакет SDK для Python для Машинное обучение Azure, откройте модель Развертывания MLflow в записной книжке веб-конечных точек в клонированного репозитория.

Необходимые компоненты

Перед выполнением действий, описанных в этой статье, убедитесь, что выполнены следующие необходимые условия:

Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу. Попробуйте бесплатную или платную версию Машинного обучения Azure.
Управление доступом на основе ролей Azure (Azure RBAC) используется для предоставления доступа к операциям в Машинном обучении Azure. Чтобы выполнить действия, описанные в этой статье, учетная запись пользователя должна быть назначена роль владельца или участника для рабочей области Машинное обучение Azure или настраиваемой ролиMicrosoft.MachineLearningServices/workspaces/onlineEndpoints/*. Дополнительные сведения о ролях см. в статье "Управление доступом к рабочей области Машинное обучение Azure".
У вас должна быть модель MLflow, зарегистрированная в рабочей области. В этой статье регистрируется модель, обученная для набора данных диабета в рабочей области.
Кроме того, необходимо:
- Установите Azure CLI и ml расширение в Azure CLI. Дополнительные сведения об установке интерфейса командной строки см. в статье "Установка и настройка интерфейса командной строки( версия 2)".
- Установите пакет SDK Машинное обучение Azure для Python.
```
pip install azure-ai-ml azure-identity
```
- Установите пакет mlflow SDK MLflow и подключаемый модуль Машинное обучение Azure для MLflowazureml-mlflow.
```
pip install mlflow azureml-mlflow
```
- Если код не выполняется в вычислении Машинное обучение Azure, настройте URI отслеживания MLflow или URI реестра MLflow, чтобы указать на рабочую область Машинное обучение Azure, над которую вы работаете. Дополнительные сведения о подключении MLflow к рабочей области см. в разделе "Настройка MLflow" для Машинное обучение Azure.
Никаких дополнительных предварительных требований при работе в Студия машинного обучения Azure.

Подключение к рабочей области

Сначала подключитесь к рабочей области Машинное обучение Azure, в которой вы будете работать.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Рабочая область — это ресурс верхнего уровня для Машинного обучения Azure, который обеспечивает централизованное расположение для работы со всеми артефактами, созданными в Машинном обучении Azure. В этом разделе подключитесь к рабочей области, в которой будут выполняться задачи развертывания.

Импортируйте необходимые библиотеки:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import (
ManagedOnlineEndpoint,
ManagedOnlineDeployment,
Model,
Environment,
CodeConfiguration,
)
from azure.identity import DefaultAzureCredential
from azure.ai.ml.constants import AssetTypes

Настройте сведения о рабочей области и получите дескриптор для рабочей области:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Импорт необходимых библиотек

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client
from mlflow.tracking import MlflowClient

Инициализация клиента MLflow
```
mlflow_client = MlflowClient()
```

Настройка клиента развертывания

deployment_client = get_deploy_client(mlflow.get_tracking_uri())

Регистрация модели.

Вы можете развернуть только зарегистрированные модели в сетевых конечных точках. В этом случае у вас уже есть локальная копия модели в репозитории, поэтому необходимо опубликовать модель только в реестре в рабочей области. Этот шаг можно пропустить, если модель, которую вы пытаетесь развернуть, уже зарегистрирована.

MODEL_NAME='sklearn-diabetes'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "endpoints/online/ncd/sklearn-diabetes/model"

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"
model = ml_client.models.create_or_update(
        Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Что делать, если модель была зарегистрирована внутри запуска?

Если модель была зарегистрирована внутри запуска, ее можно зарегистрировать напрямую.

Чтобы зарегистрировать модель, необходимо знать расположение, в котором он хранится. Если вы используете функцию MLflow autolog , путь к модели зависит от типа и платформы модели. Необходимо проверить выходные данные заданий, чтобы определить имя папки модели. Эта папка содержит файл с именем MLModel.

Если вы используете log_model метод для ручной регистрации моделей, передайте путь к модели в качестве аргумента в метод. Например, если вы регистрируете модель, используя mlflow.sklearn.log_model(my_model, "classifier")путь, в котором хранится classifierмодель.

Используйте интерфейс командной строки Машинное обучение Azure версии 2 для создания модели из выходных данных задания обучения. В следующем примере именованная $MODEL_NAME модель регистрируется с помощью артефактов задания с идентификатором $RUN_ID. Путем, где хранится модель, является $MODEL_PATH.

az ml model create --name $MODEL_NAME --path azureml://jobs/$RUN_ID/outputs/artifacts/$MODEL_PATH

Примечание.

Путь $MODEL_PATH — это расположение, где модель хранилась при выполнении.

model_name = 'sklearn-diabetes'

ml_client.models.create_or_update(
    Model(
        path=f"azureml://jobs/{RUN_ID}/outputs/artifacts/{MODEL_PATH}"
        name=model_name,
        type=AssetTypes.MLFLOW_MODEL
    )
)

Примечание.

Путь MODEL_PATH — это расположение, где модель хранилась при выполнении.

model_name = 'sklearn-diabetes'

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"runs://{RUN_ID}/{MODEL_PATH}"
)
version = registered_model.version

Примечание.

Путь MODEL_PATH — это расположение, где модель хранилась при выполнении.

Развертывание модели MLflow в сетевой конечной точке

Настройте конечную точку, в которой будет развернута модель. В следующем примере настраивается имя и режим проверки подлинности конечной точки:
Задайте имя конечной точки, выполнив следующую команду (замените YOUR_ENDPOINT_NAME уникальным именем):
```
export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
```
Настройка конечной точки:

create-endpoint.yaml
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key
```
```
# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An online endpoint to generate predictions for the diabetes dataset",
    auth_mode="key",
    tags={"foo": "bar"},
)
```
Свойства этой конечной точки можно настроить с помощью файла конфигурации. В этом случае вы настраиваете режим проверки подлинности конечной точки на "ключ".
```
# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}
```
Запишите эту конфигурацию в JSON файл:
```
endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))
```
Этот шаг будет выполняться на этапе развертывания.

Создание конечной точки:

az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/ncd/create-endpoint.yaml

ml_client.begin_create_or_update(endpoint)

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

Настройте развертывание. Развертывание представляет собой набор ресурсов, необходимых для размещения модели, которая выполняет процесс вывода.
sklearn-deployment.yaml
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-deployment
endpoint_name: my-endpoint
model:
  name: mir-sample-sklearn-ncd-model
  version: 2
  path: sklearn-diabetes/model
  type: mlflow_model
instance_type: Standard_DS3_v2
instance_count: 1
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1
)
```
Кроме того, если у конечной точки нет подключения исходящего трафика, используйте упаковку модели (предварительная версия), включив аргумент with_package=True:
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1,
    with_package=True,
)
```
```
blue_deployment_name = "blue"
```
Чтобы настроить требования к оборудованию развертывания, создайте JSON-файл с требуемой конфигурацией:
```
deploy_config = {
    "instance_type": "Standard_F4s_v2",
    "instance_count": 1,
}
```
Примечание.

Дополнительные сведения о полной спецификации этой конфигурации см. в схеме управляемого онлайн-развертывания (версия 2).

Запись конфигурации в файл:
```
deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))
```
Этот шаг будет выполняться на этапе развертывания.
Примечание.

Автоматическое scoring_script создание и environment поддерживается только для pyfunc вкуса модели. Сведения об использовании другого варианта модели см. в статье "Настройка развертываний модели MLflow".
Создание развертывания:
```
az ml online-deployment create --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
Если у конечной точки нет подключения к исходящего трафика, используйте упаковку модели (предварительную версию), включив флаг --with-package:
```
az ml online-deployment create --with-package --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
```
ml_client.online_deployments.begin_create_or_update(blue_deployment)
```
```
blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)    
```
1. На странице конечных точек выберите "Создать" на вкладке конечных точек реального времени.
2. Выберите модель MLflow, зарегистрированную ранее, а затем нажмите кнопку "Выбрать ".
  
  Примечание.
  
  На странице конфигурации содержится примечание для информирования о том, что скрипт оценки и среда автоматически создаются для выбранной модели MLflow.
3. Выберите "Создать " для развертывания в новой конечной точке.
4. Укажите имя конечной точки и развертывания или сохраните имена по умолчанию.
5. Выберите "Развернуть" , чтобы развернуть модель в конечной точке.
Назначьте весь трафик развертыванию. До сих пор конечная точка имеет одно развертывание, но ни один из его трафика не назначается.
Этот шаг не требуется в Azure CLI, так как вы использовали --all-traffic флаг во время создания. Если необходимо изменить трафик, можно использовать команду az ml online-endpoint update --traffic. Дополнительные сведения об обновлении трафика см. в статье о постепенном обновлении трафика.
```
endpoint.traffic = {"blue": 100}
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
Запись конфигурации в файл:
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
Этот шаг не требуется в студии.
Обновите конфигурацию конечной точки:
Этот шаг не требуется в Azure CLI, так как вы использовали --all-traffic флаг во время создания. Если необходимо изменить трафик, можно использовать команду az ml online-endpoint update --traffic. Дополнительные сведения об обновлении трафика см. в статье о постепенном обновлении трафика.
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```
Этот шаг не требуется в студии.

Вызов конечной точки

Когда развертывание будет готово, его можно использовать для обслуживания запроса. Одним из способов тестирования развертывания является использование встроенной функции вызова в используемом клиенте развертывания. Следующий код JSON — это пример запроса для развертывания.

sample-request-sklearn.json

{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}

Примечание.

input_data используется в этом примере вместо inputs этого в службе MLflow. Это связано с тем, что Машинное обучение Azure требует другого формата входных данных для автоматического создания контрактов swagger для конечных точек. Дополнительные сведения о ожидаемых форматах входных данных см. в разделе "Различия между моделями, развернутыми в Машинное обучение Azure и встроенном сервере MLflow".

Отправьте запрос в конечную точку следующим образом:

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample-request-sklearn.json",
)

# Read the sample request that's in the json file to construct a pandas data frame
with open("sample-request-sklearn.json", "r") as f:
    sample_request = json.loads(f.read())
    samples = pd.DataFrame(**sample_request["input_data"])

deployment_client.predict(endpoint=endpoint_name, df=samples)

Модели MLflow могут использовать вкладку "Тест" для создания вызовов к созданным конечным точкам. Для этого выполните указанные далее действия.

Перейдите на вкладку "Конечные точки" и выберите созданную конечную точку.
Перейдите на вкладку "Тест ".
Вставьте содержимое файла sample-request-sklearn.json.
Выберите Тест.
Прогнозы будут отображаться в поле справа.

Ответ будет выглядеть примерно, как следующий текст:

[ 
  11633.100167144921,
  8522.117402884991
]

Внимание

Для развертывания MLflow без кода тестирование через локальные конечные точки в настоящее время не поддерживается.

Настройка развертываний модели MLflow

Вам не нужно указывать скрипт оценки в определении развертывания модели MLflow в сетевой конечной точке. Однако вы можете сделать это и настроить способ выполнения вывода.

Обычно вам нужно настроить развертывание модели MLflow, когда:

Модель не имеет на ней PyFunc вкус.
Необходимо настроить способ запуска модели, например, чтобы использовать конкретный вкус для загрузки модели с помощью mlflow.<flavor>.load_model().
Необходимо выполнить предварительную или после обработки в подпрограмме оценки, когда она не выполняется самой моделью.
Выходные данные модели не могут быть хорошо представлены в табличных данных. Например, это тензор, представляющий изображение.

Внимание

Если вы решили указать скрипт оценки для развертывания модели MLflow, вам также потребуется указать среду, в которой будет выполняться развертывание.

Шаги

Чтобы развернуть модель MLflow с помощью пользовательского скрипта оценки:

Определите папку, в которой находится модель MLflow.

a. Перейдите в Студию машинного обучения Azure.

b. Перейдите в раздел "Модели".

c. Выберите модель, которую вы пытаетесь развернуть и перейти на вкладку "Артефакты ".

d. Запишите отображаемую папку. Эта папка была указана при регистрации модели.
Создайте скрипт оценки. Обратите внимание, как имя model папки, которое вы ранее определили, входит в функцию init() .

Совет

Следующий скрипт оценки представлен в качестве примера о том, как выполнять вывод с помощью модели MLflow. Этот скрипт можно адаптировать к вашим потребностям или изменить любую из его частей, чтобы отразить ваш сценарий.

score.py
```
import logging
import os
import json
import mlflow
from io import StringIO
from mlflow.pyfunc.scoring_server import infer_and_parse_json_input, predictions_to_json


def init():
    global model
    global input_schema
    # "model" is the path of the mlflow artifacts when the model was registered. For automl
    # models, this is generally "mlflow-model".
    model_path = os.path.join(os.getenv("AZUREML_MODEL_DIR"), "model")
    model = mlflow.pyfunc.load_model(model_path)
    input_schema = model.metadata.get_input_schema()


def run(raw_data):
    json_data = json.loads(raw_data)
    if "input_data" not in json_data.keys():
        raise Exception("Request must contain a top level key named 'input_data'")

    serving_input = json.dumps(json_data["input_data"])
    data = infer_and_parse_json_input(serving_input, input_schema)
    predictions = model.predict(data)

    result = StringIO()
    predictions_to_json(predictions, result)
    return result.getvalue()
```
Предупреждение

Рекомендации MLflow 2.0. Указанный сценарий оценки будет работать с MLflow 1.X и MLflow 2.X. Однако следует рекомендовать, что ожидаемые форматы входных и выходных данных в этих версиях могут отличаться. Проверьте определение среды, используемое для обеспечения использования ожидаемой версии MLflow. Обратите внимание, что MLflow 2.0 поддерживается только в Python 3.8+.
Создайте среду, в которой можно выполнить скрипт оценки. Так как модель является моделью MLflow, требования conda также указываются в пакете модели. Дополнительные сведения о файлах, включенных в модель MLflow, см . в формате MLmodel. Затем вы создадите среду с помощью зависимостей conda из файла. Однако необходимо также включить пакетazureml-inference-server-http, необходимый для сетевых развертываний в Машинное обучение Azure.

Файл определения conda выглядит следующим образом:

conda.yml
```
channels:
- conda-forge
dependencies:
- python=3.9
- pip
- pip:
  - mlflow
  - scikit-learn==1.2.2
  - cloudpickle==2.2.1
  - psutil==5.9.4
  - pandas==2.0.0
  - azureml-inference-server-http
name: mlflow-env
```
Примечание.

Пакет azureml-inference-server-http был добавлен в исходный файл зависимостей conda.

Этот файл зависимостей conda будет использоваться для создания среды:
В конфигурации развертывания будет создана встроенная среда.
```
environment = Environment(
    conda_file="sklearn-diabetes/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest",
)
```
Эта операция не поддерживается в пакете SDK MLflow
1. Перейдите на вкладку "Среды" в боковом меню.
2. Выберите вкладку "Настраиваемые среды>".
3. Введите имя среды в данном случае sklearn-mlflow-online-py37.
4. Для выбора источника среды выберите "Использовать существующий образ docker" с необязательным файлом conda.
5. Введите mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04путь к образу реестра контейнеров.
6. Нажмите кнопку "Далее ", чтобы перейти к разделу "Настройка ".
7. Скопируйте содержимое sklearn-diabetes/environment/conda.yml файла и вставьте его в текстовое поле.
8. Нажмите кнопку "Далее", чтобы перейти на страницу "Теги", а затем еще раз.
9. На странице Отзыв выберите Создать. Среда готова к использованию.
Создание развертывания:
Создайте файл конфигурации развертывания deployment.yml:
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-diabetes-custom
endpoint_name: my-endpoint
model: azureml:sklearn-diabetes@latest
environment: 
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04
  conda_file: sklearn-diabetes/environment/conda.yml
code_configuration:
  code: sklearn-diabetes/src
  scoring_script: score.py
instance_type: Standard_F2s_v2
instance_count: 1
```
Создание развертывания:
```
az ml online-deployment create -f deployment.yml
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    environment=environment,
    code_configuration=CodeConfiguration(
        code="sklearn-diabetes/src",
        scoring_script="score.py"
    ),
    instance_type="Standard_F4s_v2",
    instance_count=1,
)
```
Эта операция не поддерживается в пакете SDK MLflow
1. На странице Конечные точки выберите + Создать.
2. Выберите модель MLflow, зарегистрированную ранее.
3. Выберите дополнительные параметры в мастере создания конечной точки, чтобы открыть дополнительные параметры.
4. Укажите имя и тип проверки подлинности для конечной точки, а затем нажмите кнопку "Далее ", чтобы увидеть, что выбранная модель используется для развертывания.
5. Нажмите кнопку "Далее ", чтобы перейти на страницу _Deployment .
6. Нажмите кнопку "Далее", чтобы перейти на страницу "Код + среда ". При выборе модели, зарегистрированной в формате MLflow, вам не нужно указывать скрипт оценки или среду на этой странице. Однако необходимо указать его в этом разделе.
7. Выберите ползунок рядом с настройкой среды и скриптом оценки.
8. Перейдите к созданному ранее скрипту оценки.
9. Выберите настраиваемые среды для типа среды.
10. Выберите пользовательскую среду, созданную ранее, и нажмите кнопку "Далее".
11. Завершите работу мастера, чтобы развернуть модель в конечной точке.
После завершения развертывания он будет готов к выполнению запросов. Одним из способов тестирования развертывания является использование примера файла запроса вместе с методом invoke .

sample-request-sklearn.json
```
{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}
```
Отправьте запрос в конечную точку следующим образом:
```
az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json
```
```
ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment.name,
    request_file="sample-request-sklearn.json",
)
```
Эта операция не поддерживается в пакете SDK MLflow
1. Перейдите на вкладку "Конечные точки" и выберите созданную конечную точку.
2. Перейдите на вкладку "Тест ".
3. Вставьте содержимое файла в поле входных данных для тестирования конечной sample-request-sklearn.json точки.
4. Выберите Тест.
5. Прогнозы будут отображаться в разделе "Результаты теста" в правой части поля.
Ответ будет выглядеть примерно, как следующий текст:
```
{
  "predictions": [ 
    11633.100167144921,
    8522.117402884991
  ]
}
```
Предупреждение

Рекомендации MLflow 2.0: в MLflow 1.X predictions ключ будет отсутствует.

Очистка ресурсов

После завершения работы с конечной точкой удалите связанные с ней ресурсы:

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

Поделиться через

Развертывание моделей MLflow в подключенных конечных точках

Пример

Следуйте инструкциям в Jupyter Notebook

Необходимые компоненты

Подключение к рабочей области

Регистрация модели.

Что делать, если модель была зарегистрирована внутри запуска?

Развертывание модели MLflow в сетевой конечной точке

Вызов конечной точки

Настройка развертываний модели MLflow

Шаги

Очистка ресурсов

Обратная связь

Дополнительные ресурсы

Поделиться через

Развертывание моделей MLflow в подключенных конечных точках

Пример

Следуйте инструкциям в Jupyter Notebook

Необходимые компоненты

Подключение к рабочей области

Регистрация модели.

Что делать, если модель была зарегистрирована внутри запуска?

Развертывание модели MLflow в сетевой конечной точке

Вызов конечной точки

Настройка развертываний модели MLflow

Шаги

Очистка ресурсов

Связанный контент

Обратная связь

Дополнительные ресурсы