Выполнение безопасного развертывания новых развертываний для вывода в режиме реального времени

• Azure CLI и ml расширение для Azure CLI, установленные и настроенные. Для получения дополнительной информации смотрите Установка и настройка интерфейса командной строки (v2).

• Оболочка Bash или совместимая оболочка, например оболочка в системе Linux или подсистеме Windows для Linux. В примерах Azure CLI в этой статье предполагается, что вы используете этот тип оболочки.

• Рабочая область Машинного обучения Azure. Инструкции по созданию рабочей области см. в разделе "Настройка".

• Учетная запись пользователя, которая имеет по крайней мере одну из следующих ролей управления доступом на основе ролей Azure (Azure RBAC):

  • Роль владельца рабочей области Машинного обучения Azure
  • Роль участника для рабочей области Машинного обучения Azure
  • Пользовательская роль с Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* разрешениями

  Дополнительные сведения см. в статье "Управление доступом к рабочим областям Azure машинного обучения".

• При необходимости подсистема Docker, установленная и запущенная локально. Это требование настоятельно рекомендуется. Вам нужно будет развернуть модель локально, а это полезно для отладки.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

• Рабочая область Машинного обучения Azure. Инструкции по созданию рабочей области см. в разделе "Создание рабочей области".

• Пакет SDK машинного обучения Azure для Python версии 2. Чтобы установить пакет SDK, используйте следующую команду:

  pip install azure-ai-ml azure-identity
  

  Чтобы обновить существующую установку пакета SDK до последней версии, выполните следующую команду:

  pip install --upgrade azure-ai-ml azure-identity
  

  Для получения дополнительной информации см. библиотеку клиента пакета Azure Machine Learning для Python.

• Учетная запись пользователя, которая имеет по крайней мере одну из следующих ролей управления доступом на основе ролей Azure (Azure RBAC):

  • Роль владельца рабочей области Машинного обучения Azure
  • Роль участника для рабочей области Машинного обучения Azure
  • Пользовательская роль с Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* разрешениями

  Дополнительные сведения см. в статье "Управление доступом к рабочим областям Azure машинного обучения".

• При необходимости подсистема Docker, установленная и запущенная локально. Это требование настоятельно рекомендуется. Вам нужно будет развернуть модель локально, а это полезно для отладки.

• Подписка Azure. Если у вас нет подписки на Azure, создайте бесплатную учетную запись перед началом.

• Рабочая область Машинного обучения Azure. Инструкции по созданию рабочей области см. в разделе "Создание рабочей области".

• Учетная запись пользователя, которая имеет по крайней мере одну из следующих ролей управления доступом на основе ролей Azure (Azure RBAC):

  • Роль владельца рабочей области Машинного обучения Azure
  • Роль участника для рабочей области Машинного обучения Azure
  • Пользовательская роль с Microsoft.MachineLearningServices/workspaces/onlineEndpoints/* разрешениями

  Дополнительные сведения см. в статье "Управление доступом к рабочим областям Azure машинного обучения".

Настройка переменных среды

Значения по умолчанию можно настроить для использования с Azure CLI. Чтобы избежать передачи значений для подписки, рабочей области и группы ресурсов несколько раз, выполните следующий код:

az account set --subscription <subscription-ID>
az configure --defaults workspace=<Azure-Machine-Learning-workspace-name> group=<resource-group-name>

Клонирование репозитория примеров

Чтобы следовать этой статье, сначала клонируйте репозиторий примеров (azureml-examples). Затем перейдите в каталог репозитория cli/ :

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples
cd cli

Команды, приведенные в этом руководстве, находятся в файле deploy-safe-rollout-online-endpoints.sh в каталоге cli, а файлы конфигурации YAML находятся в подкаталоге endpoints/online/managed/sample/.

Клонирование репозитория примеров

Чтобы запустить примеры обучения, сначала клонируйте репозиторий примеров (azureml-examples). Затем перейдите к каталогу azureml-examples/sdk/python/endpoints/online/managed directory:

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/sdk/python/endpoints/online/managed

Сведения в этой статье основаны на записной книжке online-endpoints-safe-rollout.ipynb . Эта статья содержит то же содержимое, что и записная книжка, но порядок блоков кода немного отличается между двумя документами.

Подключение к рабочей области Машинного обучения Azure

Рабочая область — это ресурс верхнего уровня для машинного обучения Azure. Рабочая область предоставляет централизованное место для работы со всеми артефактами, создаваемыми при использовании Машинного обучения Azure. В этом разделе описано, как подключиться к рабочей области, где выполняются задачи развертывания. Чтобы следовать инструкциям, откройте ваш файл online-endpoints-safe-rollout.ipynb.

1. Импортируйте необходимые библиотеки:

   # import required libraries
   from azure.ai.ml import MLClient
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       Model,
       Environment,
       CodeConfiguration,
   )
   from azure.identity import DefaultAzureCredential

   Примечание.

   Если вы используете конечную точку Kubernetes, доступную онлайн, импортируйте классы KubernetesOnlineEndpoint и KubernetesOnlineDeployment из библиотеки azure.ai.ml.entities.

2. Настройте параметры рабочей области и получите доступ к рабочей области.

   Для подключения к рабочей области требуются параметры идентификатора — подписка, группа ресурсов и имя рабочей области. Эти сведения используются в классе MLClient из модуля azure.ai.ml для получения дескриптора требуемой рабочей области Azure Machine Learning. В этом примере используется проверка подлинности Azure по умолчанию.

   # enter details of your AML workspace
   subscription_id = "<SUBSCRIPTION_ID>"
   resource_group = "<RESOURCE_GROUP>"
   workspace = "<AML_WORKSPACE_NAME>"

   # get a handle to the workspace
   ml_client = MLClient(
       DefaultAzureCredential(), subscription_id, resource_group, workspace
   )

Если на локальном компьютере установлен Git, следуйте инструкциям, чтобы клонировать репозиторий примеров. В противном случае следуйте инструкциям по скачиванию файлов из репозитория примеров.

Клонирование репозитория примеров

Чтобы следовать этой статье, клонируйте репозиторий azureml-examples, а затем перейдите в папку azureml-examples/cli/endpoints/online/model-1.

git clone --depth 1 https://github.com/Azure/azureml-examples
cd azureml-examples/cli/endpoints/online/model-1

Скачивание файлов из репозитория примеров

Вместо клонирования репозитория примеров можно скачать репозиторий на локальный компьютер:

1. Переход к https://github.com/Azure/azureml-examples/.
2. Выберите <> "Код", а затем перейдите на вкладку "Локальный" и выберите "Скачать ZIP".

Создание сетевой конечной точки

Сначала необходимо задать имя конечной точки, а затем настроить ее. В этой статье вы используете файл endpoints/online/managed/sample/endpoint.yml для настройки конечной точки. Этот файл содержит следующие строки:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

В следующей таблице описываются ключи, которые использует формат YAML конечной точки. Чтобы узнать, как указать эти атрибуты, см. схему YAML веб-конечной точки CLI (версии 2). Сведения об ограничениях, связанных с управляемыми онлайн конечными точками, см. в статье "Онлайн конечные точки и пакетные конечные точки в Azure Machine Learning".

Чтобы создать конечную точку в Сети, выполните приведенные действия.

1. Задайте имя конечной точки, выполнив следующую команду Unix. Замените YOUR_ENDPOINT_NAME уникальным именем.

   export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"
   

   Внимание

   Имена конечных точек должны быть уникальными в рамках региона Azure. Например, в регионе westus2 Azure может быть только одна конечная точка с именем my-endpoint.

2. Создайте конечную точку в облаке, выполнив следующий код. Этот код использует файл endpoint.yml для настройки конечной точки:

   az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/managed/sample/endpoint.yml
   

Создайте синее развертывание

С помощью файла endpoints/online/managed/sample/blue-deployment.yml можно настроить ключевые аспекты развертывания с именем blue. Этот файл содержит следующие строки:

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: blue
endpoint_name: my-endpoint
model:
  path: ../../model-1/model/
code_configuration:
  code: ../../model-1/onlinescoring/
  scoring_script: score.py
environment: 
  conda_file: ../../model-1/environment/conda.yaml
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest
instance_type: Standard_DS3_v2
instance_count: 1

Чтобы использовать файл blue-deployment.yml для создания blue развертывания для конечной точки, выполните следующую команду:

az ml online-deployment create --name blue --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/blue-deployment.yml --all-traffic

В файле blue-deployment.yaml строка path указывает, откуда загружаются файлы. Интерфейс командной строки машинного обучения Azure использует эти сведения для отправки файлов и регистрации модели и среды. В качестве наилучшей практики для производства рекомендуется зарегистрировать модель и настройки среды, а также указать зарегистрированное имя и версию отдельно в коде YAML. Используйте формат model: azureml:<model-name>:<model-version> модели, например model: azureml:my-model:1. Для среды используйте формат environment: azureml:<environment-name>:<environment-version>, например environment: azureml:my-env:1.

Для регистрации вы можете извлечь определения YAML model и environment в отдельные файлы YAML и использовать команды az ml model create и az ml environment create. Чтобы узнать больше об этих командах, выполните az ml model create -h и az ml environment create -h.

Дополнительные сведения о регистрации модели в качестве ресурса см. в статье "Регистрация модели" с помощью Azure CLI или пакета SDK для Python. Дополнительные сведения о создании среды см. в разделе "Создание настраиваемой среды".

Создание сетевой конечной точки

Чтобы создать управляемую конечную точку ManagedOnlineEndpoint в Сети, используйте класс. Этот класс предоставляет способ настройки ключевых аспектов конечной точки.

1. Настройка конечной точки:

   # Creating a unique endpoint name with current datetime to avoid conflicts
   import random
   
   online_endpoint_name = "endpt-moe-" + str(random.randint(0, 10000))
   
   # create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       description="this is a sample online endpoint",
       auth_mode="key",
       tags={"foo": "bar"},
   )

   Примечание.

   Чтобы создать конечную точку Kubernetes online, используйте KubernetesOnlineEndpoint класс.

2. Создание конечной точки:

   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

Создайте синее развертывание

Чтобы создать развертывание для управляемой сетевой конечной точки, используйте ManagedOnlineDeployment класс. Этот класс предоставляет способ настройки ключевых аспектов развертывания.

1. blue Настройте развертывание:

   # create blue deployment
   model = Model(path="../model-1/model/sklearn_regression_model.pkl")
   env = Environment(
       conda_file="../model-1/environment/conda.yaml",
       image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
   )
   
   blue_deployment = ManagedOnlineDeployment(
       name="blue",
       endpoint_name=online_endpoint_name,
       model=model,
       environment=env,
       code_configuration=CodeConfiguration(
           code="../model-1/onlinescoring", scoring_script="score.py"
       ),
       instance_type="Standard_DS3_v2",
       instance_count=1,
   )

   В этом примере параметр path указывает, откуда отправляются файлы. Пакет SDK для Python использует эти сведения для отправки файлов и регистрации модели и среды. Как лучшая практика для продакшена, рекомендуется зарегистрировать модель и рабочую среду, указав зарегистрированное имя и версию отдельно в коде.

   Дополнительные сведения о регистрации модели в качестве ресурса см. в статье "Регистрация модели" с помощью Azure CLI или пакета SDK для Python.

   Дополнительные сведения о создании среды см. в разделе "Создание настраиваемой среды".

   Примечание.

   Чтобы создать развертывание для веб-конечной точки Kubernetes, используйте KubernetesOnlineDeployment класс.

2. Создание развертывания:

   ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

   # blue deployment takes 100 traffic
   endpoint.traffic = {"blue": 100}
   ml_client.online_endpoints.begin_create_or_update(endpoint).result()

При создании управляемой конечной точки в Azure Machine Learning Studio необходимо определить первоначальное развертывание для этой конечной точки. Прежде чем определить развертывание, необходимо иметь зарегистрированную модель в рабочей области. В следующем разделе показано, как зарегистрировать модель для развертывания.

Регистрация модели

Регистрация модели — это логическая сущность в рабочей области. Эта сущность может содержать один файл модели или каталог нескольких файлов. Для обеспечения наилучшей практики в производстве рекомендуется зарегистрировать вашу модель и программную среду.

Чтобы зарегистрировать пример модели, выполните действия, описанные в следующих разделах.

Отправка файлов модели

1. Перейдите к Студия машинного обучения Azure.

2. Выберите модели.

3. Выберите "Зарегистрировать" и выберите " Из локальных файлов".

4. В разделе "Тип модели" выберите неуказанный тип.

5. Выберите Обзор, а затем выберите Папка для обзора.

   

6. Перейдите к локальной копии репозитория, клонированного или скачаемого ранее, а затем выберите \azureml-examples\cli\endpoints\online\model-1\model-1\model. При появлении запроса нажмите кнопку "Отправить " и подождите завершения отправки.

7. Нажмите кнопку Далее.

Настройка и регистрация модели

1. На странице параметров модели в разделе "Имя" введите понятное имя модели. Действия, описанные в этой статье, предполагают, что модель называется model-1.

2. Нажмите кнопку "Далее", а затем нажмите кнопку "Регистрация ", чтобы завершить регистрацию.

Для последующих примеров в этой статье также необходимо зарегистрировать модель из папки \azureml-examples\cli\endpoints\online\model-2\model-2\model в локальной копии репозитория. Чтобы зарегистрировать эту модель, повторите шаги, описанные в предыдущих двух разделах, но присвойте модели model-2имя.

Дополнительные сведения о работе с зарегистрированными моделями см. в статье "Работа с зарегистрированными моделями в Машинном обучении Azure".

Сведения о создании среды в студии см. в статье "Создание среды".

Создание управляемой конечной точки в Сети и синего развертывания

Студию машинного обучения Azure можно использовать для создания управляемой сетевой конечной точки непосредственно в браузере. При создании управляемой сетевой конечной точки в студии необходимо определить первоначальное развертывание. Создание пустой такой точки невозможно.

Одним из способов создания управляемой сетевой конечной точки в студии является страница "Модели ". Этот метод также предоставляет простой способ добавления модели в существующее управляемое сетевое развертывание. Чтобы развернуть модель с именем model-1 , зарегистрированную ранее в разделе "Регистрация модели ", выполните действия, описанные в следующих разделах.

Выбор модели

1. Перейдите в студию машинного обучения Azure и выберите "Модели".

2. В списке model-1 выберите модель.

3. Выберите "Развернутьв режиме реального времени".

   

   Откроется окно, которое можно использовать для указания подробных сведений о конечной точке.

   

Настройка начальных параметров

1. В поле "Имя конечной точки" введите имя конечной точки.

2. В разделе "Тип вычислений" сохраните значение по умолчанию Managed.

3. В разделе "Тип проверки подлинности" сохраните значение проверки подлинности на основе ключей по умолчанию.

4. Нажмите кнопку "Далее", а затем на странице "Модель " нажмите кнопку "Далее".

Настройка оставшихся параметров и создание развертывания

1. На странице развертывания выполните следующие действия.

   1. В поле "Имя развертывания" введите синий.
   2. Если вы хотите просмотреть графики действий конечной точки в студии позже:
      1. В разделе Сбор данных моделирования включите переключатель.
      2. В разделе Диагностика Application Insights включите переключатель.
   3. Нажмите кнопку Далее.

2. На странице "Код и среда для вывода " выполните следующие действия:

   1. В разделе "Выбор скрипта оценки для вывода" выберите "Обзор" и выберите файл \azureml-examples\cli\endpoints\online\model-1\onlinescoring\score.py из репозитория, который вы клонировали или скачали ранее.
   2. В поле поиска над списком сред начните вводить sklearn, а затем выберите курированную среду sklearn-1.5:19 .
   3. Нажмите кнопку Далее.

3. На странице вычислений выполните следующие действия.

   1. В разделе "Виртуальная машина" сохраните значение по умолчанию.
   2. В разделе "Число экземпляров" замените значение по умолчанию 1.
   3. Нажмите кнопку Далее.

4. На странице "Динамический трафик" нажмите "Далее", чтобы принять выделение трафика по умолчанию в 100 процентов для развертывания blue.

5. На странице "Проверка " просмотрите параметры развертывания и нажмите кнопку "Создать".

   

Создание конечной точки на странице "Конечные точки"

Кроме того, можно создать управляемую конечную точку в сети на странице конечных точек в студии.

1. Перейдите к Студия машинного обучения Azure.

2. Выберите Конечные точки.

3. Нажмите кнопку "Создать".

   

   Откроется окно, которое можно использовать для указания подробных сведений о конечной точке и развертывании.

4. Выберите модель и нажмите кнопку "Выбрать".

5. Введите параметры для конечной точки и развертывания, как описано в предыдущих двух разделах. На каждом шаге используйте значения по умолчанию и на последнем шаге выберите "Создать ", чтобы создать развертывание.

Чтобы просмотреть состояние существующей конечной точки и развертывания, выполните следующие команды:

az ml online-endpoint show --name $ENDPOINT_NAME 

az ml online-deployment show --name blue --endpoint $ENDPOINT_NAME 

Выходные данные содержат сведения о конечной $ENDPOINT_NAME точке и развертывании blue .

Тестирование конечной точки с помощью примеров данных

Вы можете вызвать конечную точку с помощью invoke команды. Следующая команда используетsample-request.json JSON-файл для отправки примера запроса:

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json

Используйте следующий код, чтобы проверить состояние развертывания модели:

ml_client.online_endpoints.get(name=online_endpoint_name)

Тестирование конечной точки с помощью примеров данных

Вы можете использовать экземпляр MLClient, созданный ранее, чтобы получить дескриптор конечной точки. Чтобы вызвать конечную точку, можно использовать invoke команду со следующими параметрами:

• endpoint_name: имя конечной точки
• request_file: файл, содержащий данные запроса
• deployment_name: имя развертывания для тестирования в конечной точке

Следующий код использует sample-request.json JSON-файл для отправки примера запроса.

# test the blue deployment with some sample data
ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="blue",
    request_file="../model-1/sample-request.json",
)

Просмотр управляемых сетевых конечных точек

Все управляемые сетевые конечные точки можно просмотреть на странице конечных точек студии. На вкладке "Сведения" на странице каждой конечной точки отображаются критически важные сведения, такие как URI конечной точки, состояние, средства тестирования, мониторы действий, журналы развертывания и пример кода потребления. Чтобы просмотреть эти сведения, выполните следующие действия.

1. В студии выберите "Конечные точки". Отображается список всех конечных точек в рабочей области.

2. При необходимости создайте фильтр в типе вычислительного экземпляра, чтобы отобразить только управляемые типы.

3. Выберите имя конечной точки, чтобы просмотреть страницу сведений о конечной точке.

Тестирование конечной точки с помощью примеров данных

На странице конечной точки можно использовать вкладку "Тест" для тестирования управляемого сетевого развертывания. Чтобы ввести пример входных данных и просмотреть результаты, выполните следующие действия.

1. На странице конечной точки перейдите на вкладку Тест. В списке развертыванияblue уже выбрано.

2. Перейдите в файлsample-request.json и скопируйте его образец входных данных.

3. В студии вставьте образец входных данных в поле ввода .

4. Выберите Тест.

В развертывании, описанном в разделе "Развертывание и оценка модели машинного обучения" с помощью сетевой конечной точки, необходимо задать instance_count значение 1 в файле YAML развертывания. Вы можете выполнить горизонтальное масштабирование с помощью update команды:

az ml online-deployment update --name blue --endpoint-name $ENDPOINT_NAME --set instance_count=2

Вы можете использовать экземпляр MLClient, который вы создали ранее, для получения дескриптора развертывания. Чтобы масштабировать развертывание, можно увеличить или уменьшить значение instance_count.

# scale the deployment
blue_deployment = ml_client.online_deployments.get(
    name="blue", endpoint_name=online_endpoint_name
)
blue_deployment.instance_count = 2
ml_client.online_deployments.begin_create_or_update(blue_deployment).result()

Получение подробных сведений о конечной точке

# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)

# existing traffic details
print(endpoint.traffic)

# Get the scoring URI
print(endpoint.scoring_uri)

Чтобы масштабировать развертывание, увеличивая или уменьшая количество экземпляров, выполните следующие шаги.

1. На странице конечной точки перейдите на вкладку "Сведения " и найдите карточку blue для развертывания.

2. В заголовке blue карточки развертывания выберите значок редактирования.

3. В разделе "Число экземпляров" введите 2.

4. Выберите Обновить.

Создайте пакет развертывания с именем green:

az ml online-deployment create --name green --endpoint-name $ENDPOINT_NAME -f endpoints/online/managed/sample/green-deployment.yml

Так как вы явно не выделяете трафик для green развертывания, он имеет нулевой трафик, выделенный для него. Этот факт можно проверить с помощью следующей команды:

az ml online-endpoint show -n $ENDPOINT_NAME --query traffic

Тестирование нового развертывания

Несмотря на то, что green развертывание имеет 0 процентов трафика, выделенного для него, вы можете вызвать его непосредственно с помощью --deployment параметра:

az ml online-endpoint invoke --name $ENDPOINT_NAME --deployment-name green --request-file endpoints/online/model-2/sample-request.json

Если вы хотите с помощью клиента REST непосредственно вызвать развертывание без прохода по правилам трафика, задайте следующий заголовок HTTP: azureml-model-deployment: <deployment-name>. Следующий код использует клиент для URL-адреса (cURL) для вызова развертывания напрямую. Код можно запустить в среде Unix или Подсистемы Windows для Linux (WSL). Инструкции по получению значения $ENDPOINT_KEY см. в разделе Получение ключа или маркера для операций с плоскостью данных.

# get the scoring uri
SCORING_URI=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query scoring_uri)
# use curl to invoke the endpoint
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --header "azureml-model-deployment: green" --data @endpoints/online/model-2/sample-request.json

Создайте новое развертывание для управляемой сетевой конечной точки и назовите развертывание green:

# create green deployment
model2 = Model(path="../model-2/model/sklearn_regression_model.pkl")
env2 = Environment(
    conda_file="../model-2/environment/conda.yaml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu20.04",
)

green_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=online_endpoint_name,
    model=model2,
    environment=env2,
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    instance_type="Standard_DS3_v2",
    instance_count=1,
)

# use MLClient to create green deployment
ml_client.online_deployments.begin_create_or_update(green_deployment).result()

Тестирование нового развертывания

Несмотря на то, что на развертывание green выделено 0 процентов трафика, вы можете вызывать конечную точку и развертывание. Следующий код использует sample-request.json JSON-файл для отправки примера запроса.

ml_client.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="green",
    request_file="../model-2/sample-request.json",
)

Вы можете создать новое развертывание для добавления в управляемую онлайн-конечную точку. Чтобы создать развертывание с именем green, выполните действия, описанные в следующих разделах.

Настройка начальных параметров

1. На странице конечной точки перейдите на вкладку "Сведения " и выберите "Добавить развертывание".

2. На странице "Выбор модели" выберите модель-2 и нажмите кнопку "Выбрать".

3. На странице "Конечная точка " и на странице "Модель " нажмите кнопку "Далее".

4. На странице развертывания выполните следующие действия.

   1. В поле Имя развертывания введите зелёный.
   2. В разделе Сбор данных моделирования включите переключатель.
   3. В разделе Диагностика Application Insights включите переключатель.
   4. Нажмите кнопку Далее.

5. На странице "Код и среда для вывода " выполните следующие действия:

   1. В разделе "Выбор скрипта оценки для вывода" выберите "Обзор" и выберите файл \azureml-examples\cli\endpoints\online\model-2\onlinescoring\score.py из репозитория, который вы клонировали или скачали ранее.
   2. В поле поиска над списком сред начните вводить sklearn, а затем выберите курированную среду sklearn-1.5:19 .
   3. Нажмите кнопку Далее.

6. На странице вычислений выполните следующие действия.

   1. В разделе "Виртуальная машина" сохраните значение по умолчанию.
   2. В разделе "Число экземпляров" замените значение по умолчанию 1.
   3. Нажмите кнопку Далее.

Настройка оставшихся параметров и создание развертывания

1. На странице "Живой трафик" выберите "Далее", чтобы принять назначение трафика по умолчанию: 100 процентов для blue развертывания и 0 процентов для green.

2. На странице "Проверка " просмотрите параметры развертывания и нажмите кнопку "Создать".

   

Добавьте развертывание на странице «Модели»

Кроме того, для добавления развертывания можно использовать страницу Модели.

1. В студии выберите "Модели".

2. Выберите модель в списке.

3. Выберите "Развернутьв режиме реального времени".

4. В разделе "Конечная точка" выберите "Существующий".

5. В списке конечных точек выберите управляемую конечную точку в сети, в которую нужно развернуть модель, и нажмите кнопку "Далее".

   

6. На странице "Модель" нажмите кнопку "Далее".

7. Чтобы завершить создание green развертывания, выполните действия 4–6 в разделе "Настройка начальных параметров " и все действия в разделе "Настройка оставшихся параметров" и создание раздела развертывания .

Тестирование нового развертывания

Хотя 0% трафика не направляется на развертывание green, вы всё равно можете его вызвать и обратиться к конечной точке этого развертывания. На странице конечной точки можно использовать вкладку "Тест" для тестирования управляемого сетевого развертывания. Чтобы ввести пример входных данных и просмотреть результаты, выполните следующие действия.

1. На странице конечной точки перейдите на вкладку "Тест".

2. В списке развертывания выберите зеленый цвет.

3. Перейдите в файлsample-request.json и скопируйте его образец входных данных.

4. В студии вставьте образец входных данных в поле ввода .

5. Выберите Тест.

Используйте следующую команду для копирования 10 процентов трафика и затем отправки его на развертывание green.

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=10"

Вы можете протестировать зеркальный трафик, вызвав конечную точку несколько раз, не указав развертывание для получения входящего трафика:

for i in {1..20} ; do
    az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/model-1/sample-request.json
done

Вы можете убедиться, что указанный процент трафика отправляется в развертывание green, проверив журналы из этого развертывания.

az ml online-deployment get-logs --name green --endpoint $ENDPOINT_NAME

После тестирования можно задать нулевое значение для зеркалирования трафика, чтобы отключить зеркалирование:

az ml online-endpoint update --name $ENDPOINT_NAME --mirror-traffic "green=0"

Используйте следующий код для дублирования 10 процентов трафика и отправки его на green развертывание.

endpoint.mirror_traffic = {"green": 10}
ml_client.begin_create_or_update(endpoint).result()

Вы можете протестировать зеркальный трафик, вызвав конечную точку несколько раз, не указав развертывание для получения входящего трафика:

# You can test mirror traffic by invoking the endpoint several times
for i in range(20):
    ml_client.online_endpoints.invoke(
        endpoint_name=online_endpoint_name,
        request_file="../model-1/sample-request.json",
    )

Вы можете убедиться, что указанный процент трафика отправляется в развертывание green, проверив журналы из этого развертывания.

ml_client.online_deployments.get_logs(
    name="green", endpoint_name=online_endpoint_name, lines=50
)

После тестирования можно задать нулевое значение для зеркалирования трафика, чтобы отключить зеркалирование:

endpoint.mirror_traffic = {"green": 0}
ml_client.begin_create_or_update(endpoint).result()

Чтобы дублировать 10 процентов трафика и отправлять его в green развертывание, выполните следующие шаги:

1. На странице конечной точки перейдите на вкладку "Сведения " и выберите "Обновить трафик".

2. Включите переключатель включения зеркального трафика .

3. В списке имя развертывания выберите зеленый.

4. В разделе %распределения трафика сохраните значение по умолчанию 10 процентов.

5. Выберите Обновить.

На странице сведений о конечной точке теперь отображается зеркальное распределение 10 процентов трафика на развертывание green.

Чтобы проверить зеркальный трафик, перейдите на вкладки Azure CLI или Python, чтобы вызвать конечную точку несколько раз. Убедитесь, что указанный процент трафика отправляется в развертывание green проверив соответствующие журналы из развертывания. Чтобы получить доступ к журналам развертывания на странице конечной точки, перейдите на вкладку "Журналы ".

Вы также можете использовать метрики и журналы для мониторинга производительности зеркального трафика. Дополнительные сведения см. в статье Отслеживание сетевых конечных точек.

После тестирования можно отключить зеркальное отображение, выполнив следующие действия.

1. На странице конечной точки перейдите на вкладку "Сведения " и выберите "Обновить трафик".

2. Отключите переключатель включения зеркального трафика .

3. Выберите Обновить.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=90 green=10"

endpoint.traffic = {"blue": 90, "green": 10}
ml_client.begin_create_or_update(endpoint).result()

1. На странице конечной точки перейдите на вкладку "Сведения " и выберите "Обновить трафик".

2. Настройте трафик развертывания, распределив 10 процентов green развертывания и 90 процентов развертывания blue .

3. Выберите Обновить.

az ml online-endpoint update --name $ENDPOINT_NAME --traffic "blue=0 green=100"

endpoint.traffic = {"blue": 0, "green": 100}
ml_client.begin_create_or_update(endpoint).result()

1. На странице конечной точки перейдите на вкладку "Сведения " и выберите "Обновить трафик".

2. Настройте трафик развертывания, распределив 100 процентов на развертывание green и 0 процентов на развертывание blue.

3. Выберите Обновить.

az ml online-deployment delete --name blue --endpoint $ENDPOINT_NAME --yes --no-wait

ml_client.online_deployments.begin_delete(
    name="blue", endpoint_name=online_endpoint_name
).wait()

1. На странице конечной точки перейдите на вкладку "Сведения " и перейдите на карточку blue развертывания.

2. Рядом с именем развертывания выберите значок удаления.

az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

ml_client.online_endpoints.begin_delete(name=online_endpoint_name)

1. Перейдите к Студия машинного обучения Azure.

2. Выберите Конечные точки.

3. Выберите конечную точку в списке.

4. Выберите команду Удалить.

Кроме того, можно удалить управляемую веб-конечную точку непосредственно на странице конечной точки, перейдя на вкладки "Сведения " и выбрав значок удаления.