Автомасштабирование онлайн-конечных точек в Azure Machine Learning

1. Если вы еще не установили значения по умолчанию для Azure CLI, выполните следующие команды, чтобы избежать многократного указания значений для подписки, рабочей области и группы ресурсов.

   az account set --subscription <subscription ID>
   az configure --defaults workspace=<Azure Machine Learning workspace name> group=<resource group>
   

2. Задайте имена конечных точек и развертываний:

   # set your existing endpoint name
   ENDPOINT_NAME=your-endpoint-name
   DEPLOYMENT_NAME=blue
   

3. Получите идентификатор Azure Resource Manager для развертывания и конечной точки:

   # ARM id of the deployment
   DEPLOYMENT_RESOURCE_ID=$(az ml online-deployment show -e $ENDPOINT_NAME -n $DEPLOYMENT_NAME -o tsv --query "id")
   # ARM id of the deployment. todo: change to --query "id"
   ENDPOINT_RESOURCE_ID=$(az ml online-endpoint show -n $ENDPOINT_NAME -o tsv --query "properties.\"azureml.onlineendpointid\"")
   # set a unique name for autoscale settings for this deployment. The below will append a random number to make the name unique.
   AUTOSCALE_SETTINGS_NAME=autoscale-$ENDPOINT_NAME-$DEPLOYMENT_NAME-`echo $RANDOM`
   

4. Создайте профиль автомасштабирования:

   az monitor autoscale create \
     --name $AUTOSCALE_SETTINGS_NAME \
     --resource $DEPLOYMENT_RESOURCE_ID \
     --min-count 2 --max-count 5 --count 2
   

Для получения дополнительной информации см. справочник az monitor по автомасштабированию.

1. Импортируйте необходимые модули:

   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential, InteractiveBrowserCredential
   from azure.mgmt.monitor import MonitorManagementClient
   from azure.mgmt.monitor.models import AutoscaleProfile, ScaleRule, MetricTrigger, ScaleAction, Recurrence, RecurrentSchedule
   import random 
   import datetime 
   

2. Определите переменные для рабочей области, конечной точки и развертывания:

   subscription_id = "<YOUR-SUBSCRIPTION-ID>"
   resource_group = "<YOUR-RESOURCE-GROUP>"
   workspace = "<YOUR-WORKSPACE>"
   
   endpoint_name = "<YOUR-ENDPOINT-NAME>"
   deployment_name = "blue"
   

3. Получение клиентов для Azure Machine Learning и Azure Monitor:

   try:
       credential = DefaultAzureCredential()
       credential.get_token("https://management.azure.com/.default")
   except Exception:
       credential = InteractiveBrowserCredential()
   ml_client = MLClient(
       credential, subscription_id, resource_group, workspace
   )
   
   mon_client = MonitorManagementClient(
       credential, subscription_id
   )
   

4. Получение конечной точки и объектов развертывания:

   deployment = ml_client.online_deployments.get(
       deployment_name, endpoint_name
   )
   
   endpoint = ml_client.online_endpoints.get(
       endpoint_name
   )
   

5. Создайте параметры автомасштабирования и профиль с именем my_scale_settings:

   # Set a unique name for autoscale settings for this deployment. The following code appends a random number to create a unique name.
   autoscale_settings_name = f"autoscale-{endpoint_name}-{deployment_name}-{random.randint(0,1000)}"
   
   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = []
               )
           ]
       }
   )
   

1. В рабочей области в студии машинного обучения Azure выберите конечные точки в меню слева.

2. Выберите конечную точку для настройки из списка доступных конечных точек.

   

3. На вкладке "Сведения " для выбранной конечной точки прокрутите вниз и выберите ссылку "Настройка автоматического масштабирования " в разделе "Масштабирование".

   

4. Откроется страница масштабирования портала Azure для развертывания. На этой странице выберите “Настраиваемый автомасштаб” под “Выбор масштабирования ресурсов”.

5. В области профилей по умолчанию выберите "Масштаб" на основе метрики.

6. В разделе "Ограничения экземпляра" установите минимальное значение 2, максимальное значение 5 и значение по умолчанию2.

7. Выберите Сохранить в верхней части страницы.

   

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage > 70 avg 5m" \
  --scale out 2

Правило является частью my-scale-settings профиля, где autoscale-name соответствует name части профиля. Значение аргумента condition указывает, что правило активирует, когда среднее потребление ЦП среди экземпляров виртуальной машины превышает 70% в течение пяти минут. Автоматическое масштабирование выделяет два дополнительных экземпляра виртуальных машин при выполнении условия.

Для получения дополнительной информации см. справочник синтаксиса az monitor autoscale в Azure CLI.

1. Создайте определение правила:

   rule_scale_out = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 2, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Это правило относится к последнему 5-минутному среднему значению CPUUtilizationpercentage из аргументов metric_name, time_window, и time_aggregation. Если значение метрики больше threshold 70, развертывание выделяет два дополнительных экземпляра виртуальной машины.

2. Обновите профиль my-scale-settings, чтобы включить это правило.

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out
                   ]
               )
           ]
       }
   )
   

1. На странице масштабирования профиля по умолчанию выберите ссылку "Добавить правило " в разделе "Правила ".

2. На странице правила масштабирования настройте следующие значения:

   • Имя метрик: выберите процент использования ЦП.
   • Оператор: выберите "Больше чем".
   • Пороговое значение метрики: задайте значение 70.
   • Длительность (минуты): задайте значение 5.
   • Статистика по временным интервалам: выберите Среднее.
   • Операция: выберите "Увеличить число на".
   • Число экземпляров: установлено значение 2.

3. Нажмите кнопку "Добавить".

   

4. На странице масштабирования нажмите кнопку "Сохранить".

az monitor autoscale rule create \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --condition "CpuUtilizationPercentage < 25 avg 5m" \
  --scale in 1

1. Создайте определение правила.

   rule_scale_in = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="CpuUtilizationPercentage",
           metric_resource_uri = deployment.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "LessThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 30
       ), 
       scale_action = ScaleAction(
           direction = "Decrease", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

2. Обновите профиль my-scale-settings, чтобы включить это правило.

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in
                   ]
               )
           ]
       }
   )
   

Ниже описана настройка конфигурации правил для поддержки масштабирования правила.

1. На странице Масштабирования портала Azure с выбранным параметром "Настраиваемое автомасштабирование" выберите "Масштабирование на основе метрики" и выберите ссылку "Добавить правило".

2. На странице правила масштабирования настройте следующие значения:

   • Имя метрик: выберите процент использования ЦП.
   • Оператор: задано значение "Меньше".
   • Пороговое значение метрики: заданозначение 30.
   • Длительность (минуты): задайте значение 5.
   • Статистика по интервалу времени: выберите среднее.
   • Операция: выберите Уменьшить количество на.
   • Число экземпляров: заданозначение 1.

3. Нажмите кнопку "Добавить".

   

4. На странице масштабирования нажмите кнопку "Сохранить".

Если вы настраиваете правила масштабирования наружу и внутрь, ваши правила для профиля по умолчанию выглядят примерно так, как на следующем снимке экрана. Правила указывают, что если средняя загрузка ЦП превышает 70% в течение 5 минут, необходимо выделить еще два узла до пяти. Если загрузка ЦП составляет менее 30 % в течение 5 минут, один узел должен быть освобожден до минимума двух.

az monitor autoscale rule create \
 --autoscale-name $AUTOSCALE_SETTINGS_NAME \
 --condition "RequestLatency > 70 avg 5m" \
 --scale out 1 \
 --resource $ENDPOINT_RESOURCE_ID

1. Создайте определение правила:

   rule_scale_out_endpoint = ScaleRule(
       metric_trigger = MetricTrigger(
           metric_name="RequestLatency",
           metric_resource_uri = endpoint.id, 
           time_grain = datetime.timedelta(minutes = 1),
           statistic = "Average",
           operator = "GreaterThan", 
           time_aggregation = "Last",
           time_window = datetime.timedelta(minutes = 5), 
           threshold = 70
       ), 
       scale_action = ScaleAction(
           direction = "Increase", 
           type = "ChangeCount", 
           value = 1, 
           cooldown = datetime.timedelta(hours = 1)
       )
   )
   

   Поле этого правила metric_resource_uri теперь ссылается на конечную точку, а не на развертывание.

2. Обновите профиль my-scale-settings, чтобы включить это правило.

   mon_client.autoscale_settings.create_or_update(
       resource_group, 
       autoscale_settings_name, 
       parameters = {
           "location" : endpoint.location,
           "target_resource_uri" : deployment.id,
           "profiles" : [
               AutoscaleProfile(
                   name="my-scale-settings",
                   capacity={
                       "minimum" : 2, 
                       "maximum" : 5,
                       "default" : 2
                   },
                   rules = [
                       rule_scale_out, 
                       rule_scale_in,
                       rule_scale_out_endpoint
                   ]
               )
           ]
       }
   )
   

1. В нижней части страницы масштабирования портала Azure с выбранным настраиваемым автомасштабированием выберите ссылку "Добавить условие масштабирования ".

2. В разделе "Профиль" выберите "Масштаб" на основе метрики и выберите ссылку "Добавить правило ".

3. На странице правила масштабирования настройте следующие значения:

   • Источник метрик: выбор другого ресурса.
   • Тип ресурса: выберите онлайн конечные точки машинного обучения.
   • Ресурс. Выберите конечную точку.
   • Имя метрики: выбор задержки запроса.
   • Оператор: задано значение "Больше".
   • Пороговое значение метрики: задайте значение 70.
   • Длительность (минуты): задайте значение 5.
   • Статистика по интервалу времени: выберите среднее.
   • Операция: выберите "Увеличить число на".
   • Число экземпляров: задано значение 1.

4. Нажмите кнопку "Добавить".

   

5. На странице масштабирования нажмите кнопку "Сохранить".

az monitor autoscale profile create \
  --name weekend-profile \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --min-count 2 --count 2 --max-count 2 \
  --recurrence week sat sun --timezone "Pacific Standard Time"

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "profiles" : [
            AutoscaleProfile(
                name="Default",
                capacity={
                    "minimum" : 2, 
                    "maximum" : 2,
                    "default" : 2
                },
                rules=[],
                recurrence = Recurrence(
                    frequency = "Week", 
                    schedule = RecurrentSchedule(
                        time_zone = "Pacific Standard Time", 
                        days = ["Saturday", "Sunday"], 
                        hours = ["0"], 
                        minutes = ["0"]
                    )
                )
            )
        ]
    }
)

1. В нижней части страницы масштабирования портала Azure с выбранным параметром "Настраиваемое автомасштабирование " выберите "Добавить условие масштабирования".

2. В разделе "Профиль" выберите "Масштабировать до определенного числа экземпляров".

3. Установите число экземпляров на 2.

4. Для расписания выберите "Повторять определенные дни".

5. Для повтора каждый, выберите субботу и воскресенье.

   

6. Нажмите кнопку "Сохранить " в верхней части страницы масштабирования .

az monitor autoscale update \
  --autoscale-name $AUTOSCALE_SETTINGS_NAME \
  --enabled false

mon_client.autoscale_settings.create_or_update(
    resource_group, 
    autoscale_settings_name, 
    parameters = {
        "location" : endpoint.location,
        "target_resource_uri" : deployment.id,
        "enabled" : False
    }
)

На странице масштабирования портала Azure:

• Чтобы отключить профили автомасштабирования, выберите "Вручную масштабировать" и нажмите кнопку "Сохранить".
• Чтобы вновь включить профили автомасштабирования, выберите Настраиваемое автомасштабирование и нажмите кнопку Сохранить.

# delete the autoscaling profile
az monitor autoscale delete -n "$AUTOSCALE_SETTINGS_NAME"

# delete the endpoint
az ml online-endpoint delete --name $ENDPOINT_NAME --yes --no-wait

mon_client.autoscale_settings.delete(
    resource_group, 
    autoscale_settings_name
)

ml_client.online_endpoints.begin_delete(endpoint_name)

1. В рабочей области в студии машинного обучения Azure выберите конечные точки в меню слева.
2. Выберите круг рядом с именем конечной точки, которую вы хотите удалить.
3. Выберите команду Удалить.

Вы также можете удалить управляемую конечную точку из страницы сведений о конечной точке.