Управление Azure OpenAI в квоте моделей Microsoft Foundry (классическая модель)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

Квота обеспечивает гибкость для активного управления распределением ограничений скорости между развертываниями в вашей подписке. В этой статье описывается процесс управления квотой OpenAI Azure.

Предпосылки

Общие сведения о квоте

Функция квоты Azure OpenAI позволяет назначать ограничения скорости для развертывания, до глобального предела, называемого quota. Квота назначается вашей подписке по каждому региону, на каждую модель, на каждый тип развертывания в единицах токенов в минуту (TPM). При подключении подписки к Azure OpenAI вы получите квоту по умолчанию для большинства доступных моделей. Затем вы назначите TPM каждому развертыванию по мере его создания, а доступная квота для этой модели будет сокращена на эту сумму. Вы можете продолжать создавать развертывания и назначать им TPM, пока не достигнете лимита квоты. После этого можно создать новые развертывания этой модели только путем уменьшения количества TPM, назначенного другим развертываниям этой же модели (таким образом освобождая TPM для использования), или запрашивая увеличение квоты модели в нужном регионе и получая на это одобрение.

При создании развертывания назначенный TPM напрямую сопоставляется с установленным ограничением скорости токенов в минуту для запросов на интерпретацию. Ограничение скорости запросов на минуту (RPM) также будет применяться, и его значение устанавливается пропорционально назначению TPM с использованием следующего соотношения:

Гибкость глобального распространения модуля TPM в рамках подписки и региона позволила Azure OpenAI смягчить другие ограничения.

• Максимальное количество ресурсов в каждом регионе увеличивается до 30.
• Ограничение на создание не более одного развертывания одной модели в ресурсе было удалено.

Назначение квоты

При создании развертывания модели у вас есть возможность назначить количество токенов в минуту (TPM) для этого развертывания. TPM можно изменять с шагом в 1000, и эти изменения будут соответствовать ограничениям скорости TPM и RPM, применяемым в вашем развертывании, как обсуждалось выше.

Чтобы создать новое развертывание в портале Microsoft Foundry, выберите Развертывания, затем >, Развернуть базовую модель, > и Подтвердить.

После развертывания вы можете отрегулировать выделение TPM, выбрав и изменив свою модель на странице "Развертывания" в портале Foundry. Этот параметр также можно изменить на странице управления>модель квоты.

Запрос дополнительных квот

Отправьте форму запроса увеличения квоты, чтобы запросить увеличение квоты для моделей Foundry, продаваемых напрямую через Azure, моделей Azure OpenAI и моделей Anthropic. За исключением антропических моделей, модели от партнеров и сообщества не поддерживают увеличение квоты.

Запросы на увеличение квот обрабатываются в том порядке, в который они получены, и приоритет передает клиентам, которые активно используют существующее выделение квот. Запросы, которые не соответствуют этому условию, могут быть отклонены.

Конкретные параметры модели

Различные развертывания моделей, также называемые классами моделей, имеют уникальные максимальные значения TPM, которыми вы теперь можете управлять. Это определяет максимальное количество TPM, которое может быть выделено для этого типа развертывания модели в определенном регионе.

Все остальные классы моделей имеют общее максимальное значение TPM.

Просмотр и запрос квоты

Чтобы получить общее представление о распределении ваших квот по развертываниям в определенном регионе, выберите Управление>Квота в портале Foundry:

• Развертывание: развертывания модели, разделенные на класс модели.
• Тип квоты: для каждого типа модели имеется одно значение квоты для каждого региона. Квота охватывает все версии этой модели.
• Распределение квоты: Для имени квоты показывается, сколько квот используется развертываниями, а также общая квота, утвержденная для этой подписки и региона. Этот объем квоты также представлен в графе линейчатой диаграммы.
• Квота запроса: значок переходит к этой форме, где можно отправить запросы на увеличение квоты.

Перенос существующих развертываний

В рамках перехода на новую систему квот и распределение на основе TPM все существующие развертывания моделей Azure OpenAI были автоматически перенесены и теперь используют квоты. В случаях, когда существующее распределение TPM/RPM превышает значения по умолчанию из-за предыдущих увеличений ограничения скорости, эквивалентный TPM был назначен затронутым развертываниям.

Общие сведения об ограничениях скорости

Назначение TPM развертыванию устанавливает ограничения скорости токены в минуту (TPM) и запросы в минуту (RPM) для развертывания, как описано выше. Ограничения скорости на основе TPM определяются максимальным числом маркеров, предположительно обрабатываемых в момент получения запроса. Это не то же самое, что и счетчик токенов, используемый для выставления счетов, который вычисляется после завершения всей обработки.

По мере получения каждого запроса Azure OpenAI вычисляет предполагаемое максимально обработанное количество токенов, которое включает следующее:

• Запрос текста и подсчета
• Настройка параметра max_tokens
• Настройка параметра best_of

По мере поступления запросов в конечную точку развертывания, предполагаемое максимальное количество обработанных токенов добавляется к суммарному числу токенов всех запросов, которое сбрасывается каждую минуту. Если в течение этой минуты в любой момент достигнуто ограничение скорости запросов, дальнейшие запросы получат код ответа 429 до сброса счетчика.

Ограничения скорости RPM основаны на количестве запросов, полученных с течением времени. Ожидается, что ограничение частоты запросов обеспечит равномерное распределение запросов в течение одной минуты. Если этот средний поток не поддерживается, запросы могут получить ответ 429, даже если лимит не превышен при измерении в течение минуты. Для реализации этого поведения Azure OpenAI оценивает скорость входящих запросов в течение небольшого периода времени, обычно 1 или 10 секунд. Если число полученных запросов в течение этого времени превышает ожидаемое значение в заданном пределе RPM, новые запросы получат код ответа 429 до следующего периода оценки. Например, если Azure OpenAI выполняет мониторинг частоты запросов по 1-секундным интервалам, ограничение скорости будет происходить для развертывания 600-RPM, если в течение каждого 10-секундного периода получаются более 10 запросов (600 запросов в минуту = 10 запросов в секунду).

Рекомендации по ограничению скорости

Чтобы свести к минимуму проблемы, связанные с ограничениями скорости, рекомендуется использовать следующие методы:

• Задайте max_tokens и best_of минимальными значениями, которые служат потребностям вашего сценария. Например, не устанавливайте большое значение max-token, если вы ожидаете, что ваши ответы будут небольшими.
• Используйте управление квотами для увеличения количества транзакций в минуту при развертывании с высоким трафиком и для уменьшения количества транзакций в минуту при развертывании с ограниченными потребностями.
• Реализуйте в приложении логику повторных попыток.
• Избегайте внесения резких изменений в рабочую нагрузку. Увеличивайте рабочую нагрузку постепенно.
• Протестируйте различные шаблоны увеличения нагрузки.

Общие сведения об ошибках регулирования 429 и о том, что делать

Почему вы можете увидеть ошибку 429

Ошибка 429 ("Слишком много запросов") может возникнуть, когда использование превышает допустимые ограничения или когда система испытывает высокий спрос. Мы недавно улучшили обмен сообщениями об ошибках, чтобы сделать эти ситуации более прозрачными и действенными.

Распространенные 429 сценарии и что с ними делать

1. Превышено ограничение скорости. Это наиболее распространенная ситуация, когда вы получили 429 ответов. Это означает, что ваши запросы превысили ограничение скорости для текущей квоты. В этом случае можно запросить увеличение квоты с помощью предоставленной ссылки в сообщении об ошибке.
2. Система испытывает высокий спрос и не может обрабатывать запрос. Система находится под высоким спросом и не может обрабатывать запрос из-за ограничений емкости или задержки. В этом случае можно повторить попытку после предлагаемого времени. Обратите внимание, что предложение "Стандарт" не имеет соглашения об уровне обслуживания (SLA) и может столкнуться с переменной задержкой при превышении уровня использования. Если вы ищете улучшенную надежность или низкую задержку, рассмотрите возможность обновления до предложения Premium (подготовленная пропускная способность) для повышения прогнозируемости.

Автоматизация развертывания

В этом разделе представлены краткие примеры шаблонов, которые помогут вам начать программное создание внедрений, использующих квоту для установки ограничений скорости модуля TPM. При вводе квоты необходимо использовать версию 2023-05-01 API для связанных действий по управлению ресурсами. Эта версия API предназначена только для управления вашими ресурсами и не влияет на версию API, используемую для вызовов, связанных с выводом данных, таких как автодополнения, чат-комплиты, внедрение данных, генерация изображений и т. д.

PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01

curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/gpt-4o-test-deployment?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' \
  -d '{"sku":{"name":"Standard","capacity":10},"properties": {"model": {"format": "OpenAI","name": "gpt-4o","version": "2024-11-20"}}}'

GET https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/locations/{location}/usages?api-version=2023-05-01

curl -X GET https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/locations/eastus/usages?api-version=2023-05-01 \
  -H "Content-Type: application/json" \
  -H 'Authorization: Bearer YOUR_AUTH_TOKEN' 

az cognitiveservices account deployment create --model-format
                                               --model-name
                                               --model-version
                                               --name
                                               --resource-group
                                               [--capacity]
                                               [--deployment-name]
                                               [--scale-capacity]
                                               [--scale-settings-scale-type {Manual, Standard}]
                                               [--sku]

az login

az cognitiveservices account deployment create -g test-resource-group -n test-resource-name --deployment-name test-deployment-name --model-name gpt-4o --model-version "2024-11-20" --model-format OpenAI --sku-capacity 10 --sku-name "Standard"

az cognitiveservices usage list --location

az cognitiveservices usage list -l eastus

New-AzCognitiveServicesAccountDeployment
   [-ResourceGroupName] <String>
   [-AccountName] <String>
   [-Name] <String>
   [-Properties] <DeploymentProperties>
   [-Sku] <Sku>
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

Connect-AzAccount

$cognitiveServicesDeploymentParams = @{
    ResourceGroupName = 'test-resource-group'
    AccountName = 'test-resource-name'
    Name = 'test-deployment-name'
    Properties = @{
        Model = @{
            Name = 'gpt-4o'
            Version = '2024-11-20'
            Format  = 'OpenAI'
        }
    }
    Sku = @{
        Name = 'Standard'
        Capacity = '10'
    }
}
New-AzCognitiveServicesAccountDeployment @cognitiveServicesDeploymentParams

Get-AzCognitiveServicesUsage -Location <location>

Get-AzCognitiveServicesUsage -Location eastus

//
// This Azure Resource Manager template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
{
    "type": "Microsoft.CognitiveServices/accounts/deployments",
    "apiVersion": "2023-05-01",
    "name": "arm-je-aoai-test-resource/arm-je-std-deployment",    // Update reference to parent Azure OpenAI resource
    "dependsOn": [
        "[resourceId('Microsoft.CognitiveServices/accounts', 'arm-je-aoai-test-resource')]"  // Update reference to parent Azure OpenAI resource
    ],
    "sku": {
        "name": "Standard",      
        "capacity": 10            // The deployment will be created with a 10K TPM limit
    },
    "properties": {
        "model": {
            "format": "OpenAI",
            "name": "gpt-4o",
            "version": "2024-11-20"       
        }
    }
}

//
// This Bicep template shows how to use the new schema introduced in the 2023-05-01 API version to 
// create deployments that set the model version and the TPM limits for standard deployments.
//
resource arm_je_std_deployment 'Microsoft.CognitiveServices/accounts/deployments@2023-05-01' = {
  parent: arm_je_aoai_resource   // Replace this with a reference to the parent Azure OpenAI resource
  name: 'arm-je-std-deployment'
  sku: {
    name: 'Standard'            
    capacity: 10                 // The deployment will be created with a 10K TPM limit
  }
  properties: {
    model: {
      format: 'OpenAI'
      name: 'gpt-4o'
      version: '2024-11-20'          
    }
  }
}

# This Terraform template shows how to use the new schema introduced in the 2023-05-01 API version to 
# create deployments that set the model version and the TPM limits for standard deployments.
# 
# The new schema is not yet available in the AzureRM provider (target v4.0), so this template uses the AzAPI
# provider, which provides a Terraform-compatible interface to the underlying ARM structures.
# 
# For more details on these providers:
#     AzureRM: https://registry.terraform.io/providers/hashicorp/azurerm/latest/docs
#     AzAPI: https://registry.terraform.io/providers/azure/azapi/latest/docs
#

# 
terraform {
  required_providers {
    azapi   = { source  = "Azure/azapi" }
    azurerm = { source  = "hashicorp/azurerm" }
  }
}

provider "azapi" {
  # Insert auth info here as necessary
}

provider "azurerm" {
    # Insert auth info here as necessary  
    features {
    }
}

# 
# To create a complete example, AzureRM is used to create a new resource group and Azure OpenAI Resource
# 
resource "azurerm_resource_group" "TERRAFORM-AOAI-TEST-GROUP" {
  name     = "TERRAFORM-AOAI-TEST-GROUP"
  location = "canadaeast"
}

resource "azurerm_cognitive_account" "TERRAFORM-AOAI-TEST-ACCOUNT" {
  name                  = "terraform-aoai-test-account"
  location              = "canadaeast"
  resource_group_name   = azurerm_resource_group.TERRAFORM-AOAI-TEST-GROUP.name
  kind                  = "OpenAI"
  sku_name              = "S0"
  custom_subdomain_name = "terraform-test-account-"
  }

# 
# AzAPI is used to create the deployment so that the TPM limit and model versions can be set
#
resource "azapi_resource" "TERRAFORM-AOAI-STD-DEPLOYMENT" {
  type      = "Microsoft.CognitiveServices/accounts/deployments@2023-05-01"
  name      = "TERRAFORM-AOAI-STD-DEPLOYMENT"
  parent_id = azurerm_cognitive_account.TERRAFORM-AOAI-TEST-ACCOUNT.id

  body = jsonencode({
    sku = {                            # The sku object specifies the deployment type and limit in 2023-05-01
        name = "Standard",             
        capacity = 10                  # This deployment will be set with a 10K TPM limit
    },
    properties = {
        model = {
            format = "OpenAI",
            name = "gpt-4o",
            version = "2024-11-20"           
        }
    }
  })
}

Удаление ресурсов

При попытке удалить ресурс OpenAI Azure из портала Azure, если все развертывания еще присутствуют, удаление будет заблокировано до тех пор, пока связанные развертывания не будут удалены. Сначала удаляя развертывания, можно правильно освободить распределенные квоты, чтобы их можно было использовать в новых развертываниях.

Однако, если вы удаляете ресурс с помощью REST API или другого программного метода, это обходит необходимость сначала удалять развертывания. При этом связанное квотирование будет оставаться недоступным для назначения новому развертыванию в течение 48 часов, пока ресурс не будет очищен. Чтобы активировать немедленную очистку удаленного ресурса, чтобы освободить квоту, следуйте инструкциям по очистке удаленного ресурса.

Дальнейшие шаги

• Чтобы просмотреть значения квоты по умолчанию для Azure OpenAI, ознакомьтесь со статьей о квотах и ограничениях.