Azure OpenAI в моделях Foundry от Microsoft: квоты и ограничения

В этой статье содержится краткий справочник и подробное описание квот и ограничений для Azure OpenAI.

Область квоты

Квоты и ограничения не применяются на уровне арендатора. Вместо этого максимальный уровень ограничений квоты ограничен на уровне подписки Azure.

Выделение региональной квоты

Маркеры в минуту (TPM) и ограничения запросов в минуту (RPM) определяются в каждом регионе, на подписку и на модель или тип развертывания.

Например, если модель gpt-4.1 Глобальный Стандарт указана квотой 5 млн TPM и 5000 RPM, тогда в каждом регионе, где эта модель или тип развертывания доступен, есть собственный выделенный пул квот в таком объеме для каждой из ваших подписок Azure. В рамках одной подписки Azure можно использовать большее количество общих квот TPM и RPM для заданной модели и типа развертывания, если у вас есть ресурсы и развертывания модели, распределенные по нескольким регионам.

Уровни квот

Мы представляем категории квот для повышения качества работы с моделями Foundry и снижения фрикции по мере роста рабочих нагрузок. Теперь квоты будут увеличиваться автоматически с использованием, что помогает избежать ошибок ограничения скорости, а также создания более справедливой среды для всех пользователей. Семь уровней будут доступны: бесплатный уровень и уровни 1–6 — с уровнем 6, предлагающим самые высокие квоты. Первоначальный назначенный уровень клиента основан на текущем использовании этой модели и их текущей связи с Microsoft, например состояние Соглашения Enterprise (EA или MCA-E). 

Что изменится для меня?

Ранее Foundry предлагал только типы уровней квот по умолчанию и Enterprise для предложений с оплатой по мере использования, с большим разрывом между уровнями и более длительным процессом запроса увеличения уровня квоты. При использовании уровней квот всем пользователям назначаются уровни с квотами, равными их предыдущим уровням или выше. Все ранее утвержденные увеличение квоты сохраняются и не будут сокращены. По мере роста использования Foundry автоматически увеличивает квоты путем перемещения пользователей на более высокие уровни, а дополнительная квота по-прежнему может быть запрошена через форму квоты.

Как клиент автоматически перемещается с одного уровня на другой, например какие критерии изменения уровня? 

Автоматическое обновление уровня основано главным образом на тенденциях потребления клиентов в моделях Foundry с течением времени. Если использование клиента увеличивается таким образом, что текущий уровень квот ограничивает их способность использовать модели Foundry, система автоматически обновит клиента до следующего уровня выше. Кроме того, учитывается связь клиента с Microsoft. Клиентам с корпоративными связями (включая EA и MCA-E) с Microsoft назначаются более высокие уровни квот. Кроме того, Microsoft также рассмотрит историю платежей клиента, чтобы определить право на автоматическое обновление. 

Можно ли отказаться от автоматического обновления?

Да, вы можете отказаться от автоматического обновления, и вы останетесь на текущем уровне независимо от изменений в потреблении. Мы понимаем, что некоторые из наших клиентов используют квоту для управления выставлением счетов. Однако это не рекомендация Azure, мы понимаем, что если ваша система настроена таким образом, что мы не хотим ее разорвать. Дополнительные сведения об управлении выставлением счетов и рекомендациях см. здесь: Управление затратами.

Чтобы отказаться, можно задать следующий флаг NoAutoUpgrade:

curl -X PATCH \
  "https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/providers/Microsoft.CognitiveServices/quotaTiers/default?api-version=2025-10-01-preview" \
  -H "Authorization: Bearer <YOUR_ACCESS_TOKEN>" \
  -H "Content-Type: application/json" \
  -d '{
    "properties": {
      "tierUpgradePolicy": "NoAutoUpgrade"
    }
  }'

Можно ли запросить дополнительную квоту?

Да, используя форму запроса квоты , можно всегда запрашивать больше квоты. Если запрос утвержден, текущий уровень останется прежним, но с большей квотой.

Как проверить уровень квоты подписки?

В настоящее время можно проверить уровень вашей квоты через API плоскости управления:

curl -X GET \
  "https://management.azure.com/subscriptions/9d295860-44e3-44bb-ade9-235cc45c68ba/providers/Microsoft.CognitiveServices/quotaTiers?api-version=2025-10-01-preview" \
  -H "Authorization: Bearer $(az account get-access-token --resource https://management.azure.com --query accessToken -o tsv)" \
  -H "Content-Type: application/json"

import requests
import json
from azure.identity import DefaultAzureCredential


subscriptionId = "{YOUR-SUBSCRIPTION-ID}"
api_version = "2025-10-01-preview" 
base_url = "https://management.azure.com"

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {
    'Authorization': 'Bearer ' + token.token,
    'Content-Type': 'application/json'
}


list_url = (
    f"{base_url}/subscriptions/{subscriptionId}"
    f"/providers/Microsoft.CognitiveServices/quotaTiers"
    f"?api-version={api_version}"
)

response = requests.get(list_url, headers=headers)
print(json.dumps(response.json(), indent=2))

{
  "value": [
    {
      "properties": {
        "currentTierName": "Tier 1",
        "assignmentDate": "2025-10-18T05:09:05.6334222Z",
        "tierUpgradePolicy": "OnceUpgradeIsAvailable"
      },
      "id": "/subscriptions/aaaaa-bbbbb-ccccc-dddd-eeeeeee/providers/Microsoft.CognitiveServices/quotaTiers/default",
      "name": "default",
      "type": "Microsoft.CognitiveServices/quotaTiers"
    }
  ]
}

Справочник по уровню квот

Справочник по квотам и ограничениям

В следующем разделе представлено краткое руководство по квотам по умолчанию и ограничениям, которые применяются к Azure OpenAI:

¹ Квота Sora 2 RPM учитывает только запросы на видеозадания. Другие типы запросов не ограничены скоростью.

² Наши текущие API-интерфейсы позволяют использование до 10 пользовательских заголовков, которые передаются через конвейер и возвращаются. Некоторые клиенты теперь превышают это число заголовков, что приводит к ошибкам HTTP 431. Для этой ошибки нет решения, кроме уменьшения размера заголовка. В будущих версиях API мы больше не будем передавать настроенные заголовки. Мы рекомендуем клиентам не зависеть от пользовательских заголовков в будущих системных архитектурах.

Ограничения скорости маршрутизатора модели

Лимиты на партии

Квота на пакетную обработку

В таблице показан предел квоты партии. Значения квот для глобального пакета представлены в виде поставленных в очередь токенов. При отправке файла для пакетной обработки число маркеров в файле учитывается. До тех пор, пока пакетное задание не достигнет конечного состояния, эти маркеры учитываются в пределах общего предельного количества маркеров в очереди.

Глобальная партия

B = миллиард | M = миллион | K = тысяча

Пакет зоны данных

gpt-oss

Уровни использования

Развертывания Global Standard используют глобальную инфраструктуру Azure. Они динамически направляют трафик клиентов в центр обработки данных с наилучшей доступностью для инференс-запросов клиента. Аналогичным образом развертывания Data Zone Standard позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных в пределах определенной Microsoft зоны данных с оптимальной доступностью для каждого запроса. Эта практика обеспечивает более согласованную задержку для клиентов с низким до среднего уровня трафика. Клиенты с высоким уровнем устойчивого использования могут видеть большую вариативность в задержке ответа.

Уровни использования Azure OpenAI предназначены для обеспечения согласованной производительности для большинства клиентов с низким и средним уровнем трафика. Каждый уровень использования определяет максимальную пропускную способность (токены в минуту) с прогнозируемой задержкой. Когда использование остается на назначенном уровне, задержка остается стабильной, а время отклика последовательным.

Что произойдет, если вы превышаете уровень использования?

• Если пропускная способность запроса превышает уровень использования (особенно в периоды высокого спроса), задержка ответа может значительно увеличиться.
• Задержка может варьироваться и в некоторых случаях превышать в два раза значения, характерные для вашего уровня использования.
• Эта изменчивость наиболее заметна для клиентов, которые демонстрируют высокий уровень устойчивого использования или имеют скачкообразные шаблоны трафика.

Рекомендуемые действия при превышении уровня использования

Если вы столкнулись с 429 ошибками или заметите повышенную вариативность задержки, выполните следующие действия.

• Запросить увеличение квоты: посетите портал Azure, чтобы запросить более высокую квоту для подписки.
• Рассмотрите возможность обновления до премиального предложения (PTU): для рабочих нагрузок, критически важных для задержки, или больших объемов рабочих нагрузок, обновитесь до единиц предоставленной пропускной способности (PTU). PTU предоставляет выделенные ресурсы, гарантированную емкость и прогнозируемую задержку даже в большом масштабе. Это лучший выбор для критически важных приложений, требующих согласованной производительности.
• Мониторинг использования: регулярно просматривайте метрики использования на портале Azure, чтобы убедиться, что вы работаете в пределах уровня. При необходимости настройте рабочую нагрузку или стратегию развертывания.

Вы можете получать ответы 429 (Too Many Requests) даже если метрики использования токенов отображаются ниже вашего лимита.

Это может произойти в следующих сценариях:

• Запросы отклонены из-за ограничений длины входных данных или контекста (HTTP 400). Эти запросы не выставляются счётом и могут не отражаться в метриках использования токенов, но они по-прежнему могут засчитываться на ограничение скорости.
• Запросы оцениваются на основе потенциального использования маркеров (например, max_tokensдаже если маркеры в конечном счете не создаются).
• Распределенное поведение с ограничением скорости, когда принудительное применение не может быть совершенно точным или немедленно отражено в агрегированных метриках.

Ограничение использования определяет уровень использования, выше которого клиенты могут видеть большую дисперсию в задержке ответа. Использование клиента определяется для каждой модели. Это общее количество токенов, потребляемых во всех развертываниях, подписках и регионах для данного клиента.

Глобальный стандарт, стандарт "Зона данных" и стандарт

Основные передовые методы, чтобы оставаться в пределах лимитов скорости

Чтобы свести к минимуму проблемы, связанные с ограничениями скорости, рекомендуется использовать следующие методы:

• Реализуйте в приложении логику повторных попыток.
• Избегайте внесения резких изменений в рабочую нагрузку. Увеличивайте рабочую нагрузку постепенно.
• Протестируйте различные шаблоны увеличения нагрузки.
• Увеличьте назначенную вашему развертыванию квоту. При необходимости переместите квоту из другого развертывания.

Запрос на увеличение квоты

Отправьте форму запроса на увеличение квоты для моделей Foundry, продаваемых непосредственно Azure, моделей Azure OpenAI и моделей Anthropic. За исключением антропических моделей, модели от партнеров и сообщества не поддерживают увеличение квоты.

Запросы на увеличение квот обрабатываются в том порядке, в который они получены, и приоритет передает клиентам, которые активно используют существующее выделение квот. Запросы, которые не соответствуют этому условию, могут быть отклонены.

Ограничения ёмкости региональной квоты

Доступность квоты можно просмотреть по регионам для подписки на портале Foundry.

Чтобы просмотреть емкость квоты по регионам для определенной модели или версии, можно запросить API емкости для подписки. Укажите subscriptionId, model_name и model_version, и API вернет доступную емкость для этой модели во всех регионах и типах развертывания, включенных в вашу подписку.

См. справочник по API.

Перед запуском примера выполните следующие действия:

• Установка зависимостей: pip install azure-identity requests
• Войдите с помощью идентификатора Azure, который может считывать возможности модели для подписки.

import requests
import json
from azure.identity import DefaultAzureCredential

subscriptionId = "Replace with your subscription ID" #replace with your subscription ID
model_name = "gpt-4o"     # Example value, replace with model name
model_version = "2024-08-06"   # Example value, replace with model version

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {'Authorization': 'Bearer ' + token.token}

url = f"https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/modelCapacities"
params = {
    "api-version": "2024-06-01-preview",
    "modelFormat": "OpenAI",
    "modelName": model_name,
    "modelVersion": model_version
}

response = requests.get(url, params=params, headers=headers)
model_capacity = response.json()

print(json.dumps(model_capacity, indent=2))

Связанный контент

• Узнайте, как управлять квотой для развертываний Azure OpenAI.
• Узнайте больше об основополагающих моделях, которые обеспечивают работу Azure OpenAI.