Квоты и ограничения службы Azure OpenAI

В этой статье содержится краткий справочник и подробное описание квот и ограничений для Azure OpenAI в службах ИИ Azure.

Справочник по квотам и ограничениям

В следующих разделах приведены краткие инструкции по квотам по умолчанию и ограничениям, которые применяются к Azure OpenAI:

¹ Наши текущие API позволяют до 10 пользовательских заголовков, которые передаются через конвейер и возвращаются. Некоторые клиенты теперь превышают это число заголовков, что приводит к ошибкам HTTP 431. Для этой ошибки нет решения, кроме уменьшения размера заголовка. В будущих версиях API мы больше не будем передавать пользовательские заголовки. Мы рекомендуем клиентам не зависеть от настраиваемых заголовков в будущих системных архитектурах.

Ограничения партии

Квота на пакетную обработку

В таблице показан лимит пакетной квоты. Значения квот для глобального пакета представлены в виде поставленных в очередь токенов. При отправке файла для пакетной обработки количество маркеров, присутствующих в файле, учитывается. До тех пор, пока пакетное задание не достигнет терминального состояния, эти токены будут учитываться против вашего общего лимита на очередь токенов.

Глобальная партия

B = миллиард | M = миллион | K = тысяча

Пакет зоны данных

Серия GPT 4.1

глобальный стандарт предварительного обзора использования компьютера

Просмотр глобального стандарта GPT-4.5

o-series Ограничения скорости

o-series глобальный стандарт

o-series Стандарт зоны данных

o1-preview и o1-mini standard

Ограничения скорости gpt-4o и GPT-4 Turbo

gpt-4oи gpt-4o-minigpt-4 (turbo-2024-04-09) имеют уровни ограничений скорости с более высокими ограничениями для определенных типов клиентов.

gpt-4o и GPT-4 Turbo global standard

M = миллион | K = тысяча

Стандарт зоны данных gpt-4o

M = миллион | K = тысяча

gpt-4o standard

M = миллион | K = тысяча

аудио gpt-4o

Пределы скорости для каждого развертывания аудиомодели gpt-4o составляют 100K TPM и 1K RPM. Во время предварительной версии портал Azure AI Foundry и API могут отображать неточные ограничения скорости. Даже если вы попытаетесь установить другой предел скорости, фактический предел скорости будет составлять 100K TPM и 1K RPM.

M = миллион | K = тысяча

Уровни использования

Глобальные стандартные развертывания используют глобальную инфраструктуру Azure, динамически маршрутизируя трафик клиентов в центр обработки данных с наилучшей доступностью для запросов на вывод. Аналогичным образом развертывания стандартной зоны данных позволяют использовать глобальную инфраструктуру Azure для динамического маршрутизации трафика в центр обработки данных в пределах определенной корпорацией Майкрософт зоны данных с оптимальной доступностью для каждого запроса. Это обеспечивает более согласованную задержку для клиентов с низким до среднего уровня трафика. Клиенты с высоким уровнем устойчивого использования могут видеть большую вариативность в задержке ответа.

Лимит использования определяет уровень, превышение которого может привести к большей вариативности в задержке ответа у клиентов. Использование клиента рассчитывается для каждой модели и представляет собой общее количество токенов, потребленных через все развертывания, подписки и регионы для данного арендатора.

GPT-4o глобальный стандарт, стандарт зоны данных и стандарт

Стандарт GPT-4

Другие типы предложений

Если подписка Azure связана с определенными типами предложений , максимальные значения квоты ниже значений, указанных в приведенных выше таблицах.

^*Это применимо только к небольшому числу устаревших подписок CSP в песочнице. Используйте следующий запрос, чтобы определить, что quotaId связано с вашей подпиской.

Чтобы определить тип предложения, связанный с вашей подпиской, вы можете проверить вашу quotaId. Если ваш quotaId отсутствует в этой таблице, ваша подписка соответствует стандартной квоте.

az login
access_token=$(az account get-access-token --query accessToken -o tsv)

curl -X GET "https://management.azure.com/subscriptions/{subscriptionId}?api-version=2020-01-01" \
  -H "Authorization: Bearer $access_token" \
  -H "Content-Type: application/json"

az rest --method GET --uri "https://management.azure.com/subscriptions/{sub-id}?api-version=2020-01-01"

Выходные данные

{
  "authorizationSource": "Legacy",
  "displayName": "Pay-As-You-Go",
  "id": "/subscriptions/aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "state": "Enabled",
  "subscriptionId": "aaaaaa-bbbbb-cccc-ddddd-eeeeee",
  "subscriptionPolicies": {
    "locationPlacementId": "Public_2014-09-01",
    "quotaId": "PayAsYouGo_2014-09-01",
    "spendingLimit": "Off"
  }
}

Основные передовые методы, чтобы оставаться в пределах лимитов скорости

Чтобы свести к минимуму проблемы, связанные с ограничениями скорости, рекомендуется использовать следующие методы:

• Реализуйте в приложении логику повторных попыток.
• Избегайте внесения резких изменений в рабочую нагрузку. Увеличивайте рабочую нагрузку постепенно.
• Протестируйте различные шаблоны увеличения нагрузки.
• Увеличьте назначенную вашему развертыванию квоту. При необходимости переместите квоту из другого развертывания.

Как запросить увеличение квоты

Запросы на увеличение квоты можно отправить с помощью формы запроса на увеличение квоты. Из-за высокого спроса запросы на увеличение квот принимаются и будут заполнены в том порядке, в который они получены. Приоритет предоставляется клиентам, которые создают трафик, который потребляет существующее выделение квот, и ваш запрос может быть отклонен, если это условие не выполнено.

Для других ограничений скорости отправьте запрос на обслуживание.

Ограничения ёмкости региональной квоты

Доступность квоты по регионам для подписки можно просмотреть на портале Azure AI Foundry.

Кроме того, чтобы просмотреть емкость квоты по регионам для конкретной модели или версии, можно запросить API емкости для подписки. Предоставьте subscriptionId, model_name, и model_version, и API вернет доступную емкость для этой модели во всех регионах и типах развертывания для вашей подписки.

Справочник по API

import requests
import json
from azure.identity import DefaultAzureCredential

subscriptionId = "Replace with your subscription ID" #replace with your subscription ID
model_name = "gpt-4o"     # Example value, replace with model name
model_version = "2024-08-06"   # Example value, replace with model version

token_credential = DefaultAzureCredential()
token = token_credential.get_token('https://management.azure.com/.default')
headers = {'Authorization': 'Bearer ' + token.token}

url = f"https://management.azure.com/subscriptions/{subscriptionId}/providers/Microsoft.CognitiveServices/modelCapacities"
params = {
    "api-version": "2024-06-01-preview",
    "modelFormat": "OpenAI",
    "modelName": model_name,
    "modelVersion": model_version
}

response = requests.get(url, params=params, headers=headers)
model_capacity = response.json()

print(json.dumps(model_capacity, indent=2))

Следующие шаги

Узнайте, как управлять квотой для развертываний Azure OpenAI. Дополнительные сведения о базовых моделях, использующих Azure OpenAI.