Ограничение использования маркера API для крупной языковой модели

ОБЛАСТЬ ПРИМЕНЕНИЯ: Разработчик | Базовый | Базовая версия 2 | Стандартный | Standard v2 | Премиум | Премиум версии 2

Политика llm-token-limit предотвращает пики использования API больших языковых моделей (LLM) на основе каждого ключа путем ограничения потребления маркеров языковой модели на указанную скорость (число в минуту), квоту за указанный период или оба. При превышении указанного ограничения скорости маркера вызывающий объект получает 429 Too Many Requests код состояния ответа. При превышении указанной квоты вызывающий получает 403 Forbidden код состояния ответа.

Поддерживаемые API модели

Эта политика работает с API LLM, добавленными в управление API, которые соответствуют одной из следующих схем API:

• Api завершения чата OpenAI или API ответов
• API сообщений Anthropic (в настоящее время поддерживается на уровнях управления API версии 2)
• Google Vertex AI API

Правило политики

<llm-token-limit counter-key="key value"
        tokens-per-minute="number"
        token-quota="number"
        token-quota-period="Hourly | Daily | Weekly | Monthly | Yearly"
        estimate-prompt-tokens="true | false"    
        retry-after-header-name="custom header name, replaces default 'Retry-After'" 
        retry-after-variable-name="policy expression variable name"
        remaining-quota-tokens-header-name="header name"  
        remaining-quota-tokens-variable-name="policy expression variable name"
        remaining-tokens-header-name="header name"  
        remaining-tokens-variable-name="policy expression variable name"
        tokens-consumed-header-name="header name"
        tokens-consumed-variable-name="policy expression variable name" />

Атрибуты

Использование

• Разделы политики: inbound.
• Области политики: глобальная, рабочая область, продукт, API, операция
• Шлюзы: классическая, версия 2, локальная, рабочая область

Примечания об использовании

• Эту политику можно использовать несколько раз для определения политики.
• Эту политику можно настроить при добавлении LLM API через портал.
• Значение remaining-quota-tokens-variable-name или remaining-quota-tokens-header-name является оценкой и может быть больше, чем ожидалось, на основе фактического потребления маркеров. Дополнительные сведения см. в разделе "Рекомендации по подсчетам и оценке маркеров".
• Управление API использует один счетчик для каждого counter-key значения, указанного в политике. Счетчик обновляется во всех областях, в которых политика настроена с этим значением ключа. Если вы хотите настроить отдельные счетчики в разных областях (например, определенный API или продукт), укажите разные значения ключей в разных областях. Например, добавьте строку, которая определяет область к значению выражения.
• Уровни версии 2 используют алгоритм контейнера маркеров для ограничения скорости, который отличается от алгоритма скользящего окна в классических уровнях. Из-за этой разницы в реализации, когда вы настраиваете лимиты токенов в уровнях v2 на нескольких областях с использованием одного и того counter-keyже , убедитесь, что значение tokens-per-minute одинаковое для всех экземпляров политик. Несогласованные значения могут привести к непредсказуемому поведению. Дополнительные сведения см. в разделе Регулирование запросов с помощью Azure API Management
• Эта политика отслеживает использование маркеров независимо от каждого шлюза, в котором она применяется, включая шлюзы рабочей области и региональные шлюзы в развертывании с несколькими регионами. Он не агрегирует количество маркеров во всем экземпляре.

Рекомендации по подсчетам маркеров и оценке

Политика отслеживает и применяет ограничения маркеров с использованием фактических данных об использовании маркеров, возвращаемых из конечной точки LLM. При необходимости можно включить оценку маркеров запроса, чтобы уменьшить ненужные внутренние запросы. Примените следующие рекомендации.

• Типы токенов: политика в настоящее время подсчитывает только маркеры запроса и завершения.
• Без оценки маркеров запроса (estimate-prompt-tokens="false"): политика использует фактические значения использования маркеров из usage раздела ответа API LLM. Запросы могут отправляться в серверную часть, даже если ограничение превышено; это обнаруживается из ответа, после чего последующие запросы блокируются до сброса предела.
• При оценке маркеров запроса (estimate-prompt-tokens="true"): перед отправкой запроса политика оценивает маркеры запроса из схемы запроса в определении API. Это может уменьшить ненужные внутренние запросы, если ограничение уже превышено, но может снизить производительность.
• Потоковая передача: если потоковая передача включена в запросе API (stream: true), маркеры запроса всегда оцениваются независимо от estimate-prompt-tokens параметра. Маркеры завершения также оцениваются при потоковой передаче ответов.
• Входные данные изображения: для моделей, которые принимают входные изображения, маркеры изображений обычно учитываются серверной частью LLM и включаются в вычисления ограничения и квоты. Однако если потоковая передача включена или estimate-prompt-tokens задана true, политика переначисливает каждый образ как не более 1200 маркеров.
• Параллелизм. Так как точное количество используемых маркеров невозможно определить, пока ответы не будут получены от серверной части, одновременных или почти одновременных запросов могут временно превышать настроенное ограничение маркера. После обработки ответов и превышения предела последующие запросы блокируются до сброса предела.
• Оставшаяся точность квоты: предполагаемый оставшийся квота маркера, возвращенная remaining-quota-tokens-variable-name или remaining-quota-tokens-header-name может быть больше, чем ожидалось на основе фактического потребления маркеров, и становится более точной по мере приближения квоты.

Примеры

Ограничение скорости токенов

В следующем примере ограничение скорости токена составляет 5000 в минуту, задается IP-адресом вызывающего абонента. Политика не оценивает количество маркеров, необходимых для запроса. После каждого выполнения политики остальные маркеры, разрешенные для этого ВЫЗЫВАющего IP-адреса в период времени, хранятся в переменной remainingTokens.

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Request.IpAddress)"
            tokens-per-minute="5000" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Квота маркера

В следующем примере квота маркера 10000 определяется идентификатором подписки и сбрасывается ежемесячно. После каждого выполнения политики количество оставшихся маркеров, разрешенных для этого идентификатора подписки в период времени, хранится в переменной remainingQuotaTokens.

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Subscription.Id)"
            token-quota="100000" token-quota-period="Monthly" remaining-quota-tokens-variable-name="remainingQuotaTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Связанные политики

• Ограничение скорости и квоты
• политика метрики llm-emit-token-metric

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.

• Руководство. Преобразование и защита API
• Полный перечень операторов политик и их параметров см. в справочнике по политикам.
• Выражения политики
• Настройка или изменение политик
• Повторное использование конфигураций политик
• репозиторий Policy snippets
• репозиторий Policy
• набор средств политики Azure API Management
• Get Copilot помощь в создании, объяснении и устранении неполадок политик