Применение ограничений скорости к сервисам модели и MCP

На этой странице описано, как настроить ограничения частоты запросов для ИИ-служб Unity AI Gateway. Ограничения частоты запросов позволяют задавать лимиты потребления для сервиса модели или сервиса MCP, чтобы управлять мощностями и затратами.

Тарифные ограничения являются частью конфигурации сервиса. Вы можете установить их в интерфейсе или программно при создании или обновлении сервиса модели или MCP с помощью REST API, SDK Azure Databricks, CLI Azure Databricks или Terraform.

Requirements

  • Рабочая область Azure Databricks в поддерживаемом регионе Unity AI Gateway.

Настройка ограничений скорости для службы модели или службы MCP

Ограничения скорости можно задать на основе запросов в минуту (QPM) или маркеров в минуту (TPM) в зависимости от типа службы:

  • Сервисы моделей: задайте лимиты на запросы в минуту (QPM) и токены в минуту (TPM).
  • Службы MCP: установка ограничений на запросы в минуту (QPM). Ограничения на основе токенов не применяются к службам MCP.

Чтобы включить ограничения скорости, выберите ограничения скорости при настройке службы модели или службы MCP. Можно определить ограничения скорости на следующих уровнях:

Поле Описание
Service Укажите максимальный QPM или TPM, который может обрабатываться всей службой. Это ограничение применяется ко всем трафику независимо от пользователя.
Пользователь (по умолчанию) Укажите ограничение скорости по умолчанию для каждого пользователя, которое применяется ко всем пользователям службы, если не определен более конкретный настраиваемый предел скорости.
Ограничения настраиваемой скорости Настраиваемые ограничения скорости можно указать для:
  • Отдельные пользователи или учётные записи служб: имеют приоритет над настраиваемыми лимитами скорости для групп пользователей.
  • Группы пользователей: это ограничение является общим ограничением скорости для всех членов группы.

Сведения и поведение

  • Ограничения скорости применяются только к пользователям с разрешением на запрос к службе.
  • По умолчанию для пользователей или службы не настроены ограничения скорости.
  • Ограничение скорости обслуживания — это глобальный максимум. Если это ограничение превышено, все запросы к службе блокируются независимо от ограничений скорости для конкретного пользователя или группы.
  • Если служба, пользователь или субъект-служба имеют ограничение скорости на основе запросов и ограничение скорости на основе токенов, то применяется более строгое ограничение скорости.
  • Ограничения пользовательской скорости переопределяют ограничение скорости пользователя (по умолчанию ).
    • Если пользователь принадлежит как к ограничению, определенному пользователем, так и к ограничению для конкретной группы, применяется ограничение для конкретного пользователя.
    • Если пользователь принадлежит нескольким группам пользователей с разными ограничениями частоты QPM или TPM, пользователь ограничен, если он превышает все ограничения скорости QPM или все ограничения скорости TPM для своих групп пользователей.

Поведение ограничения скорости

При превышении ограничения скорости служба возвращает ответ HTTP 429 (слишком много запросов). Клиенты должны реализовать логику повторных попыток с экспоненциальной задержкой.

Ограничение скорости предназначено для низкой задержки, что означает, что ожидается следующее поведение:

  • Одновременные запросы не проверяются заранее. Система фиксирует использование после отправки ответа, поэтому если несколько запросов приходят одновременно, все они могут быть обработаны до того, как использование будет учтено. Последующие запросы отклоняются до восстановления емкости. На практике вы можете увидеть всплески трафика, за которыми следует краткие паузы в повторяющейся схеме.
  • Ограничения применяются независимо между экземплярами службы, поэтому короткие всплески немного выше настроенного ограничения могут произойти, особенно сразу после создания или обновления службы.

В течение длительного периода времени средняя скорость запроса конвергентна до заданного предела.

Limitations

  • Можно указать не более 20 ограничений скорости для каждого сервиса.
  • Для каждой службы можно указать не более 5 ограничений скорости для отдельных групп.

Дополнительные ресурсы

  • Last updated on