Квоты и ограничения службы

В этой статье содержится краткий справочник и подробное описание аналитики документов Azure в квотах и ограничениях средств Foundry для всех ценовых категорий. Она также содержит некоторые рекомендации по предотвращению ограничения запросов.

Использование модели

Подробное описание, корректировка квоты и рекомендации

Ограничения по умолчанию можно расширить, запросить увеличение с помощью запроса в службу поддержки. Прежде чем запросить увеличение квоты (если есть такая возможность), убедитесь, что без этого не обойтись.

Если ваше приложение возвращает код ответа 429 (слишком много запросов), вы превысили пороговое значение для одной или нескольких лимитов на количество транзакций в секунду (TPS).

• Лимит транзакций в секунду для анализа TPS для отправки запросов на анализ (POST)
• Получить ограничение операций в секунду TPS для опроса результатов операций анализа (GET)
• Ограничение на операции управления моделями в секунду Операции, связанные с управлением моделями, такими как сборка/обучение и копирование.
• Ограничение на количество операций списка в секунду для действий с моделями и операциями.

Общие рекомендации по снижению троттлинга

Чтобы минимизировать проблемы троттлинга (Код ответа 429), рекомендуется использовать следующие методы:

• Реализуйте в приложении логику повторных попыток
• Избегайте внесения резких изменений в рабочую нагрузку. Постепенное увеличение рабочей нагрузки
  Example. Приложение использует аналитику документов, а текущая рабочая нагрузка составляет 10 TPS (транзакции в секунду). В следующую секунду вы увеличиваете нагрузку до 40 TPS. Результатом является код ответа 429 для некоторых запросов, так как вы превышаете ограничение 15 TPS для отправки операций анализа. Вы можете либо сократить нагрузку на обработку, чтобы оставаться ниже 15 TPS, либо запросить увеличение предела TPS для поддержки большего объема данных.

В следующих разделах описаны конкретные случаи настройки квот. Переход к аналитике документов: увеличение количества одновременных запросов

Увеличение лимита запросов на количество транзакций в секунду

По умолчанию количество транзакций в секунду ограничено 15 транзакциями в секунду на ресурс Интеллектуального анализа документов. Для ценовой категории "Стандартный" можно подавать запросы на увеличение TPS, однако их одобрение и уровень корректировки будет зависеть от ежедневного характера использования и соблюдения передовых практик. Перед отправкой запроса убедитесь в том, что вам знакомы материалы в этом разделе, а также эти рекомендации.

Увеличение максимального количества одновременных запросов напрямую не влияет на затраты. Служба аналитики документов использует модель "Платить только за то, что вы используете". Ограничение определяет, насколько служба может масштабироваться, прежде чем начнет ограничивать ваши запросы.

Существующее значение различных категорий ограничений запросов доступно через портал Azure на вкладке мониторинга в колонке обзора ресурсов.

Создание и отправка запроса на поддержку для увеличения TPS

Чтобы увеличить ограничение на количество транзакций в секунду для ресурса, отправьте запрос в службу поддержки:

• Войдите на портал Azure
• Выберите ресурс аналитики документов, для которого требуется увеличить ограничение TPS
• Выберите "Новый запрос на поддержку" (группа "Поддержка и устранение неисправностей"). Появится новое окно с автоматически заполненными сведениями о подписке Azure и ресурсе Azure
• Введите -Summary- (например, "Увеличить ограничение TPS для документной аналитики")
• Выберите "Квота или проверка использования" в поле типа проблемы.
• Выберите -Далее: решения-
• Продолжайте создание запроса.
• В поле "Описание" введите следующие сведения на вкладке "Сведения".
  • Обратите внимание, что запрос касается квоты на использование Document Intelligence.
  • Укажите ожидаемое количество транзакций в секунду, до которого вы хотите выполнить масштабирование, чтобы соответствовать вашим требованиям. Хотя увеличение TPS бесплатно, вы должны запрашивать только тот TPS, который соответствует вашей рабочей нагрузке.
  • Сведения о ресурсах Azure
  • Завершите ввод необходимых сведений и нажмите кнопку "Создать" в -Review + create- tab
  • Запишите номер запроса на поддержку в уведомлениях на портале Azure. Ожидайте, что служба поддержки свяжется с вами в ближайшее время для дальнейшей обработки.

Пример рекомендованного шаблона рабочей нагрузки

В этом примере представлен подход, который мы рекомендуем использовать для смягчения возможного ограничения запросов. Это не точный рецепт, но просто шаблон, который мы приглашаем следовать и настраивать по мере необходимости.

Предположим, что ресурс аналитики документов имеет набор ограничений по умолчанию. Запустите рабочую нагрузку для отправки запросов на анализ. Если вы обнаружите, что часто возникает ограничение с кодом ответа 429 при проверке завершения, начните с реализации экспоненциального бэкоффа в запросе на анализ с методом GET. постепенно увеличивая время ожидания между повторными попытками в ответ на последовательные сообщения об ошибках, например, по схеме 2-5-13-34 для задержек между запросами. Как правило, мы рекомендуем не вызывать ответ на получение анализа более одного раза каждые 2 секунды для соответствующего запроса POST. Ответ analyze также содержит заголовок retry-after, указывающий, сколько секунд нужно подождать, прежде чем проверять завершение этого запроса.

Если вы обнаружите, что количество POST-запросов для отправки документов ограничивается, попробуйте добавить задержку между запросами. Если для рабочей нагрузки требуется более высокая степень параллельной обработки, необходимо создать запрос на поддержку, чтобы увеличить ограничения службы на транзакции в секунду.

Как правило, мы рекомендуем протестировать рабочую нагрузку и шаблоны рабочей нагрузки перед переходом в рабочую среду.

Дальнейшие шаги