Квоты и ограничения службы

В этой статье содержатся как краткий справочник, так и подробное описание Azure Document Intelligence в квотах и ограничениях Foundry Tools для всех уровней цен. В нём также содержатся лучшие практики, чтобы избежать ограничения запросов.

Использование модели

Подробное описание, корректировка квот и рекомендации

Ограничения по умолчанию можно расширить, запросить увеличение с помощью запроса в службу поддержки. Прежде чем запрашивать увеличение квоты (если применимо), убедитесь, что это необходимо.

Если ваше приложение возвращает код ответа 429 (Слишком много запросов), это значит, что вы превысили пороговое значение лимитов для одной или нескольких транзакций в секунду (TPS):

• Ограничение на количество транзакций в секунду для анализа Предел TPS для отправки запросов на анализ (POST)
• Ограничение операций в секунду ТПС для опроса результатов операций анализа (GET)
• Ограничение операций управления моделями в секунду Операции, связанные с управлением моделями, такими как сборка и обучение и копирование.
• Ограничение на количество операций списка в секунду Операции, связанные с перечислением моделей и операций.

Общие рекомендации по смягчению регулирования

Чтобы свести к минимуму проблемы, связанные с регулированием (код ответа 429), рекомендуется использовать следующие методы:

• Реализация логики повторных попыток в приложении
• Избегайте резких изменений в рабочей нагрузке. Постепенное увеличение рабочей нагрузки
  Пример. Приложение использует аналитику документов, а текущая рабочая нагрузка составляет 10 TPS (транзакции в секунду). В следующую секунду вы увеличиваете нагрузку до 40 TPS. Результатом является код ответа 429 для некоторых запросов, так как вы превышаете ограничение 15 TPS для отправки операций анализа. Вы можете либо уменьшить объем обработки, чтобы оставаться ниже 15 TPS, либо запросить увеличение на TPS для поддержки более высоких объемов.

В следующих разделах описываются конкретные случаи корректировки квот. Переход к аналитике документов: увеличение количества одновременных запросов

Увеличение лимита на количество транзакций в секунду

По умолчанию количество транзакций в секунду ограничено 15 транзакций в секунду для ресурса аналитики документов. Для ценовой категории "Стандартный" запросы на увеличение TPS могут быть отправлены, но возможность их утверждения и уровень корректировки TPS зависят от ежедневных шаблонов использования и следования передовым методам. Перед отправкой запроса убедитесь, что вы знакомы с материалом в этом разделе и знаете об этих рекомендациях.

Увеличение лимита одновременных запросов не влияет непосредственно на затраты. Служба аналитики документов использует модель "Платить только за то, что вы используете". Ограничение определяет, насколько сервис может масштабироваться, прежде чем начать ограничивать ваши запросы.

Существующее значение различных категорий ограничений запросов доступно на портале Azure на вкладке мониторинга в колонке обзора ресурсов.

Создание и отправка запроса на поддержку для увеличения TPS

Инициируйте увеличение лимита транзакций в секунду (TPS) для ресурса, отправив запрос на поддержку:

• Войдите на портал Azure
• Выберите ресурс аналитики документов, для которого требуется увеличить ограничение TPS
• Выберите «Новый запрос на поддержку» («Support + troubleshooting» группа). Появится новое окно с автоматически заполненными сведениями о подписке Azure и ресурсе Azure
• Введите -Summary- (например, "Увеличить ограничение TPS для аналитики документов")
• Выберите "Проверка квоты или использования" в поле типа проблемы.
• Нажмите кнопку -Далее: решения
• Дальнейшие действия по созданию запроса
• В поле "Описание" введите следующие сведения на вкладке "Сведения".
  • Обратите внимание, что запрос касается квоты на Интеллектуальное управление документами.
  • Предоставьте ожидания TPS, которые вы хотите масштабировать, чтобы удовлетворить. Хотя повышение TPS бесплатно, вы должны запрашивать только то TPS, которое соответствует потребностям вашей рабочей нагрузки.
  • сведения о ресурсе Azure
  • Завершите ввод необходимых сведений и нажмите кнопку -Create- в -Review + create- tab
  • Обратите внимание на номер запроса на поддержку в уведомлениях портала Azure. Ожидайте, что служба поддержки свяжется с вами в ближайшее время для дальнейшей обработки.

Пример рекомендации по шаблону рабочей нагрузки

В этом примере представлен подход, который мы рекомендуем использовать для смягчения возможного ограничения частоты запросов. Это не точный рецепт, но просто шаблон, который мы приглашаем следовать и настраивать по мере необходимости.

Предположим, что ресурс аналитики документов имеет набор ограничений по умолчанию. Запустите рабочий процесс для отправки запросов на анализ. Если вы обнаружили, что появляется частое ограничение с кодом ответа 429, начните реализовывать запрос на анализ GET с экспоненциальной задержкой. С использованием постепенно увеличивающегося времени ожидания между повторными попытками для последовательных ошибочных ответов, например, с шаблоном задержек 2-5-13-34 между запросами. Как правило, мы рекомендуем не вызывать ответ на получение анализа более одного раза каждые 2 секунды для соответствующего запроса POST. Ответ analyze также содержит заголовок retry-after , указывающий, сколько времени следует ожидать в секундах перед проверкой завершения этого запроса.

Если вы обнаружите, что вас ограничивают по количеству запросов POST для документов, отправляющихся, подумайте о добавлении задержки между запросами. Если для рабочей нагрузки требуется более высокая степень параллельной обработки, необходимо создать запрос на поддержку, чтобы увеличить ограничения службы на транзакции в секунду.

Как правило, мы рекомендуем протестировать нагрузку и шаблоны нагрузки перед вводом в эксплуатацию.

Дальнейшие действия