Управление квотами и их увеличение для ресурсов с помощью Microsoft Foundry (проекты Foundry) (классическая версия)

В настоящее время просмотр:Версия портала Foundry (классическая версия) - Переключиться на версию для нового портала Foundry

Квота обеспечивает гибкость для активного управления распределением ограничений скорости между развертываниями в вашей подписке. Azure назначает квоту на подписку, регион и модель в единицах токенов в минуту (TPM). Различные типы развертывания, такие как "Стандартный" и "Провизиональное", имеют различные механизмы квотирования. Полные сведения об ограничениях и уровнях квот по умолчанию см. в разделе Azure квоты и ограничения OpenAI.

В этой статье описывается процесс управления квотой для моделей Microsoft Foundry, развернутых в среде проекта Foundry, включая просмотр текущих выделений и запрос увеличения.

Необходимые условия

• Подписка Azure. Создайте его бесплатно.
• Проект Foundry.
• Роль читателя использования Cognitive Services на уровне подписки для просмотра выделения квот.
• Роль владельца или вкладчика в подписке, чтобы запросить увеличение квоты.
• Роль автора Cognitive Services в сочетании с читателем использования Cognitive Services для редактирования выделения квот на портале Foundry.

Общая квота Foundry

Foundry предоставляет пул общих квот, которые разные пользователи в разных регионах могут использовать одновременно. В зависимости от доступности пользователи могут временно получить доступ к квоте из общего пула и использовать квоту для выполнения тестирования в течение ограниченного периода времени. Определенный период времени зависит от варианта использования. Временно используя квоту из пула квот, вам больше не нужно отправлять запрос в службу поддержки для краткосрочного увеличения квоты или ожидать утверждения запроса квоты, прежде чем продолжить работу с рабочей нагрузкой.

Общий пул квот можно использовать для тестирования вывода для моделей Foundry из каталога моделей. Используйте общую квоту только для создания временных тестовых конечных точек, а не рабочих конечных точек. Для точек подключения в производственной среде необходимо запросить выделенную квоту. Выставление счетов за общую квоту зависит от использования.

Просмотр и запрос квот на портале Foundry

Используйте квоты для управления распределением квот модели между несколькими проектами Foundry в одной подписке.

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти шаги относятся к Foundry (classic).

   

2. Выберите центр управления в нижней части левой панели.

   

3. Выберите Quota слева, чтобы открыть представление квоты, где можно просмотреть квоту для моделей в определенных регионах Azure.

   

4. Чтобы запросить квоту из представления квоты, разверните любую из групп, перечисленных в столбце развертывания, пока не увидите развертывания модели и связанные с ними сведения.

   

   • Используйте переключатель "Показать все квоты ", чтобы отобразить всю квоту или только выделенную в данный момент квоту.
   • Используйте список Group by, чтобы сгруппировать список по типу квоты, региону и модели или типу квоты, модели и региону или Ничего. Параметр None отображает неструктурированный список развертываний моделей, а не вложенный список.
   • В строке для развертывания данной модели выберите значок карандаша в столбце выделения квот , чтобы изменить выделение квот для развертывания модели.
   • Выберите квоту запроса в столбце квоты запроса , чтобы запросить увеличение квоты для стандартного типа развертывания.
   • Используйте диаграммы вдоль стороны страницы , чтобы просмотреть дополнительные сведения об использовании квот. Диаграммы являются интерактивными; Наведите указатель мыши на раздел диаграммы, где отображаются дополнительные сведения, и выбор диаграммы фильтрует список моделей. Выбор условных обозначений диаграммы фильтрует данные, отображаемые на диаграмме.
   • Используйте ссылку Provisioned Throughput для просмотра сведений о предварительно подготовленных моделях, включая калькулятор вычисления мощности, который можно использовать для оценки количества PTU, необходимых для вашей рабочей нагрузки.

Устранение неполадок

Если при просмотре или запросе квот возникают проблемы, попробуйте выполнить следующие решения:

Связанное содержимое

• Квоты и ограничения моделей Microsoft Foundry
• Квоты и ограничения Azure OpenAI
• Управление квотой службы Azure OpenAI
• Управление квотами и их увеличение для ресурсов хаба
• Планирование управления затратами
• Создание проекта