Управление и увеличение квот для ресурсов с помощью Azure AI Studio

Квота обеспечивает гибкость для активного управления распределением ограничений скорости между развертываниями в вашей подписке. В этой статье описывается процесс управления квотой для виртуальных машин Azure AI Studio и моделей Azure OpenAI.

Ограничения и квоты применяются в Azure во избежание перерасхода бюджета из-за мошенничества, а также для соблюдения ограничений по объемам ресурсов Azure. Это также хороший способ контролировать затраты для администраторов. Учитывайте эти ограничения при масштабировании рабочих нагрузок.

В этой статье раскрываются следующие темы:

• Ограничения по умолчанию для ресурсов Azure
• Создание квот на уровне центра Azure AI Studio.
• Просмотр квот и ограничений
• Увеличение квоты и ограничения запроса

Примечания

Квоты применяются к каждой подписке в вашей учетной записи. Если у вас несколько подписок, необходимо запросить увеличение квоты для каждой подписки.

Квота — это кредитный лимит ресурсов Azure, а не гарантия емкости. Если вам нужны большие объемы ресурсов, обратитесь в службу поддержки Azure для увеличения квоты.

Ограничения по умолчанию зависят от типа категории предложения, такого как бесплатная пробная версия, предложение с оплатой по мере использования и разные серии виртуальных машин (Dv2, F и G).

Квота Azure AI Studio

Следующие действия в Azure AI Studio используют квоту:

• Создание вычислительного экземпляра.
• Создание векторного индекса.
• Развертывание открытых моделей из каталога моделей.

Вычисления Azure AI Studio

Вычисление Azure AI Studio имеет ограничение квоты по умолчанию на число ядер и количество уникальных вычислительных ресурсов, разрешенных для каждого региона в подписке.

• Квота на количество ядер разделена по каждому семейству виртуальных машин и совокупным общим ядрам.
• Квота на количество уникальных вычислительных ресурсов в каждом регионе отделена от квоты ядра виртуальной машины, так как она применяется только к управляемым вычислительным ресурсам.

Чтобы увеличить ограничения для вычислений, можно запросить увеличение квоты в Azure AI Studio.

Доступные ресурсы:

• Квота выделенных ядер на регион по умолчанию составляет от 24 до 300, в зависимости от типа предложения подписки. Вы можете увеличить количество выделенных ядер на подписку для каждого семейства виртуальных машин. Специализированные семейства виртуальных машин, такие как NCv2, NCv3 или ND, начинаются с 0 ядер по умолчанию. Число ядер для GPU также по умолчанию равно 0.
• Стандартное общее ограничение вычислительных кластеров на регион составляет 500 на регион в заданной подписке. Его можно повысить до 2500 кластеров на регион. Это ограничение совместно используется между вычислительными экземплярами и развертываниями управляемых сетевых конечных точек. В контексте квот вычислительным экземпляром считается кластер с одним узлом. Для увеличения общего вычислительного ограничения подайте запрос в службу поддержки.

При открытии запроса на поддержку для увеличения общего объема вычислительных ресурсов укажите следующие сведения:

1. Выберите Technical для типа проблемы.

2. Выберите подписку, для которой нужно увеличить квоту.

3. Выберите Машинное обучение в качестве типа службы.

4. Выберите ресурс, для которого нужно увеличить квоту.

5. В поле "Сводка" введите "Увеличить общий объем вычислительных ресурсов"

6. Выберите вычислительный экземпляр тип проблемы и квоту в качестве подтипа проблемы.

   

7. Выберите Далее.

8. На странице "Дополнительные сведения" укажите идентификатор подписки, регион, новое ограничение (от 500 до 2500) и бизнес-обоснование, чтобы увеличить общий объем вычислительных ресурсов для региона.

9. Нажмите кнопку "Создать", чтобы отправить запрос в службу поддержки.

Общая квота Azure AI Studio

Azure AI Studio предоставляет пул общих квот, доступных для разных пользователей в разных регионах для одновременного использования. В зависимости от доступности пользователи могут временно получить доступ к квоте из общего пула и использовать квоту для выполнения тестирования в течение ограниченного периода времени. Определенный период времени зависит от варианта использования. Временно используя квоту из пула квот, вам больше не нужно отправлять запрос в службу поддержки для краткосрочного увеличения квоты или ожидать утверждения запроса квоты, прежде чем продолжить работу с рабочей нагрузкой.

Использование общего пула квот доступно для тестирования моделей Llama-2, Phi, Nemotron, Mistral, Dolly и Deci-DeciLM. Следует использовать общую квоту только для создания временных тестовых конечных точек, а не рабочих конечных точек. Для конечных точек в рабочей среде следует запросить выделенную квоту. Выставление счетов за общую квоту основано на использовании, как и для выделенных семейств виртуальных машин.

Экземпляры контейнеров

Дополнительные сведения см. в разделе Ограничения экземпляров контейнеров.

Хранилище

Служба хранилища Azure имеет ограничение в 250 учетных записей хранения в регионе для каждой подписки. Сюда входят учетные записи хранения категории "Стандартный" и "Премиум".

Просмотр и запрос квот в Azure AI Studio

Используйте квоты для управления распределением целевых объектов вычислений между несколькими центрами Azure AI Studio в одной подписке.

По умолчанию все центры используют ту же квоту, что и квота уровня подписки для семейств виртуальных машин. Однако можно задать максимальную квоту для отдельных семейств виртуальных машин для более детального управления затратами и управления центрами в подписке. С помощью квот для отдельных семейств виртуальных машин можно разделить производительность и предотвратить проблемы с содержимым ресурсов.

1. В Azure AI Studio выберите центр управления в меню слева.

   

2. Выберите квоту в меню слева.

   

3. В представлении квоты можно увидеть квоту для моделей в выбранном регионе Azure. Чтобы запросить дополнительную квоту, выберите модель и выберите квоту запроса.

   • Используйте переключатель "Показать все квоты", чтобы отобразить всю квоту или только выделенную в данный момент квоту.
   • Используйте группу, раскрывающийся список по типу квоты, региону и модели, типу квоты, модели и регионам или нет. В группе None отображается список развертываний моделей.
   • Разверните группы для просмотра сведений о конкретных развертываниях моделей. При просмотре развертывания модели выберите значок карандаша в столбце выделения квот, чтобы изменить выделение квот для развертывания модели.
   • Используйте диаграммы вдоль стороны страницы, чтобы просмотреть дополнительные сведения об использовании квот. Диаграммы являются интерактивными; Наведите указатель мыши на раздел диаграммы, где отображаются дополнительные сведения, и выбор диаграммы фильтрует список моделей. Выбор условных обозначений диаграммы фильтрует данные, отображаемые на диаграмме.
   • Используйте ссылку Azure OpenAI Provisioned для просмотра сведений о подготовленных моделях, включая калькулятор емкости.

   

4. При выборе ссылки квоты виртуальной машины можно просмотреть квоту и использование для семейств виртуальных машин в выбранном регионе Azure. Чтобы запросить дополнительную квоту, выберите семейство виртуальных машин и выберите квоту запроса.

   

Следующие шаги

• Планирование управления затратами
• Создание вычислений