Развертывание моделей Azure OpenAI с помощью Azure AI Foundry

Из этой статьи вы узнаете, как создать развертывания модели Azure OpenAI на портале Azure AI Foundry.

Служба Azure OpenAI предлагает разнообразный набор моделей с разными возможностями и ценовыми точками. При развертывании моделей Azure OpenAI на портале Azure AI Foundry можно использовать развертывания, используя поток запроса или другое средство. Доступность модели зависит от региона. Дополнительные сведения о каждой модели см. в разделе Модели Службы Azure OpenAI.

Чтобы изменить и взаимодействовать с моделью Azure OpenAI на игровой площадке Azure AI Foundry, сначала необходимо развернуть базовую модель Azure OpenAI в вашем проекте. После развертывания и доступности модели в проекте можно использовать конечную точку REST API как есть или настроить дальше с собственными данными и другими компонентами (внедрение, индексы и многое другое).

Предпосылки

• Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.

• Проект Azure AI Foundry.

Развертывание модели Azure OpenAI из каталога моделей

Выполните приведенные ниже действия, чтобы развернуть модель Azure OpenAI, например gpt-4o-mini в конечной точке в режиме реального времени из каталога моделей портала Azure AI Foundry:

1. Войдите в Azure AI Foundry.
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области навигации.

4. В фильтре коллекций выберите Azure OpenAI.

   

5. Выберите модель, gpt-4o-mini например из коллекции Azure OpenAI.

6. Выберите "Развернуть" , чтобы открыть окно развертывания.

7. Выберите ресурс, в который нужно развернуть модель. Если у вас нет ресурса, его можно создать.

8. Укажите имя развертывания и измените другие параметры по умолчанию в зависимости от ваших требований.

9. Выберите Развернуть.

10. Вы попали на страницу деталей о развертывании. Выберите "Открыть на площадке".

11. Выберите представление кода , чтобы получить примеры кода, которые можно использовать для использования развернутой модели в приложении.

Разверните модель Azure OpenAI из вашего проекта

Кроме того, можно инициировать развертывание, начиная с проекта на портале Azure AI Foundry.

1. Перейдите к проекту на портале Azure AI Foundry.
2. На левой боковой панели вашего проекта перейдите в раздел Мои активы>Модели и конечные точки.
3. Выберите + Разверните модель>Развернуть базовую модель.
4. В фильтре коллекций выберите Azure OpenAI.
5. Выберите модель, gpt-4o-mini например из коллекции Azure OpenAI.
6. Выберите "Подтвердить" , чтобы открыть окно развертывания.
7. Укажите имя развертывания и измените другие параметры по умолчанию в зависимости от ваших требований.
8. Выберите Развернуть.
9. Вы перешли на страницу сведений о развертывании. Выберите "Открыть на площадке".
10. Выберите представление кода , чтобы получить примеры кода, которые можно использовать для использования развернутой модели в приложении.

Вывод модели Azure OpenAI

Для выполнения вывода в развернутой модели можно использовать игровые площадки или примеры кода. Детская площадка — это веб-интерфейс, позволяющий взаимодействовать с моделью в режиме реального времени. С помощью игровой площадки можно протестировать модель с различными запросами и просмотреть ответы модели.

Для получения дополнительных примеров использования развернутой модели в вашем приложении см. следующие краткие руководства по Azure OpenAI:

• Начало работы с помощниками и интерпретатором кода на детской площадке
• Быстрый старт чата

Ограничения региональной доступности и лимита квоты модели

Стандартная квота для моделей Azure OpenAI зависит от модели и региона. Отдельные модели доступны только в некоторых регионах. Дополнительные сведения об ограничениях доступности и квотах см. в разделе квоты и ограничения службы OpenAI Azure.

Квота для развертывания и вывода модели

Для моделей Azure OpenAI развертывание и проведение вывода используют квоту, назначенную для вашей подписки в каждом регионе, на основе токенов в минуту (Токены-в-Минуту, TPM). При регистрации в Azure AI Foundry вы получаете квоту по умолчанию для большинства доступных моделей. Затем вы назначаете доверенный платформенный модуль (TPM) каждому развертыванию по мере его создания, что позволяет сократить доступную квоту для этой модели на назначенное количество TPM. Вы можете продолжать создавать развертывания и назначать их TPM, пока не достигнете предела квоты.

Когда вы достигнете предела квоты, единственным способом создания новых развертываний этой модели является:

• Запросите дополнительную квоту, отправив форму увеличения квоты.
• Настройте лимит, выделенный для других развертываний моделей, чтобы освободить токены для новых развертываний на портале Azure OpenAI.

Дополнительные сведения о квоте см. в статье "Квота Azure AI Foundry " и "Управление квотой службы Azure OpenAI".

Связанный контент

• Дополнительные сведения о том, что можно сделать в Azure AI Foundry
• Получите ответы на часто задаваемые вопросы в статье Azure AI FAQ