Развертывание моделей Azure OpenAI с помощью Microsoft Foundry

В этой статье вы узнаете, как создавать развертывания для Azure OpenAI в моделях Microsoft Foundry с помощью портала Foundry.

Azure OpenAI в Модели Foundry предлагает разнообразный набор моделей с разными возможностями и ценовыми точками. При развертывании моделей Azure OpenAI на платформе Foundry, можно использовать развёртывания, используя поток запросов или другое средство. Доступность модели зависит от региона. Дополнительные сведения о каждой модели см. в разделе "Модели Azure OpenAI".

Чтобы изменить и взаимодействовать с моделью Azure OpenAI на игровой площадке Foundry , сначала необходимо развернуть базовую модель Azure OpenAI в проекте. После развертывания модели и его доступности в проекте можно использовать конечную точку REST API as-is или настроить ее дальше с помощью собственных данных и других компонентов, таких как внедрение и индексы.

Предпосылки

• Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не работают. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.

• Проект Foundry.

Развертывание модели Azure OpenAI из каталога моделей

Выполните действия, описанные в этом разделе, чтобы развернуть модель Azure OpenAI, например gpt-4o-miniв конечной точке в режиме реального времени из каталога моделей портала Foundry:

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (классическая модель).
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области.

4. В фильтре коллекций выберите Azure OpenAI.

   

5. Выберите модель, gpt-4o-mini например из коллекции Azure OpenAI.

6. Выберите "Использовать эту модель ", чтобы открыть окно развертывания.

7. Выберите ресурс, в который нужно развернуть модель. Если у вас нет ресурса, создайте его.

8. Укажите имя развертывания и измените другие параметры по умолчанию в зависимости от ваших требований.

9. Выберите Развернуть.

10. Перейдите на страницу сведений о развертывании. Выберите "Открыть на площадке".

11. Выберите представление кода , чтобы получить примеры кода, которые можно использовать для использования развернутой модели в приложении.

Разверните модель Azure OpenAI из вашего проекта

Вы также можете начать развертывание с проекта на портале Foundry.

1. Перейдите к проекту на портале Foundry.
2. На левой боковой панели вашего проекта перейдите в раздел Мои активы>Модели и конечные точки.
3. Выберите + Разверните модель>Развернуть базовую модель.
4. Найдите и выберите модель, например gpt-4o-mini из списка моделей.
5. Выберите "Подтвердить" , чтобы открыть окно развертывания.
6. Укажите имя развертывания и измените другие параметры по умолчанию в зависимости от ваших требований.
7. Выберите Развернуть.
8. Перейдите на страницу сведений о развертывании. Выберите "Открыть на площадке".
9. Выберите представление кода , чтобы получить примеры кода, которые можно использовать для использования развернутой модели в приложении.

Вывод модели Azure OpenAI

Чтобы выполнить вывод в развернутой модели, используйте примеры игровой площадки или кода. Детская площадка — это веб-интерфейс, который позволяет взаимодействовать с моделью в режиме реального времени. Используйте игровую площадку для тестирования модели с различными запросами и просмотра ответов модели.

Дополнительные примеры использования развернутой модели в приложении см. в кратком руководстве для начала работы с генерацией ответов в чате с помощью Azure OpenAI в моделях Foundry.

Ограничения региональной доступности и лимита квоты модели

Стандартная квота для моделей Azure OpenAI зависит от модели и региона. Отдельные модели доступны только в некоторых регионах. Дополнительные сведения о ограничениях доступности и квотах см. в статье о квотах и ограничениях Azure OpenAI.

Квота для развертывания и вывода модели

Для моделей Azure OpenAI развертывание и вывод используют квоту, которую Azure назначает подписке в каждом регионе на основе единиц токенов в минуту (TPM). При регистрации в Foundry вы получаете квоту по умолчанию для большинства доступных моделей. Затем при создании доверенного платформенного модуля назначается каждому развертыванию, что сокращает доступную квоту для этой модели. Вы можете продолжать создавать развертывания и назначать их TPM, пока не достигнете предела квоты.

Если вы достигнете предела квоты, вы можете создавать только новые развертывания этой модели, если вы:

• Запросите дополнительную квоту, отправив форму увеличения квоты.
• Настройте лимит, выделенный для других развертываний моделей, чтобы освободить токены для новых развертываний на портале Azure OpenAI.

Дополнительные сведения о квоте см. в разделе "Квота Foundry " и "Управление квотой Azure OpenAI".

Связанный контент

• Узнайте больше о том, что можно сделать в Foundry
• Получите ответы на часто задаваемые вопросы в статье Azure AI FAQ