Развертывание моделей Microsoft Foundry на портале Foundry (классическая модель)

В настоящее время просмотр:Версия портала Foundry (классическая версия) - Переключиться на версию для нового портала Foundry

В этой статье вы узнаете, как использовать портал Foundry для развертывания модели Foundry в ресурсе Foundry для вывода. Модели Foundry включают такие модели, как модели Azure OpenAI, модели Meta Llama и многое другое. После развертывания модели Foundry вы можете взаимодействовать с ней в песочнице Foundry и использовать ее в коде.

В этой статье используется модель Foundry от партнеров и сообщества Llama-3.2-90B-Vision-Instruct для иллюстрации. Модели от партнеров и сообщества требуют подписки на Azure Marketplace перед развертыванием. С другой стороны, модели Foundry, проданные Azure, такие как Azure OpenAI в модели Foundry, не имеют этого требования. Дополнительные сведения о моделях Foundry, включая регионы, где они доступны для развертывания, см. в статьях Модели Foundry, продаваемые Azure и Модели Foundry от партнеров и сообщества.

Необходимые условия

Чтобы завершить эту статью, вам потребуется:

• Подписка Azure с допустимым методом оплаты. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать. Если вы используете модели GitHub, вы можете upgrade to Foundry Models и создать подписку Azure в процессе.

• Роль участника Cognitive Services или эквивалентные разрешения на ресурсе Foundry для создания и управления развертываниями. Дополнительные сведения см. в разделе роли Azure RBAC.

• Проект Microsoft Foundry. Этот тип проекта управляется ресурсом Foundry.

• Foundry Models от партнеров и сообщества необходим доступ к Azure Marketplace для создания подписок. Убедитесь, что у вас есть разрешения, необходимые для подписки на предложения моделей. Модели Foundry, продаваемые через Azure не подпадают под это требование.

Развертывание модели

Разверните модель, выполнив следующие действия на портале Foundry:

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти шаги относятся к Foundry (classic).

   

2. Перейдите в раздел каталога моделей на портале Foundry.

3. Выберите модель и просмотрите ее сведения в карточке модели. Эта статья использует Llama-3.2-90B-Vision-Instruct для иллюстрации.

4. Выберите "Использовать эту модель".

5. Для Foundry Models от партнеров и сообщества необходимо подписаться на Azure Marketplace. Это требование относится к Llama-3.2-90B-Vision-Instruct, например. Ознакомьтесь с условиями использования и выберите "Согласиться" и "Продолжить ", чтобы принять условия.

   Примечание

   Для моделей Foundry, продаваемых Azure, например модели Azure OpenAI gpt-4o-mini, вам не нужно оформлять подписку на Azure Marketplace.

6. Настройте параметры развертывания:

   • По умолчанию развертывание использует имя модели. Это имя можно изменить перед развертыванием.
   • Во время выполнения вывода имя развертывания используется в параметре model для маршрутизации запросов к этому конкретному развертыванию.

   Совет

   Каждая модель поддерживает различные типы развертывания, предоставляя различные гарантии расположения данных или пропускной способности. Дополнительные сведения см. в типах развертывания . В этом примере модель поддерживает тип развертывания Global Standard.

7. Портал Foundry автоматически выбирает ресурс Foundry, связанный с проектом, в качестве ресурса подключенного искусственного интеллекта. При необходимости выберите "Настроить", чтобы изменить подключение. Если вы развертываете в типе развертывания API без сервера , проект и ресурс должны находиться в одном из поддерживаемых регионов развертывания для модели.

   

8. Выберите Развернуть. Откроется страница сведений о развертывании модели во время создания развертывания.

9. По завершении развертывания модель готова к использованию. Вы также можете использовать Foundry Playgrounds для интерактивного тестирования модели.

Управление моделями

Вы можете управлять существующими развертываниями моделей в ресурсе с помощью портала Foundry.

1. Перейдите в раздел "Модели и конечные точки" на портале Foundry.

2. Портал группирует и отображает развертывания моделей по ресурсам. Выберите развертывание модели Llama-3.2-90B-Vision-Instruct из раздела, предназначенного для ресурса Foundry. Это действие открывает страницу развертывания модели.

   

Тестирование развертывания на игровой площадке

Вы можете взаимодействовать с новой моделью на портале Foundry с помощью игровой площадки. Детская площадка — это веб-интерфейс, который позволяет взаимодействовать с моделью в режиме реального времени. Используйте игровую площадку для тестирования модели с различными запросами и просмотра ответов модели.

1. На странице развертывания модели выберите "Открыть на детской площадке". Это действие открывает игровую площадку чата с именем выбранного развертывания.

   

2. Введите запрос и просмотрите выходные данные.

3. Используйте код просмотра , чтобы узнать, как получить доступ к развертыванию модели программным способом.

Используйте модель с кодом

См. следующие примеры запуска инференса на развернутой модели:

• Чтобы использовать API Responses с моделями Foundry, предлагаемыми Azure, такими как модели Microsoft AI, DeepSeek и Grok, см. раздел Как создавать текстовые ответы с помощью моделей Microsoft Foundry.

• Сведения об использовании API ответов с моделями OpenAI см. в статье "Начало работы с API ответов".

• Чтобы использовать API завершения чата с моделями, проданными партнерами, такими как модель Llama, развернутая в этой статье, см. раздел "Поддержка модели для завершения чата".

Региональная доступность и ограничения квоты модели

Для моделей Foundry квота по умолчанию зависит от модели и региона. Некоторые модели могут быть доступны только в некоторых регионах. Дополнительные сведения о доступности и ограничениях на квоты см. в разделе модели Azure OpenAI в квотах и ограничениях Microsoft Foundry и квоты и ограничения моделей Microsoft Foundry.

Квота для развертывания и выполнения вывода в модели

Для моделей Foundry развертывание и выполнение инференса используют квоту, которую Azure назначает вашей подписке по регионам и моделям, измеряемую в единицах Токенов в минуту (TPM). При регистрации в Foundry вы получаете квоту по умолчанию для большинства доступных моделей. Затем вы назначаете TPM для каждого развертывания, уменьшая доступную квоту для этой модели. Вы можете продолжать создавать развертывания и назначать им TPM, пока не достигнете лимита квоты.

Если вы достигнете предела квоты, вы можете создавать только новые развертывания этой модели, если вы:

• Запросите больше квоты, отправив форму увеличения квоты.
• Настройте выделенную квоту на развертывания других моделей на портале Foundry, чтобы освободить токены для новых развертываний.

Дополнительные сведения о квоте см. в разделах Квоты и ограничения моделей Microsoft Foundry и Управление квотой Azure OpenAI.

Устранение неполадок

Связанное содержимое

• Задачи с повышенными правами в Microsoft Foundry — требования к ролям для развертывания модели.
• Как создавать текстовые ответы с помощью моделей Microsoft Foundry
• Типы развертывания для моделей Foundry
• Мгновенный доступ к моделям в Microsoft Foundry (предварительная версия)
• Развертывание моделей с помощью Azure CLI и Bicep
• Поддерживаемые языки программирования Azure OpenAI