Развертывание моделей Microsoft Foundry на портале Foundry

В этой статье вы узнаете, как использовать портал Foundry для развертывания модели Foundry в ресурсе Foundry для вывода. Модели Foundry включают такие модели, как Azure OpenAI models, Meta Llama models и многое другое. После развертывания модели Foundry вы можете взаимодействовать с ней на детской площадке Foundry и использовать ее из кода.

В этой статье используется модель Foundry от партнеров и сообщества Llama-3.2-90B-Vision-Instruct для иллюстрации. Модели от партнеров и сообщества требуют подписки на Azure Marketplace перед развертыванием. С другой стороны, модели Foundry, проданные непосредственно Azure, например Azure OpenAI в модели Foundry, не имеют этого требования. Дополнительные сведения о моделях Foundry, включая регионы, где они доступны для развертывания, см. в разделе "Модели Foundry", проданные непосредственно Azure и Foundry Models от партнеров и сообщества.

Предпосылки

Для работы с этой статьей необходимо иметь следующее.

• Подписка Azure с допустимым методом оплаты. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу. Если вы используете модели GitHub, вы можете перейти на модели Foundry и при этом создать подписку Azure.

• Роль участника Cognitive Services или эквивалентные разрешения для ресурса Foundry, позволяющие создавать развертывания и управлять ими. Для получения дополнительной информации см. роли Azure RBAC.

• Проект Microsoft Foundry. Этот тип проекта управляется ресурсом Foundry.

• Модели foundry от партнеров и сообщества требуют доступа к Azure Marketplace для создания подписок. Убедитесь, что у вас есть разрешения, необходимые для подписки на предложения моделей. Модели Foundry, проданные непосредственно через Azure, не имеют этого требования.

Развертывание модели

Разверните модель, выполнив следующие действия на портале Foundry:

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry включен. Эти действия относятся к Foundry (new).

   

2. На домашней странице портала Foundry выберите "Обнаружить " в правой верхней части навигации, а затем " Модели " на левой панели.

3. Выберите модель и просмотрите ее сведения в карточке модели. В этой статье используется Llama-3.2-90B-Vision-Instruct для иллюстрации.

4. Выберите Развертывание>Настраиваемые настройки, чтобы настроить развертывание. Кроме того, можно использовать параметры развертывания по умолчанию, выбрав пункт "Развернуть>параметры по умолчанию".

5. Для моделей Foundry от партнеров и сообщества необходимо подписаться на Azure Marketplace. Это требование относится к Llama-3.2-90B-Vision-Instruct, например. Ознакомьтесь с условиями использования и выберите "Согласиться" и "Продолжить ", чтобы принять условия.

   Замечание

   Для моделей Foundry, проданных непосредственно в Azure, таких как модель gpt-4o-miniAzure OpenAI, вы не подписываетесь на Azure Marketplace.

6. Настройте параметры развертывания:

   • По умолчанию развертывание использует имя модели. Это имя можно изменить перед развертыванием.
   • Во время вывода имя развертывания используется в параметре model для маршрутизации запросов к этому конкретному развертыванию.

   Выберите Развернуть, чтобы создать развертывание.

   Подсказка

   Каждая модель поддерживает различные типы развертывания, предоставляя различные гарантии расположения данных или пропускной способности. См. типы развертывания для получения дополнительных сведений. В этом примере модель поддерживает тип развертывания Global Standard.

7. Когда развертывание завершится, вы приземлились на игровых площадках Foundry , где можно интерактивно протестировать модель. Проект и ресурс должны находиться в одном из поддерживаемых регионов развертывания для модели. Убедитесь, что состояние развертывания отображается успешно в списке развертываний.

Manage models in the repository (Управление моделями в репозитории)

Вы можете управлять существующими развертываниями моделей в ресурсе с помощью портала Foundry.

1. Выберите Сборка в верхней правой части панели навигации.

2. Выберите модели в левой области, чтобы просмотреть список развертываний в ресурсе.

На странице сведений о развертывании можно просмотреть сведения о конечной точке и ключи, настроить параметры развертывания или удалить развертывание, которое больше не требуется.

Тестирование развертывания на игровой площадке

Вы можете взаимодействовать с новой моделью на портале Foundry с помощью игровой площадки. Детская площадка — это веб-интерфейс, который позволяет взаимодействовать с моделью в режиме реального времени. Используйте игровую площадку для тестирования модели с различными запросами и просмотра ответов модели.

1. В списке развертываний выберите Llama-3.2-90B-Vision-Instruct, чтобы открыть страницу песочницы.

2. Введите запрос и просмотрите выходные данные.

3. Перейдите на вкладку "Код" , чтобы узнать, как получить доступ к развертыванию модели программным способом.

Используйте модель с кодом

Чтобы запустить вывод в развёрнутой модели, см. следующие примеры:

• Сведения об использовании API ответов с моделями Foundry, проданными непосредственно в Azure, например Microsoft AI, DeepSeek и Grok, см. в статье "Создание текстовых ответов с помощью моделей Microsoft Foundry".

• Сведения об использовании API ответов с моделями OpenAI см. в статье "Начало работы с API ответов".

• Чтобы использовать API завершения чата с моделями, проданными партнерами, такими как модель Llama, развернутая в этой статье, см. раздел "Поддержка модели для завершения чата".

Ограничения региональной доступности и лимита квоты модели

Для моделей Foundry квота по умолчанию зависит от модели и региона. Отдельные модели доступны только в некоторых регионах. Дополнительные сведения об ограничениях доступности и квотах см. в разделе Azure OpenAI в квотах и ограничениях моделей Microsoft Foundry , а также квотах и ограничениях моделей Microsoft Foundry.

Квота для развертывания и выполнения вывода в модели

Для моделей Foundry развертывание и выполнение вывода данных используют квоту, которую Azure распределяет вашей подписке в зависимости от региона и каждой модели на основе единиц токенов в минуту (TPM). При регистрации в Foundry вы получаете квоту по умолчанию для большинства доступных моделей. Затем вы назначаете TPM для каждого развертывания по мере его создания, что сокращает доступную квоту для соответствующей модели. Вы можете продолжать создавать развертывания и назначать их TPM, пока не достигнете предела квоты.

Если вы достигнете предела квоты, вы можете создавать только новые развертывания этой модели, если вы:

• Запросите дополнительную квоту, отправив форму увеличения квоты.
• Настройте квоту для других развертываний моделей в портале Foundry, чтобы освободить токены для новых развертываний.

Дополнительные сведения о квоте см. в статье "Квоты и ограничения моделей Microsoft Foundry" и"Управление квотой Azure OpenAI".

Устранение неполадок

Связанный контент

• Создание текстовых ответов с помощью моделей Microsoft Foundry
• Типы развертывания для моделей Foundry
• Развертывание моделей с помощью Azure CLI и Bicep
• Поддерживаемые языки программирования Azure OpenAI