Развертывание моделей Microsoft Foundry на портале Foundry

В этой статье вы узнаете, как использовать портал Foundry для развертывания модели Foundry в ресурсе Foundry для вывода. Модели Foundry включают такие модели, как модели Azure OpenAI, модели Meta Llama и многое другое. После развертывания модели Foundry вы можете взаимодействовать с ней в песочнице Foundry и использовать ее в коде.

В этой статье используется модель Foundry от партнеров и сообщества Llama-3.2-90B-Vision-Instruct для иллюстрации. Модели от партнеров и сообщества требуют подписки на Azure Marketplace перед развертыванием. С другой стороны, модели Foundry, проданные непосредственно Azure, такие как Azure OpenAI в модели Foundry, не имеют этого требования. Дополнительные сведения о моделях Foundry, включая регионы, где они доступны для развертывания, см. в разделе Foundry Models, продаваемых напрямую через Azure и Foundry Models от партнеров и сообщества.

Необходимые условия

Чтобы завершить эту статью, вам потребуется:

Развертывание модели

Разверните модель, выполнив следующие действия на портале Foundry:

  1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry включен. Эти действия относятся к Foundry (new).

  2. На домашней странице портала Foundry выберите "Обнаружить " в правой верхней части навигации, а затем " Модели " на левой панели.

  3. Выберите модель и просмотрите ее сведения в карточке модели. Эта статья использует Llama-3.2-90B-Vision-Instruct для иллюстрации.

  4. Выберите Развернуть>Настраиваемые параметры, чтобы настроить развертывание. Кроме того, можно использовать параметры развертывания по умолчанию, выбрав пункт "Развернуть>параметры по умолчанию".

  5. Для Foundry Models от партнеров и сообщества необходимо подписаться на Azure Marketplace. Это требование относится к Llama-3.2-90B-Vision-Instruct, например. Ознакомьтесь с условиями использования и выберите "Согласиться" и "Продолжить ", чтобы принять условия.

    Примечание

    Для моделей Foundry Models, проданных непосредственно компанией Azure, таких как модель Azure OpenAI gpt-4o-mini, вы не подписываетесь на Azure Marketplace.

  6. Настройте параметры развертывания:

    • По умолчанию развертывание использует имя модели. Это имя можно изменить перед развертыванием.
    • Во время выполнения вывода имя развертывания используется в параметре model для маршрутизации запросов к этому конкретному развертыванию.

    Выберите Развертывание, чтобы создать развертывание.

    Совет

    Каждая модель поддерживает различные типы развертывания, предоставляя различные гарантии расположения данных или пропускной способности. Дополнительные сведения см. в типах развертывания . В этом примере модель поддерживает тип развертывания Global Standard.

  7. Когда развертывание завершится, вы приземлились на игровых площадках Foundry , где можно интерактивно протестировать модель. Проект и ресурс должны находиться в одном из поддерживаемых регионов развертывания для модели. Убедитесь, что состояние развертывания отображается успешно в списке развертываний.

Управление моделями

Вы можете управлять существующими развертываниями моделей в ресурсе с помощью портала Foundry.

  1. Выберите "Сборка " в правой верхней части навигации.

  2. Выберите модели в левой области, чтобы просмотреть список развертываний в ресурсе.

На странице сведений о развертывании можно просмотреть сведения о конечной точке и ключи, настроить параметры развертывания или удалить развертывание, которое больше не требуется.

Тестирование развертывания на игровой площадке

Вы можете взаимодействовать с новой моделью на портале Foundry с помощью игровой площадки. Детская площадка — это веб-интерфейс, который позволяет взаимодействовать с моделью в режиме реального времени. Используйте игровую площадку для тестирования модели с различными запросами и просмотра ответов модели.

  1. В списке развертываний выберите развертывание Llama-3.2-90B-Vision-Instruct , чтобы открыть страницу игровой площадки.

  2. Введите запрос и просмотрите выходные данные.

  3. Перейдите на вкладку "Код" , чтобы узнать, как получить доступ к развертыванию модели программным способом.

Используйте модель с кодом

См. следующие примеры запуска инференса на развернутой модели:

Региональная доступность и ограничения квоты модели

Для моделей Foundry квота по умолчанию зависит от модели и региона. Некоторые модели могут быть доступны только в некоторых регионах. Дополнительные сведения о доступности и ограничениях на квоты см. в разделе модели Azure OpenAI в квотах и ограничениях Microsoft Foundry и квоты и ограничения моделей Microsoft Foundry.

Квота для развертывания и выполнения вывода в модели

Для моделей Foundry развертывание и выполнение инференса используют квоту, которую Azure назначает вашей подписке по регионам и моделям, измеряемую в единицах Токенов в минуту (TPM). При регистрации в Foundry вы получаете квоту по умолчанию для большинства доступных моделей. Затем вы назначаете TPM для каждого развертывания, уменьшая доступную квоту для этой модели. Вы можете продолжать создавать развертывания и назначать им TPM, пока не достигнете лимита квоты.

Если вы достигнете предела квоты, вы можете создавать только новые развертывания этой модели, если вы:

  • Запросите больше квоты, отправив форму увеличения квоты.
  • Настройте выделенную квоту на развертывания других моделей на портале Foundry, чтобы освободить токены для новых развертываний.

Дополнительные сведения о квоте см. в разделах Квоты и ограничения моделей Microsoft Foundry и Управление квотой Azure OpenAI.

Устранение неполадок

Проблема Разрешение
Превышена квота Запросить больше квоты или перераспределить TPM из существующих развертываний.
Регион не поддерживается Проверьте доступность регионов и разверните его в поддерживаемом регионе.
Ошибка подписки Marketplace Убедитесь, что у вас есть необходимые разрешения для оформления подписки на предложения Azure Marketplace.
Статус развертывания показывает Неудачно Убедитесь, что модель доступна в выбранном регионе и у вас есть достаточная квота.

Связанное содержимое

  • Last updated on