Общие сведения о развертывании для моделей Microsoft Foundry (классическая модель)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

Каталог моделей в Microsoft Foundry — это центр для обнаружения и использования широкого спектра моделей Foundry для создания создаваемых приложений ИИ. Необходимо развернуть модели, чтобы сделать их доступными для получения запросов на предсказания. Foundry предлагает полный набор вариантов развертывания для моделей Foundry в зависимости от ваших потребностей и требований к модели.

Варианты развертывания

Foundry предоставляет несколько вариантов развертывания в зависимости от типа моделей и ресурсов, необходимых для подготовки. Доступны следующие варианты развертывания:

• Стандартное развертывание в ресурсах Foundry
• Развертывание в конечных точках API без сервера
• Развертывание на управляемые вычислительные ресурсы

Портал Foundry может автоматически выбрать вариант развертывания в зависимости от среды и конфигурации. Используйте ресурсы Foundry для развертывания по возможности. Модели, поддерживающие несколько вариантов развертывания, по умолчанию используют ресурсы Foundry для развертывания. Чтобы получить доступ к другим параметрам развертывания, используйте пакет SDK Azure CLI или Машинное обучение Azure для развертывания.

Стандартное развертывание в ресурсах Foundry

Ресурсы Foundry являются предпочтительным вариантом развертывания в Foundry. Он предлагает самый широкий спектр возможностей, включая региональные, зоны данных или глобальную обработку, и предлагает стандартные и подготовленные параметры пропускной способности (PTU ). Флагманские модели в Foundry Models поддерживают этот вариант развертывания.

Этот вариант развертывания доступен в:

• Ресурсы литейного завода
• Azure ресурсы OpenAI¹
• Azure AI-хаб при подключении к ресурсу платформы Foundry

¹Если вы используете ресурсы Azure OpenAI, в каталоге моделей отображаются только Azure OpenAI в "Моделях Foundry" для развертывания. Полный список моделей Foundry можно получить, перейдя на ресурс Foundry.

Чтобы приступить к работе с типовым развертыванием в ресурсах Foundry, см. Руководство по развертыванию моделей в Foundry Models.

Конечная точка API без сервера

Этот вариант развертывания доступен только вресурсах Центра искусственного интеллекта. Она позволяет создавать выделенные конечные точки для размещения модели, доступной через API. Модели Foundry поддерживают бессерверные конечные точки API с выставлением счетов по мере использования, и вы можете создавать только региональные развертывания для конечных точек API без сервера.

Чтобы начать развертывание в конечной точке бессерверного API, см. статью «Развертывание моделей как бессерверных развертываний API».

Управляемые вычислительные ресурсы

Этот вариант развертывания доступен только вресурсах Центра искусственного интеллекта. Она позволяет создать выделенную конечную точку для размещения модели в выделенном вычислении. Необходимо иметь квоту вычислительных ресурсов в подписке для размещения модели, и вы будете оплачивать время работы этих ресурсов.

Для развертывания управляемых вычислений требуется наличие коллекций моделей, которые включают:

• Обнимающее лицо
• Микрослужбы инференса NVIDIA (NIMs)
• Отраслевые модели (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
• Databricks
• Настраиваемые модели

Чтобы приступить к работе, прочтите «Как развернуть и использовать управляемые вычисления» и «Развертывание моделей Foundry на управляемых вычислениях с выставлением счетов по мере использования».

Возможности развертывания опций

Используйте стандартные развертывания в ресурсах Foundry, когда это возможно. Этот вариант развертывания предоставляет наиболее возможные возможности среди доступных вариантов развертывания. В следующей таблице перечислены сведения о конкретных возможностях для каждого варианта развертывания:

² Минимальная инфраструктура конечных точек рассчитывается поминутно. Плата за инфраструктуру, на которую размещается модель, не взимается в бессерверном развертывании. После удаления конечной точки дополнительные расходы не будут взиматься.

³ Учет за использование ведется поминутно, в зависимости от уровня продукта и количества экземпляров, использованных в развертывании с момента создания. После удаления конечной точки дополнительные расходы не будут взиматься.

Связанное содержимое

• Типы развертывания в модели Foundry
• Разверните модели Microsoft Foundry на портале Foundry
• Развертывание моделей Microsoft Foundry на управляемых вычислительных ресурсах с оплатой по мере использования
• Изучите модели Foundry