Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Применяется только к:
Портал Foundry (классический). Эта статья недоступна для нового портала Foundry.
Дополнительные сведения о новом портале.
Каталог моделей в Microsoft Foundry — это центр для обнаружения и использования широкого спектра моделей Foundry для создания создаваемых приложений ИИ. Необходимо развернуть модели, чтобы сделать их доступными для обработки запросов на инференцию. Foundry предлагает полный набор вариантов развертывания для моделей Foundry в зависимости от ваших потребностей и требований к модели.
Варианты развертывания
Foundry предоставляет несколько вариантов развертывания, зависящих от типов моделей и ресурсов, которые нужно предоставить. Доступны следующие варианты развертывания:
- Стандартное развертывание в ресурсах Foundry
- Развертывание в конечных точках API без сервера
- Развертывание на управляемые вычислительные ресурсы
Портал Foundry может автоматически выбрать вариант развертывания в зависимости от среды и конфигурации. Используйте ресурсы Foundry для развертывания по возможности. Модели, поддерживающие несколько вариантов развертывания, по умолчанию используют ресурсы Foundry для развертывания. Чтобы получить доступ к другим опциям развертывания, используйте Azure CLI или SDK для Azure Machine Learning для развертывания.
Стандартное развертывание в ресурсах Foundry
Ресурсы Foundry — это предпочтительный вариант развертывания в Foundry. Он предлагает самый широкий спектр возможностей, включая региональные, зоны данных или глобальную обработку, и предлагает стандартные и подготовленные параметры пропускной способности (PTU ). Флагманские модели в Foundry Models поддерживают этот вариант развертывания.
Этот вариант развертывания доступен в:
- Ресурсы литейного производства
- Azure OpenAI ресурсы1
- Azure концентратор ИИ при подключении к ресурсу Foundry
1Если вы используете ресурсы Azure OpenAI, в каталоге моделей для развертывания в Foundry отображаются только модели Azure OpenAI. Полный список моделей Foundry можно получить, перейдя на тарифный план Foundry.
Чтобы начать со стандартного развертывания в ресурсах Foundry, см. статью How-to: Deploy models to Foundry Models.
Конечная точка API без сервера
Этот вариант развертывания доступен только вресурсах Центра искусственного интеллекта. Она позволяет создавать выделенные конечные точки для размещения модели, доступной через API. Модели Foundry поддерживают бессерверные конечные точки API с выставлением счетов по мере использования, и вы можете создавать только региональные развертывания для конечных точек API без сервера.
Чтобы начать развертывание на серверную конечную точку бессерверного API, см. в статье Deploy модели в качестве бессерверных развертываний API.
Управляемые вычисления
Этот вариант развертывания доступен только вресурсах Центра искусственного интеллекта. Она позволяет создать выделенную конечную точку для размещения модели в выделенном вычислении. Необходимо иметь квоту вычислительных ресурсов в вашей подписке для размещения модели, и вы будете оплачивать использование вычислительных мощностей.
Для коллекций моделей, которые включают в себя развертывание управляемых вычислений, требуется:
- Обнимающее лицо
- Микросервисы инференса NVIDIA (NIMs)
- Отраслевые модели (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
- Databricks
- Пользовательские модели
Сведения о том, как начать работу, см. в статье Как развернуть управляемое вычислительное развертывание и Как развернуть модели Foundry на управляемые вычислительные ресурсы с оплатой по мере использования.
Возможности для вариантов развертывания
Используйте стандартные развертывания в ресурсах Foundry по возможности. Этот вариант развертывания предоставляет наиболее возможные возможности среди доступных вариантов развертывания. В следующей таблице перечислены сведения о конкретных возможностях для каждого варианта развертывания:
| Capability | Стандартное развертывание в ресурсах Foundry | Конечная точка API без сервера | Управляемые вычисления |
|---|---|---|---|
| Какие модели можно развернуть? |
Модели Foundry, продаваемые напрямую Azure Модели литейного производства от партнеров и сообщества |
Модели Foundry с оплатой по мере использования | Открытые и настраиваемые модели |
| Ресурс развертывания | Ресурс литейного цеха | ИИ проект (в ресурсе ИИ-хаба) | ИИ проект (в ресурсе ИИ-хаба) |
| Требуются центры искусственного интеллекта | нет | Да | Да |
| Параметры обработки данных | Региональный Зона данных Глобальный |
Региональный | Региональный |
| Частная сеть | Да | Да | Да |
| Фильтрация содержимого | Да | Да | нет |
| Фильтрация пользовательского содержимого | Да | нет | нет |
| Проверка подлинности без ключа | Да | нет | нет |
| Базы выставления счетов | Использование токенов и единицы выделенной пропускной способности | Использование токена2 | 3 часа вычислительных ядер |
2 Минимальная инфраструктура конечных точек тарифицируется поминутно. Плата за инфраструктуру, на которую размещается модель, не взимается в бессерверном развертывании. После удаления конечной точки дополнительные расходы не будут взиматься.
3 Выставление счетов осуществляется поминутно, в зависимости от ценового уровня продукта и количества экземпляров, используемых в развертывании с момента создания. После удаления конечной точки дополнительные расходы не будут взиматься.