Обзор. Развертывание моделей ИИ на портале Azure AI Foundry

Каталог моделей на портале Azure AI Foundry — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. Модели необходимо развернуть, чтобы сделать их доступными для получения запросов на вывод. Azure AI Foundry предлагает полный набор вариантов развертывания моделей в зависимости от ваших потребностей и требований к модели.

Развертывание моделей

Параметры развертывания зависят от предложения модели:

• Модели Azure OpenAI: Последние модели OpenAI с корпоративными функциями из Azure с гибкими параметрами выставления счетов.
• Модели как услуга: Эти модели не требуют вычислительных квот из подписки и оплачиваются за токен с оплатой по мере использования.
• Открытые и настраиваемые модели: Каталог моделей предоставляет доступ к различным моделям в различных модальности, включая модели открытого доступа. Вы можете размещать открытые модели в собственной подписке с помощью управляемой инфраструктуры, виртуальных машин и количества экземпляров для управления емкостью.

Azure AI Foundry предлагает четыре различных варианта развертывания:

¹ Минимальная инфраструктура конечных точек оплачивается за каждую минуту. Вы не оплачиваете инфраструктуру, где размещена модель, в режиме оплаты по мере использования. После удаления конечной точки дополнительные расходы не будут взиматься.

² Выставление счетов выполняется по минуте в зависимости от уровня продукта и количества экземпляров, используемых в развертывании с момента создания. После удаления конечной точки дополнительные расходы не будут взиматься.

Как подумать о вариантах развертывания?

Azure AI Foundry рекомендует вам изучить различные варианты развертывания и выбрать оптимальный набор бизнес-потребностей и технических потребностей. Как правило, рекомендуется использовать следующий подход для выбора варианта развертывания:

• Начните с вывода модели ИИ Azure, которая является вариантом с самой большой областью. Этот параметр позволяет выполнять итерацию и прототип быстрее в приложении, не перестраивая архитектуру каждый раз, когда вы решите изменить что-то. Если вы используете центры или проекты Azure AI Foundry, включите этот параметр, включив функцию вывода модели ИИ Azure.

• Если вы хотите использовать определенную модель:

  • Если вы заинтересованы в моделях Azure OpenAI, используйте службу Azure OpenAI. Этот параметр предназначен для моделей Azure OpenAI и предоставляет широкий спектр возможностей для них.

  • Если вы заинтересованы в определенной модели из model-as-Service, и вы не ожидаете использовать какой-либо другой тип модели, используйте конечные точки API без сервера. Бессерверные конечные точки позволяют развертывать одну модель в уникальном наборе URL-адреса и ключей конечной точки.

• Если модель недоступна в model-as-Service и у вас есть квота вычислений, доступная в подписке, используйте управляемые вычисления, поддерживающие развертывание открытых и пользовательских моделей. Кроме того, он обеспечивает высокий уровень настройки сервера вывода развертывания, протоколов и подробной конфигурации.

Связанный контент

• Настройка проекта ИИ для использования вывода модели ИИ Azure
• Добавление и настройка моделей в вывод модели ИИ Azure
• Развертывание моделей Azure OpenAI с помощью Azure AI Foundry
• Развертывание открытых моделей с помощью Azure AI Foundry
• Каталог моделей и коллекции на портале Azure AI Foundry