Поделиться через

Обзор. Развертывание моделей ИИ в Azure AI Studio

  • Статья

Каталог моделей в Студии искусственного интеллекта Azure — это центр для обнаружения и использования широкого спектра моделей для создания создаваемых приложений ИИ. Модели необходимо развернуть, чтобы сделать их доступными для получения запросов вывода. Процесс взаимодействия с развернутой моделью называется выводом. Azure AI Studio предлагает полный набор вариантов развертывания для этих моделей в зависимости от ваших потребностей и требований к модели.

Развертывание моделей

Параметры развертывания зависят от типа модели:

  • Модели Azure OpenAI: последние модели OpenAI, имеющие корпоративные функции из Azure.
  • Модели как услуга. Эти модели не требуют квоты вычислений из подписки. Этот параметр позволяет развернуть модель как службу (MaaS). Вы используете бессерверное развертывание API и выставляются счета за токен в режиме оплаты по мере использования.
  • Открытые и пользовательские модели: каталог моделей предоставляет доступ к различным моделям в разных модальности, которые имеют открытый доступ. Вы можете размещать открытые модели в собственной подписке с помощью управляемой инфраструктуры, виртуальных машин и количества экземпляров для управления емкостью. Существует широкий спектр моделей из Azure OpenAI, Hugging Face и NVIDIA.

Azure AI Studio предлагает четыре различных варианта развертывания:

Имя. Служба Azure OpenAI Служба вывода модели искусственного интеллекта Azure Бессерверный API Управляемые вычисления
Какие модели можно развернуть? Модели Azure OpenAI Модели и модели Azure OpenAI как услуга Модели как услуга Открытые и настраиваемые модели
Ресурс развертывания Ресурс Azure OpenAI Ресурс служб ИИ Azure Ресурс проекта ИИ Ресурс проекта ИИ
Лучше всего подходит, когда Вы планируете использовать только модели OpenAI Вы планируете воспользоваться преимуществами флагманских моделей в каталоге ИИ Azure, включая OpenAI. Вы планируете использовать одну модель из определенного поставщика (за исключением OpenAI). Если вы планируете использовать открытые модели и у вас достаточно квоты вычислений, доступной в подписке.
Базы выставления счетов Использование маркеров и PTU Использование маркеров Использованиемаркера 1 2 часа вычислительных ядер
Инструкции по развертыванию Развертывание в Службе OpenAI Azure Развертывание в модели искусственного интеллекта Azure Развертывание в бессерверном API Развертывание в управляемых вычислениях

1 Минимальная инфраструктура конечных точек взимается в минуту. Вы не оплачиваете инфраструктуру, на которую размещена модель в режиме оплаты по мере использования. После удаления конечной точки дополнительные расходы не будут взиматься.

2 Выставление счетов выполняется по минуте в зависимости от уровня продукта и количества экземпляров, используемых в развертывании с момента создания. После удаления конечной точки дополнительные расходы не будут взиматься.

Совет

Дополнительные сведения о том, как отслеживать затраты, см. в статье "Мониторинг затрат для моделей, предлагаемых через Azure Marketplace".

Как подумать о вариантах развертывания?

Студия искусственного интеллекта Azure призывает клиентов изучить варианты развертывания и выбрать наиболее подходящий набор бизнес-потребностей и технических потребностей. Как правило, можно использовать следующий процесс мышления:

  1. Начните с вариантов развертывания, имеющих более крупные области. Это позволяет быстрее выполнять итерацию и прототип в приложении, не перестраивая архитектуру каждый раз, когда вы решите изменить что-то. Служба вывода модели искусственного интеллекта Azure — это цель развертывания, которая поддерживает все флагманские модели в каталоге ИИ Azure, включая последние инновации из Azure OpenAI.

  2. При поиске использования конкретной модели:

    1. Если вы заинтересованы в моделях Azure OpenAI, используйте службу Azure OpenAI, которая предлагает широкий спектр возможностей для них и предназначен для них.

    2. Если вы заинтересованы в конкретной модели из моделей как услуга, и вы не ожидаете использовать любой другой тип модели, используйте бессерверные конечные точки API. Они позволяют развертывать одну модель в уникальном наборе URL-адреса и ключей конечной точки.

  3. Если модель недоступна в модели как услуга и у вас есть квота вычислений, доступная в подписке, используйте управляемые вычисления , которые поддерживают развертывание открытых и настраиваемых моделей. Он также позволяет настроить сервер вывода развертывания, протоколы и подробную конфигурацию.

Совет

Каждый вариант развертывания может предложить различные возможности с точки зрения сети, безопасности и дополнительных функций, таких как безопасность содержимого. Ознакомьтесь с документацией по каждому из них, чтобы понять их ограничения.

Связанный контент