Добавление и настройка моделей для выполнения инференции модели в Azure AI.

Вы можете решить и настроить, какие модели доступны для вывода в конечной точке вывода. После того как модель настроена, можно на её основе сгенерировать прогнозы, указав её имя или имя развертывания в запросах. Дополнительные изменения в коде не требуются, чтобы его использовать.

В этой статье вы узнаете, как добавить новую модель для выполнения выводов ИИ в Azure AI Foundry.

Предварительные условия

Для работы с этой статьей необходимо иметь следующее.

• Подписка Azure. Если вы используете модели GitHub, вы можете обновить интерфейс и создать подписку Azure в процессе. Ознакомьтесь с руководством по переходу с моделей GitHub на модели ИИ Azure для вывода, если это относится к вам.

• Ресурс служб ИИ Azure.

• Проект ИИ, подключенный к ресурсу Служб искусственного интеллекта Azure, с помощью функции Развертывания моделей в службе вывода модели ИИ Azure.

  • Вы можете выполнить действия, описанные в статье "Настройка службы вывода модели ИИ Azure" в моем проекте в Azure AI Foundry.

Добавление модели

Вы можете добавить модели в конечную точку вывода модели ИИ Azure, выполнив следующие действия:

1. Перейдите в раздел каталога моделей на портале Azure AI Foundry.

2. Прокрутите страницу до нужной модели и выберите ее.

   

3. Вы можете просмотреть сведения о модели в карточке модели.

4. Выберите Развернуть.

5. Для поставщиков моделей, требующих больше условий контракта, вам будет предложено принять эти условия. Это так, например, для моделей Мистраля. Примите условия для этих случаев, выбрав " Подписаться" и разверните его.

   

6. Вы можете настроить параметры развертывания в настоящее время. По умолчанию развертывание получает имя модели, которую вы развертываете. Имя развертывания используется в параметре model для запроса на маршрутизацию к этому развертыванию модели. Это позволяет также настроить определенные имена для моделей при присоединении определенных конфигураций. Например o1-preview-safe , для модели с строгим фильтром содержимого безопасности содержимого.

   Совет

   Каждая модель может поддерживать различные типы развертываний, предоставляя различные гарантии расположения данных или пропускной способности. См. типы развертывания для получения дополнительных сведений.

7. В зависимости от вашего проекта мы автоматически выбираем подключение к Службам искусственного интеллекта Azure. Используйте параметр "Настройка", чтобы изменить подключение в зависимости от ваших потребностей. Если вы развертываете в стандартном типе развертывания, модели должны быть доступны в регионе ресурса Служб искусственного интеллекта Azure.

   

   Совет

   Если нужный ресурс не указан, может потребоваться создать подключение к нему. См. статью "Настройка службы вывода модели ИИ Azure" в моем проекте на портале Azure AI Foundry.

8. Выберите Развернуть.

9. После завершения развертывания новая модель будет указана на странице и будет готова к использованию.

Manage models in the repository (Управление моделями в репозитории)

Вы можете управлять существующими развертываниями моделей в ресурсе с помощью портала Azure AI Foundry.

1. Перейдите в раздел "Модели и конечные точки" на портале Azure AI Foundry.

2. Прокрутите страницу подключения к ресурсу Служб искусственного интеллекта Azure. Развертывания моделей группируются и отображаются по отдельным подключениям.

   

3. Вы увидите список моделей, доступных при каждом подключении. Выберите развертывание модели, которое вас интересует.

4. При необходимости измените или удалите развертывание.

Тестирование развертывания на игровой площадке

Вы можете взаимодействовать с новой моделью на портале Azure AI Foundry с помощью игровой площадки:

1. Перейдите к разделу "Игровые площадки" на портале Azure AI Foundry.

2. В зависимости от типа развернутой модели выберите необходимую площадку. В этом случае мы выбираем площадку для чата.

3. В раскрывающемся списке "Развертывание" в разделе "Настройка" выберите имя развертывания модели, которое вы создали.

   

4. Введите запрос и просмотрите выходные данные.

5. Кроме того, можно использовать Просмотр кода, чтобы узнать подробности о том, как получить доступ к развертыванию модели программным способом.

Вы можете решить и настроить, какие модели доступны для вывода в конечной точке вывода. После настройки данной модели можно генерировать прогнозы из неё, указав её имя модели или имя развертывания в запросах. Дополнительные изменения в коде не требуются.

В этой статье вы узнаете, как добавить новую модель в модель ИИ Azure в Azure AI Foundry.

Предварительные условия

Для работы с этой статьей необходимо иметь следующее.

• Подписка Azure. Если вы используете GitHub Models, вы можете обновить ваш опыт и создать подписку Azure в процессе. Прочтите статью Обновите модели GitHub до моделей ИИ Azure, если это ваш случай.

• Ресурс служб ИИ Azure.

• Установите Azure CLI и cognitiveservices расширение для служб ИИ Azure:

  az extension add -n cognitiveservices
  

• Некоторые команды, приведенные в этом руководстве, используют jq средство, которое может не быть установлено в вашей системе. Инструкции по установке см. в разделе "Скачать jq".

• Определите следующие сведения:

  • Идентификатор вашей подписки Azure.

  • Имя ресурса Служб искусственного интеллекта Azure.

  • Группа ресурсов, в которой развернут ресурс Служб искусственного интеллекта Azure.

Добавление моделей

Чтобы добавить модель, сначала необходимо определить модель, которую вы хотите развернуть. Вы можете запросить доступные модели следующим образом:

1. Войдите в подписку Azure:

   az login
   

2. Если у вас более 1 подписки, выберите подписку, в которой находится ваш ресурс:

   az account set --subscription $subscriptionId
   

3. Задайте следующие переменные среды с именем ресурса Служб искусственного интеллекта Azure, который вы планируете использовать и группу ресурсов.

   accountName="<ai-services-resource-name>"
   resourceGroupName="<resource-group>"
   location="eastus2"
   

4. Если у вас еще нет учетной записи Служб искусственного интеллекта Azure, ее можно создать следующим образом:

   az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0
   

5. Давайте посмотрим, какие модели доступны для вас, и под каким номером SKU. Номера SKU, также известные как типы развертывания, определяют, как инфраструктура Azure используется для обработки запросов. Модели могут предлагать различные типы развертывания. Следующая команда содержит список всех доступных определений модели:

   az cognitiveservices account list-models \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
   

6. Выходные данные выглядят следующим образом:

   {
     "name": "Phi-3.5-vision-instruct",
     "format": "Microsoft",
     "version": "2",
     "sku": "GlobalStandard",
     "capacity": 1
   }
   

7. Определите модель, которую необходимо развернуть. Вам нужны свойства name, formatи versionsku. Свойство format указывает поставщику, предлагающего модель. Емкость также может потребоваться в зависимости от типа развертывания.

8. Добавьте развертывание модели в ресурс. В следующем примере добавляется Phi-3.5-vision-instruct:

   az cognitiveservices account deployment create \
       -n $accountName \
       -g $resourceGroupName \
       --deployment-name Phi-3.5-vision-instruct \
       --model-name Phi-3.5-vision-instruct \
       --model-version 2 \
       --model-format Microsoft \
       --sku-capacity 1 \
       --sku-name GlobalStandard
   

9. Модель готова к использованию.

Вы можете развернуть одну и ту же модель несколько раз, если это необходимо, при условии, что она находится под другим именем развертывания. Эта возможность может оказаться полезной в случае, если вы хотите протестировать различные конфигурации для данной модели, включая безопасность содержимого.

Используйте модель

Развернутые модели ИИ Azure доступны через конечную точку инференции модели ИИ Azure для ресурса. При создании запроса укажите параметр model и вставьте созданное вами имя развертывания модели. Вы можете программным способом получить URI для инференциальной конечной точки с помощью приведённого ниже кода.

Конечная точка вывода

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Чтобы отправить запросы к конечной точке вывода модели ИИ Azure, добавьте маршрут models, например https://<resource>.services.ai.azure.com/models. Вы можете ознакомиться со справочником по API для этой конечной точки на странице справочника API вывода модели ИИ Azure.

Ключи инференции

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Управление развертываниями

Вы можете просмотреть все развертывания, доступные с помощью интерфейса командной строки:

1. Выполните следующую команду, чтобы просмотреть все активные развертывания:

   az cognitiveservices account deployment list -n $accountName -g $resourceGroupName
   

2. Подробные сведения о данном развертывании можно просмотреть:

   az cognitiveservices account deployment show \
       --deployment-name "Phi-3.5-vision-instruct" \
       -n $accountName \
       -g $resourceGroupName
   

3. Вы можете удалить данное развертывание следующим образом:

   az cognitiveservices account deployment delete \
       --deployment-name "Phi-3.5-vision-instruct" \
       -n $accountName \
       -g $resourceGroupName
   

Вы можете решить и настроить, какие модели доступны для вывода в конечной точке вывода. После того как данная модель сконфигурирована, вы можете получить прогнозы из неё, указывая имя модели или развертывания в своих запросах. Дополнительные изменения в коде не требуются.

В этой статье вы узнаете, как добавить новую модель в систему вывода моделей Azure AI в Azure AI Foundry.

Предварительные условия

Для работы с этой статьей необходимо иметь следующее.

• Подписка Azure. Если вы используете модели GitHub, вы можете обновить интерфейс и создать подписку Azure в процессе. Прочтите руководство по переходу с моделей GitHub на использование моделей Azure AI для вывода, если это ваш случай.

• Ресурс служб ИИ Azure.

• Установите интерфейс командной строки Azure.

• Определите следующие сведения:

  • Идентификатор вашей подписки Azure.

  • Имя ресурса Служб искусственного интеллекта Azure.

  • Группа ресурсов, в которой развернут ресурс Служб искусственного интеллекта Azure.

  • Имя модели, поставщик, версия и номер SKU, которые вы хотите развернуть. Вы можете использовать портал Azure AI Foundry или Azure CLI для идентификации. В этом примере мы развернем следующую модель:

    • Имя модели:: Phi-3.5-vision-instruct
    • Поставщик: Microsoft
    • Версия:2
    • Тип развертывания: глобальный стандарт

О данном учебнике

Пример в этой статье основан на примерах кода, содержащихся в репозитории Azure-Samples/azureai-model-inference-bicep . Чтобы выполнить команды локально, не копируя или вставляя содержимое файла, используйте следующие команды, чтобы клонировать репозиторий и перейти в папку для языка программирования:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Файлы для этого примера находятся в следующих файлах:

cd azureai-model-inference-bicep/infra

Добавление модели

1. Используйте шаблон ai-services-deployment-template.bicep для описания развертываний моделей:

   ai-services-deployment-template.bicep

   @description('Name of the Azure AI services account')
   param accountName string
   
   @description('Name of the model to deploy')
   param modelName string
   
   @description('Version of the model to deploy')
   param modelVersion string
   
   @allowed([
     'AI21 Labs'
     'Cohere'
     'Core42'
     'DeepSeek'
     'Meta'
     'Microsoft'
     'Mistral AI'
     'OpenAI'
   ])
   @description('Model provider')
   param modelPublisherFormat string
   
   @allowed([
       'GlobalStandard'
       'Standard'
       'GlobalProvisioned'
       'Provisioned'
   ])
   @description('Model deployment SKU name')
   param skuName string = 'GlobalStandard'
   
   @description('Content filter policy name')
   param contentFilterPolicyName string = 'Microsoft.DefaultV2'
   
   @description('Model deployment capacity')
   param capacity int = 1
   
   resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
     name: '${accountName}/${modelName}'
     sku: {
       name: skuName
       capacity: capacity
     }
     properties: {
       model: {
         format: modelPublisherFormat
         name: modelName
         version: modelVersion
       }
       raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
     }
   }
   

2. Запустите развертывание:

   RESOURCE_GROUP="<resource-group-name>"
   ACCOUNT_NAME="<azure-ai-model-inference-name>" 
   MODEL_NAME="Phi-3.5-vision-instruct"
   PROVIDER="Microsoft"
   VERSION=2
   
   az deployment group create \
       --resource-group $RESOURCE_GROUP \
       --template-file ai-services-deployment-template.bicep \
       --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER
   

Используйте модель

Развернутые модели в выводе модели ИИ Azure можно использовать с помощью конечной точки вывода модели ИИ Azure для ресурса. При создании запроса укажите параметр model и вставьте созданное вами имя развертывания модели.