Развертывание моделей с помощью Azure CLI и Bicep

• Установите Azure CLI (версия 2.60 или более поздняя) и расширение cognitiveservices.

  az extension add -n cognitiveservices
  

• Некоторые команды в этом руководстве используют средство jq, которое может не быть установлено на вашей системе. Инструкции по установке см. в разделе "Скачать jq".

• Определите следующие сведения:

  • Идентификатор подписки Azure

  • Имя ресурса для Foundry

  • Группа ресурсов, в которой развернут ресурс Foundry

Добавление моделей

Чтобы добавить модель, сначала определите модель, которую вы хотите развернуть. Выполните запрос доступных моделей следующим образом:

1. Войдите в подписку Azure.

   az login
   

2. Если у вас несколько подписок, выберите подписку, в которой находится ваш ресурс.

   az account set --subscription $subscriptionId
   

3. Задайте следующие переменные среды с именем ресурса Foundry, который вы планируете использовать и группу ресурсов.

   accountName="<ai-services-resource-name>"
   resourceGroupName="<resource-group>"
   location="eastus2"
   

4. Если вы еще не создали ресурс Foundry, создайте его.

   az cognitiveservices account create -n $accountName -g $resourceGroupName --custom-domain $accountName --location $location --kind AIServices --sku S0
   

   Справочник: az cognitiveservices account

5. Проверьте, какие модели доступны для вас и под каким номером SKU. Номера SKU, также известные как типы развертывания, определяют, как инфраструктура Azure обрабатывает запросы. Модели могут предлагать различные типы развертывания. Следующая команда содержит все доступные определения модели:

   az cognitiveservices account list-models \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'
   

   Выходные данные включают доступные модели со своими свойствами:

   {
     "name": "Phi-4-mini-instruct",
     "format": "Microsoft",
     "version": "1",
     "sku": "GlobalStandard",
     "capacity": 1
   }
   

   Справочник: az cognitiveservices account list-models

6. Определите модель, которую необходимо развернуть. Вам нужны свойства name, formatи versionsku. Свойство format указывает поставщику, предлагающего модель. В зависимости от типа развертывания может потребоваться также емкость.

7. Добавьте модель развертывания в ресурс. В следующем примере добавляется Phi-4-mini-instruct:

   az cognitiveservices account deployment create \
       -n $accountName \
       -g $resourceGroupName \
       --deployment-name Phi-4-mini-instruct \
       --model-name Phi-4-mini-instruct \
       --model-version 1 \
       --model-format Microsoft \
       --sku-capacity 1 \
       --sku-name GlobalStandard
   

   Справка: Развертывание учетной записи az cognitiveservices

8. Убедитесь, что развертывание выполнено успешно:

   az cognitiveservices account deployment show \
       --deployment-name Phi-4-mini-instruct \
       -n $accountName \
       -g $resourceGroupName \
   | jq '.properties.provisioningState'
   

   Выходные данные должны отображаться "Succeeded". Модель готова к использованию после завершения подготовки.

   Справочник: az cognitiveservices account list-models

Вы можете развернуть одну и ту же модель несколько раз, если это необходимо, при условии, что оно будет иметь другое имя развертывания. Эта возможность полезна, если вы хотите протестировать различные конфигурации для данной модели, включая фильтры содержимого.

Используйте модель

Развернутые модели можно использовать с помощью конечных точек для моделей Foundry для ресурса. При создании запроса укажите параметр model и вставьте созданное имя развертывания модели. Вы можете программно получить URI для инференс-конечной точки с помощью следующего кода:

Конечная точка вывода

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Чтобы выполнить запросы к конечной точке Foundry Models, добавьте маршрут models. Например: https://<resource>.services.ai.azure.com/models. Ознакомьтесь со справочником по API Azure AI Model Inference для всех поддерживаемых операций.

Ключи вывода заключений

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Управление развертываниями

Вы можете просмотреть все развертывания, доступные с помощью интерфейса командной строки:

1. Выполните следующую команду, чтобы просмотреть все активные развертывания:

   az cognitiveservices account deployment list -n $accountName -g $resourceGroupName
   

   Справочник: az cognitiveservices account deployment list

2. Подробные сведения о данном развертывании можно просмотреть:

   az cognitiveservices account deployment show \
       --deployment-name "Phi-4-mini-instruct" \
       -n $accountName \
       -g $resourceGroupName
   

   Справочник: az cognitiveservices account deployment show

3. Вы можете удалить данное развертывание следующим образом:

   az cognitiveservices account deployment delete \
       --deployment-name "Phi-4-mini-instruct" \
       -n $accountName \
       -g $resourceGroupName
   

   Справочник: az cognitiveservices account deployment delete

• Установите Azure CLI.

• Определите следующие сведения:

  • Идентификатор подписки Azure

• Имя ресурса Foundry (прежнее название — ресурс служб ИИ Azure)

• Группа ресурсов, в которой развернут ресурс Foundry

• Имя модели, поставщик, версия и SKU, который вы хотите развернуть. Для поиска этих сведений можно использовать портал Foundry или Azure CLI. В этом примере вы развернете следующую модель:

  • Имя модели: Phi-4-mini-instruct
  • Provider: Microsoft
  • Версия: 1
  • Тип развертывания: глобальный стандарт

Настройка среды

Пример в этой статье основан на примерах кода, содержащихся в репозитории Azure-Samples/azureai-model-inference-bicep. Чтобы выполнить команды локально, не копируя или вставляя содержимое файла, клонируйте репозиторий:

git clone https://github.com/Azure-Samples/azureai-model-inference-bicep

Файлы для этого примера находятся в следующих файлах:

cd azureai-model-inference-bicep/infra

Разрешения, необходимые для подписки на модели от партнеров и сообщества

Модели Foundry от партнеров и сообщества, доступные для развертывания (например, модели Cohere), требуют Azure Marketplace. Поставщики моделей определяют условия лицензии и задают цену на использование своих моделей с помощью Azure Marketplace.

При развертывании сторонних моделей убедитесь, что у вас есть следующие разрешения в вашей учетной записи:

Встроенные роли Owner и Contributor в подписке Azure включают эти разрешения. Если у вас нет необходимых разрешений, попросите администратора подписки назначить вам роль участника или создать пользовательскую роль , содержащую перечисленные действия.

Чтобы проверить свои разрешения, перейдите на портал Azure откройте подписку, выберите элемент управления Access (IAM)>Check access и просмотрите назначенные роли.

Добавление модели

1. Используйте шаблон ai-services-deployment-template.bicep для описания развертываний моделей:

   ai-services-deployment-template.bicep

   @description('Name of the Azure AI services account')
   param accountName string
   
   @description('Name of the model to deploy')
   param modelName string
   
   @description('Version of the model to deploy')
   param modelVersion string
   
   @allowed([
     'AI21 Labs'
     'Cohere'
     'Core42'
     'DeepSeek'
     'xAI'
     'Meta'
     'Microsoft'
     'Mistral AI'
     'OpenAI'
   ])
   @description('Model provider')
   param modelPublisherFormat string
   
   @allowed([
       'GlobalStandard'
       'DataZoneStandard'
       'Standard'
       'GlobalProvisioned'
       'Provisioned'
   ])
   @description('Model deployment SKU name')
   param skuName string = 'GlobalStandard'
   
   @description('Content filter policy name')
   param contentFilterPolicyName string = 'Microsoft.DefaultV2'
   
   @description('Model deployment capacity')
   param capacity int = 1
   
   resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
     name: '${accountName}/${modelName}'
     sku: {
       name: skuName
       capacity: capacity
     }
     properties: {
       model: {
         format: modelPublisherFormat
         name: modelName
         version: modelVersion
       }
       raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
     }
   }
   

2. Запустите развертывание:

   RESOURCE_GROUP="<resource-group-name>"
   ACCOUNT_NAME="<azure-ai-model-inference-name>" 
   MODEL_NAME="Phi-4-mini-instruct"
   PROVIDER="Microsoft"
   VERSION=1
   
   az deployment group create \
       --resource-group $RESOURCE_GROUP \
       --template-file ai-services-deployment-template.bicep \
       --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER
   

3. Убедитесь, что развертывание выполнено успешно:

   az cognitiveservices account deployment show \
       --deployment-name $MODEL_NAME \
       -n $ACCOUNT_NAME \
       -g $RESOURCE_GROUP \
   | jq '.properties.provisioningState'
   

   Выходные данные должны отображаться "Succeeded".

Используйте модель

Развернутые модели можно использовать с помощью конечных точек для моделей Foundry для ресурса. При создании запроса укажите параметр model и вставьте созданное имя развертывания модели. Вы можете программно получить URI для инференс-конечной точки с помощью следующего кода:

Конечная точка вывода

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Чтобы выполнить запросы к конечной точке Foundry Models, добавьте маршрут models. Например: https://<resource>.services.ai.azure.com/models. Ознакомьтесь со справочником по API Azure AI Model Inference для всех поддерживаемых операций.

Ключи вывода заключений

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName