Развертывание моделей в виде бессерверных развертываний API (классическая модель)

• Вы можете использовать любой совместимый веб-браузер для навигации по Foundry.

Поиск модели в каталоге моделей

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (classic).
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области.

Развертывание модели в бессерверном API

В этом разделе описано, как создать конечную точку для модели.

1. В мастере развертывания выберите "Развернуть". Подождите, пока развертывание будет готово, и вы будете перенаправлены на страницу "Развертывания".

2. Чтобы просмотреть конечные точки, развернутые в проекте, в разделе "Мои ресурсы " в левой области выберите "Модели и конечные точки".

3. Созданная конечная точка использует проверку подлинности ключа для авторизации. Чтобы получить ключи, связанные с данной конечной точкой, выполните следующие действия.

   1. Выберите развертывание и запишите URI целевой точки и ключ конечной точки.

   2. Используйте эти учетные данные для вызова развертывания и создания прогнозов.

4. Если вам нужно использовать это развертывание в другом проекте или концентраторе, или вы планируете воспользоваться Prompt flow для создания интеллектуальных приложений, необходимо установить подключение к развертыванию бессерверного API. Сведения о том, как настроить существующее бессерверное развертывание API в рамках нового проекта или узла, см. в разделе "Использование развернутого бессерверного API из другого проекта или из потока запросов".

   Совет

   Если вы используете Prompt flow в том же проекте или центре, где была выполнена установка, вам все равно нужно создать подключение.

Использование развертывания бессерверного API

Модели, развернутые в Машинное обучение Azure и Foundry в бессерверных развертываниях API, поддерживают API вывода моделей Azure ИИ, предоставляющие общий набор возможностей для базовых моделей и которые могут использоваться разработчиками для использования прогнозов из различных наборов моделей в единообразном и согласованном режиме.

Узнайте больше о возможностях этого API и о том, как его использовать при создании приложений.

Удаление конечных точек и подписок

Вы можете удалить подписки и конечные точки модели. Удаление подписки модели приводит к тому, что любые связанные конечные точки становятся неработоспособными и непригодными для использования.

Чтобы удалить развертывание бессерверного API, выполните следующие действия.

1. Перейдите в Фаундри.
2. Перейдите в ваш проект.
3. В разделе "Мои ресурсы" выберите "Модели и конечные точки".
4. Откройте развертывание, которое нужно удалить.
5. Нажмите кнопку "Удалить".

Чтобы удалить связанную подписку модели, выполните следующие действия.

1. Перейдите на портал Azure
2. Перейдите в группу ресурсов, к которой относится проект.
3. В фильтре типов выберите SaaS.
4. Выберите подписку, которую вы хотите удалить.
5. Нажмите кнопку "Удалить".

• Чтобы работать с Foundry, установите Azure CLI и расширение ml для Машинное обучение Azure.

  az extension add -n ml
  

  Если у вас уже установлено расширение, убедитесь, что установлена последняя версия.

  az extension update -n ml
  

  После установки расширения настройте его:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

Поиск модели в каталоге моделей

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (classic).
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области.

Действия, описанные в этом разделе статьи, используют модель DeepSeek-R1 для иллюстрации. Эти шаги одинаковы, независимо от того, используете ли вы модели Foundry, проданные непосредственно Azure или Foundry Models от партнеров и сообщества. Например, если вы решили развернуть модель Cohere-command-r-08-2024, вы можете заменить реквизиты доступа модели в фрагментах кода на реквизиты для сервиса Cohere.

Развертывание модели в бессерверном API

В этом разделе описано, как создать конечную точку для модели. Назовите конечную точку DeepSeek-R1-qwerty.

1. Создайте бессерверную конечную точку.

   endpoint.yml

   name: DeepSeek-R1-qwerty
   model_id: azureml://registries/azureml-deepseek/models/DeepSeek-R1
   

   Используйте файл endpoint.yml для создания конечной точки:

   az ml serverless-endpoint create -f endpoint.yml
   

2. В любой момент можно увидеть конечные точки, развернутые в проекте:

   az ml serverless-endpoint list
   

3. Созданная конечная точка использует проверку подлинности ключа для авторизации. Чтобы получить ключи, связанные с данной конечной точкой, выполните следующие действия.

   az ml serverless-endpoint get-credentials -n DeepSeek-R1-qwerty
   

4. Если вам нужно использовать это развертывание в другом проекте или концентраторе, или вы планируете воспользоваться Prompt flow для создания интеллектуальных приложений, необходимо установить подключение к развертыванию бессерверного API. Сведения о том, как настроить существующее бессерверное развертывание API в рамках нового проекта или узла, см. в разделе "Использование развернутого бессерверного API из другого проекта или из потока запросов".

   Совет

   Если вы используете Prompt flow в том же проекте или центре, где была выполнена установка, вам все равно нужно создать подключение.

Использование развертывания бессерверного API

Модели, развернутые в Машинное обучение Azure и Foundry в бессерверных развертываниях API, поддерживают API вывода моделей Azure ИИ, предоставляющие общий набор возможностей для базовых моделей и которые могут использоваться разработчиками для использования прогнозов из различных наборов моделей в единообразном и согласованном режиме.

Узнайте больше о возможностях этого API и о том, как его использовать при создании приложений.

Удаление конечных точек и подписок

Вы можете удалить подписки и конечные точки модели. Удаление подписки модели приводит к тому, что любые связанные конечные точки становятся неработоспособными и непригодными для использования.

Чтобы удалить развертывание бессерверного API, выполните следующие действия.

az ml serverless-endpoint delete \
    --name "DeepSeek-R1-qwerty"

Чтобы удалить связанную подписку модели, выполните следующие действия.

az ml marketplace-subscription delete \
    --name "DeepSeek-R1"

• Чтобы работать с Foundry, установите пакет SDK Машинное обучение Azure для Python.

  pip install -U azure-ai-ml
  

  После установки импортируйте необходимые пространства имен и создайте клиент, подключенный к проекту:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint
  
  client = MLClient(
      credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
      subscription_id="<subscription-id>",
      resource_group_name="<resource-group>",
      workspace_name="<project-name>",
  )
  

Поиск модели в каталоге моделей

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (classic).
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области.

Действия, описанные в этом разделе статьи, используют модель DeepSeek-R1 для иллюстрации. Эти шаги одинаковы, независимо от того, используете ли вы модели Foundry, проданные непосредственно Azure или Foundry Models от партнеров и сообщества. Например, если вы решили развернуть модель Cohere-command-r-08-2024, вы можете заменить реквизиты доступа модели в фрагментах кода на реквизиты для сервиса Cohere.

Развертывание модели в бессерверном API

В этом разделе описано, как создать конечную точку для модели. Назовите конечную точку DeepSeek-R1-qwerty.

1. Создайте бессерверную конечную точку.

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

2. В любой момент можно увидеть конечные точки, развернутые в проекте:

   endpoint_name="DeepSeek-R1-qwerty"
   
   serverless_endpoint = ServerlessEndpoint(
       name=endpoint_name,
       model_id=model_id
   )
   
   created_endpoint = client.serverless_endpoints.begin_create_or_update(
       serverless_endpoint
   ).result()
   

3. Созданная конечная точка использует проверку подлинности ключа для авторизации. Чтобы получить ключи, связанные с данной конечной точкой, выполните следующие действия.

   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

4. Если вам нужно использовать это развертывание в другом проекте или концентраторе, или вы планируете воспользоваться Prompt flow для создания интеллектуальных приложений, необходимо установить подключение к развертыванию бессерверного API. Сведения о том, как настроить существующее бессерверное развертывание API в рамках нового проекта или узла, см. в разделе "Использование развернутого бессерверного API из другого проекта или из потока запросов".

   Совет

   Если вы используете Prompt flow в том же проекте или центре, где была выполнена установка, вам все равно нужно создать подключение.

Использование развертывания бессерверного API

Модели, развернутые в Машинное обучение Azure и Foundry в бессерверных развертываниях API, поддерживают API вывода моделей Azure ИИ, предоставляющие общий набор возможностей для базовых моделей и которые могут использоваться разработчиками для использования прогнозов из различных наборов моделей в единообразном и согласованном режиме.

Узнайте больше о возможностях этого API и о том, как его использовать при создании приложений.

Удаление конечных точек и подписок

Вы можете удалить подписки и конечные точки модели. Удаление подписки модели приводит к тому, что любые связанные конечные точки становятся неработоспособными и непригодными для использования.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Чтобы удалить связанную подписку модели, выполните следующие действия.

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

• Чтобы работать с Foundry, установите Azure CLI, как описано в Azure CLI.

  Настройте следующие переменные среды в соответствии с параметрами:

  RESOURCE_GROUP="serverless-models-dev"
  LOCATION="eastus2" 
  

Поиск модели в каталоге моделей

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (classic).
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области.

Действия, описанные в этом разделе статьи, используют модель DeepSeek-R1 для иллюстрации. Эти шаги одинаковы, независимо от того, используете ли вы модели Foundry, проданные непосредственно Azure или Foundry Models от партнеров и сообщества. Например, если вы решили развернуть модель Cohere-command-r-08-2024, вы можете заменить реквизиты доступа модели в фрагментах кода на реквизиты для сервиса Cohere.

Развертывание модели в бессерверном API

В этом разделе описано, как создать конечную точку для модели. Назовите конечную точку myserverless-text-1234ss.

1. Создайте бессерверную конечную точку. Чтобы создать конечную точку, используйте следующий шаблон:

   serverless-endpoint.bicep

   param projectName string = 'my-project'
   param endpointName string = 'myserverless-text-1234ss'
   param location string = resourceGroup().location
   param modelId string = 'azureml://registries/azureml-deepseek/models/DeepSeek-R1'
   
   var modelName = substring(modelId, (lastIndexOf(modelId, '/') + 1))
   // Replace period character which is used in some model names (and is not valid in the subscription name)
   var sanitizedModelName = replace(modelName, '.', '')
   var subscriptionName = '${sanitizedModelName}-subscription'
   
   resource projectName_endpoint 'Microsoft.MachineLearningServices/workspaces/serverlessEndpoints@2024-04-01-preview' = {
     name: '${projectName}/${endpointName}'
     location: location
     sku: {
       name: 'Consumption'
     }
     properties: {
       modelSettings: {
         modelId: modelId
       }
     }
     dependsOn: [
       projectName_subscription
     ]
   }
   
   output endpointUri string = projectName_endpoint.properties.inferenceEndpoint.uri
   

   Создайте развертывание следующим образом:

   az deployment group create --resource-group $RESOURCE_GROUP --template-file model-subscription.bicep
   

2. В любой момент можно увидеть конечные точки, развернутые в проекте:

   Средства управления ресурсами можно использовать для запроса ресурсов. Следующий код использует Azure CLI:

   az resource list \
       --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
   

3. Созданная конечная точка использует проверку подлинности ключа для авторизации. Получите ключи, связанные с данной конечной точкой, с помощью REST API для запроса этих сведений.

4. Если вам нужно использовать это развертывание в другом проекте или концентраторе, или вы планируете воспользоваться Prompt flow для создания интеллектуальных приложений, необходимо установить подключение к развертыванию бессерверного API. Сведения о том, как настроить существующее бессерверное развертывание API в рамках нового проекта или узла, см. в разделе "Использование развернутого бессерверного API из другого проекта или из потока запросов".

   Совет

   Если вы используете Prompt flow в том же проекте или центре, где была выполнена установка, вам все равно нужно создать подключение.

Использование развертывания бессерверного API

Модели, развернутые в Машинное обучение Azure и Foundry в бессерверных развертываниях API, поддерживают API вывода моделей Azure ИИ, предоставляющие общий набор возможностей для базовых моделей и которые могут использоваться разработчиками для использования прогнозов из различных наборов моделей в единообразном и согласованном режиме.

Узнайте больше о возможностях этого API и о том, как его использовать при создании приложений.

Удаление конечных точек и подписок

Вы можете удалить подписки и конечные точки модели. Удаление подписки модели приводит к тому, что любые связанные конечные точки становятся неработоспособными и непригодными для использования.

Средства управления ресурсами можно использовать для управления ресурсами. Следующий код использует Azure CLI:

az resource delete --name <resource-name>