Как развернуть и выполнять вычисления в среде управляемого вычислительного развертывания (классическая версия)

Развертывание модели

1. На странице модели выберите "Использовать эту модель". Это действие открывает окно развертывания, если выбранная модель может быть развернута только в управляемом вычислительном ресурсе.

2. Кроме того, если вы выбрали модель, которая также поддерживает другой вариант развертывания, вы попадёте в окно "Параметры покупки". Выберите параметр приобретения управляемой вычислительной мощности для открытия окна развертывания.

   • Установите флажок в окне развертывания, чтобы использовать временную общую квоту. Для развертывания на самостоятельно размещенном управляемом вычислительном ресурсe необходимо иметь достаточную квоту в подписке. Если у вас нет достаточной квоты, вы можете использовать доступ к временной квоте, выбрав параметр, который я хочу использовать общую квоту, и я признаю, что эта конечная точка будет удалена в 168 часов.

3. Окно развертывания предварительно заполнено некоторыми значениями выбора и параметров. Их можно сохранить или изменить по мере необходимости. Можно также выбрать существующую конечную точку для развертывания или создать новую. В этом примере укажите количество экземпляров 1 и создайте новую конечную точку для развертывания.

   

4. Выберите Развертывание, чтобы создать развертывание. Процесс создания может занять несколько минут. По завершении портал открывает страницу развертывания модели.

   Совет

   Чтобы просмотреть конечные точки, развернутые в проекте, перейдите в раздел «Мои ресурсы» в левой области и выберите «Модели + конечные точки».

5. Убедитесь, что развертывание выполнено успешно. На странице сведений о развертывании убедитесь, что состояние подготовки отображается успешно , а состояние развертывания — "Работоспособно". Если вы видите какие-либо ошибки, обратитесь к разделу "Устранение неполадок ".

6. Созданная конечная точка использует проверку подлинности ключа для авторизации. Чтобы получить ключи, связанные с данной конечной точкой, выполните следующие действия.

   1. Выберите развертывание и запишите URI целевой конечной точки и ключ.
   2. Используйте эти учетные данные для вызова развертывания и создания прогнозов.

   Целевой универсальный код ресурса (URI) соответствует этому формату: https://<endpoint-name>.<region>.inference.ml.azure.com/score

Потребление развертываний

После создания развертывания выполните следующие действия, чтобы использовать его:

1. Выберите модели и конечные точки в разделе "Мои ресурсы " в проекте Foundry.
2. Выберите развертывание на вкладке "Развертывания модели ".
3. Перейдите на вкладку "Тест" для примера вывода в конечную точку.
4. Вернитесь на вкладку "Сведения ", чтобы скопировать целевой URI развертывания, который можно использовать для выполнения вывода с кодом.
5. Перейдите на вкладку "Использование " развертывания, чтобы найти примеры кода для потребления.

6. Скопируйте идентификатор модели на странице сведений выбранной модели. Выглядит так для выбранной модели: azureml://registries/azureml/models/Phi-4/versions/8

Развертывание модели

1. Установите пакет SDK Машинное обучение Azure.

   pip install azure-ai-ml
   pip install azure-identity
   

2. Проверка подлинности с помощью Машинное обучение Azure и создание клиентского объекта. Замените заполнители идентификатором подписки, именем группы ресурсов и именем проекта Foundry.

   from azure.ai.ml import MLClient
   from azure.identity import InteractiveBrowserCredential
   
   workspace_ml_client = MLClient(
       credential=InteractiveBrowserCredential(),
       subscription_id="your subscription ID goes here",
       resource_group_name="your resource group name goes here",
       workspace_name="your project name goes here",
   )
   

   Этот код проходит аутентификацию в Azure с использованием учетных данных интерактивного браузера и создает клиент для взаимодействия с вашим проектом Foundry. При запуске этого кода откроется окно браузера для проверки подлинности.

   Справочник:MLClient, InteractiveBrowserCredential

3. Создайте конечную точку. Для параметра развертывания управляемых вычислений необходимо создать конечную точку перед развертыванием модели. Думайте о конечной точке как контейнере, который может размещать несколько развертываний моделей. Имена конечных точек должны быть уникальными в регионе, поэтому в этом примере используйте метку времени для создания уникального имени конечной точки.

   import time, sys
   from azure.ai.ml.entities import (
       ManagedOnlineEndpoint,
       ManagedOnlineDeployment,
       ProbeSettings,
   )
   
   # Make the endpoint name unique
   timestamp = int(time.time())
   online_endpoint_name = "customize your endpoint name here" + str(timestamp)
   
   # Create an online endpoint
   endpoint = ManagedOnlineEndpoint(
       name=online_endpoint_name,
       auth_mode="key",
   )
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).wait()
   

   Этот код создает управляемую конечную точку в сети с проверкой подлинности на основе ключей. Операция обычно занимает 2–3 минуты. По завершении у вас будет URL-адрес конечной точки, в котором можно развернуть модели.

   Ссылка:ManagedOnlineEndpoint, online_endpoints.begin_create_or_update

4. Создайте развертывание. Замените идентификатор модели в следующем коде идентификатором модели, скопированным на странице сведений модели, выбранной в разделе "Поиск модели" в разделе каталога моделей .

   model_name = "azureml://registries/azureml/models/Phi-4/versions/8" 
   
   demo_deployment = ManagedOnlineDeployment(
       name="demo",
       endpoint_name=online_endpoint_name,
       model=model_name,
       instance_type="Standard_DS3_v2",
       instance_count=2,
       liveness_probe=ProbeSettings(
           failure_threshold=30,
           success_threshold=1,
           timeout=2,
           period=10,
           initial_delay=1000,
       ),
       readiness_probe=ProbeSettings(
           failure_threshold=10,
           success_threshold=1,
           timeout=10,
           period=10,
           initial_delay=1000,
       ),
   )
   workspace_ml_client.online_deployments.begin_create_or_update(demo_deployment).wait()
   endpoint.traffic = {"demo": 100}
   workspace_ml_client.online_endpoints.begin_create_or_update(endpoint).result()
   

   Этот код развертывает модель на ваш конечный узел с двумя экземплярами виртуальных машин Standard_DS3_v2. Развертывание включает проверки активности и готовности для контроля работоспособности. Установлено распределение трафика на уровне 100% для этого развертывания. Операция занимает несколько минут. По завершении модель готова принять запросы вывода.

   Справочник:ManagedOnlineDeployment, ProbeSettings, online_deployments.begin_create_or_update

Выполнение вывода в развертывании

1. Для тестирования вывода требуется пример данных JSON. Создайте файл с именем sample_score.json в рабочем каталоге со следующим содержимым:

   {
     "inputs": {
       "question": [
         "Where do I live?",
         "Where do I live?",
         "What's my name?",
         "Which name is also used to describe the Amazon rainforest in English?"
       ],
       "context": [
         "My name is Wolfgang and I live in Berlin",
         "My name is Sarah and I live in London",
         "My name is Clara and I live in Berkeley.",
         "The Amazon rainforest (Portuguese: Floresta Amaz\u00f4nica or Amaz\u00f4nia; Spanish: Selva Amaz\u00f3nica, Amazon\u00eda or usually Amazonia; French: For\u00eat amazonienne; Dutch: Amazoneregenwoud), also known in English as Amazonia or the Amazon Jungle, is a moist broadleaf forest that covers most of the Amazon basin of South America. This basin encompasses 7,000,000 square kilometres (2,700,000 sq mi), of which 5,500,000 square kilometres (2,100,000 sq mi) are covered by the rainforest. This region includes territory belonging to nine nations. The majority of the forest is contained within Brazil, with 60% of the rainforest, followed by Peru with 13%, Colombia with 10%, and with minor amounts in Venezuela, Ecuador, Bolivia, Guyana, Suriname and French Guiana. States or departments in four nations contain \"Amazonas\" in their names. The Amazon represents over half of the planet's remaining rainforests, and comprises the largest and most biodiverse tract of tropical rainforest in the world, with an estimated 390 billion individual trees divided into 16,000 species."
       ]
     }
   }
   

2. Вывод с sample_score.json. Измените расположение файла оценки в следующем коде на основе сохранения примера JSON-файла.

   import json
   
   scoring_file = "./sample_score.json" 
   response = workspace_ml_client.online_endpoints.invoke(
       endpoint_name=online_endpoint_name,
       deployment_name="demo",
       request_file=scoring_file,
   )
   response_json = json.loads(response)
   print(json.dumps(response_json, indent=2))
   

   Этот код отправляет примеры вопросов и контекста в развернутую модель и выводит ответы. Модель выполняет ответы на вопросы, извлекая соответствующий текст из предоставленного контекста. Ожидаемые выходные данные включают текст ответа и оценки достоверности для каждого вопроса.

   Reference:online_endpoints.invoke