Присоединение пула Synapse Spark и управление ими в Машинное обучение Azure

• Подписка Azure; Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.
• Рабочая область Машинного обучения Azure. См.раздел Создание ресурсов рабочей области.
• Создайте рабочую область Azure Synapse Analytics в портале Azure.
• Создайте пул Apache Spark с помощью портал Azure.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

• Подписка Azure; Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.
• Рабочая область Машинного обучения Azure. См.раздел Создание ресурсов рабочей области.
• Создайте рабочую область Azure Synapse Analytics в портале Azure.
• Создайте пул Apache Spark с помощью портал Azure.
• Создайте Машинное обучение Azure вычислительный экземпляр.
• Установите Машинное обучение Azure CLI.

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

• Подписка Azure; Если у вас нет подписки Azure, создайте бесплатную учетную запись перед началом работы.
• Рабочая область Машинного обучения Azure. См.раздел Создание ресурсов рабочей области.
• Создайте рабочую область Azure Synapse Analytics в портале Azure.
• Создайте пул Apache Spark с помощью портал Azure.
• Настройте среду разработки или создайте Машинное обучение Azure вычислительный экземпляр.
• Установите пакет SDK Машинное обучение Azure для Python.

Чтобы подключить пул Synapse Spark с помощью вкладки "Вычисления Студии", выполните следующие действия.

1. В разделе "Управление" в левой области выберите "Вычисления".
2. Выберите подключенные вычисления.
3. На экране подключенных вычислений нажмите кнопку "Создать", чтобы просмотреть параметры подключения различных типов вычислений.
4. Выберите пул Synapse Spark.

Откроется панель пула Attach Synapse Spark справа от экрана. На этой панели:

1. Введите имя, которое ссылается на подключенный пул Synapse Spark в ресурсе Машинное обучение Azure.

2. Выберите подписку Azure в раскрывающемся меню.

3. Выберите рабочую область Synapse в раскрывающемся меню.

4. Выберите пул Spark в раскрывающемся меню.

5. Переключите параметр "Назначить управляемое удостоверение ", чтобы включить его.

6. Выберите тип управляемого удостоверения для использования с этим подключенным пулом Synapse Spark.

7. Выберите "Обновить", чтобы завершить процесс подключения пула Spark Synapse.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

С помощью интерфейса командной строки Машинное обучение Azure мы можем использовать интуитивно понятный синтаксис YAML и команды из интерфейса командной строки для подключения пула Synapse Spark и управления ими.

Чтобы определить подключенный пул Synapse Spark с помощью синтаксиса YAML, файл YAML должен охватывать следующие свойства:

• name — имя подключенного пула Synapse Spark.

• type — задайте для этого свойства synapsesparkзначение .

• resource_id — это свойство должно предоставить значение идентификатора ресурса пула Synapse Spark, созданного в рабочей области Azure Synapse Analytics. Идентификатор ресурса Azure включает в себя

  • Идентификатор подписки Azure,

  • Имя группы ресурсов,

  • Имя рабочей области Azure Synapse Analytics и

  • имя пула Synapse Spark.

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    

• identity — это свойство определяет тип удостоверения для назначения присоединенному пулу Synapse Spark. Это может занять одно из следующих значений:

  • system_assigned

  • user_assigned

    name: <ATTACHED_SPARK_POOL_NAME>
    
    type: synapsespark
    
    resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
    
    identity:
    type: system_assigned
    

• identity Для типа user_assignedтакже следует указать список значенийuser_assigned_identities. Каждое удостоверение, назначаемое пользователем, должно быть объявлено как элемент списка, используя resource_id значение назначаемого пользователем удостоверения. Первое назначаемое пользователем удостоверение в списке используется для отправки задания по умолчанию.

  name: <ATTACHED_SPARK_POOL_NAME>
  
  type: synapsespark
  
  resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>
  
  identity:
    type: user_assigned
    user_assigned_identities:
      - resource_id: /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>
  

Приведенные выше файлы YAML можно использовать в команде az ml compute attach --file в качестве параметра. Пул Synapse Spark можно подключить к рабочей области Машинное обучение Azure в указанной группе ресурсов подписки, как az ml compute attach показано ниже:

az ml compute attach --file <YAML_SPECIFICATION_FILE_NAME>.yaml --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please visit https://aka.ms/azuremlexperimental for more information.

{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Если подключенный пул Synapse Spark с именем, указанным в файле спецификации YAML, уже существует в рабочей области, az ml compute attach выполнение команд обновляет существующий пул с информацией, предоставленной в файле спецификации YAML. Вы можете обновить

• Тип удостоверения
• назначенные пользователем удостоверения
• tags

значения с помощью файла спецификации YAML.

Чтобы отобразить сведения о подключенном пуле Synapse Spark, выполните az ml compute show команду. Передайте имя присоединенного пула Synapse Spark с параметром --name , как показано ниже.

az ml compute show --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

<ATTACHED_SPARK_POOL_NAME>
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 19:01:05.109840+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Чтобы просмотреть список всех вычислений, включая подключенные пулы Synapse Spark в рабочей области, используйте az ml compute list команду. Используйте параметр имени для передачи имени рабочей области, как показано ниже.

az ml compute list --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

[
    {
    "auto_pause_settings": {
        "auto_pause_enabled": true,
        "delay_in_minutes": 15
    },
    "created_on": "2022-09-09 21:28:54.871251+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
        "principal_id": "<PRINCIPAL_ID>",
        "tenant_id": "<TENANT_ID>",
        "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
        "auto_scale_enabled": false,
        "max_node_count": 0,
        "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
    },
    ...
]

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

пакет SDK для Python Машинное обучение Azure предоставляет удобные функции для присоединения пула Synapse Spark и управления ими с помощью кода Python в записных книжках Машинное обучение Azure.

Чтобы подключить вычисление Synapse с помощью пакета SDK для Python, сначала создайте экземпляр класса azure.ai.ml.MLClient. Это обеспечивает удобные функции для взаимодействия со службами Машинное обучение Azure. В следующем примере кода используется azure.identity.DefaultAzureCredential для подключения к рабочей области в группе ресурсов указанной подписки Azure. В следующем примере кода определите SynapseSparkCompute следующие параметры:

• name — определяемое пользователем имя нового присоединенного пула Synapse Spark.
• resource_id — идентификатор ресурса пула Synapse Spark, созданного ранее в рабочей области Azure Synapse Analytics

Вызов функции azure.ai.ml.MLClient.begin_create_or_update() присоединяет определенный пул Synapse Spark к рабочей области Машинное обучение Azure.

from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource)
ml_client.begin_create_or_update(synapse_comp)

Чтобы подключить пул Synapse Spark, использующий назначаемое системой удостоверение, передайте IdentityConfiguration с типом, заданным SystemAssignedв качестве identity параметра SynapseSparkCompute класса. Этот фрагмент кода подключает пул Synapse Spark, использующий удостоверение, назначаемое системой:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(type="SystemAssigned")

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Пул Synapse Spark также может использовать удостоверение, назначаемое пользователем. Для удостоверения, назначаемого пользователем, можно передать определение управляемого SynapseSparkCompute удостоверения с помощью класса IdentityConfiguration в качестве identity параметра класса. Для определения управляемого удостоверения, используемого таким образом, задайте для UserAssignedпараметра type значение . Кроме того, передайте user_assigned_identities параметр. Параметр user_assigned_identities представляет собой список объектов класса UserAssignedIdentity. Удостоверение resource_id , назначаемое пользователем, заполняет каждый UserAssignedIdentity объект класса. Этот фрагмент кода подключает пул Synapse Spark, использующий удостоверение, назначаемое пользователем:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Вы можете управлять подключенным пулом Synapse Spark из пользовательского интерфейса Студия машинного обучения Azure. Функции управления пулом Spark включают связанные обновления управляемого удостоверения для подключенного пула Synapse Spark. При обновлении пула Synapse Spark можно назначить назначаемое системой удостоверение или удостоверение, назначаемое пользователем. Перед назначением его пулу Synapse Spark необходимо создать управляемое удостоверение, назначаемое пользователем, в портал Azure.

Чтобы обновить управляемое удостоверение для подключенного пула Synapse Spark, выполните следующие действия.

1. Откройте страницу сведений для пула Synapse Spark в Студия машинного обучения Azure.

2. Найдите значок редактирования, расположенный справа от раздела "Управляемое удостоверение ".

3. Чтобы назначить управляемое удостоверение в первый раз, установите переключатель "Назначить управляемое удостоверение ", чтобы включить его.

4. Чтобы назначить управляемое удостоверение, назначаемое системой, выполните действия.

   1. Выберите тип удостоверения, назначенный системой.
   2. Выберите Обновить.

5. Чтобы назначить управляемое удостоверение, назначаемое пользователем, выполните действия.

   1. Выберите тип удостоверения, назначенный пользователем.
   2. Выберите подписку Azure в раскрывающемся меню.
   3. Введите первые несколько букв имени управляемого удостоверения, назначаемого пользователем, в поле с текстовым поиском по имени. Появится список с соответствующими именами управляемых удостоверений, назначаемых пользователем. Выберите управляемое удостоверение, назначаемое пользователем, из списка. Вы можете выбрать несколько управляемых удостоверений, назначенных пользователем, и назначить их присоединенному пулу Synapse Spark.
   4. Выберите Обновить.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

Чтобы обновить удостоверение, связанное с подключенным пулом Synapse Spark, выполните az ml compute update команду с соответствующими параметрами. Чтобы назначить удостоверение, назначаемое системой, задайте --identity параметр в команде SystemAssignedследующим образом:

az ml compute update --identity SystemAssigned --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
    "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
    },
    "created_on": "2022-09-13 20:02:15.746490+00:00",
    "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
    "identity": {
    "principal_id": "<PRINCIPAL_ID>",
    "tenant_id": "<TENANT_ID>",
    "type": "system_assigned"
    },
    "location": "eastus2",
    "name": "<ATTACHED_SPARK_POOL_NAME>",
    "node_count": 5,
    "node_family": "MemoryOptimized",
    "node_size": "Small",
    "provisioning_state": "Succeeded",
    "resourceGroup": "<RESOURCE_GROUP>",
    "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<AML_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
    "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
    },
    "spark_version": "3.2",
    "type": "synapsespark"
}

Чтобы назначить удостоверение, назначаемое пользователем, задайте параметр --identity в команде UserAssigned. Кроме того, необходимо использовать --user-assigned-identities параметр для передачи идентификатора ресурса для удостоверения, назначаемого пользователем, как показано ниже.

az ml compute update --identity UserAssigned --user-assigned-identities /subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME> --name <ATTACHED_SPARK_POOL_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Class SynapseSparkCompute: This is an experimental class, and may change at any time. Please see https://aka.ms/azuremlexperimental for more information.
{
  "auto_pause_settings": {
    "auto_pause_enabled": true,
    "delay_in_minutes": 15
  },
  "created_on": "2022-09-13 20:02:15.746490+00:00",
  "id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.MachineLearningServices/workspaces/<AML_WORKSPACE_NAME>/computes/<ATTACHED_SPARK_POOL_NAME>",
  "identity": {
    "type": "user_assigned",
    "user_assigned_identities": [
      {
        "client_id": "<CLIENT_ID>",
        "principal_id": "<PRINCIPAL_ID>",
        "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourcegroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
      }
    ]
  },
  "location": "eastus2",
  "name": "<ATTACHED_SPARK_POOL_NAME>",
  "node_count": 5,
  "node_family": "MemoryOptimized",
  "node_size": "Small",
  "provisioning_state": "Succeeded",
  "resourceGroup": "<RESOURCE_GROUP>",
  "resource_id": "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>",
  "scale_settings": {
    "auto_scale_enabled": false,
    "max_node_count": 0,
    "min_node_count": 0
  },
  "spark_version": "3.2",
  "type": "synapsespark"
}

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Чтобы использовать назначаемое системой удостоверение, передайте IdentityConfigurationс типом, заданным SystemAssignedidentity в качестве параметра SynapseSparkCompute класса. Этот фрагмент кода обновляет пул Synapse Spark для использования удостоверения, назначаемого системой:

# import required libraries 
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute, IdentityConfiguration 
from azure.identity import DefaultAzureCredential
    
subscription_id = "<SUBSCRIPTION_ID>" 
resource_group_name = "<RESOURCE_GROUP>" 
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace 
) 

synapse_name = "<ATTACHED_SPARK_POOL_NAME>" 
synapse_resource ="/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>" 
synapse_identity = IdentityConfiguration(type="SystemAssigned") 

synapse_comp = SynapseSparkCompute(name=synapse_name, resource_id=synapse_resource,identity=synapse_identity) ml_client.begin_create_or_update(synapse_comp) 

Пул Synapse Spark также может использовать удостоверение, назначаемое пользователем. Для удостоверения, назначаемого пользователем, можно передать определение управляемого SynapseSparkCompute удостоверения с помощью класса IdentityConfiguration в качестве identity параметра класса. Для определения управляемого удостоверения, используемого таким образом, задайте для UserAssignedпараметра type значение . Кроме того, передайте user_assigned_identities параметр. Параметр user_assigned_identities представляет собой список объектов класса UserAssignedIdentity. Удостоверение resource_id, назначаемое пользователем, заполняет каждый UserAssignedIdentity объект класса. Этот фрагмент кода обновляет пул Synapse Spark для использования удостоверения, назначаемого пользователем:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    SynapseSparkCompute,
    IdentityConfiguration,
    UserAssignedIdentity,
)
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
synapse_resource = "/subscriptions/<SUBSCRIPTION_ID>/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.Synapse/workspaces/<SYNAPSE_WORKSPACE_NAME>/bigDataPools/<SPARK_POOL_NAME>"
synapse_identity = IdentityConfiguration(
    type="UserAssigned",
    user_assigned_identities=[
        UserAssignedIdentity(
            resource_id="/subscriptions/<SUBSCRIPTION_ID/resourceGroups/<RESOURCE_GROUP>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<AML_USER_MANAGED_ID>"
        )
    ],
)

synapse_comp = SynapseSparkCompute(
    name=synapse_name, resource_id=synapse_resource, identity=synapse_identity
)
ml_client.begin_create_or_update(synapse_comp)

Пользовательский интерфейс Студия машинного обучения Azure также предоставляет способ отсоединить подключенный пул Synapse Spark. Для этого выполните следующие шаги.

1. Откройте страницу сведений для пула Synapse Spark в Студия машинного обучения Azure.

2. Выберите "Отсоединить", чтобы отключить подключенный пул Synapse Spark.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

Подключенный пул Synapse Spark можно отсоединить, выполнив az ml compute detach команду с именем переданного пула, используя --name параметр, как показано ниже:

az ml compute detach --name <ATTACHED_SPARK_POOL_NAME> --subscription <SUBSCRIPTION_ID> --resource-group <RESOURCE_GROUP> --workspace-name <AML_WORKSPACE_NAME>

В этом примере показаны ожидаемые выходные данные приведенной выше команды:

Are you sure you want to perform this operation? (y/n): y

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python azure-ai-ml версии 2 (current)

Мы будем использовать MLClient.compute.begin_delete() вызов функции. name Передайте присоединенный пул Synapse Spark вместе с действием Detachв функцию. Этот фрагмент кода отсоединяет пул Synapse Spark от рабочей области Машинное обучение Azure:

# import required libraries
from azure.ai.ml import MLClient
from azure.ai.ml.entities import SynapseSparkCompute
from azure.identity import DefaultAzureCredential

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group, workspace_name
)

synapse_name = "<ATTACHED_SPARK_POOL_NAME>"
ml_client.compute.begin_delete(name=synapse_name, action="Detach")