Вычислительные среды, поддерживаемые конвейерами Фабрика данных Azure и Synapse

ПРИМЕНИМО К: Фабрика данных Azure Azure Synapse Analytics

В этой статье описываются различные среды вычислений, которые можно использовать для обработки и преобразования данных. Здесь содержатся также сведения о различных конфигурациях (конфигурациях по запросу и ваших собственных), которые поддерживаются при настройке связанных служб, связывающих эти вычислительные среды.

Следующая таблица содержит список поддерживаемых вычислительных сред и доступных в них действий.

Вычислительная среда HDInsight

В таблице ниже приведены сведения о поддерживаемых типах связанных служб для конфигурации систем хранения в среде по запросу и BYOC (переносите собственные вычислительные ресурсы).

связанная служба Azure HDInsight по запросу

В конфигурации такого типа вычислительная среда полностью управляется службой. Автоматически создается службой перед отправкой задания на обработку данных и удаляется после его завершения. Вы можете создать связанную службу для среды вычислений по запросу, настроить ее и управлять детализированными параметрами выполнения задания, управления кластером и параметрами действий начальной загрузки.

Для обработки данных служба автоматически создает кластер HDInsight по запросу. Кластер создается в том же регионе, что и учетная запись storage (свойство linkedServiceName в JSON), связанная с кластером. Учетная запись хранения must является стандартной учетной записью служба хранилища Azure общего назначения.

Обратите внимание на следующие важные моменты связанной службы HDInsight по запросу:

• Кластер HDInsight по запросу создается в подписке Azure. Вы можете увидеть кластер на портале Azure, когда кластер работает.
• Журналы заданий, выполняемых в кластере HDInsight по запросу, копируются в учетную запись хранилища, связанную с этим кластером HDInsight. ClusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword, заданные в определении связанной службы, используются для входа в кластер, чтобы выполнить глубокую диагностику в течение жизненного цикла кластера.
• Вы оплачиваете только время, когда кластер HDInsight работает и выполняет задания.
• Вы можете использовать действие Script с связанной службой Azure HDInsight по запросу.

Пример использования ключа субъекта-службы

Представленный ниже код JSON определяет связанную службу HDInsight по запросу под управлением Linux. Служба автоматически создает кластер HDInsight под управлением Linux для обработки требуемого действия.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Пример использования системного управляемого удостоверения

Представленный ниже код JSON определяет связанную службу HDInsight по запросу под управлением Linux. Служба автоматически создает кластер HDInsight под управлением Linux для обработки требуемого действия.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Пример использования управляемой идентичности, назначенной пользователем

Представленный ниже код JSON определяет связанную службу HDInsight по запросу под управлением Linux. Служба автоматически создает кластер HDInsight под управлением Linux для обработки требуемого действия.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• Пример кода JSON additionalLinkedServiceNames

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

Аутентификация служебного принципала

Для связанной службы HDInsight по запросу необходимо выполнить проверку подлинности субъекта-службы, чтобы создать кластеры HDInsight от вашего имени. Чтобы использовать аутентификацию служебного принципала, зарегистрируйте сущность приложения в Microsoft Entra ID и предоставьте ей роль Contributor для подписки или группы ресурсов, в которой создается кластер HDInsight. Для получения подробных инструкций см. в разделе Создание приложения Microsoft Entra и учетной записи служб с использованием портала для доступа к ресурсам. Запишите следующие значения, которые используются для определения связанной службы:

• Идентификатор приложения
• ключ приложения.
• Идентификатор арендатора

Используйте аутентификацию с помощью сервисного принципала, указав следующие свойства:

Проверка подлинности управляемого удостоверения

При использовании проверки подлинности с использованием управляемого удостоверения для связанных по запросу служб Azure HDInsight убедитесь, что объект Управляемого удостоверения имеет роль доступа Contributor к группе ресурсов.

Основные учетные записи хранилища ADLS 2-го поколения теперь поддерживают аутентификацию на основе назначенных пользователем управляемых удостоверений (User Assigned Managed Identity, UAMI) в дополнение к существующей аутентификации на основе ключа. UAMI должен иметь разрешения владельца данных BLOB в основной учетной записи хранилища.

Limitations:

• Основная учетная запись хранилища ADLS Gen2 и UAMI должны находиться в той же группе ресурсов, что и группа ресурсов, используемая для создания кластера HDInsight по требованию.
• Имя объекта учетных данных для UAMI в фабрике данных должно точно соответствовать имени UAMI.

Дополнительные сведения см. в разделе Create Azure HDInsight - Azure Data Lake Storage 2-го поколения - portal и Управляемые удостоверения в Azure HDInsight

Дополнительные свойства

Для детализированной настройки кластера HDInsight по запросу можно также указать следующие свойства.

• Пример. Конфигурация кластера HDInsight по запросу с расширенными свойствами

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Размеры узлов

Вы можете указать размеры узлов головы, узлов данных и узлов Zookeeper, используя следующие свойства.

• Указание размеров узлов смотрите статью Размеры виртуальных машин для строковых значений, которые необходимо указать для свойств, упомянутых в предыдущем разделе. Значения должны соответствовать указанным в статье командлетам и API. Как видно из статьи, узел данных большого размера (по умолчанию) имеет 7 ГБ памяти, что может быть недостаточно для вашего сценария.

Если вы хотите создать головной узел D4 и рабочие узлы, укажите Standard_D4 в качестве значения свойств headNodeSize и dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Если указать неправильное значение для этих свойств, может появиться следующая ошибка: не удалось создать кластер. Исключение: не удается завершить операцию создания кластера. Операция завершилась ошибкой с кодом 400. Оставшееся состояние кластера: "Ошибка". Сообщение: PreClusterCreationValidationFailure. При получении этой ошибки убедитесь, что вы используете название CMDLET и APIS из таблицы в статье Размеры виртуальных машин.

Использование собственной среды вычислений

В конфигурации такого типа вы можете зарегистрировать уже существующую вычислительную среду как связанную службу. Пользователь управляет вычислительной средой, а служба использует ее для выполнения действий.

Такая конфигурация поддерживается в следующих средах вычислений:

• Azure HDInsight
• пакетная служба Azure
• Машинное обучение Azure
• Azure SQL DB, Azure Synapse Analytics, SQL Server

связанная служба Azure HDInsight

Вы можете создать связанную службу Azure HDInsight, чтобы зарегистрировать собственный кластер HDInsight в среде Data Factory или рабочей области Synapse.

Пример использования базовой проверки подлинности

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Пример использования системно назначенного управляемого удостоверения

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Пример использования управляемой идентичности, назначенной пользователем

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Authentication

Связанная служба служба хранилища Azure для ADLS 2-го поколения теперь поддерживает управляемые удостоверения, назначаемые как системой, так и пользователем, в дополнение к существующим методам проверки подлинности. Эта поддержка доступна по умолчанию при использовании Azure Integration Runtime (Azure IR) и поддерживается в локальном Integration Runtime (SHIR) начиная с версии 5.55.9306.2 или более поздней. Для Хранилище BLOB-объектов Azure связанная служба служба хранилища Azure продолжает поддерживать только проверку подлинности ключа учетной записи. Проверка подлинности управляемого удостоверения кластера теперь также доступна по умолчанию при использовании Azure IR и поддерживается в SHIR, начиная с версии 5.58 или более поздней. При создании кластера можно использовать только один метод проверки подлинности для каждого кластера. Дополнительные сведения о создании кластеров и управлении ими с помощью управляемого удостоверения см. в статье Создание и управление кластерами Azure HDInsight с проверкой подлинности Entra ID

связанная служба пакетная служба Azure

Можно создать связанную службу пакетная служба Azure для регистрации пула виртуальных машин (VM) в рабочей области данных или Synapse. Настраиваемое действие можно запустить с помощью пакетная служба Azure.

Ознакомьтесь со следующими статьями, если вы не знакомы с службой пакетная служба Azure:

• пакетная служба Azure Basics чтобы получить обзор службы пакетная служба Azure.
• командлет New-AzBatchAccount для создания учетной записи пакетная служба Azure или портал Azure для создания учетной записи пакетная служба Azure через портал Azure. Подробные инструкции по использованию командлета см. в статье Использование PowerShell для управления учетной записью пакетная служба Azure.
• New-AzBatchPool cmdlet для создания пула пакетная служба Azure.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

связанная служба Machine Learning Studio (классическая)

Вы создаете связанную службу Machine Learning Studio (classic) для регистрации пакетной конечной точки оценивания в фабрике данных или рабочей области Synapse.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

связанная служба Машинное обучение Azure

Вы создаете связанную службу Машинное обучение Azure для подключения рабочей области Машинное обучение Azure к фабрике данных или рабочей области Synapse.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

связанная служба Azure Databricks

Вы можете создать связанную службу Azure Databricks, чтобы зарегистрировать рабочую область Databricks для выполнения рабочих нагрузок Databricks, таких как блокнот, jar и python.

Пример. Использование нового кластера заданий в Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Пример. Использование существующего интерактивного кластера в Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

связанная служба База данных SQL Azure

Вы создаете связанную службу Azure SQL и используете её с действием хранимой процедуры Stored Procedure Activity для вызова хранимой процедуры из потока. См. статью Azure SQL Connector для получения подробной информации об этой связанной службе.

связанная служба Azure Synapse Analytics

Вы создаете связанную службу Azure Synapse Analytics и используете ее с действием хранимой процедуры для вызова хранимой процедуры из конвейера. Дополнительные сведения об этой связанной службе см. в статье Azure Synapse Analytics Connector.

связанная служба SQL Server

Вы создаете связанную службу SQL Server и используете её с активностью вызова хранимой процедуры для вызова запроса хранимой процедуры из потока данных. Дополнительные сведения об этой связанной службе см. в статье SQL Server connector.

связанная служба Azure Synapse Analytics (артефакты)

Вы создаете связанную службу Azure Synapse Analytics (артефакты) и используете ее с действием Synapse Notebook Activity и Synapse Spark job definition Activity.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

связанная служба Azure Functions

Вы создаете связанную службу Azure Function и используете ее с действием Azure Function для запуска Функции Azure в конвейере. Возвращаемый тип функции Azure должен быть допустимым JObject. (Имейте в виду, что JArrayне является JObject.) Любой возвращаемый тип, отличный от JObject, приводит к сбою и вызывает ошибку пользователя Содержимое ответа не является допустимым JObject.

Связанный контент

Список поддерживаемых действий преобразования см. в разделе "Преобразование данных".