Определение DataPipeline

В этой статье приводится разбивка структуры определения для элементов конвейера данных.

Части определения

ContentDetails

Описание содержимого полезных данных

Описание содержимого DataPipelineProperties

Описание полей, используемых для создания DataPipelineProperties

Описание содержимого DataPipelineActivity

Значения ActivityState

Значения OnInactiveMarkAs

Описание содержимого DependencyActivity

Описание содержимого условий

Политика действий

Политика выполнения для действия.

Внешние ссылки

Внешние ссылки на подключение.

DataPipelineActivityTypes

Свойства действия

Поле typeProperties в каждом действии содержит конфигурацию, зависящую от типа действия. В этом разделе описываются свойства, необходимые для каждого типа действий.

Свойства действия ожидания

Свойства для действий с type: "Wait".

Свойства типа действия ожидания

Свойства действия копирования

Свойства для действий с type: "Copy".

Свойства типа действия копирования

CopySource

CopySink

CopyTranslator

TypeConversionSettings

StagingSettings

Наборы данных

Свойства действия подстановки

Свойства для действий с type: "Lookup".

Свойства типа действия подстановки

Свойства веб-действий

Свойства для действий с type: "WebActivity".

Свойства типа веб-действия

Если свойства действия условия

Свойства для действий с type: "IfCondition".

Если свойства типа действия условия

Expression

Свойства действия ForEach

Свойства для действий с type: "ForEach".

Свойства типа действия ForEach

Выполнение свойств действия конвейера

Свойства для действий с type: "ExecutePipeline".

Свойства типа действия "Выполнение конвейера"

PipelineReference

Свойства действия fail

Свойства для действий с type: "Fail".

Свойства типа действия fail

Свойства действия фильтра

Свойства для действий с type: "Filter".

Свойства типа действия фильтра

Пока свойства действия не будут

Свойства для действий с type: "Until".

Пока свойства типа действия

Переключение свойств действия

Свойства для действий с type: "Switch".

Свойства типа действия switch

SwitchCase

Свойства действия GetMetadata

Свойства для действий с type: "GetMetadata".

Свойства типа действия GetMetadata

Свойства действия SetVariable

Свойства для действий с type: "SetVariable".

Свойства типа действия SetVariable

SecureInputOutputPolicy

Свойства действия AppendVariable

Свойства для действий с type: "AppendVariable".

Свойства типа действия AppendVariable

Удаление свойств действия

Свойства для действий с type: "Delete".

Удаление свойств типа действия

Свойства действия AzureHDInsight

Свойства для действий с type: "AzureHDInsight".

Свойства типа действия AzureHDInsight

HDInsightScriptSettings

Свойства действия SparkJobDefinition

Свойства для действий с type: "SparkJobDefinition".

Свойства типа действия SparkJobDefinition

FabricArtifact

Свойства действия скрипта

Свойства для действий с type: "Script".

Свойства типа действия скрипта

Свойства действия WebHook

Свойства для действий с type: "WebHook".

Свойства типа действия WebHook

Свойства действия AzureFunction

Свойства для действий с type: "AzureFunction".

Свойства типа действия AzureFunction

Настраиваемые свойства действия

Свойства для действий с type: "Custom".

Свойства типа пользовательского действия

Свойства промежуточного выполнения пользовательских действий

Свойства действия InvokeCopyJob

Свойства для действий с type: "InvokeCopyJob".

Свойства типа действия InvokeCopyJob

Свойства действия ExecuteSSISPackage

Свойства для действий с type: "ExecuteSSISPackage".

Свойства типа действия ExecuteSSISPackage

Свойства действия SqlServerStoredProcedure

Свойства для действий с type: "SqlServerStoredProcedure".

Свойства типа действия SqlServerStoredProcedure

Свойства действия InvokePipeline

Свойства для действий с type: "InvokePipeline".

Свойства типа действия InvokePipeline

Свойства действия KustoQueryLanguage

Свойства для действий с type: "KustoQueryLanguage".

Свойства типа действия KustoQueryLanguage

Свойства действия AzureML

Свойства для действий с type: "AzureMLExecutePipeline".

Свойства типа действия AzureML

Свойства действия DataLakeAnalyticsScope

Свойства для действий с type: "DataLakeAnalyticsScope".

Свойства типа действия DataLakeAnalyticsScope

Свойства действия TridentNotebook

Свойства для действий с type: "TridentNotebook".

Свойства типа действия TridentNotebook

Свойства действия DatabricksNotebook

Свойства для действий с type: "DatabricksNotebook".

Свойства типа действия DatabricksNotebook

Свойства действия RefreshDataFlow

Свойства для действий с type: "RefreshDataFlow".

Свойства типа действия RefreshDataFlow

Свойства действия Office365Email

Свойства для действий с type: "Office365Email".

Свойства типа действия Office365Email

Свойства действия электронной почты

Свойства для действий с type: "Email".

Свойства типа действия электронной почты

Свойства действия MicrosoftTeams

Свойства для действий с type: "MicrosoftTeams".

Свойства типа действия MicrosoftTeams

Свойства действий Teams

Свойства для действий с type: "Teams".

Свойства типа действия Teams

Свойства действия PBISemanticModelRefresh

Свойства для действий с type: "PBISemanticModelRefresh".

Свойства типа действия PBISemanticModelRefresh

LogicAppsActivityInput

Пример ContentDetails

{
    "properties": { 
        "description": "Data pipeline with multiple activity types demonstrating different typeProperties", 
        "activities": [
          {
            "name": "Notebook1",
            "type": "TridentNotebook",
            "dependsOn": [],
            "policy": {
              "timeout": "0.12:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureOutput": false,
              "secureInput": false
            },
            "typeProperties": {
              "notebookId": "f47ac10b-58cc-4372-a567-0e02b2c3d479",
              "workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3"
            }
          },
          {
            "name": "Get Metadata1",
            "type": "GetMetadata",
            "dependsOn": [],
            "policy": {
              "timeout": "0.12:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureOutput": false,
              "secureInput": false
            },
            "typeProperties": {
              "fieldList": [
                "columnCount"
              ],
              "datasetSettings": {
                "annotations": [],
                "linkedService": {
                  "name": "LakehouseGitArtifactW1",
                  "properties": {
                    "annotations": [],
                    "type": "Lakehouse",
                    "typeProperties": {
                      "workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
                      "artifactId": "c69ca3a7-fc70-4b4f-aad7-ce711b7a57d0",
                      "rootFolder": "Tables"
                    }
                  }
                },
                "type": "LakehouseTable",
                "schema": [],
                "typeProperties": {
                  "table": "Lh1"
                }
              }
            }
          },
          {
            "name": "Lookup1",
            "type": "Lookup",
            "dependsOn": [],
            "policy": {
              "timeout": "0.12:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureOutput": false,
              "secureInput": false
            },
            "typeProperties": {
              "source": {
                "type": "LakehouseTableSource"
              },
              "datasetSettings": {
                "annotations": [],
                "linkedService": {
                  "name": "LakehouseGitArtifactW1",
                  "properties": {
                    "annotations": [],
                    "type": "Lakehouse",
                    "typeProperties": {
                      "workspaceId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
                      "artifactId": "c69ca3a7-fc70-4b4f-aad7-ce711b7a57d0",
                      "rootFolder": "Tables"
                    }
                  }
                },
                "type": "LakehouseTable",
                "schema": [],
                "typeProperties": {
                  "table": "lh2"
                }
              }
            }
          },
          {
            "name": "PBISemanticModelRefresh1",
            "type": "PBISemanticModelRefresh",
            "dependsOn": [],
            "userProperties": [],
            "typeProperties": {
              "method": "POST",
              "groupId": "b81f1d9f-33c7-462d-b818-2e4906a123f3",
              "datasetId": "67cd5565-49a2-401d-907f-744cc68b16c8",
              "type": "Full",
              "commitMode": "transactional",
              "maxParallelism": 2,
              "retryCount": 1,
              "waitOnCompletion": true,
              "operationType": "RefreshDataset"
            },
            "externalReferences": {
              "connection": "276c4d2d-855a-4c20-adbe-23622ad82704"
            },
            "policy": {
              "timeout": "7.00:00:00",
              "retry": 0,
              "retryIntervalInSeconds": 30,
              "secureInput": false,
              "secureOutput": false
            }
          }
        ]
    } 
}