Activity Runs - Query By Pipeline Run

Ссылка

Служба:: Data Factory

Версия API:: 2018-06-01

Действие запроса выполняется в зависимости от условий фильтра ввода.

POST https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelineruns/{runId}/queryActivityruns?api-version=2018-06-01

Параметры URI

Имя	В	Обязательно	Тип	Описание
factoryName	path	True	string minLength: 3 maxLength: 63 pattern: ^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$	Имя фабрики.
resourceGroupName	path	True	string minLength: 1 maxLength: 90 pattern: ^[-\w\._\(\)]+$	Имя группы ресурсов.
runId	path	True	string	Идентификатор выполнения конвейера.
subscriptionId	path	True	string	Идентификатор подписки.
api-version	query	True	string	Версия API.

Текст запроса

Имя	Обязательно	Тип	Описание
lastUpdatedAfter	True	string (date-time)	Время или после обновления события выполнения в формате ISO 8601.
lastUpdatedBefore	True	string (date-time)	Время или до обновления события выполнения в формате ISO 8601.
continuationToken		string	Маркер продолжения для получения следующей страницы результатов. Null для первой страницы.
filters		RunQueryFilter[]	Список фильтров.
orderBy		RunQueryOrderBy[]	Список параметра OrderBy.

Ответы

Имя	Тип	Описание
200 OK	ActivityRunsQueryResponse	ХОРОШО.
Other Status Codes	CloudError	Ответ об ошибке, полученный от службы Фабрики данных Azure.

Безопасность

azure_auth

Поток OAuth2 Azure Active Directory.

Тип: oauth2
Flow: implicit
URL-адрес авторизации: https://login.microsoftonline.com/common/oauth2/authorize

Области

Имя	Описание
user_impersonation	олицетворения учетной записи пользователя

Примеры

ActivityRuns_QueryByPipelineRun

Образец запроса

POST https://management.azure.com/subscriptions/12345678-1234-1234-1234-12345678abc/resourceGroups/exampleResourceGroup/providers/Microsoft.DataFactory/factories/exampleFactoryName/pipelineruns/2f7fdb90-5df1-4b8e-ac2f-064cfa58202b/queryActivityruns?api-version=2018-06-01

{
  "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
  "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z"
}


import com.azure.resourcemanager.datafactory.models.RunFilterParameters;
import java.time.OffsetDateTime;

/**
 * Samples for ActivityRuns QueryByPipelineRunSync.
 */
public final class Main {
    /*
     * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/
     * ActivityRuns_QueryByPipelineRun.json
     */
    /**
     * Sample code: ActivityRuns_QueryByPipelineRun.
     * 
     * @param manager Entry point to DataFactoryManager.
     */
    public static void
        activityRunsQueryByPipelineRun(com.azure.resourcemanager.datafactory.DataFactoryManager manager) {
        manager.activityRuns().queryByPipelineRunWithResponse("exampleResourceGroup", "exampleFactoryName",
            "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
            new RunFilterParameters().withLastUpdatedAfter(OffsetDateTime.parse("2018-06-16T00:36:44.3345758Z"))
                .withLastUpdatedBefore(OffsetDateTime.parse("2018-06-16T00:49:48.3686473Z")),
            com.azure.core.util.Context.NONE);
    }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

from azure.identity import DefaultAzureCredential

from azure.mgmt.datafactory import DataFactoryManagementClient

"""
# PREREQUISITES
    pip install azure-identity
    pip install azure-mgmt-datafactory
# USAGE
    python activity_runs_query_by_pipeline_run.py

    Before run the sample, please set the values of the client ID, tenant ID and client secret
    of the AAD application as environment variables: AZURE_CLIENT_ID, AZURE_TENANT_ID,
    AZURE_CLIENT_SECRET. For more info about how to get the value, please see:
    https://docs.microsoft.com/azure/active-directory/develop/howto-create-service-principal-portal
"""


def main():
    client = DataFactoryManagementClient(
        credential=DefaultAzureCredential(),
        subscription_id="12345678-1234-1234-1234-12345678abc",
    )

    response = client.activity_runs.query_by_pipeline_run(
        resource_group_name="exampleResourceGroup",
        factory_name="exampleFactoryName",
        run_id="2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
        filter_parameters={
            "lastUpdatedAfter": "2018-06-16T00:36:44.3345758Z",
            "lastUpdatedBefore": "2018-06-16T00:49:48.3686473Z",
        },
    )
    print(response)


# x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
if __name__ == "__main__":
    main()

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

package armdatafactory_test

import (
	"context"
	"log"

	"time"

	"github.com/Azure/azure-sdk-for-go/sdk/azcore/to"
	"github.com/Azure/azure-sdk-for-go/sdk/azidentity"
	"github.com/Azure/azure-sdk-for-go/sdk/resourcemanager/datafactory/armdatafactory/v9"
)

// Generated from example definition: https://github.com/Azure/azure-rest-api-specs/blob/ab04533261eff228f28e08900445d0edef3eb70c/specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
func ExampleActivityRunsClient_QueryByPipelineRun() {
	cred, err := azidentity.NewDefaultAzureCredential(nil)
	if err != nil {
		log.Fatalf("failed to obtain a credential: %v", err)
	}
	ctx := context.Background()
	clientFactory, err := armdatafactory.NewClientFactory("<subscription-id>", cred, nil)
	if err != nil {
		log.Fatalf("failed to create client: %v", err)
	}
	res, err := clientFactory.NewActivityRunsClient().QueryByPipelineRun(ctx, "exampleResourceGroup", "exampleFactoryName", "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b", armdatafactory.RunFilterParameters{
		LastUpdatedAfter:  to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:36:44.334Z"); return t }()),
		LastUpdatedBefore: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:49:48.368Z"); return t }()),
	}, nil)
	if err != nil {
		log.Fatalf("failed to finish the request: %v", err)
	}
	// You could use response here. We use blank identifier for just demo purposes.
	_ = res
	// If the HTTP response code is 200 as defined in example definition, your response structure would look as follows. Please pay attention that all the values in the output are fake values for just demo purposes.
	// res.ActivityRunsQueryResponse = armdatafactory.ActivityRunsQueryResponse{
	// 	Value: []*armdatafactory.ActivityRun{
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"retryAttempt": nil,
	// 				"userProperties": map[string]any{
	// 				},
	// 			},
	// 			ActivityName: to.Ptr("ExampleForeachActivity"),
	// 			ActivityRunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:11.544Z"); return t}()),
	// 			ActivityRunID: to.Ptr("f30c5514-fb85-43ed-9fa4-768d42e58680"),
	// 			ActivityRunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:49.480Z"); return t}()),
	// 			ActivityType: to.Ptr("ForEach"),
	// 			DurationInMs: to.Ptr[int32](22064),
	// 			Error: map[string]any{
	// 				"errorCode": "",
	// 				"failureType": "",
	// 				"message": "",
	// 				"target": "ExampleForeachActivity",
	// 			},
	// 			Input: map[string]any{
	// 			},
	// 			LinkedServiceName: to.Ptr(""),
	// 			Output: map[string]any{
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			PipelineRunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			Status: to.Ptr("Succeeded"),
	// 		},
	// 		{
	// 			AdditionalProperties: map[string]any{
	// 				"retryAttempt": nil,
	// 				"userProperties": map[string]any{
	// 				},
	// 			},
	// 			ActivityName: to.Ptr("ExampleCopyActivity"),
	// 			ActivityRunEnd: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:38:07.418Z"); return t}()),
	// 			ActivityRunID: to.Ptr("a96678c8-7167-4f00-b629-afccfbad4e51"),
	// 			ActivityRunStart: to.Ptr(func() time.Time { t, _ := time.Parse(time.RFC3339Nano, "2018-06-16T00:37:50.246Z"); return t}()),
	// 			ActivityType: to.Ptr("Copy"),
	// 			DurationInMs: to.Ptr[int32](17172),
	// 			Error: map[string]any{
	// 				"errorCode": "",
	// 				"failureType": "",
	// 				"message": "",
	// 				"target": "ExampleCopyActivity",
	// 			},
	// 			Input: map[string]any{
	// 				"dataIntegrationUnits": float64(32),
	// 				"sink":map[string]any{
	// 					"type": "BlobSink",
	// 				},
	// 				"source":map[string]any{
	// 					"type": "BlobSource",
	// 				},
	// 			},
	// 			LinkedServiceName: to.Ptr(""),
	// 			Output: map[string]any{
	// 				"copyDuration": float64(6),
	// 				"dataRead": float64(142000),
	// 				"dataWritten": float64(142000),
	// 				"effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
	// 				"errors":[]any{
	// 				},
	// 				"executionDetails":[]any{
	// 					map[string]any{
	// 						"detailedDurations":map[string]any{
	// 							"queuingDuration": float64(4),
	// 							"transferDuration": float64(2),
	// 						},
	// 						"duration": float64(6),
	// 						"sink":map[string]any{
	// 							"type": "AzureBlob",
	// 						},
	// 						"source":map[string]any{
	// 							"type": "AzureBlob",
	// 						},
	// 						"start": "2018-06-16T00:37:50.68834Z",
	// 						"status": "Succeeded",
	// 						"usedCloudDataMovementUnits": float64(4),
	// 						"usedParallelCopies": float64(1),
	// 					},
	// 				},
	// 				"filesRead": float64(1),
	// 				"filesWritten": float64(1),
	// 				"throughput": float64(23.112),
	// 				"usedCloudDataMovementUnits": float64(4),
	// 				"usedParallelCopies": float64(1),
	// 			},
	// 			PipelineName: to.Ptr("examplePipeline"),
	// 			PipelineRunID: to.Ptr("2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"),
	// 			Status: to.Ptr("Succeeded"),
	// 	}},
	// }
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

const { DataFactoryManagementClient } = require("@azure/arm-datafactory");
const { DefaultAzureCredential } = require("@azure/identity");

/**
 * This sample demonstrates how to Query activity runs based on input filter conditions.
 *
 * @summary Query activity runs based on input filter conditions.
 * x-ms-original-file: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
 */
async function activityRunsQueryByPipelineRun() {
  const subscriptionId =
    process.env["DATAFACTORY_SUBSCRIPTION_ID"] || "12345678-1234-1234-1234-12345678abc";
  const resourceGroupName = process.env["DATAFACTORY_RESOURCE_GROUP"] || "exampleResourceGroup";
  const factoryName = "exampleFactoryName";
  const runId = "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b";
  const filterParameters = {
    lastUpdatedAfter: new Date("2018-06-16T00:36:44.3345758Z"),
    lastUpdatedBefore: new Date("2018-06-16T00:49:48.3686473Z"),
  };
  const credential = new DefaultAzureCredential();
  const client = new DataFactoryManagementClient(credential, subscriptionId);
  const result = await client.activityRuns.queryByPipelineRun(
    resourceGroupName,
    factoryName,
    runId,
    filterParameters,
  );
  console.log(result);
}

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

using Azure;
using Azure.ResourceManager;
using System;
using System.Threading.Tasks;
using Azure.Core;
using Azure.Core.Expressions.DataFactory;
using Azure.Identity;
using Azure.ResourceManager.DataFactory.Models;
using Azure.ResourceManager.DataFactory;

// Generated from example definition: specification/datafactory/resource-manager/Microsoft.DataFactory/stable/2018-06-01/examples/ActivityRuns_QueryByPipelineRun.json
// this example is just showing the usage of "ActivityRuns_QueryByPipelineRun" operation, for the dependent resources, they will have to be created separately.

// get your azure access token, for more details of how Azure SDK get your access token, please refer to https://learn.microsoft.com/en-us/dotnet/azure/sdk/authentication?tabs=command-line
TokenCredential cred = new DefaultAzureCredential();
// authenticate your client
ArmClient client = new ArmClient(cred);

// this example assumes you already have this DataFactoryResource created on azure
// for more information of creating DataFactoryResource, please refer to the document of DataFactoryResource
string subscriptionId = "12345678-1234-1234-1234-12345678abc";
string resourceGroupName = "exampleResourceGroup";
string factoryName = "exampleFactoryName";
ResourceIdentifier dataFactoryResourceId = DataFactoryResource.CreateResourceIdentifier(subscriptionId, resourceGroupName, factoryName);
DataFactoryResource dataFactory = client.GetDataFactoryResource(dataFactoryResourceId);

// invoke the operation and iterate over the result
string runId = "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b";
RunFilterContent content = new RunFilterContent(DateTimeOffset.Parse("2018-06-16T00:36:44.3345758Z"), DateTimeOffset.Parse("2018-06-16T00:49:48.3686473Z"));
await foreach (PipelineActivityRunInformation item in dataFactory.GetActivityRunAsync(runId, content))
{
    Console.WriteLine($"Succeeded: {item}");
}

Console.WriteLine("Succeeded");

To use the Azure SDK library in your project, see this documentation. To provide feedback on this code sample, open a GitHub issue

az datafactory activity-run query-by-pipeline-run --factory-name "exampleFactoryName" --last-updated-after "2018-06-16T00:36:44.3345758Z" --last-updated-before "2018-06-16T00:49:48.3686473Z" --resource-group "exampleResourceGroup" --run-id "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b"

Click here to learn more about the Azure CLI command.

Пример ответа

Код состояния:: 200

Date: Sat, 16 Jun 2018 00:40:13 GMT
X-Content-Type-Options: nosniff
x-ms-ratelimit-remaining-subscription-writes: 1187
x-ms-request-id: 5465cf41-2e71-4ce6-8db4-9de1b92ffda9
x-ms-correlation-request-id: 5465cf41-2e71-4ce6-8db4-9de1b92ffda9

{
  "value": [
    {
      "activityRunEnd": "2018-06-16T00:38:11.5445431Z",
      "activityName": "ExampleForeachActivity",
      "activityRunStart": "2018-06-16T00:37:49.4804925Z",
      "activityType": "ForEach",
      "durationInMs": 22064,
      "retryAttempt": null,
      "error": {
        "errorCode": "",
        "message": "",
        "failureType": "",
        "target": "ExampleForeachActivity"
      },
      "activityRunId": "f30c5514-fb85-43ed-9fa4-768d42e58680",
      "input": {},
      "linkedServiceName": "",
      "output": {},
      "userProperties": {},
      "pipelineName": "examplePipeline",
      "pipelineRunId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "status": "Succeeded"
    },
    {
      "activityRunEnd": "2018-06-16T00:38:07.4188923Z",
      "activityName": "ExampleCopyActivity",
      "activityRunStart": "2018-06-16T00:37:50.2460952Z",
      "activityType": "Copy",
      "durationInMs": 17172,
      "retryAttempt": null,
      "error": {
        "errorCode": "",
        "message": "",
        "failureType": "",
        "target": "ExampleCopyActivity"
      },
      "activityRunId": "a96678c8-7167-4f00-b629-afccfbad4e51",
      "input": {
        "source": {
          "type": "BlobSource"
        },
        "sink": {
          "type": "BlobSink"
        },
        "dataIntegrationUnits": 32
      },
      "linkedServiceName": "",
      "output": {
        "dataRead": 142000,
        "dataWritten": 142000,
        "filesRead": 1,
        "filesWritten": 1,
        "copyDuration": 6,
        "throughput": 23.112,
        "errors": [],
        "effectiveIntegrationRuntime": "DefaultIntegrationRuntime (East US)",
        "usedCloudDataMovementUnits": 4,
        "usedParallelCopies": 1,
        "executionDetails": [
          {
            "source": {
              "type": "AzureBlob"
            },
            "sink": {
              "type": "AzureBlob"
            },
            "status": "Succeeded",
            "start": "2018-06-16T00:37:50.68834Z",
            "duration": 6,
            "usedCloudDataMovementUnits": 4,
            "usedParallelCopies": 1,
            "detailedDurations": {
              "queuingDuration": 4,
              "transferDuration": 2
            }
          }
        ]
      },
      "userProperties": {},
      "pipelineName": "examplePipeline",
      "pipelineRunId": "2f7fdb90-5df1-4b8e-ac2f-064cfa58202b",
      "status": "Succeeded"
    }
  ]
}

Определения

Имя	Описание
ActivityRun	Сведения о выполнении действия в конвейере.
ActivityRunsQueryResponse	Выполняется действие списка.
CloudError	Объект, определяющий структуру ответа об ошибке Фабрики данных Azure.
RunFilterParameters	Параметры запроса для перечисления запусков.
RunQueryFilter	Параметр фильтра запросов для перечисления запусков.
RunQueryFilterOperand	Имя параметра, используемое для фильтрации. Допустимые операнды для выполнения конвейеров запросов: PipelineName, RunStart, RunEnd и Status; для выполнения действий запроса являются ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType и Status, а для запуска триггера запроса — TriggerName, TriggerRunTimestamp и Status.
RunQueryFilterOperator	Оператор, используемый для фильтрации.
RunQueryOrder	Порядок сортировки параметра.
RunQueryOrderBy	Объект, предоставляющий порядок по параметрам для перечисления запусков.
RunQueryOrderByField	Имя параметра, используемое для заказа. Допустимые параметры для выполнения конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действий являются ActivityName, ActivityRunStart, ActivityRunEnd и Status; для запусков триггеров являются TriggerName, TriggerRunTimestamp и Status.

ActivityRun

Object

Сведения о выполнении действия в конвейере.

Имя	Тип	Описание
activityName	string	Имя действия.
activityRunEnd	string (date-time)	Время окончания действия в формате ISO 8601.
activityRunId	string	Идентификатор выполнения действия.
activityRunStart	string (date-time)	Время начала действия в формате ISO 8601.
activityType	string	Тип действия.
durationInMs	integer	Длительность выполнения действия.
error	object	Ошибка при выполнении действия.
input	object	Входные данные для действия.
linkedServiceName	string	Имя связанной службы вычислений.
output	object	Выходные данные для действия.
pipelineName	string	Имя конвейера.
pipelineRunId	string	Идентификатор запуска конвейера.
status	string	Состояние выполнения действия.

ActivityRunsQueryResponse

Object

Выполняется действие списка.

Имя	Тип	Описание
continuationToken	string	Маркер продолжения для получения следующей страницы результатов, если все оставшиеся результаты существуют, значение NULL в противном случае.
value	ActivityRun[]	Список запусков действий.

CloudError

Object

Объект, определяющий структуру ответа об ошибке Фабрики данных Azure.

Имя	Тип	Описание
error.code	string	Код ошибки.
error.details	CloudError[]	Массив с дополнительными сведениями об ошибке.
error.message	string	Сообщение об ошибке.
error.target	string	Имя или путь свойства в запросе, связанном с ошибкой.

RunFilterParameters

Object

Параметры запроса для перечисления запусков.

Имя	Тип	Описание
continuationToken	string	Маркер продолжения для получения следующей страницы результатов. Null для первой страницы.
filters	RunQueryFilter[]	Список фильтров.
lastUpdatedAfter	string (date-time)	Время или после обновления события выполнения в формате ISO 8601.
lastUpdatedBefore	string (date-time)	Время или до обновления события выполнения в формате ISO 8601.
orderBy	RunQueryOrderBy[]	Список параметра OrderBy.

RunQueryFilter

Object

Параметр фильтра запросов для перечисления запусков.

Имя	Тип	Описание
operand	RunQueryFilterOperand	Имя параметра, используемое для фильтрации. Допустимые операнды для выполнения конвейеров запросов: PipelineName, RunStart, RunEnd и Status; для выполнения действий запроса являются ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType и Status, а для запуска триггера запроса — TriggerName, TriggerRunTimestamp и Status.
operator	RunQueryFilterOperator	Оператор, используемый для фильтрации.
values	string[]	Список значений фильтра.

RunQueryFilterOperand

Перечисление

Имя параметра, используемое для фильтрации. Допустимые операнды для выполнения конвейеров запросов: PipelineName, RunStart, RunEnd и Status; для выполнения действий запроса являются ActivityName, ActivityRunStart, ActivityRunEnd, ActivityType и Status, а для запуска триггера запроса — TriggerName, TriggerRunTimestamp и Status.

Значение	Описание
ActivityName
ActivityRunEnd
ActivityRunStart
ActivityType
LatestOnly
PipelineName
RunEnd
RunGroupId
RunStart
Status
TriggerName
TriggerRunTimestamp

RunQueryFilterOperator

Перечисление

Оператор, используемый для фильтрации.

Значение	Описание
Equals
In
NotEquals
NotIn

RunQueryOrder

Перечисление

Порядок сортировки параметра.

Значение	Описание
ASC
DESC

RunQueryOrderBy

Object

Объект, предоставляющий порядок по параметрам для перечисления запусков.

Имя	Тип	Описание
order	RunQueryOrder	Порядок сортировки параметра.
orderBy	RunQueryOrderByField	Имя параметра, используемое для заказа. Допустимые параметры для выполнения конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действий являются ActivityName, ActivityRunStart, ActivityRunEnd и Status; для запусков триггеров являются TriggerName, TriggerRunTimestamp и Status.

RunQueryOrderByField

Перечисление

Имя параметра, используемое для заказа. Допустимые параметры для выполнения конвейера: PipelineName, RunStart, RunEnd и Status; для выполнения действий являются ActivityName, ActivityRunStart, ActivityRunEnd и Status; для запусков триггеров являются TriggerName, TriggerRunTimestamp и Status.

Значение	Описание
ActivityName
ActivityRunEnd
ActivityRunStart
PipelineName
RunEnd
RunStart
Status
TriggerName
TriggerRunTimestamp