Поделиться через

az datafactory pipeline

  • Ссылка

Примечание.

Эта ссылка является частью расширения datafactory для Azure CLI (версия 2.15.0 или более поздней). Расширение будет автоматически устанавливаться при первом запуске команды az datafactory pipeline. Подробнее о расширениях.

Управление конвейером с помощью datafactory.

Команды

Имя Описание Тип Состояние
az datafactory pipeline create

Создайте конвейер.

 Расширение ГА
az datafactory pipeline create-run

Создает запуск конвейера.

 Расширение ГА
az datafactory pipeline delete

Удаляет конвейер.

 Расширение ГА
az datafactory pipeline list

Выводит список конвейеров.

 Расширение ГА
az datafactory pipeline show

Возвращает конвейер.

 Расширение ГА
az datafactory pipeline update

Обновление конвейера.

 Расширение ГА

az datafactory pipeline create

Создайте конвейер.

az datafactory pipeline create --factory-name
                               --name
                               --pipeline
                               --resource-group
                               [--if-match]

Примеры

Pipelines_Create

az datafactory pipeline create --factory-name "exampleFactoryName" --pipeline "{\"activities\":[{\"name\":\"ExampleForeachActivity\",\"type\":\"ForEach\",\"typeProperties\":{\"activities\":[{\"name\":\"ExampleCopyActivity\",\"type\":\"Copy\",\"inputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":\"examplecontainer.csv\",\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"outputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":{\"type\":\"Expression\",\"value\":\"@item()\"},\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"typeProperties\":{\"dataIntegrationUnits\":32,\"sink\":{\"type\":\"BlobSink\"},\"source\":{\"type\":\"BlobSource\"}}}],\"isSequential\":true,\"items\":{\"type\":\"Expression\",\"value\":\"@pipeline().parameters.OutputBlobNameList\"}}}],\"parameters\":{\"JobId\":{\"type\":\"String\"},\"OutputBlobNameList\":{\"type\":\"Array\"}},\"variables\":{\"TestVariableArray\":{\"type\":\"Array\"}},\"runDimensions\":{\"JobId\":{\"type\":\"Expression\",\"value\":\"@pipeline().parameters.JobId\"}},\"duration\":\"0.00:10:00\"}" --name "examplePipeline" --resource-group "exampleResourceGroup"

Обязательные параметры

--factory-name

Имя фабрики.

--name --pipeline-name -n

Имя конвейера.

--pipeline

Определение ресурса конвейера. Ожидаемое значение: json-string/json-file/@json-file.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Необязательные параметры

--if-match

ETag сущности конвейера. Следует указывать только для обновления, для которого оно должно соответствовать существующей сущности или может быть * для безусловного обновления.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline create-run

Создает запуск конвейера.

az datafactory pipeline create-run --factory-name
                                   --name
                                   --resource-group
                                   [--is-recovery {false, true}]
                                   [--parameters]
                                   [--reference-pipeline-run-id]
                                   [--start-activity-name]
                                   [--start-from-failure {false, true}]

Примеры

Pipelines_CreateRun

az datafactory pipeline create-run --factory-name "exampleFactoryName" --parameters "{\"OutputBlobNameList\":[\"exampleoutput.csv\"]}" --name "examplePipeline" --resource-group "exampleResourceGroup"

Обязательные параметры

--factory-name

Имя фабрики.

--name --pipeline-name -n

Имя конвейера.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Необязательные параметры

--is-recovery

Флаг режима восстановления. Если для режима восстановления задано значение true, указанный указанный конвейер, а новый запуск будет сгруппирован по одному идентификатору группы.

Допустимые значения: false, true
--parameters

Параметры запуска конвейера. Эти параметры будут использоваться только в том случае, если runId не указан. Ожидаемое значение: json-string/json-file/@json-file.

--reference-pipeline-run-id

Идентификатор выполнения конвейера. Если идентификатор выполнения указан, параметры указанного запуска будут использоваться для создания нового запуска.

--start-activity-name

В режиме восстановления повторное выполнение начнется с этого действия. Если это не указано, все действия будут выполняться.

--start-from-failure

В режиме восстановления, если задано значение true, повторное выполнение начнется с неудачных действий. Свойство будет использоваться только в том случае, если startActivityName не указан.

Допустимые значения: false, true
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline delete

Удаляет конвейер.

az datafactory pipeline delete [--factory-name]
                               [--ids]
                               [--name]
                               [--resource-group]
                               [--subscription]
                               [--yes]

Примеры

Pipelines_Delete

az datafactory pipeline delete --factory-name "exampleFactoryName" --name "examplePipeline" --resource-group "exampleResourceGroup"

Необязательные параметры

--factory-name

Имя фабрики.

--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

--name --pipeline-name -n

Имя конвейера.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--yes -y

Не запрашивать подтверждение.

Default value: False
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline list

Выводит список конвейеров.

az datafactory pipeline list --factory-name
                             --resource-group

Примеры

Pipelines_ListByFactory

az datafactory pipeline list --factory-name "exampleFactoryName" --resource-group "exampleResourceGroup"

Обязательные параметры

--factory-name

Имя фабрики.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline show

Возвращает конвейер.

az datafactory pipeline show [--factory-name]
                             [--ids]
                             [--if-none-match]
                             [--name]
                             [--resource-group]
                             [--subscription]

Примеры

Pipelines_Get

az datafactory pipeline show --factory-name "exampleFactoryName" --name "examplePipeline" --resource-group "exampleResourceGroup"

Необязательные параметры

--factory-name

Имя фабрики.

--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

--if-none-match

ETag сущности конвейера. Необходимо указать только для получения. Если ETag соответствует существующему тегу сущности или если * предоставлено, содержимое не будет возвращено.

--name --pipeline-name -n

Имя конвейера.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az datafactory pipeline update

Обновление конвейера.

az datafactory pipeline update [--activities]
                               [--add]
                               [--annotations]
                               [--concurrency]
                               [--description]
                               [--duration]
                               [--factory-name]
                               [--folder-name]
                               [--force-string]
                               [--ids]
                               [--if-match]
                               [--if-none-match]
                               [--name]
                               [--parameters]
                               [--remove]
                               [--resource-group]
                               [--run-dimensions]
                               [--set]
                               [--subscription]
                               [--variables]

Примеры

Pipelines_Update

az datafactory pipeline update --factory-name "exampleFactoryName" --description "Example description" --activities "[{\"name\":\"ExampleForeachActivity\",\"type\":\"ForEach\",\"typeProperties\":{\"activities\":[{\"name\":\"ExampleCopyActivity\",\"type\":\"Copy\",\"inputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":\"examplecontainer.csv\",\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"outputs\":[{\"type\":\"DatasetReference\",\"parameters\":{\"MyFileName\":{\"type\":\"Expression\",\"value\":\"@item()\"},\"MyFolderPath\":\"examplecontainer\"},\"referenceName\":\"exampleDataset\"}],\"typeProperties\":{\"dataIntegrationUnits\":32,\"sink\":{\"type\":\"BlobSink\"},\"source\":{\"type\":\"BlobSource\"}}}],\"isSequential\":true,\"items\":{\"type\":\"Expression\",\"value\":\"@pipeline().parameters.OutputBlobNameList\"}}}]" --parameters "{\"OutputBlobNameList\":{\"type\":\"Array\"}}" --duration "0.00:10:00" --name "examplePipeline" --resource-group "exampleResourceGroup"

Необязательные параметры

--activities

Список действий в конвейере. Ожидаемое значение: json-string/json-file/@json-file.

--add

Добавьте объект в список объектов, указав пары пути и значения ключа. Пример: --add property.listProperty <key=value, string or JSON string>.

Default value: []
--annotations

Список тегов, которые можно использовать для описания конвейера. Ожидаемое значение: json-string/json-file/@json-file.

--concurrency

Максимальное число параллельных запусков для конвейера.

--description

Описание конвейера.

--duration

Значение TimeSpan, после которого запускается метрика мониторинга Azure. Ожидаемое значение: json-string/json-file/@json-file.

--factory-name

Имя фабрики.

--folder-name

Имя папки, в которую находится конвейер.

--force-string

При использовании "set" или "add" сохраняйте строковые литералы вместо попытки преобразовать в JSON.

Default value: False
--ids

Один или несколько идентификаторов ресурсов (разделенных пробелами). Это должен быть полный идентификатор ресурса, содержащий все сведения о аргументах Resource Id. Необходимо указать аргументы --ids или другие параметры 'Resource Id'.

--if-match

ETag сущности конвейера. Следует указывать только для обновления, для которого оно должно соответствовать существующей сущности или может быть * для безусловного обновления.

--if-none-match

ETag сущности конвейера. Необходимо указать только для получения. Если ETag соответствует существующему тегу сущности или если * предоставлено, содержимое не будет возвращено. Значение по умолчанию — None.

--name --pipeline-name -n

Имя конвейера.

--parameters

Список параметров для конвейера. Ожидаемое значение: json-string/json-file/@json-file.

--remove

Удалите свойство или элемент из списка. Пример: --remove property.list <indexToRemove> OR --remove propertyToRemove.

Default value: []
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--run-dimensions

Измерения, создаваемые конвейером. Ожидаемое значение: json-string/json-file/@json-file.

--set

Обновите объект, указав путь к свойству и значение для задания. Пример: --set property1.property2=<value>.

Default value: []
--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--variables

Список переменных для конвейера. Ожидаемое значение: json-string/json-file/@json-file.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.