Поделиться через

ModuleStep Класс

Создает шаг конвейера машинного обучения Azure для запуска определенной версии модуля.

Module объекты определяют многократно используемые вычисления, такие как скрипты или исполняемые файлы, которые могут использоваться в различных сценариях машинного обучения и различными пользователями. Чтобы использовать определенную версию модуля в конвейере, создайте moduleStep. ModuleStep — это шаг в конвейере, использующем существующий ModuleVersion.

Пример использования ModuleStep см. в записной книжке https://aka.ms/pl-modulestep.

Создайте шаг конвейера Машинного обучения Azure для запуска определенной версии модуля.

Конструктор

ModuleStep(module=None, version=None, module_version=None, inputs_map=None, outputs_map=None, compute_target=None, runconfig=None, runconfig_pipeline_params=None, arguments=None, params=None, name=None, _workflow_provider=None)

Параметры

Имя Описание
module
Module

Модуль, используемый на шаге. Укажите либо module параметр, module_version но не оба.

Default value: None
version
str

Версия модуля, используемого на шаге.

Default value: None
module_version
ModuleVersion

МодульVersion модуля, используемого на шаге. Укажите либо module параметр, module_version но не оба.

Default value: None
inputs_map
dict[str, Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]

Словарь, который сопоставляет имена определений портов ModuleVersion с входными данными шага.

Default value: None
outputs_map
dict[str, Union[OutputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset]]

Словарь, который сопоставляет имена определений портов модуля ModuleVersion с выходными данными шага.

Default value: None
compute_target
Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple]

Целевой объект вычислений, используемый. Если не указано, будет использоваться целевой объект из runconfig. Может быть целевым объектом вычислений или строковым именем целевого объекта вычислений в рабочей области. При необходимости, если целевой объект вычислений недоступен во время создания конвейера, можно указать кортеж (имя целевого объекта вычислений, тип целевого объекта вычислений), чтобы избежать получения целевого объекта вычислений (тип AmlCompute — AmlCompute, а тип RemoteCompute — VirtualMachine).

Default value: None
runconfig
RunConfiguration

Необязательный параметр RunConfiguration для использования. RunConfiguration можно использовать для указания дополнительных требований для выполнения, таких как зависимости conda и образ Docker.

Default value: None
runconfig_pipeline_params
dict[str, PipelineParameter]

Переопределение свойств runconfig во время выполнения, используя пары "ключ-значение" с именем свойства runconfig и PipelineParameter для этого свойства.

Поддерживаемые значения: NodeCount, MpiProcessCountPerNode, TensorflowWorkerCount, TensorflowParameterServerCount

Default value: None
arguments
list[str]

Список аргументов командной строки для файла скрипта Python. Аргументы будут доставлены в целевой объект вычислений с помощью аргументов в RunConfiguration. Дополнительные сведения об обработке аргументов, таких как специальные символы, см. в разделе "Аргументы" RunConfiguration

Default value: None
params
dict[str, str]

Словарь пар "имя-значение".

Default value: None
name
str

Имя шага.

Default value: None
_workflow_provider
<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider>

(Только внутреннее использование.) Поставщик рабочих процессов.

Default value: None
module
Обязательно
Module

Модуль, используемый на шаге. Укажите либо module параметр, module_version но не оба.
version
Обязательно
str

Версия модуля, используемого на шаге.
module_version
Обязательно
ModuleVersion

ModuleVersion модуля, используемого на шаге. Укажите либо module параметр, module_version но не оба.
inputs_map
Обязательно
dict[str, Union[InputPortBinding, DataReference, PortDataReference, PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineOutputDataset>, DatasetConsumptionConfig]]

Словарь, который сопоставляет имена определений портов ModuleVersion с входными данными шага.
outputs_map
Обязательно
dict[str, Union[InputPortBinding, DataReference, PortDataReference, PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineOutputDataset>]]

Словарь, который сопоставляет имена определений портов модуля ModuleVersion с выходными данными шага.
compute_target
Обязательно
Union[DsvmCompute, AmlCompute, RemoteCompute, HDInsightCompute, str, tuple]

Целевой объект вычислений, используемый. Если не указано, будет использоваться целевой объект из runconfig. Может быть целевым объектом вычислений или строковым именем целевого объекта вычислений в рабочей области. При необходимости, если целевой объект вычислений недоступен во время создания конвейера, можно указать кортеж (имя целевого объекта вычислений, тип целевого объекта вычислений), чтобы избежать получения целевого объекта вычислений (тип AmlCompute — AmlCompute, а тип RemoteCompute — VirtualMachine).
runconfig
Обязательно
RunConfiguration

Необязательный параметр RunConfiguration для использования. RunConfiguration можно использовать для указания дополнительных требований для выполнения, таких как зависимости conda и образ Docker.
runconfig_pipeline_params
Обязательно
dict[str, PipelineParameter]

Переопределение свойств runconfig во время выполнения, используя пары "ключ-значение" с именем свойства runconfig и PipelineParameter для этого свойства.

Поддерживаемые значения: NodeCount, MpiProcessCountPerNode, TensorflowWorkerCount, TensorflowParameterServerCount
arguments
Обязательно
list[str]

Список аргументов командной строки для файла скрипта Python. Аргументы будут доставлены в целевой объект вычислений с помощью аргументов в RunConfiguration. Дополнительные сведения об обработке аргументов, таких как специальные символы, см. в разделе "Аргументы" RunConfiguration
params
Обязательно
dict[str, str]

Словарь пар "имя-значение".
name
Обязательно
str

Имя шага.
_wokflow_provider
Обязательно

(Только внутреннее использование.) Поставщик рабочих процессов.

Комментарии

Используется Module для создания и управления повторно используемой вычислительной единицей конвейера машинного обучения Azure. ModuleStep — это встроенный шаг в Машинном обучении Azure, используемый для использования модуля. Вы можете определить, какой модульVersion следует использовать или разрешить Машинному обучению Azure разрешить, какой МодульVersion будет использовать после процесса разрешения, определенного в разделе примечаний Module класса. Чтобы определить, какой МодульVersion используется в отправленном конвейере, определите одно из следующих действий при создании ModuleStep:

  • Объект ModuleVersion.

  • Module Объект и значение версии.

  • Module Объект без значения версии. В этом случае разрешение версий может отличаться в разных представлениях.

Необходимо определить сопоставление входных и выходных данных ModuleStep для входных и выходных данных ModuleVersion.

В следующем примере показано, как создать ModuleStep в составе конвейера с несколькими объектами ModuleStep:


   middle_step = ModuleStep(module=module,
                            inputs_map= middle_step_input_wiring,
                            outputs_map= middle_step_output_wiring,
                            runconfig=RunConfiguration(), compute_target=aml_compute,
                            arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
                                         "--output_sum", middle_sum, "--output_product", middle_prod])

Полный пример доступен из https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Методы

create_node

Создайте узел на шаге ModuleStep и добавьте его в указанный граф.

Этот метод не предназначен для непосредственного использования. При создании экземпляра конвейера с помощью этого шага Машинное обучение Azure автоматически передает параметры, необходимые для этого метода, чтобы этот шаг можно было добавить в граф конвейера, представляющий рабочий процесс.

create_node

Создайте узел на шаге ModuleStep и добавьте его в указанный граф.

Этот метод не предназначен для непосредственного использования. При создании экземпляра конвейера с помощью этого шага Машинное обучение Azure автоматически передает параметры, необходимые для этого метода, чтобы этот шаг можно было добавить в граф конвейера, представляющий рабочий процесс.

create_node(graph, default_datastore, context)

Параметры

Имя Описание
graph
Обязательно
Graph

Объект graph, в который добавляется узел.
default_datastore
Обязательно
Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore]

Хранилище данных по умолчанию.
context
Обязательно
<xref:azureml.pipeline.core._GraphContext>

Контекст графа.

Возвращаемое значение

Тип Описание
Node

Объект узла.