Поделиться через


steps Пакет

Содержит предварительно созданные шаги, которые можно выполнить в конвейере машинного обучения Azure.

Шаги конвейера машинного обучения Azure можно настроить вместе для создания конвейера, который представляет общий и многократно используемый рабочий процесс машинного обучения Azure. Каждый шаг конвейера можно настроить для повторного использования предыдущих результатов выполнения, если содержимое шага (скрипты и зависимости), а также входные и параметры остаются неизменными.

Классы в этом пакете обычно используются вместе с классами в пакете core . Основной пакет содержит классы для настройки данных (), планирования (PipelineDataSchedule) и управления выходными данными шагов (StepRun).

Предварительные шаги в этом пакете охватывают множество распространенных сценариев, возникающих в рабочих процессах машинного обучения. Чтобы приступить к работе с предварительно созданными шагами конвейера, см. следующие сведения:

Модули

adla_step

Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure для запуска скрипта U-SQL с помощью Azure Data Lake Analytics.

automl_step

Содержит функциональные возможности для добавления и управления автоматическим этапом конвейера машинного обучения в Машинном обучении Azure.

azurebatch_step

Содержит функции для создания шага Конвейера машинного обучения Azure, который запускает исполняемый файл Windows в пакетной службе Azure.

command_step

Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure, выполняющего команды.

data_transfer_step

Содержит функции для создания шага Конвейера машинного обучения Azure, который передает данные между параметрами хранилища.

databricks_step

Содержит функции для создания шага конвейера Машинного обучения Azure для запуска записной книжки Databricks или скрипта Python в DBFS.

estimator_step

Содержит функциональные возможности для создания шага конвейера, на котором выполняется оценка для обучения модели машинного обучения.

hyper_drive_step

Содержит funtionality для создания шагов Azure ML Pipeline и управления ими, которые выполняют настройку гиперпараметров.

kusto_step

Содержит функции для создания шага конвейера Машинного обучения Azure для запуска записной книжки Kusto.

module_step

Содержит функции для добавления шага конвейера машинного обучения Azure с использованием существующей версии модуля.

mpi_step

Содержит функции для добавления шага Azure ML Pipeline для запуска задания MPI для обучения модели машинного обучения.

parallel_run_config

Содержит функциональные возможности для настройки ParallelRunStep.

parallel_run_step

Содержит функциональные возможности для добавления шага для запуска пользовательского скрипта в параллельном режиме в нескольких целевых объектах AmlCompute.

python_script_step

Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure, на котором выполняется скрипт Python.

r_script_step

Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure, на котором выполняется скрипт R.

synapse_spark_step

Содержит функциональные возможности для создания шага Azure ML Synapse, на котором выполняется скрипт Python.

Классы

AdlaStep

Создает шаг конвейера машинного обучения Azure для запуска скрипта U-SQL с помощью Azure Data Lake Analytics.

Пример использования этого AdlaStep см. в записной книжке https://aka.ms/pl-adla.

Создайте шаг конвейера машинного обучения Azure для запуска скрипта U-SQL с помощью Azure Data Lake Analytics.

AutoMLStep

Создает шаг конвейера машинного обучения Azure, который инкапсулирует автоматизированный запуск машинного обучения.

Пример использования AutoMLStep см. в записной книжке https://aka.ms/pl-automl.

Инициализировать autoMLStep.

AutoMLStepRun

Предоставляет сведения об автоматическом выполнении эксперимента машинного обучения и методах получения выходных данных по умолчанию.

Класс AutoMLStepRun используется для управления, проверки состояния и получения сведений о выполнении после отправки автоматизированного запуска машинного обучения в конвейере. Кроме того, этот класс можно использовать для получения выходных AutoMLStep данных по умолчанию через StepRun класс.

Инициализация выполнения шага automl.

AzureBatchStep

Создает шаг конвейера машинного обучения Azure для отправки заданий в пакетную службу Azure.

Примечание. Этот шаг не поддерживает отправку и скачивание каталогов и их содержимое.

Пример использования AzureBatchStep см. в записной книжке https://aka.ms/pl-azbatch.

Создайте шаг Конвейера машинного обучения Azure для отправки заданий в пакетную службу Azure.

CommandStep

Создайте шаг Конвейера машинного обучения Azure, выполняющий команду.

Создайте шаг Конвейера машинного обучения Azure, выполняющий команду.

DataTransferStep

Создает шаг конвейера машинного обучения Azure, который передает данные между параметрами хранилища.

DataTransferStep поддерживает распространенные типы хранения, такие как хранилище BLOB-объектов Azure и Azure Data Lake в качестве источников и приемников. Дополнительные сведения см. в разделе "Примечания ".

Пример использования DataTransferStep см. в записной книжке https://aka.ms/pl-data-trans.

Создайте шаг конвейера машинного обучения Azure, который передает данные между параметрами хранилища.

DatabricksStep

Создает шаг конвейера машинного обучения Azure для добавления записной книжки DataBricks, скрипта Python или JAR-файла в качестве узла.

Пример использования DatabricksStep см. в записной книжке https://aka.ms/pl-databricks.

Создайте шаг Конвейера машинного обучения Azure для добавления записной книжки DataBricks, скрипта Python или JAR-файла в качестве узла.

Пример использования DatabricksStep см. в записной книжке https://aka.ms/pl-databricks.

:p aram python_script_name:[Обязательно] Имя скрипта Python относительно source_directory. Если скрипт принимает входные и выходные данные, они будут переданы в скрипт в качестве параметров. Если python_script_name задано, source_directory то тоже должно быть.

Укажите точно одно из notebook_path, python_script_pathилиpython_script_namemain_class_name.

Если в качестве входных данных указать объект DataReference с data_reference_name=input1 и объект PipelineData в качестве выходных данных с именем=output1, входные и выходные данные будут переданы скрипту в качестве параметров. Вот как они будут выглядеть, и вам потребуется проанализировать аргументы в скрипте, чтобы получить доступ к путям каждого входного и выходного данных: "-input1", "wasbs:///test", "wasbs://[email protected]@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d2b81a2/output1".

Кроме того, в скрипте будут доступны следующие параметры:

  • AZUREML_RUN_TOKEN. Маркер AML для проверки подлинности с помощью Машинного обучения Azure.
  • AZUREML_RUN_TOKEN_EXPIRY: время истечения срока действия маркера AML.
  • AZUREML_RUN_ID. Идентификатор запуска машинного обучения Azure для этого запуска.
  • AZUREML_ARM_SUBSCRIPTION: подписка Azure для рабочей области AML.
  • AZUREML_ARM_RESOURCEGROUP: группа ресурсов Azure для рабочей области Машинного обучения Azure.
  • AZUREML_ARM_WORKSPACE_NAME. Имя рабочей области Машинного обучения Azure.
  • AZUREML_ARM_PROJECT_NAME. Имя эксперимента машинного обучения Azure.
  • AZUREML_SERVICE_ENDPOINT: URL-адрес конечной точки для служб AML.
  • AZUREML_WORKSPACE_ID: идентификатор рабочей области Машинного обучения Azure.
  • AZUREML_EXPERIMENT_ID. Идентификатор эксперимента машинного обучения Azure.
  • AZUREML_SCRIPT_DIRECTORY_NAME: путь к каталогу в DBFS, где source_directory скопирован.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

При выполнении скрипта Python с локального компьютера в Databricks с помощью параметров source_directory DatabricksStep и python_script_namesource_directory копируется в DBFS, а путь к каталогу в DBFS передается в качестве параметра скрипту при запуске выполнения. Этот параметр помечен как –AZUREML_SCRIPT_DIRECTORY_NAME. Для доступа к каталогу в DBFS необходимо префиксировать его строкой dbfs:/или "/dbfs/".

EstimatorStep

УСТАРЕВШИЕ. Создает шаг конвейера для обучения Estimator модели машинного обучения Azure.

Создайте шаг Конвейера машинного обучения Azure для запуска оценки для обучения модели машинного обучения.

УСТАРЕВШИЕ. CommandStep Используйте вместо него. Пример см. в разделе "Запуск обучения машинного обучения" в конвейерах с помощью CommandStep.

HyperDriveStep

Создает шаг Конвейера машинного обучения Azure для запуска туннинга гиперпараметров для обучения модели машинного обучения.

Пример использования HyperDriveStep см. в записной книжке https://aka.ms/pl-hyperdrive.

Создайте шаг Конвейера машинного обучения Azure для запуска туннинга гиперпараметров для обучения модели машинного обучения.

HyperDriveStepRun

Управление, проверка состояния и получение сведений о выполнении для шага конвейера HyperDriveStep .

HyperDriveStepRun предоставляет функциональные возможности HyperDriveRun с дополнительной поддержкой StepRun. Класс HyperDriveStepRun позволяет управлять, проверять состояние и получать сведения о выполнении для запуска HyperDrive и каждого из созданных дочерних запусков. Класс StepRun позволяет сделать это после отправки родительского конвейера, а конвейер отправил выполнение шага.

Инициализация HyperDriveStepRun.

HyperDriveStepRun предоставляет функциональные возможности HyperDriveRun с дополнительной поддержкой StepRun. Класс HyperDriveRun позволяет управлять, проверять состояние и получать сведения о выполнении для запуска HyperDrive и каждого из созданных дочерних запусков. Класс StepRun позволяет сделать это после отправки родительского конвейера, а конвейер отправил выполнение шага.

KustoStep

KustoStep позволяет выполнять запросы Kusto в целевом кластере Kusto в Azure ML Pipelines.

Инициализация KustoStep.

ModuleStep

Создает шаг конвейера машинного обучения Azure для запуска определенной версии модуля.

Module объекты определяют многократно используемые вычисления, такие как скрипты или исполняемые файлы, которые могут использоваться в различных сценариях машинного обучения и различными пользователями. Чтобы использовать определенную версию модуля в конвейере, создайте moduleStep. ModuleStep — это шаг в конвейере, использующем существующий ModuleVersion.

Пример использования ModuleStep см. в записной книжке https://aka.ms/pl-modulestep.

Создайте шаг конвейера Машинного обучения Azure для запуска определенной версии модуля.

MpiStep

Создает шаг конвейера Машинного обучения Azure для запуска задания MPI.

Пример использования MpiStep см. в записной книжке https://aka.ms/pl-style-trans.

Создайте шаг конвейера Машинного обучения Azure для запуска задания MPI.

УСТАРЕВШИЕ. CommandStep Используйте вместо него. Пример выполнения распределенного обучения в конвейерах с помощью CommandStep.

ParallelRunConfig

Определяет конфигурацию объекта ParallelRunStep .

Пример использования ParallelRunStep см. в записной книжке https://aka.ms/batch-inference-notebooks.

Руководство по устранению неполадок см. в разделе https://aka.ms/prstsg. Здесь можно найти дополнительные ссылки.

Инициализировать объект конфигурации.

ParallelRunStep

Создает шаг конвейера машинного обучения Azure для асинхронной обработки больших объемов данных и параллельно.

Пример использования ParallelRunStep см. в записной книжке https://aka.ms/batch-inference-notebooks.

Руководство по устранению неполадок см. в разделе https://aka.ms/prstsg. Здесь можно найти дополнительные ссылки.

Создайте шаг конвейера машинного обучения Azure для асинхронной обработки больших объемов данных и параллельно.

Пример использования ParallelRunStep см. по ссылке https://aka.ms/batch-inference-notebooksзаписной книжки.

PythonScriptStep

Создает шаг конвейера машинного обучения Azure, на котором выполняется скрипт Python.

Пример использования PythonScriptStep см. в записной книжке https://aka.ms/pl-get-started.

Создайте шаг конвейера машинного обучения Azure, который запускает скрипт Python.

RScriptStep

Замечание

Это экспериментальный класс и может измениться в любое время. Дополнительные сведения см. по адресу https://aka.ms/acr/connected-registry.

Создает шаг конвейера машинного обучения Azure, который запускает скрипт R.

Создайте шаг конвейера машинного обучения Azure, который запускает скрипт R.

УСТАРЕВШИЕ. CommandStep Используйте вместо него. Пример см. в разделе "Запуск скриптов R" в конвейерах с помощью CommandStep.

SynapseSparkStep

Замечание

Это экспериментальный класс и может измениться в любое время. Дополнительные сведения см. по адресу https://aka.ms/acr/connected-registry.

Создает шаг Azure ML Synapse, который отправляет и выполняет скрипт Python.

Создайте шаг конвейера Машинного обучения Azure, который запускает задание Spark в пуле synapse spark.