steps Пакет
Содержит предварительно созданные шаги, которые можно выполнить в конвейере машинного обучения Azure.
Шаги конвейера машинного обучения Azure можно настроить вместе для создания конвейера, который представляет общий и многократно используемый рабочий процесс машинного обучения Azure. Каждый шаг конвейера можно настроить для повторного использования предыдущих результатов выполнения, если содержимое шага (скрипты и зависимости), а также входные и параметры остаются неизменными.
Классы в этом пакете обычно используются вместе с классами в пакете core . Основной пакет содержит классы для настройки данных (), планирования (PipelineDataSchedule) и управления выходными данными шагов (StepRun).
Предварительные шаги в этом пакете охватывают множество распространенных сценариев, возникающих в рабочих процессах машинного обучения. Чтобы приступить к работе с предварительно созданными шагами конвейера, см. следующие сведения:
Модули
| adla_step |
Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure для запуска скрипта U-SQL с помощью Azure Data Lake Analytics. |
| automl_step |
Содержит функциональные возможности для добавления и управления автоматическим этапом конвейера машинного обучения в Машинном обучении Azure. |
| azurebatch_step |
Содержит функции для создания шага Конвейера машинного обучения Azure, который запускает исполняемый файл Windows в пакетной службе Azure. |
| command_step |
Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure, выполняющего команды. |
| data_transfer_step |
Содержит функции для создания шага Конвейера машинного обучения Azure, который передает данные между параметрами хранилища. |
| databricks_step |
Содержит функции для создания шага конвейера Машинного обучения Azure для запуска записной книжки Databricks или скрипта Python в DBFS. |
| estimator_step |
Содержит функциональные возможности для создания шага конвейера, на котором выполняется оценка для обучения модели машинного обучения. |
| hyper_drive_step |
Содержит funtionality для создания шагов Azure ML Pipeline и управления ими, которые выполняют настройку гиперпараметров. |
| kusto_step |
Содержит функции для создания шага конвейера Машинного обучения Azure для запуска записной книжки Kusto. |
| module_step |
Содержит функции для добавления шага конвейера машинного обучения Azure с использованием существующей версии модуля. |
| mpi_step |
Содержит функции для добавления шага Azure ML Pipeline для запуска задания MPI для обучения модели машинного обучения. |
| parallel_run_config |
Содержит функциональные возможности для настройки ParallelRunStep. |
| parallel_run_step |
Содержит функциональные возможности для добавления шага для запуска пользовательского скрипта в параллельном режиме в нескольких целевых объектах AmlCompute. |
| python_script_step |
Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure, на котором выполняется скрипт Python. |
| r_script_step |
Содержит функциональные возможности для создания шага Конвейера машинного обучения Azure, на котором выполняется скрипт R. |
| synapse_spark_step |
Содержит функциональные возможности для создания шага Azure ML Synapse, на котором выполняется скрипт Python. |
Классы
| AdlaStep |
Создает шаг конвейера машинного обучения Azure для запуска скрипта U-SQL с помощью Azure Data Lake Analytics. Пример использования этого AdlaStep см. в записной книжке https://aka.ms/pl-adla. Создайте шаг конвейера машинного обучения Azure для запуска скрипта U-SQL с помощью Azure Data Lake Analytics. |
| AutoMLStep |
Создает шаг конвейера машинного обучения Azure, который инкапсулирует автоматизированный запуск машинного обучения. Пример использования AutoMLStep см. в записной книжке https://aka.ms/pl-automl. Инициализировать autoMLStep. |
| AutoMLStepRun |
Предоставляет сведения об автоматическом выполнении эксперимента машинного обучения и методах получения выходных данных по умолчанию. Класс AutoMLStepRun используется для управления, проверки состояния и получения сведений о выполнении после отправки автоматизированного запуска машинного обучения в конвейере. Кроме того, этот класс можно использовать для получения выходных AutoMLStep данных по умолчанию через StepRun класс. Инициализация выполнения шага automl. |
| AzureBatchStep |
Создает шаг конвейера машинного обучения Azure для отправки заданий в пакетную службу Azure. Примечание. Этот шаг не поддерживает отправку и скачивание каталогов и их содержимое. Пример использования AzureBatchStep см. в записной книжке https://aka.ms/pl-azbatch. Создайте шаг Конвейера машинного обучения Azure для отправки заданий в пакетную службу Azure. |
| CommandStep |
Создайте шаг Конвейера машинного обучения Azure, выполняющий команду. Создайте шаг Конвейера машинного обучения Azure, выполняющий команду. |
| DataTransferStep |
Создает шаг конвейера машинного обучения Azure, который передает данные между параметрами хранилища. DataTransferStep поддерживает распространенные типы хранения, такие как хранилище BLOB-объектов Azure и Azure Data Lake в качестве источников и приемников. Дополнительные сведения см. в разделе "Примечания ". Пример использования DataTransferStep см. в записной книжке https://aka.ms/pl-data-trans. Создайте шаг конвейера машинного обучения Azure, который передает данные между параметрами хранилища. |
| DatabricksStep |
Создает шаг конвейера машинного обучения Azure для добавления записной книжки DataBricks, скрипта Python или JAR-файла в качестве узла. Пример использования DatabricksStep см. в записной книжке https://aka.ms/pl-databricks. Создайте шаг Конвейера машинного обучения Azure для добавления записной книжки DataBricks, скрипта Python или JAR-файла в качестве узла. Пример использования DatabricksStep см. в записной книжке https://aka.ms/pl-databricks. :p aram python_script_name:[Обязательно] Имя скрипта Python относительно Укажите точно одно из Если в качестве входных данных указать объект DataReference с data_reference_name=input1 и объект PipelineData в качестве выходных данных с именем=output1, входные и выходные данные будут переданы скрипту в качестве параметров. Вот как они будут выглядеть, и вам потребуется проанализировать аргументы в скрипте, чтобы получить доступ к путям каждого входного и выходного данных: "-input1", "wasbs:///test", "wasbs://[email protected]@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d2b81a2/output1". Кроме того, в скрипте будут доступны следующие параметры:
При выполнении скрипта Python с локального компьютера в Databricks с помощью параметров |
| EstimatorStep |
УСТАРЕВШИЕ. Создает шаг конвейера для обучения Estimator модели машинного обучения Azure. Создайте шаг Конвейера машинного обучения Azure для запуска оценки для обучения модели машинного обучения. УСТАРЕВШИЕ. CommandStep Используйте вместо него. Пример см. в разделе "Запуск обучения машинного обучения" в конвейерах с помощью CommandStep. |
| HyperDriveStep |
Создает шаг Конвейера машинного обучения Azure для запуска туннинга гиперпараметров для обучения модели машинного обучения. Пример использования HyperDriveStep см. в записной книжке https://aka.ms/pl-hyperdrive. Создайте шаг Конвейера машинного обучения Azure для запуска туннинга гиперпараметров для обучения модели машинного обучения. |
| HyperDriveStepRun |
Управление, проверка состояния и получение сведений о выполнении для шага конвейера HyperDriveStep . HyperDriveStepRun предоставляет функциональные возможности HyperDriveRun с дополнительной поддержкой StepRun. Класс HyperDriveStepRun позволяет управлять, проверять состояние и получать сведения о выполнении для запуска HyperDrive и каждого из созданных дочерних запусков. Класс StepRun позволяет сделать это после отправки родительского конвейера, а конвейер отправил выполнение шага. Инициализация HyperDriveStepRun. HyperDriveStepRun предоставляет функциональные возможности HyperDriveRun с дополнительной поддержкой StepRun. Класс HyperDriveRun позволяет управлять, проверять состояние и получать сведения о выполнении для запуска HyperDrive и каждого из созданных дочерних запусков. Класс StepRun позволяет сделать это после отправки родительского конвейера, а конвейер отправил выполнение шага. |
| KustoStep |
KustoStep позволяет выполнять запросы Kusto в целевом кластере Kusto в Azure ML Pipelines. Инициализация KustoStep. |
| ModuleStep |
Создает шаг конвейера машинного обучения Azure для запуска определенной версии модуля. Module объекты определяют многократно используемые вычисления, такие как скрипты или исполняемые файлы, которые могут использоваться в различных сценариях машинного обучения и различными пользователями. Чтобы использовать определенную версию модуля в конвейере, создайте moduleStep. ModuleStep — это шаг в конвейере, использующем существующий ModuleVersion. Пример использования ModuleStep см. в записной книжке https://aka.ms/pl-modulestep. Создайте шаг конвейера Машинного обучения Azure для запуска определенной версии модуля. |
| MpiStep |
Создает шаг конвейера Машинного обучения Azure для запуска задания MPI. Пример использования MpiStep см. в записной книжке https://aka.ms/pl-style-trans. Создайте шаг конвейера Машинного обучения Azure для запуска задания MPI. УСТАРЕВШИЕ. CommandStep Используйте вместо него. Пример выполнения распределенного обучения в конвейерах с помощью CommandStep. |
| ParallelRunConfig |
Определяет конфигурацию объекта ParallelRunStep . Пример использования ParallelRunStep см. в записной книжке https://aka.ms/batch-inference-notebooks. Руководство по устранению неполадок см. в разделе https://aka.ms/prstsg. Здесь можно найти дополнительные ссылки. Инициализировать объект конфигурации. |
| ParallelRunStep |
Создает шаг конвейера машинного обучения Azure для асинхронной обработки больших объемов данных и параллельно. Пример использования ParallelRunStep см. в записной книжке https://aka.ms/batch-inference-notebooks. Руководство по устранению неполадок см. в разделе https://aka.ms/prstsg. Здесь можно найти дополнительные ссылки. Создайте шаг конвейера машинного обучения Azure для асинхронной обработки больших объемов данных и параллельно. Пример использования ParallelRunStep см. по ссылке https://aka.ms/batch-inference-notebooksзаписной книжки. |
| PythonScriptStep |
Создает шаг конвейера машинного обучения Azure, на котором выполняется скрипт Python. Пример использования PythonScriptStep см. в записной книжке https://aka.ms/pl-get-started. Создайте шаг конвейера машинного обучения Azure, который запускает скрипт Python. |
| RScriptStep |
Замечание Это экспериментальный класс и может измениться в любое время. Дополнительные сведения см. по адресу https://aka.ms/acr/connected-registry. Создает шаг конвейера машинного обучения Azure, который запускает скрипт R. Создайте шаг конвейера машинного обучения Azure, который запускает скрипт R. УСТАРЕВШИЕ. CommandStep Используйте вместо него. Пример см. в разделе "Запуск скриптов R" в конвейерах с помощью CommandStep. |
| SynapseSparkStep |
Замечание Это экспериментальный класс и может измениться в любое время. Дополнительные сведения см. по адресу https://aka.ms/acr/connected-registry. Создает шаг Azure ML Synapse, который отправляет и выполняет скрипт Python. Создайте шаг конвейера Машинного обучения Azure, который запускает задание Spark в пуле synapse spark. |