Поделиться через

Estimator Класс

Представляет универсальный оценщик для обучения данных с помощью любой предоставленной платформы.

УСТАРЕВШИЕ. ScriptRunConfig Используйте объект с определенной средой или курированной средой Машинного обучения Azure. Общие сведения о настройке выполнения экспериментов с помощью ScriptRunConfig см. в разделе "Настройка и отправка обучающих запусков".

Этот класс предназначен для использования с платформами машинного обучения, которые еще не имеют предварительно настроенного оценщика машинного обучения Azure. Предварительно настроенные оценщики существуют для Chainer, PyTorchи TensorFlowSKLearn. Чтобы создать оценщик, который не настроен, см. статью "Обучение моделей с помощью машинного обучения Azure" с помощью оценщика.

Класс Estimator упаковывает сведения о конфигурации запуска, чтобы упростить задачи указания того, как выполняется скрипт. Он поддерживает одноузловое выполнение, а также выполнение с несколькими узлами. Запуск оценщика создает модель в выходном каталоге, указанном в скрипте обучения.

Инициализировать оценщик.

используется azureml.core.environment._DEFAULT_SHM_SIZE. Для получения дополнительной информации см. справочник по команде Docker run. :type shm_size: str :p aram resume_from: путь к данным, содержащий файлы контрольных точек или моделей, из которых нужно возобновить эксперимент. :type resume_from: azureml.datapath.DataPath :p aram max_run_duration_seconds: максимально допустимое время выполнения. Машинное обучение Azure попытается автоматически

отмените выполнение, если оно занимает больше времени, чем это значение.

Конструктор

Estimator(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Параметры

Имя Описание
source_directory
Обязательно
str

Локальный каталог, содержащий файлы конфигурации эксперимента и кода, необходимые для задания обучения.
compute_target
Обязательно
AbstractComputeTarget или str

Целевой объект вычислений, в котором будет выполняться обучение. Это может быть объект или строка "local".
vm_size
Обязательно
str

Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.
vm_priority
Обязательно
str

Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если значение не указано, используется значение "выделенный".

Поддерживаемые значения: "dedicated" и "lowpriority".

Это действует только в том случае, если vm_size параметр указан во входных данных.
entry_script
Обязательно
str

Относительный путь к файлу, используемому для запуска обучения.
script_params
Обязательно
dict

Словарь аргументов командной строки для передачи в скрипт обучения, указанный в entry_script.
node_count
Обязательно
int

Количество узлов в целевом объекте вычислений, используемое для обучения. Если больше 1, будет выполняться распределенное задание MPI.
process_count_per_node
Обязательно
int

Количество процессов (или рабочих ролей), выполняемых на каждом узле. Если больше 1, будет выполняться распределенное задание MPI. Для распределенных заданий поддерживается только целевой AmlCompute объект.
distributed_backend
Обязательно
str

Серверная часть обмена данными для распределенного обучения.

УСТАРЕВШИЕ. Используйте параметр distributed_training.

Поддерживаемые значения: mpi. "mpi" представляет MPI/Horovod.

Этот параметр требуется, если node_count или process_count_per_node> 1.

Если node_count == 1 и process_count_per_node == 1, серверная часть не будет использоваться, если серверная часть не задана явным образом. Для распределенного обучения поддерживается только целевой AmlCompute объект.
distributed_training
Обязательно
Mpi

Параметры для выполнения распределенного задания обучения.

Для выполнения распределенного задания с серверной частью MPI используйте Mpi объект для указания process_count_per_node.
use_gpu
Обязательно
bool

Указывает, должна ли среда запускать эксперимент, должна ли поддерживать графические процессоры. Если значение true, образ Docker на основе GPU по умолчанию будет использоваться в среде. Если значение false, будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если custom_docker_image параметр не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.
use_docker
Обязательно
bool

Указывает, должна ли среда запускать эксперимент на основе Docker.
custom_docker_base_image
Обязательно
str

Имя образа Docker, из которого будет создан образ, используемый для обучения.

УСТАРЕВШИЕ. Используйте параметр custom_docker_image.

Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа.
custom_docker_image
Обязательно
str

Имя образа Docker, из которого будет создан образ, используемый для обучения. Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа. Укажите только изображения, доступные в общедоступных репозиториях Docker (Docker Hub). Чтобы использовать образ из частного репозитория Docker, используйте вместо него параметр конструктора environment_definition .
image_registry_details
Обязательно
ContainerRegistry

Сведения о реестре образов Docker.
user_managed
Обязательно
bool

Указывает, повторно ли azure ML использует существующую среду Python. Если значение false, среда Python создается на основе спецификации зависимостей conda.
conda_packages
Обязательно
list

Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.
pip_packages
Обязательно
list

Список строк, представляющих пакеты pip для добавления в среду Python для эксперимента.
conda_dependencies_file_path
Обязательно
str

Относительный путь к файлу yaml зависимостей conda. Если задано, Машинное обучение Azure не установит пакеты, связанные с платформой.

УСТАРЕВШИЕ. conda_dependencies_file Используйте параметризатор.

Укажите conda_dependencies_file_path или conda_dependencies_file. Если оба указаны, conda_dependencies_file используется.
pip_requirements_file_path
Обязательно
str

Относительный путь к текстовому файлу требований pip.

УСТАРЕВШИЕ. Используйте параметр pip_requirements_file.

Этот параметр можно указать в сочетании с параметром pip_packages . Укажите pip_requirements_file_path или pip_requirements_file. Если оба указаны, pip_requirements_file используется.
conda_dependencies_file
Обязательно
str

Относительный путь к файлу yaml зависимостей conda. Если задано, Машинное обучение Azure не установит пакеты, связанные с платформой.
pip_requirements_file
Обязательно
str

Относительный путь к текстовому файлу требований pip. Этот параметр можно указать в сочетании с параметром pip_packages .
environment_variables
Обязательно
dict

Словарь имен и значений переменных среды. Эти переменные среды задаются в процессе выполнения пользовательского скрипта.
environment_definition
Обязательно
Environment

Определение среды для эксперимента. Она включает в себя переменные PythonSection, DockerSection и среды. Любой параметр среды, не предоставляемый напрямую с помощью других параметров конструкции оценщика, можно задать с помощью этого параметра. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными с средой, например use_gpu, custom_docker_imageconda_packagesили pip_packages. Ошибки будут сообщаться о недопустимых сочетаниях.
inputs
Обязательно
list

Список DataReference или DatasetConsumptionConfig объекты, используемые в качестве входных данных.
source_directory_data_store
Обязательно
Datastore

Резервное хранилище данных для общей папки проекта.
shm_size
Обязательно
str

Размер общего блока памяти контейнера Docker. Если не задано, используется azureml.core.environment._DEFAULT_SHM_SIZE по умолчанию. Для получения дополнительной информации см. справочник по команде Docker run.
resume_from
Обязательно
DataPath

Путь к данным, содержащий файлы контрольной точки или модели, из которых необходимо возобновить эксперимент.
max_run_duration_seconds
Обязательно
int

Максимально допустимое время выполнения. Машинное обучение Azure попытается автоматически отменить выполнение, если это значение занимает больше времени.
source_directory
Обязательно
str

Локальный каталог, содержащий файлы конфигурации эксперимента и кода, необходимые для задания обучения.
compute_target
Обязательно
AbstractComputeTarget или str

Целевой объект вычислений, в котором будет выполняться обучение. Это может быть объект или строка "local".
vm_size
Обязательно
str

Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.
vm_priority
Обязательно
str

Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если значение не указано, используется значение "выделенный".

Поддерживаемые значения: "dedicated" и "lowpriority".

Это действует только в том случае, если vm_size параметр указан во входных данных.
entry_script
Обязательно
str

Относительный путь к файлу, используемому для запуска обучения.
script_params
Обязательно
dict

Словарь аргументов командной строки для передачи в скрипт обучения, указанный в entry_script.
node_count
Обязательно
int

Количество узлов в целевом объекте вычислений, используемое для обучения. Если больше 1, будет выполняться распределенное задание MPI. Для распределенных заданий поддерживается только целевой AmlCompute объект.
process_count_per_node
Обязательно
int

Количество процессов на узел. Если больше 1, будет выполняться распределенное задание MPI. Для распределенных заданий поддерживается только целевой AmlCompute объект.
distributed_backend
Обязательно
str

Серверная часть обмена данными для распределенного обучения.

УСТАРЕВШИЕ. Используйте параметр distributed_training.

Поддерживаемые значения: mpi. "mpi" представляет MPI/Horovod.

Этот параметр требуется, если node_count или process_count_per_node> 1.

Если node_count == 1 и process_count_per_node == 1, серверная часть не будет использоваться, если серверная часть не задана явным образом. Для распределенного обучения поддерживается только целевой AmlCompute объект.
distributed_training
Обязательно
Mpi

Параметры для выполнения распределенного задания обучения.

Для выполнения распределенного задания с серверной частью MPI используйте Mpi объект для указания process_count_per_node.
use_gpu
Обязательно
bool

Указывает, должна ли среда запускать эксперимент, поддерживать графические процессоры. Если значение true, образ Docker на основе GPU по умолчанию будет использоваться в среде. Если значение false, будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если custom_docker_image параметр не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.
use_docker
Обязательно
bool

Указывает, должна ли среда запускать эксперимент на основе Docker.
custom_docker_base_image
Обязательно
str

Имя образа Docker, из которого будет создан образ, используемый для обучения.

УСТАРЕВШИЕ. Используйте параметр custom_docker_image.

Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа.
custom_docker_image
Обязательно
str

Имя образа Docker, из которого будет создан образ, используемый для обучения. Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа. Укажите только изображения, доступные в общедоступных репозиториях Docker (Docker Hub). Чтобы использовать образ из частного репозитория Docker, используйте вместо него параметр конструктора environment_definition .
image_registry_details
Обязательно
ContainerRegistry

Сведения о реестре образов Docker.
user_managed
Обязательно
bool

Указывает, повторно ли azure ML использует существующую среду Python. Если значение false, среда Python создается на основе спецификации зависимостей conda.
conda_packages
Обязательно
list

Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.
pip_packages
Обязательно
list

Список строк, представляющих пакеты pip для добавления в среду Python для эксперимента.
conda_dependencies_file_path
Обязательно

Относительный путь к файлу yaml зависимостей conda. Если задано, Машинное обучение Azure не установит пакеты, связанные с платформой.

УСТАРЕВШИЕ. conda_dependencies_file Используйте параметризатор.

Укажите conda_dependencies_file_path или conda_dependencies_file. Если оба указаны, conda_dependencies_file используется.
pip_requirements_file_path
Обязательно

Относительный путь к текстовому файлу требований pip.

УСТАРЕВШИЕ. Используйте параметр pip_requirements_file.

Это можно предоставить в сочетании с параметром pip_packages . Укажите pip_requirements_file_path или pip_requirements_file. Если оба указаны, pip_requirements_file используется.
pip_requirements_file
Обязательно
str

Относительный путь к текстовому файлу требований pip. Это можно предоставить в сочетании с параметром pip_packages .
environment_variables
Обязательно
dict

Словарь имен и значений переменных среды. Эти переменные среды задаются в процессе выполнения пользовательского скрипта.
environment_definition
Обязательно
Environment

Определение среды для эксперимента. Она включает в себя переменные PythonSection, DockerSection и среды. Любой параметр среды, не предоставляемый напрямую с помощью других параметров конструкции оценщика, можно задать с помощью этого параметра. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными с средой, например use_gpu, custom_docker_imageconda_packagesили pip_packages. Ошибки будут сообщаться о недопустимых сочетаниях.
inputs
Обязательно
list

Список DataReference или DatasetConsumptionConfig объекты, используемые в качестве входных данных.
source_directory_data_store
Обязательно
Datastore

Резервное хранилище данных для общей папки проекта.
shm_size
Обязательно

Размер общего блока памяти контейнера Docker. Если не задано, значение по умолчанию
_disable_validation
Обязательно
bool

Отключите проверку скрипта перед отправкой. Значение по умолчанию — True.
_show_lint_warnings
Обязательно
bool

Отображение предупреждений о подстраивание скрипта. Значение по умолчанию — False.
_show_package_warnings
Обязательно
bool

Отображение предупреждений проверки пакета. Значение по умолчанию — False.