Chainer Класс

Представляет оценщик обучения в экспериментах Chainer.

УСТАРЕВШИЕ. ScriptRunConfig Используйте объект с определенной средой или одной из курируемых сред Azure ML Chainer. Общие сведения о настройке выполнения экспериментов с помощью ScriptRunConfig см. в разделе "Настройка и отправка обучающих запусков".

Поддерживаемые версии: 5.1.0, 7.0.0

Инициализировать средство оценки Chainer.

Конструктор

Chainer(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, framework_version=None, _enable_optimized_mode=False, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Параметры

Имя	Описание
source_directory Обязательно	str Локальный каталог, содержащий файлы конфигурации эксперимента.
compute_target Обязательно	AbstractComputeTarget или str Целевой объект вычислений, в котором будет выполняться обучение. Это может быть объект или строка "local".
vm_size Обязательно	str Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.
vm_priority Обязательно	str Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если значение не указано, используется значение "выделенный". Поддерживаемые значения: "dedicated" и "lowpriority". Это действует только при `vm_size param` указании входных данных.
entry_script Обязательно	str Относительный путь к файлу, содержаму скрипт обучения.
script_params Обязательно	dict Словарь аргументов командной строки для передачи в скрипт обучения, указанный в `entry_script`.
node_count Обязательно	int Количество узлов в целевом объекте вычислений, используемое для обучения. Если больше 1, будет выполняться распределенное задание MPI. Для распределенных заданий поддерживается только целевой AmlCompute объект.
process_count_per_node Обязательно	int Количество процессов на узел. Если больше 1, будет выполняться распределенное задание MPI. Для распределенных заданий поддерживается только целевой AmlCompute объект.
distributed_backend Обязательно	str Серверная часть обмена данными для распределенного обучения. УСТАРЕВШИЕ. Используйте параметр `distributed_training`. Поддерживаемые значения: mpi. "mpi": MPI/Horovod Этот параметр требуется, если `node_count` или `process_count_per_node`> 1. Если `node_count` == 1 и `process_count_per_node` == 1, серверная часть не будет использоваться, если серверная часть не задана явным образом. Для распределенного обучения поддерживается только целевой AmlCompute объект.
distributed_training Обязательно	Mpi Параметры для выполнения распределенного задания обучения. Для выполнения распределенного задания с серверной частью MPI используйте Mpi объект для указания `process_count_per_node`.
use_gpu Обязательно	bool Указывает, должна ли среда запускать эксперимент, поддерживать графические процессоры. Если значение true, образ Docker на основе GPU по умолчанию будет использоваться в среде. Если значение false, будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если `custom_docker_image` параметр не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.
use_docker Обязательно	bool Указывает, должна ли среда запускать эксперимент на основе Docker.
custom_docker_base_image Обязательно	str Имя образа Docker, из которого будет создан образ, используемый для обучения. УСТАРЕВШИЕ. Используйте параметр `custom_docker_image`. Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа.
custom_docker_image Обязательно	str Имя образа Docker, из которого будет создан образ, используемый для обучения. Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа.
image_registry_details Обязательно	ContainerRegistry Сведения о реестре образов Docker.
user_managed Обязательно	bool Указывает, повторно ли azure ML использует существующую среду Python. Если значение false, машинное обучение Azure создаст среду Python на основе спецификации зависимостей conda.
conda_packages Обязательно	list Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.
pip_packages Обязательно	list Список строк, представляющих пакеты pip для добавления в среду Python для эксперимента.
conda_dependencies_file_path Обязательно	str Относительный путь к файлу yaml зависимостей conda. Если задано, Машинное обучение Azure не установит пакеты, связанные с платформой. УСТАРЕВШИЕ. Используйте параметр `conda_dependencies_file`.
pip_requirements_file_path Обязательно	str Относительный путь к текстовому файлу требований pip. Это можно предоставить в сочетании с параметром `pip_packages` . УСТАРЕВШИЕ. Используйте параметр `pip_requirements_file`.
conda_dependencies_file Обязательно	str Относительный путь к файлу yaml зависимостей conda. Если задано, Машинное обучение Azure не установит пакеты, связанные с платформой.
pip_requirements_file Обязательно	str Относительный путь к текстовому файлу требований pip. Это можно предоставить в сочетании с параметром `pip_packages` .
environment_variables Обязательно	dict Словарь имен и значений переменных среды. Эти переменные среды задаются в процессе выполнения пользовательского скрипта.
environment_definition Обязательно	Environment Определение среды для эксперимента. Она включает в себя переменные PythonSection, DockerSection и среды. Любой параметр среды, не предоставляемый напрямую с помощью других параметров конструкции оценщика, можно задать с помощью этого параметра. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными с средой, например `use_gpu`, `custom_docker_imageconda_packages`или `pip_packages`. Ошибки будут сообщаться о недопустимых сочетаниях.
inputs Обязательно	list Список DataReference или DatasetConsumptionConfig объекты, используемые в качестве входных данных.
source_directory_data_store Обязательно	Datastore Резервное хранилище данных для общего ресурса проекта.
shm_size Обязательно	str Размер общего блока памяти контейнера Docker. Если не задано, используется azureml.core.environment._DEFAULT_SHM_SIZE по умолчанию. Для получения дополнительной информации см. справочник по команде Docker run.
resume_from Обязательно	DataPath Путь к данным, содержащий файлы контрольной точки или модели, из которых необходимо возобновить эксперимент.
max_run_duration_seconds Обязательно	int Максимально допустимое время выполнения. Машинное обучение Azure попытается автоматически отменить выполнение, если это значение занимает больше времени.
framework_version Обязательно	str Версия Chainer, используемая для выполнения кода обучения. `Chainer.get_supported_versions()` возвращает список версий, поддерживаемых текущим пакетом SDK.
source_directory Обязательно	str Локальный каталог, содержащий файлы конфигурации эксперимента.
compute_target Обязательно	AbstractComputeTarget или str Целевой объект вычислений, в котором будет выполняться обучение. Это может быть объект или строка "local".
vm_size Обязательно	str Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.
vm_priority Обязательно	str Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если он не указан, он по умолчанию будет иметь значение "выделенный". Поддерживаемые значения: "dedicated" и "lowpriority". Это действует только в том случае, если в входных данных указан vm_size парам.
entry_script Обязательно	str Относительный путь к файлу, содержаму скрипт обучения.
script_params Обязательно	dict Словарь аргументов командной строки для передачи в скрипт обучения, указанный в `entry_script`.
node_count Обязательно	int Количество узлов в целевом объекте вычислений, используемое для обучения. Если больше 1, будет выполняться распределенное задание MPI. Для распределенных заданий поддерживается только целевой AmlCompute объект.
process_count_per_node Обязательно	int Количество процессов на узел. Если больше 1, будет выполняться распределенное задание MPI. Для распределенных заданий поддерживается только AmlCompute целевой целевой объект вычислений.
distributed_backend Обязательно	str Серверная часть обмена данными для распределенного обучения. УСТАРЕВШИЕ. Используйте параметр `distributed_training`. Поддерживаемые значения: mpi. "mpi": MPI/Horovod Этот параметр требуется, если `node_count` или `process_count_per_node`> 1. Если `node_count` == 1 и `process_count_per_node` == 1, серверная часть не будет использоваться, если серверная часть не задана явным образом. Для распределенного обучения поддерживается только целевой AmlCompute объект.
distributed_training Обязательно	Mpi Параметры для выполнения распределенного задания обучения. Для выполнения распределенного задания с серверной частью MPI используйте Mpi объект для указания `process_count_per_node`.
use_gpu Обязательно	bool Указывает, должна ли среда запускать эксперимент, поддерживать графические процессоры. Если значение true, образ Docker на основе GPU по умолчанию будет использоваться в среде. Если значение false, будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если `custom_docker_image` параметр не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.
use_docker Обязательно	bool Указывает, должна ли среда запускать эксперимент на основе Docker.
custom_docker_base_image Обязательно	str Имя образа Docker, из которого будет создан образ, используемый для обучения. УСТАРЕВШИЕ. Используйте параметр `custom_docker_image`. Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа.
custom_docker_image Обязательно	str Имя образа Docker, из которого будет создан образ, используемый для обучения. Если не задано, образ на основе ЦП по умолчанию будет использоваться в качестве базового образа.
image_registry_details Обязательно	ContainerRegistry Сведения о реестре образов Docker.
user_managed Обязательно	bool Указывает, повторно ли azure ML использует существующую среду Python. Если значение false, машинное обучение Azure создаст среду Python на основе спецификации зависимостей conda.
conda_packages Обязательно	list Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.
pip_packages Обязательно	list Список строк, представляющих пакеты pip для добавления в среду Python для эксперимента.
conda_dependencies_file_path Обязательно	str Относительный путь к файлу yaml зависимостей conda. Если задано, Машинное обучение Azure не установит пакеты, связанные с платформой. УСТАРЕВШИЕ. Используйте параметр `conda_dependencies_file`.
pip_requirements_file_path Обязательно	str Относительный путь к текстовому файлу требований pip. Это можно предоставить в сочетании с параметром `pip_packages` . УСТАРЕВШИЕ. Используйте параметр `pip_requirements_file`.
conda_dependencies_file Обязательно	str Относительный путь к файлу yaml зависимостей conda. Если задано, Машинное обучение Azure не установит пакеты, связанные с платформой.
pip_requirements_file Обязательно	str Относительный путь к текстовому файлу требований pip. Это можно предоставить в сочетании с параметром `pip_packages` .
environment_variables Обязательно	dict Словарь имен и значений переменных среды. Эти переменные среды задаются в процессе выполнения пользовательского скрипта.
environment_definition Обязательно	Environment Определение среды для эксперимента. Она включает в себя переменные PythonSection, DockerSection и среды. Любой параметр среды, не предоставляемый напрямую с помощью других параметров конструкции оценщика, можно задать с помощью этого параметра. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными с средой, например `use_gpu`, `custom_docker_imageconda_packages`или `pip_packages`. Ошибки будут сообщаться о недопустимых сочетаниях.
inputs Обязательно	list Список azureml.data.data_reference. Объекты DataReference для использования в качестве входных данных.
source_directory_data_store Обязательно	Datastore Резервное хранилище данных для общего ресурса проекта.
shm_size Обязательно	str Размер общего блока памяти контейнера Docker. Если не задано, используется azureml.core.environment._DEFAULT_SHM_SIZE по умолчанию. Для получения дополнительной информации см. справочник по команде Docker run.
resume_from Обязательно	DataPath Путь к данным, содержащий файлы контрольной точки или модели, из которых необходимо возобновить эксперимент.
max_run_duration_seconds Обязательно	int Максимально допустимое время выполнения. Машинное обучение Azure попытается автоматически отменить выполнение, если это значение занимает больше времени.
framework_version Обязательно	str Версия Chainer, используемая для выполнения кода обучения. `Chainer.get_supported_versions()` возвращает список версий, поддерживаемых текущим пакетом SDK.
_enable_optimized_mode Обязательно	bool Включите добавочную сборку среды с предварительно созданными образами платформ для ускорения подготовки среды. Предварительно созданный образ платформы построен на основе базовых образов ЦП и GPU azure ML по умолчанию с предварительно установленными зависимостями платформы.
_disable_validation Обязательно	bool Отключите проверку скрипта перед отправкой. Значение по умолчанию — True.
_show_lint_warnings Обязательно	bool Отображение предупреждений о подстраивание скрипта. Значение по умолчанию — False.
_show_package_warnings Обязательно	bool Отображение предупреждений проверки пакета. Значение по умолчанию — False.

Зависимости | Chainer 5.1.0 | Chainer 7.0.0 | —————————- | —————– | ————— | Python | 3.6.2 | 3.6.2 | CUDA (только образ GPU) | 9.0 | 9.0 | cuDNN (только образ GPU) | 7.6.3 | 7.6.3 | NCCL (только образ GPU) | 2.4.8 | 2.4.8 | azureml-defaults | Последняя | Последняя | IntelMpi | 2018.3.222 | 2018.3.222 | Horovod | 0.15.2 | 0.15.2 | miniconda | 4.5.11 | 4.5.11 | chainer | 5.1.0 | 7.0.0 | cupy-cuda90 (только изображение GPU) | 5.2.0 | 7.0.0 | git | 2.7.4 | 2.7.4 |

Образы Docker расширяют Ubuntu 16.04.

Для установки дополнительных зависимостей можно использовать pip_packages или conda_packages параметр. Кроме того, можно указать или pip_requirements_file параметрconda_dependencies_file. Кроме того, можно создать собственный образ и передать custom_docker_image параметр конструктору оценщика.

Дополнительные сведения о контейнерах Docker, используемых в обучении Chainer, см. в разделе https://github.com/Azure/AzureML-Containers.

Атрибуты

DEFAULT_VERSION

DEFAULT_VERSION = '5.1.0'

FRAMEWORK_NAME

FRAMEWORK_NAME = 'Chainer'

Обратная связь

Были ли сведения на этой странице полезными?

Поделиться через

Конструктор

Параметры

Комментарии

DEFAULT_VERSION

FRAMEWORK_NAME