Обучение модели с помощью пользовательского образа Docker

ПРИМЕНЯЕТСЯ К:Пакет SDK машинного обучения Azure версии 1 для Python

В этой статье описывается использование пользовательского образа Docker для обучения моделей с помощью Машинного обучения Azure. Примеры сценариев показывают, как классифицировать изображения путем создания свертываемой нейронной сети.

Машинное обучение Azure предоставляет базовый образ Docker по умолчанию. Вы также можете использовать среды машинного обучения Azure для указания другого базового образа, например поддерживаемого базового образа Машинного обучения Azure или собственного пользовательского образа. Пользовательские базовые образы позволяют более тщательно управлять зависимостями и поддерживать более строгий контроль над версиями компонентов при выполнении заданий обучения.

Предварительные условия

Чтобы запустить пример кода, конфигурация должна содержать одну из следующих сред:

• Вычислительный экземпляр для машинного обучения Azure со специализированным сервером для ноутбуков, с заранее установленным набором средств разработки (SDK) и хранилищем примеров.

  Для этой конфигурации не требуется скачивание или другая установка. Сведения о подготовке этой среды см. в статье "Создание ресурсов для начала работы".

• Сервер Jupyter Notebook. Следующие ресурсы содержат инструкции по подготовке этой среды:

  • Создайте файл конфигурации рабочей области.
  • Установите пакет SDK для Машинного обучения Azure.
  • Создайте реестр контейнеров Azure или другой реестр Docker, доступный в Интернете.

Настройка обучающего эксперимента

Первая задача — настроить обучающий эксперимент путем инициализации рабочей области Машинного обучения, определения среды и настройки целевого объекта вычислений.

Инициализация рабочей области

Рабочая область Машинного обучения Azure — это ресурс верхнего уровня данной службы. Он предоставляет централизованное место для работы со всеми создаваемыми артефактами. В пакете SDK для Python можно получить доступ к артефактам рабочей области, создав объект Workspace.

При необходимости создайте объект Workspace из файла config.json, который был создан как предварительное требование.

from azureml.core import Workspace

ws = Workspace.from_config()

Определение среды

Создайте объект Environment.

from azureml.core import Environment

fastai_env = Environment("fastai2")

Указанный базовый образ в следующем коде поддерживает библиотеку fast.ai, которая позволяет использовать распределенные возможности глубокого обучения. Дополнительные сведения см. в репозитории fast.ai в Docker Hub.

При использовании пользовательского образа Docker ваша среда Python, возможно, уже настроена должным образом. В этом случае установите флаг user_managed_dependencies в True, чтобы использовать встроенную среду Python пользовательского образа. По умолчанию Машинное обучение Azure создает среду Conda с указанными зависимостями. Служба запускает скрипт в этой среде вместо использования библиотек Python, установленных на базовом образе.

fastai_env.docker.base_image = "fastdotai/fastai2:latest"
fastai_env.python.user_managed_dependencies = True

Дополнительные сведения о создании сред Машинного обучения и управления ими см. в разделе Создание и использование программных сред.

Создание или подключение целевого объекта вычислений

Для обучения модели необходимо создать целевой объект вычислений. В этом учебнике вы создадите AmlCompute в качестве вычислительного ресурса для обучения.

Создание AmlCompute займет несколько минут. Если ресурс AmlCompute уже находится в рабочей области, этот код пропускает процесс создания.

Как и в других службах Azure, существуют ограничения на некоторые ресурсы (например, AmlCompute), связанные со службой "Машинное обучение Azure". Дополнительные сведения см. в разделе Ограничения по умолчанию и запрос повышенной квоты.

from azureml.core.compute import ComputeTarget, AmlCompute
from azureml.core.compute_target import ComputeTargetException

# Choose a name for your cluster
cluster_name = "gpu-cluster"

try:
    compute_target = ComputeTarget(workspace=ws, name=cluster_name)
    print('Found existing compute target.')
except ComputeTargetException:
    print('Creating a new compute target...')
    compute_config = AmlCompute.provisioning_configuration(vm_size='STANDARD_NC6',
                                                           max_nodes=4)

    # Create the cluster
    compute_target = ComputeTarget.create(ws, cluster_name, compute_config)

    compute_target.wait_for_completion(show_output=True)

# Use get_status() to get a detailed status for the current AmlCompute
print(compute_target.get_status().serialize())

Настройка задания обучения

В рамках этого учебника используйте сценарий обучения train.py на GitHub. На практике вы можете запустить любой сценарий обучения как есть с помощью Машинного обучения Azure.

Создайте ресурс ScriptRunConfig, чтобы настроить выполнение задания в нужном целевом объекте вычислений.

from azureml.core import ScriptRunConfig

src = ScriptRunConfig(source_directory='fastai-example',
                      script='train.py',
                      compute_target=compute_target,
                      environment=fastai_env)

Отправка задания обучения

При отправке запуска обучения с помощью объекта ScriptRunConfig метод submit возвращает объект типа ScriptRun. Возвращаемый объект ScriptRun предоставляет программный доступ к сведениям о ходе выполнения обучения.

from azureml.core import Experiment

run = Experiment(ws,'Tutorial-fastai').submit(src)
run.wait_for_completion(show_output=True)

Связанный контент

• Отслеживание метрик выполнения
• Развертывание модели с помощью пользовательского образа Docker