Настройка AutoML для обучения модели обработки естественного языка с помощью Python (предварительная версия)

ОБЛАСТЬ ПРИМЕНЕНИЯ: Пакет SDK для Python версии 1

В этой статье вы научитесь обучать модели обработки естественного языка (NLP) с помощью автоматизированного машинного обучения в пакете SDK Python Машинного обучения Azure.

Автоматизированное машинное обучение (ML) поддерживает обработку естественного языка (NLP), что позволяет специалистам по ML и обработке и анализу данных пользоваться собственными текстовыми данными и создавать пользовательские модели для таких задач, как классификация текста по нескольким классам и меткам, а также распознавание именованных сущностей (NER).

Также можно плавно интегрировать возможность маркировки данных Машинного обучения Azure, чтобы помечать текстовые данные или пользоваться уже помеченными данными. Автоматизированное ML позволяет использовать распределенное обучение на вычислительных кластерах с несколькими GPU для ускоренного обучения моделей. Результирующая модель может выполняться в большом масштабе, используя возможности MLOps Машинное обучение Azure.

Необходимые компоненты

• Подписка Azure. Если у вас нет подписки Azure, зарегистрируйтесь для использования бесплатной или платной версии службы Машинного обучения Azure.

• Рабочая область Машинного обучения Azure с вычислительными ресурсами обучения GPU. Сведения о создании рабочей области см. в разделе Создание ресурсов рабочей области. Дополнительные сведения об экземплярах GPU, предоставляемых Azure, см. в разделе Размеры виртуальных машин, оптимизированных для GPU.

  Предупреждение

  В некоторых вариантах использования NLP, таких как наборы данных не на английском языке и документы с увеличенным диапазоном, необходима поддержка многоязычных моделей и моделей с увеличенной наибольшей длиной последовательности. Вследствие этого в таких сценариях для обучения модели может потребоваться память GPU большего размера, например серии NCv3 или ND.

• Установленный пакет SDK Python для Машинного обучения Azure.

  Чтобы установить пакет SDK:

  • Создайте вычислительный экземпляр, предварительно настроенный для рабочих процессов ML, который автоматически устанавливает пакет SDK. Дополнительные сведения см. в статье Создание вычислительного экземпляра для Машинного обучения Azure и управление им.

  • Установите пакет automl самостоятельно, следуя инструкции по установке пакета SDK по умолчанию.

  Внимание

  Для выполнения команд Python из этой статьи требуется последняя версия пакета azureml-train-automl.

  • Установите последнюю версию пакета azureml-train-automl в локальной среде.
  • Сведения о последней версии пакета azureml-train-automl см. в заметках о выпуске.

• В этой статье предполагается, что вам известны основные принципы настройки эксперимента автоматизированного машинного обучения. Следуйте инструкциям учебника или практического руководства, чтобы ознакомиться с основными конструктивными шаблонами экспериментов автоматизированного машинного обучения.

Выбор задачи NLP

Определите, какую задачу NLP необходимо выполнить. В настоящее время в автоматизированном ML поддерживаются следующие задачи глубокой нейронной сети для NLP.

Подготовка данных

Для экспериментов NLP в автоматизированном ML можно подключить набор данных Машинного обучения Azure в формате .csv, чтобы выполнять классификацию по нескольким классам или меткам. Для задач распознавания именованных сущностей (NER) поддерживаются файлы .txt с двумя столбцами, которые используют пробел в качестве разделителя и придерживаются формата CoNLL. В следующих разделах описываются дополнительные сведения о форматах данных, которые поддерживаются для каждого задания.

Несколько классов

Для классификации по нескольким классам набор данных может содержать несколько текстовых столбцов и ровно один столбец меток. В следующем примере содержится один текстовый столбец.

text,labels
"I love watching Chicago Bulls games.","NBA"
"Tom Brady is a great player.","NFL"
"There is a game between Yankees and Orioles tonight","MLB"
"Stephen Curry made the most number of 3-Pointers","NBA"

Несколько меток

Для классификации по нескольким меткам столбцы набора данных будут такими же, как и для нескольких классов, однако для данных в столбце меток существуют особые требования к формату. В следующей таблице указаны два допустимых формата и примеры.

Пример данных в формате обычного текста для классификации с несколькими метками.

text,labels
"I love watching Chicago Bulls games.","basketball"
"The four most popular leagues are NFL, MLB, NBA and NHL","football,baseball,basketball,hockey"
"I like drinking beer.",""

Пример данных в формате списка Python с кавычками для классификации с несколькими метками.

text,labels
"I love watching Chicago Bulls games.","['basketball']"
"The four most popular leagues are NFL, MLB, NBA and NHL","['football','baseball','basketball','hockey']"
"I like drinking beer.","[]"

Распознавание именованных сущностей (NER)

В отличие от нескольких классов или нескольких меток, которые принимают .csv наборы данных формата, распознавание именованных сущностей требует формата CoNLL. Файл должен содержать ровно два столбца, а токен и метка в каждой строке должны быть разделены одним пробелом.

Например,

Hudson B-loc
Square I-loc
is O
a O
famous O
place O
in O
New B-loc
York I-loc
City I-loc

Stephen B-per
Curry I-per
got O
three O
championship O
rings O

Проверка данных

Перед обучением автоматизированное ML выполняет проверки входных данных, чтобы обеспечить их корректную предварительную обработку. Если любая из этих проверок заканчивается неудачно, запуск тоже завершается сбоем с соответствующим сообщением об ошибке. Далее описаны требования для прохождения проверок данных для каждой задачи.

Настройка эксперимента

Возможность NLP автоматизированного ML активируется в рабочем процессе AutoMLConfig, с помощью которого отправляются эксперименты автоматизированного ML для классификации, регрессии и прогнозирования. Большинство параметров, такие как task, compute_target и входные данные, задаются одинаково для подобных экспериментов.

Однако есть значительные различия:

• Можно пропустить primary_metric, так она нужна только для отчетов. В настоящее время автоматизированное ML может обучать только одну модель NLP за запуск, и выбрать модель невозможно.
• Параметр label_column_name требуется только для задач классификации текста с несколькими классами и метками.
• Если большинство примеров в наборе данных содержит более 128 слов, это считается широким диапазоном. Для такого сценария можно использовать вариант текста широкого диапазона с параметром enable_long_range_text=True в AutoMLConfig. Это помогает повысить производительность модели, но требует более длительного обучения.
  • Если включить текст широкого диапазона, потребуется GPU с большим объемом памяти, например серии NCv3 или ND.
  • Параметр enable_long_range_text доступен только для задач классификации с несколькими классами.

automl_settings = {
    "verbosity": logging.INFO,
    "enable_long_range_text": True, # # You only need to set this parameter if you want to enable the long-range text setting
}

automl_config = AutoMLConfig(
    task="text-classification",
    debug_log="automl_errors.log",
    compute_target=compute_target,
    training_data=train_dataset,
    validation_data=val_dataset,
    label_column_name=target_column_name,
    **automl_settings
)

Языковые параметры

В рамках возможностей NLP автоматизированное ML поддерживает 104 языка с использованием предварительно обученных языковых и многоязычных текстовых моделей глубокой нейронной сети, например семейство моделей BERT. В настоящее время по умолчанию выбран английский язык.

В следующей таблице описывается применение моделей в зависимости от типа и языка задач. См. полный список поддерживаемых языков и их кодов.

Язык набора данных можно указать в FeaturizationConfig. Языковая модель BERT также используется в процессе конструирования признаков обучения с автоматизированным ML. Дополнительные сведения об интеграции BERT и конструировании признаков в автоматизированном ML.

from azureml.automl.core.featurization import FeaturizationConfig

featurization_config = FeaturizationConfig(dataset_language='{your language code}')
automl_config = AutomlConfig("featurization": featurization_config)

Распределенное обучение

Вы также можете запускать эксперименты NLP с распределенным обучением в Машинное обучение Azure вычислительном кластере. Автоматизированное ML автоматически их обрабатывает при указании параметров max_concurrent_iterations = number_of_vms и enable_distributed_dnn_training = True в AutoMLConfig во время настройки эксперимента.

max_concurrent_iterations = number_of_vms
enable_distributed_dnn_training = True

Это позволяет планировать распределенное обучение моделей NLP и автоматически масштабировать их по каждому GPU для виртуальной машины или кластера виртуальных машин. Наибольшее допустимое количество виртуальных машин составляет 32. Обучение планируется с количеством виртуальных машин, равным степени двойки.

Примеры записных книжек

См. примеры записных книжек для подробного кода каждой задачи NLP.

• Классификация текста по нескольким классам
• Классификация текста по нескольким меткам
• Распознавание именованных сущностей

Следующие шаги

• Узнайте больше о том, как и где можно развернуть модель.
• Устранение неполадок автоматического Машинного обучения.