Настройка AutoML для обучения модели обработки естественного языка

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение машинного обучения Azure CLI версии 2 (current)Python SDK azure-ai-ml версии 2 (current)

Ознакомившись с этой статьей, вы научитесь обучать модели обработки естественного языка (NLP) с помощью автоматизированного машинного обучения в пакете Машинного обучения Azure. Модели NLP можно создавать с помощью автоматизированного машинного обучения с помощью пакета SDK для Python версии 2 Машинное обучение Azure или Машинное обучение Azure CLI версии 2.

Автоматизированное машинное обучение поддерживает NLP, которая позволяет специалистам по машинному обучению и специалистам по обработке и анализу данных создавать собственные текстовые данные и создавать пользовательские модели для задач NLP. Задачи NLP включают многоклассовую классификацию текста, классификацию текста с несколькими метками и распознавание именованных сущностей (NER).

Также можно плавно интегрировать возможность маркировки данных Машинного обучения Azure, чтобы помечать текстовые данные или пользоваться уже помеченными данными. Автоматизированное ML позволяет использовать распределенное обучение на вычислительных кластерах с несколькими GPU для ускоренного обучения моделей. Результирующая модель может выполняться в большом масштабе с помощью возможностей MLOps Машинное обучение Azure.

Необходимые компоненты

Выбор задачи NLP

Определите, какую задачу NLP необходимо выполнить. В настоящее время в автоматизированном ML поддерживаются следующие задачи глубокой нейронной сети для NLP.

Пороговое значение

Пороговое значение — это функция с несколькими метками, которая позволяет пользователям выбирать пороговое значение, которое прогнозируемые вероятности приведет к положительной метки. Более низкие значения позволяют больше меток, что лучше, когда пользователи заботятся больше о отзыве, но этот параметр может привести к более ложным срабатываниям. Более высокие значения позволяют меньше меток и, следовательно, лучше для пользователей, которые заботятся о точности, но этот параметр может привести к более ложным отрицательным.

Подготовка данных

Для экспериментов NLP в автоматизированном машинном обучении (ML) можно подключить ваши данные в формате .csv, чтобы выполнять классификацию по нескольким классам или меткам. Для задач распознавания именованных сущностей (NER) поддерживаются файлы .txt с двумя столбцами, которые используют пробел в качестве разделителя и придерживаются формата CoNLL. В следующих разделах приведены сведения о формате данных, принятом для каждой задачи.

Несколько классов

Для классификации по нескольким классам набор данных может содержать несколько текстовых столбцов и ровно один столбец меток. В следующем примере содержится один текстовый столбец.

text,labels
"I love watching Chicago Bulls games.","NBA"
"Tom Brady is a great player.","NFL"
"There is a game between Yankees and Orioles tonight","MLB"
"Stephen Curry made the most number of 3-Pointers","NBA"

Несколько меток

Для классификации по нескольким меткам столбцы набора данных будут такими же, как и для нескольких классов, однако для данных в столбце меток существуют особые требования к формату. В следующей таблице указаны два допустимых формата и примеры.

Пример данных в формате обычного текста для классификации с несколькими метками.

text,labels
"I love watching Chicago Bulls games.","basketball"
"The four most popular leagues are NFL, MLB, NBA and NHL","football,baseball,basketball,hockey"
"I like drinking beer.",""

Пример данных в формате списка Python с кавычками для классификации с несколькими метками.

text,labels
"I love watching Chicago Bulls games.","['basketball']"
"The four most popular leagues are NFL, MLB, NBA and NHL","['football','baseball','basketball','hockey']"
"I like drinking beer.","[]"

Распознавание именованных сущностей (NER)

В отличие от нескольких классов или нескольких меток, которые принимают .csv наборы данных формата, распознавание именованных сущностей требует формата CoNLL. Файл должен содержать ровно два столбца, а токен и метка в каждой строке должны быть разделены одним пробелом.

Например,

Hudson B-loc
Square I-loc
is O
a O
famous O
place O
in O
New B-loc
York I-loc
City I-loc

Stephen B-per
Curry I-per
got O
three O
championship O
rings O

Проверка данных

Перед обучением модели автоматизированное машинное обучение применяет проверки данных для входных данных, чтобы обеспечить правильную обработку данных. Если любая из этих проверок заканчивается неудачно, запуск тоже завершается сбоем с соответствующим сообщением об ошибке. Далее описаны требования для прохождения проверок данных для каждой задачи.

Настройка эксперимента

Возможность NLP автоматизированного машинного обучения активируется в рабочем процессе automl, с помощью которого отправляются эксперименты автоматизированного машинного обучения для классификации, регрессии и прогнозирования. Параметры, такие как experiment_name, compute_name и входные данные, задаются одинаково для подобных экспериментов.

Однако есть значительные различия:

• Вы можете игнорировать primary_metric, так как это только для целей отчетности. В настоящее время автоматизированное ML может обучать только одну модель NLP за запуск, и выбрать модель невозможно.
• Параметр label_column_name требуется только для задач классификации текста с несколькими классами и метками.
• Если более 10% выборок в наборе данных содержат более 128 маркеров, считается длинным диапазоном.
  • Чтобы использовать функцию текста с длинным диапазоном, следует использовать NC6 или более поздние номера SKU для GPU, например серии NCv3 или серии ND .

# general job parameters
compute_name = "gpu-cluster"
exp_name = "dpv2-nlp-text-classification-experiment"

# Create the AutoML job with the related factory-function.
text_classification_job = automl.text_classification(
    compute=compute_name,
    # name="dpv2-nlp-text-classification-multiclass-job-01",
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="Sentiment",
    primary_metric="accuracy",
    tags={"my_custom_tag": "My custom value"},
)

text_classification_job.set_limits(timeout=120)

Языковые параметры

В рамках возможностей NLP автоматизированное ML поддерживает 104 языка с использованием предварительно обученных языковых и многоязычных текстовых моделей глубокой нейронной сети, например семейство моделей BERT. В настоящее время по умолчанию выбран английский язык.

В следующей таблице описывается применение моделей в зависимости от типа и языка задач. См. полный список поддерживаемых языков и их кодов.

featurization:
   dataset_language: "eng"

text_classification_job.set_featurization(dataset_language='eng')

Распределенное обучение

Вы также можете запускать эксперименты NLP с распределенным обучением в Машинное обучение Azure вычислительном кластере.

max_concurrent_iterations = number_of_vms
enable_distributed_dnn_training = True

Отправка задания AutoML

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

returned_job = ml_client.jobs.create_or_update(
    text_classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")
ml_client.jobs.stream(returned_job.name)

Примеры кода

Настройка масштабируемой модели и гиперпараметров (предварительная версия)

AutoML NLP позволяет предоставить список моделей и сочетаний гиперпараметров через пространство поиска гиперпараметров в конфигурации. Hyperdrive создает несколько дочерних запусков, каждый из которых является точной настройкой для заданной модели NLP и набора значений гиперпараметров, которые были выбраны и удалены на основе предоставленного пространства поиска.

Поддерживаемые алгоритмы модели

Ниже перечислены все предварительно обученные модели DNN текста, доступные в AutoML NLP для точной настройки:

• bert-base-cased
• bert-large-uncased
• bert-base-многоязычный регистр
• bert-base-german-cased
• bert-large-cased
• distilbert-base-cased
• distilbert-base-uncased
• роберта-база
• роберта-большой
• distilroberta-base
• xlm-roberta-base
• xlm-roberta-large
• xlnet-base-cased
• xlnet-large-cased

Обратите внимание, что большие модели больше их базовых коллег. Как правило, они более производительны, но они занимают больше памяти GPU и времени для обучения. Таким образом, требования SKU более жесткие: мы рекомендуем работать на виртуальных машинах серии ND для получения наилучших результатов.

Поддерживаемые алгоритмы модели — HuggingFace (предварительная версия)

С помощью новой серверной части, работающей на Машинное обучение Azure конвейерах, можно дополнительно использовать любую модель классификации текста и токенов из HuggingFace Hub для классификации текста, классификации маркеров, которая является частью библиотеки преобразователей (например, microsoft/deberta-large-mnli). Вы также можете найти курированный список моделей в реестре моделей Машинное обучение Azure, которые были проверены с помощью компонентов конвейера.

Использование любой модели HuggingFace будет запускаться с помощью компонентов конвейера. Если используются устаревшие и модели HuggingFace, все запуски и пробные версии будут активированы с помощью компонентов.

Поддерживаемые гиперпараметры

В следующей таблице описаны гиперпараметры, поддерживаемые AutoML NLP.

Все дискретные гиперпараметры разрешают только распределения выбора, такие как целочисленные training_batch_size типизированные и строковые model_name гиперпараметры. Все непрерывные гиперпараметры, такие как learning_rate поддержка всех дистрибутивов.

Настройка параметров очистки

Вы можете настроить все параметры, связанные с очисткой. Можно создать несколько подпространств модели с гиперпараметрами, условными для соответствующей модели, как показано в каждом примере настройки гиперпараметров.

Здесь поддерживаются те же дискретные и непрерывные варианты распространения, которые доступны для общих заданий HyperDrive. Просмотр всех девяти параметров в гиперпараметре настройки модели

limits: 
  timeout_minutes: 120  
  max_trials: 4 
  max_concurrent_trials: 2 

sweep: 
  sampling_algorithm: grid 
  early_termination: 
    type: bandit 
    evaluation_interval: 10 
    slack_factor: 0.2 

search_space: 
  - model_name: 
      type: choice 
      values: [bert_base_cased, roberta_base] 
    number_of_epochs: 
      type: choice 
      values: [3, 4] 
  - model_name: 
      type: choice 
      values: [distilbert_base_cased] 
    learning_rate: 
      type: uniform 
      min_value: 0.000005 
      max_value: 0.00005 

text_ner_job.set_limits( 
                        timeout_minutes=120, 
                        trial_timeout_minutes=20, 
                        max_trials=4, 
                        max_concurrent_trials=2, 
                        max_nodes=4) 

text_ner_job.extend_search_space( 
    [ 
        SearchSpace( 
            model_name=Choice([NlpModels.BERT_BASE_CASED, NlpModels.ROBERTA_BASE]) 
        ), 
        SearchSpace( 
            model_name=Choice([NlpModels.DISTILROBERTA_BASE]), 
            learning_rate_scheduler=Choice([NlpLearningRateScheduler.LINEAR,  
                                            NlpLearningRateScheduler.COSINE]), 
            learning_rate=Uniform(5e-6, 5e-5) 
        ) 
    ] 
) 

text_ner_job.set_sweep( 
    sampling_algorithm="Random", 
    early_termination=BanditPolicy( 
        evaluation_interval=2, slack_factor=0.05, delay_evaluation=6 
    ) 
) 

Методы выборки для очистки

При очистке гиперпараметров необходимо указать метод выборки, используемый для очистки заданного пространства параметров. Сейчас поддерживаются следующие методы выборки с параметром sampling_algorithm:

Бюджет эксперимента

При необходимости можно указать бюджет эксперимента для задания обучения AutoML NLP с помощью timeout_minutes параметра в limits минутах перед завершением эксперимента. Если не указано, время ожидания эксперимента по умолчанию составляет семь дней (максимум 60 дней).

AutoML NLP также поддерживает trial_timeout_minutes, максимальное количество времени в минутах, когда отдельная пробная версия может выполняться до завершения работы, а max_nodesтакже максимальное количество узлов из резервного вычислительного кластера, используемого для задания. Эти параметры также относятся к разделу limits .

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

limits: 
  timeout_minutes: 60 
  trial_timeout_minutes: 20 
  max_nodes: 2 

Политика преждевременного завершения

Вы можете автоматически завершать плохо работающие запуски в рамках политики досрочного завершения. Досрочное завершение позволяет повысить вычислительную эффективность с экономией вычислительных ресурсов, которые в противном случае были бы потрачены на менее удачные конфигурации. AutoML NLP поддерживает политики раннего завершения с помощью early_termination параметра. Если политика завершения не указана, все конфигурации выполняются до полного завершения.

Дополнительные сведения о настройке политики досрочного завершения для очистки гиперпараметров.

Ресурсы для очистки

Вы можете контролировать ресурсы, затраченные на очистку гиперпараметров путем указания max_trials и max_concurrent_trials для очистки.

Все связанные параметры очистки можно настроить, как показано в этом примере.

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 2 (текущее)

sweep:
  limits:
    max_trials: 10
    max_concurrent_trials: 2
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

Известные проблемы

Работа с низкими оценками или более высокими значениями потери:

Для определенных наборов данных независимо от задачи NLP оценки могут быть очень низкими, иногда даже ноль. Эта оценка сопровождается более высокими значениями потери, подразумевая, что нейронная сеть не удалось конвергентировать. Эти оценки могут происходить чаще на определенных номерах SKU GPU.

Хотя такие случаи являются редкими, они возможны и лучший способ справиться с ним для использования настройки гиперпараметров и предоставления более широкого диапазона значений, особенно для гиперпараметров, таких как показатели обучения. Пока наша возможность настройки гиперпараметров не будет доступна в рабочей среде, мы рекомендуем пользователям, сталкивающимся с этими проблемами, использовать вычислительные кластеры NC6 или ND6. Эти кластеры обычно имеют результаты обучения, которые довольно стабильны.

Следующие шаги

• Развертывание моделей AutoML в сетевой конечной точке (вывод в режиме реального времени)
• Настройка модели гиперпараметра