Настройка AutoML для обучения модели обработки естественного языка

ОБЛАСТЬ ПРИМЕНЕНИЯ:Расширение Azure CLI ml версии 2 (текущая)Python SDK azure-ai-ml версии 2 (текущая)

Из этой статьи вы узнаете, как обучать модели обработки естественного языка (NLP) в Машинном обучении Azure с помощью автоматизированного машинного обучения (AutoML). Модели NLP можно создавать с помощью AutoML с помощью Интерфейса командной строки машинного обучения Azure версии 2 или пакета SDK Python для Машинного обучения Azure версии 2.

NLP в AutoML позволяет специалистам по машинному обучению и специалистам по обработке и анализу данных использовать собственные текстовые данные и создавать пользовательские модели для многоклассовой классификации текста, многоуровневой классификации текста и распознавания именованных сущностей (NER). Вы можете легко интегрироваться с метками данных Машинного обучения Azure для маркировки текстовых данных или использовать существующие помеченные данные.

AutoML предоставляет возможность использовать распределенное обучение в вычислительных кластерах с несколькими GPU для ускорения обучения моделей. Результирующая модель может выполняться в большом масштабе с помощью возможностей Машинного обучения Azure.

Предпосылки

• Подписка Azure. Если у вас нет подписки Azure, зарегистрируйтесь, чтобы попробовать бесплатную или платную версию Машинного обучения Azure.

• Рабочая среда машинного обучения Azure с вычислительными ресурсами для обучения на GPU. Сведения о создании рабочей области см. в разделе Создание ресурсов рабочей области. Дополнительные сведения об экземплярах GPU, предоставляемых Azure, см. в статье о оптимизированных размерах виртуальных машин GPU.

  Замечание

  Некоторые варианты использования NLP, такие как наборы данных, отличные от английского языка, и документы с большим диапазоном, требуют использования многоязычных моделей или моделей с более длинной максимальной длиной последовательности. В этих сценариях может потребоваться более высокая память GPU для успешного обучения модели, например серии NCv3 или NDv2.

• Некоторые знания о настройке экспериментов AutoML. Дополнительные сведения о шаблоне конструктора экспериментов AutoML см. в разделе Настройка обучения AutoML для табличных данных.

Выбор задачи NLP

Определите задачу NLP, которую вы хотите выполнить. AutoML поддерживает следующие задачи глубокой нейронной сети NLP:

Пороговое значение

Пороговое значение — это функция классификации текста с несколькими метками, которая определяет пороговое значение, при котором прогнозируемые вероятности создают положительную метку. Более низкие значения позволяют использовать больше меток, что полезно, когда пользователи заинтересованы в полноте, но это может привести к увеличению числа ложных срабатываний. Более высокие значения позволяют уменьшить количество меток, что лучше, когда пользователи заботятся о точности, но может привести к увеличению числа ложных отрицательных результатов.

Подготовка данных

Для экспериментов AutoML NLP можно предоставить данные в .csv формате для задач многоклассовой и многоуровневой классификации. Для задач NER укажите файлы двух столбцов .txt , которые используют пространство в качестве разделителя и соответствуют формату CoNLL . В следующих разделах содержатся сведения о формате данных, принятом для каждой задачи.

Мультикласс

Для многоклассовой классификации набор данных может содержать до нескольких текстовых столбцов и ровно одного столбца меток. В следующем примере имеется только один текстовый столбец.

text,labels
"I love watching Chicago Bulls games.","NBA"
"Tom Brady is a great player.","NFL"
"There is a game between Yankees and Orioles tonight","MLB"
"Stephen Curry made the highest number of three-pointers","NBA"

Многометочная классификация

Для классификации с несколькими метками столбцы набора данных могут совпадать с несколькими классами, но в столбце меток существуют особые требования к формату. В следующей таблице показаны два принятых формата с примерами.

В следующем примере показаны многометочные данные в формате обычного текста:

text,labels
"I love watching Chicago Bulls games.","basketball"
"The four most popular leagues are NFL, MLB, NBA and NHL","football,baseball,basketball,hockey"
"I like drinking beer.",""

В следующем примере показаны данные с несколькими метками в списке на Python в формате кавычек.

text,labels
"I love watching Chicago Bulls games.","['basketball']"
"The four most popular leagues are NFL, MLB, NBA and NHL","['football','baseball','basketball','hockey']"
"I like drinking beer.","[]"

Распознавание именованных сущностей (NER)

В отличие от многоклассовой или многоярлыковой классификации, которая принимает наборы данных формата .csv, для NER требуется формат CoNLL. Файл данных должен содержать ровно два столбца, а маркер и метка в каждой строке разделены одним пробелом.

Например

Hudson B-loc
Square I-loc
is O
a O
famous O
place O
in O
New B-loc
York I-loc
City I-loc

Stephen B-per
Curry I-per
got O
three O
championship O
rings O

Проверка данных

Перед обучением моделей AutoML применяет проверки данных для входных данных, чтобы обеспечить правильную обработку данных. Если какая-либо из этих проверок завершается ошибкой, запуск завершится с соответствующим сообщением об ошибке. Для прохождения проверок валидации данных для каждой задачи необходимы следующие условия.

Настройка эксперимента

Функция AutoML NLP активируется с помощью заданий типа automl, специфичных для задачи, того же рабочего процесса, который используется для отправки задач классификации, регрессии и прогнозирования AutoML. Вы задаете такие параметры, как experiment_name, compute_nameи входные данные, как и для этих экспериментов. Однако существуют следующие ключевые различия:

• Вы можете игнорировать primary_metric, так как это только для отчетов. AutoML обучает только одну модель за один запуск для NLP, и нет возможности выбора модели.
• Параметр label_column_name требуется только для задач многоклассовой и многоуровневой классификации текста.
• Если более 10% образцов в наборе данных содержат более 128 маркеров, это длинный диапазон. Чтобы использовать функцию текста с длинным диапазоном, вам потребуется номер SKU NC6 или более поздней версии GPU, например NCv3 или NDv2 .

# general job parameters
compute_name = "gpu-cluster"
exp_name = "dpv2-nlp-text-classification-experiment"

# Create the AutoML job with the related factory-function.
text_classification_job = automl.text_classification(
    compute=compute_name,
    # name="dpv2-nlp-text-classification-multiclass-job-01",
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="Sentiment",
    primary_metric="accuracy",
    tags={"my_custom_tag": "My custom value"},
)

text_classification_job.set_limits(timeout=120)

max_concurrent_iterations = number_of_vms
enable_distributed_dnn_training = True

Параметры языка

В рамках функциональности NLP AutoML поддерживает предобученный текст, специфичный для определённого языка, и многоязычный предобученный текст на 104 языках для моделей глубокой нейронной сети (DNN), таких как модели двунаправленных представлений кодировщика на основе трансформеров (BERT). Выбор языка по умолчанию используется на английском языке.

В следующей таблице приведены сведения о том, какая модель применяется на основе типа задачи и языка. Дополнительные сведения см. в поддерживаемых языках и их кодах.

BERT также используется в процессе обучения экспериментов AutoML с изображением. Дополнительные сведения см. в разделе интеграция BERT и разработка признаков в AutoML (версия SDK 1).

featurization:
   dataset_language: "eng"

text_classification_job.set_featurization(dataset_language='eng')

Отправка задания AutoML

az ml job create --file ./<YAML filename> --workspace-name <machine-learning-workspace> --resource-group <resource-group> --subscription <subscription ID>

returned_job = ml_client.jobs.create_or_update(
    text_classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")
ml_client.jobs.stream(returned_job.name)

Примеры кода

Настройка моделей и гиперпараметров (пробная версия)

AutoML NLP позволяет предоставить список моделей и сочетаний гиперпараметров с помощью пространства поиска гиперпараметров в конфигурации. Hyperdrive создает несколько дочерних запусков. Каждый дочерний запуск является тонкой настройкой для данной модели NLP и набора значений гиперпараметров, которые были выбраны и перебраны на основе предоставленного пространства поиска.

Поддерживаемые алгоритмы модели

В следующем списке показаны все предварительно обученные модели DNN текста, доступные в AutoML NLP для точной настройки:

• bert-base-cased
• bert-large-uncased
• bert-base-многоязычный регистр
• bert-base-german-cased
• bert-large-cased
• "DistilBERT-base-cased"
• distilbert-base-uncased
• роберта-база
• роберта-большой
• distilroberta-base
• xlm-roberta-base
• xlm-roberta-large
• xlnet-base-cased
• xlnet-large-cased

Большие модели больше, чем их базовые аналоги, и обычно являются более производительными, но занимают больше памяти GPU и времени для обучения. Требования К SKU большой модели более жесткие и требуют использования виртуальных машин серии NDv2 для достижения наилучших результатов.

Поддерживаемые алгоритмы моделей Hugging Face (предварительный просмотр)

С помощью новой серверной части, работающей в конвейерах машинного обучения Azure, можно использовать любые модели классификации текста и маркеров из Концентратора распознавания лиц Hugging для классификации текста и классификации маркеров , которые являются частью библиотеки преобразователей, например microsoft/deberta-large-mnli. Вы также можете найти проверенный список моделей в реестре моделей машинного обучения Azure , которые проверяются с помощью компонентов конвейера.

Использование любой модели Hugging Face запускает выполнение через компоненты конвейера. Если вы используете как устаревшие, так и модели Hugging Face, все запуски и испытания активируются с помощью компонентов.

Поддерживаемые гиперпараметры

В следующей таблице описаны гиперпараметры, поддерживаемые AutoML NLP.

Все дискретные гиперпараметры допускают только распределения выбора, такие как гиперпараметры с целочисленным типом training_batch_size и строковым типом model_name. Все непрерывные гиперпараметры, такие как learning_rate, поддерживают все распределения.

Настройка параметров очистки

Вы можете настроить все параметры, связанные с очисткой. Несколько подпространств модели можно создать с помощью гиперпараметров, условных для соответствующей модели, как показано в каждом примере настройки гиперпараметров.

Поддерживаются те же дискретные и непрерывные варианты распространения, которые доступны для общих заданий HyperDrive. Для получения информации обо всех девяти вариантах перейдите к разделу Настройка модели с гиперпараметрами.

limits: 
  timeout_minutes: 120  
  max_trials: 4 
  max_concurrent_trials: 2 

sweep: 
  sampling_algorithm: grid 
  early_termination: 
    type: bandit 
    evaluation_interval: 10 
    slack_factor: 0.2 

search_space: 
  - model_name: 
      type: choice 
      values: [bert_base_cased, roberta_base] 
    number_of_epochs: 
      type: choice 
      values: [3, 4] 
  - model_name: 
      type: choice 
      values: [distilbert_base_cased] 
    learning_rate: 
      type: uniform 
      min_value: 0.000005 
      max_value: 0.00005 

text_ner_job.set_limits( 
                        timeout_minutes=120, 
                        trial_timeout_minutes=20, 
                        max_trials=4, 
                        max_concurrent_trials=2, 
                        max_nodes=4) 

text_ner_job.extend_search_space( 
    [ 
        SearchSpace( 
            model_name=Choice([NlpModels.BERT_BASE_CASED, NlpModels.ROBERTA_BASE]) 
        ), 
        SearchSpace( 
            model_name=Choice([NlpModels.DISTILROBERTA_BASE]), 
            learning_rate_scheduler=Choice([NlpLearningRateScheduler.LINEAR,  
                                            NlpLearningRateScheduler.COSINE]), 
            learning_rate=Uniform(5e-6, 5e-5) 
        ) 
    ] 
) 

text_ner_job.set_sweep( 
    sampling_algorithm="Random", 
    early_termination=BanditPolicy( 
        evaluation_interval=2, slack_factor=0.05, delay_evaluation=6 
    ) 
) 

Методы выборки для сканирования

При очистке гиперпараметров необходимо указать метод выборки, используемый для очистки определенного пространства параметров. Следующие методы выборки поддерживаются с параметром sampling_algorithm :

Бюджет эксперимента

При необходимости можно указать бюджет эксперимента для задания обучения AutoML NLP с помощью timeout_minutes параметра в поле limits. Этот параметр определяет время за несколько минут до завершения эксперимента. Если время ожидания не указано, время ожидания эксперимента по умолчанию — семь дней, а максимальное — 60 дней.

AutoML NLP также поддерживает trial_timeout_minutes, максимальное время в минутах, в течение которого отдельное испытание может выполняться до завершения, а max_nodes, максимальное количество узлов из основного вычислительного кластера, используемого для задания. Эти параметры также задаются в limits разделе.

limits: 
  timeout_minutes: 60 
  trial_timeout_minutes: 20 
  max_nodes: 2 

Политика преждевременного завершения

Вы можете автоматически завершить выполнение плохо выполняемых запусков с помощью политики раннего завершения. Досрочное завершение повышает эффективность вычислений, экономя вычислительные ресурсы, которые в противном случае будут тратиться на менее перспективные конфигурации.

AutoML NLP поддерживает политики раннего завершения с помощью early_termination параметра. Если политика завершения не указана, все конфигурации выполняются до завершения. Дополнительные сведения см. в разделе "Указание политики раннего завершения".

Ресурсы для проведения операции

Вы можете контролировать ресурсы, потраченные на очистку гиперпараметра, указав max_trials и max_concurrent_trials для очистки.

В следующем примере показано, как настроить параметры, связанные с свипом.

sweep:
  limits:
    max_trials: 10
    max_concurrent_trials: 2
  sampling_algorithm: random
  early_termination:
    type: bandit
    evaluation_interval: 2
    slack_factor: 0.2
    delay_evaluation: 6

Известные проблемы

Некоторые наборы данных создают низкие оценки, даже ноль независимо от задачи NLP. Высокие значения потерь сопровождают эти оценки, подразумевая, что нейронной сети не удалось сойтись. Такие случаи являются редкими, но возможны, и могут происходить чаще на определенных сериях GPU.

Лучший способ обработки этих случаев — использовать настройку гиперпараметра и предоставить более широкий диапазон значений, особенно для гиперпараметров, таких как ставки обучения. Пока возможность настройки гиперпараметров не будет доступна в рабочей среде, используйте вычислительные кластеры NC6 или ND6 при возникновении этих проблем. Обычно эти кластеры имеют довольно стабильные результаты обучения.

Связанный контент

• Развертывание модели AutoML в сетевой конечной точке
• Настройка гиперпараметров модели (версия 2)