Визуализация данных в автоматизированном машинном обучении (AutoML)

ОБЛАСТЬ ПРИМЕНЕНИЯ: SDK для Python azureml v1

В этой статье объясняется, как настроить параметры обработки признаков данных в Azure Machine Learning для экспериментов автоматического машинного обучения (AutoML).

Данные для обучения состоят из строк и столбцов. Каждая строка представляет собой наблюдение или запись, а столбцы каждой строки — это признаки, описывающие каждую запись. Как правило, для создания прогнозных моделей выбираются признаки, которые лучше всего характеризуют закономерности в данных.

Хотя многие необработанные поля данных можно использовать непосредственно для обучения модели, часто необходимо создать другие (инженерные) функции, которые предоставляют информацию для более эффективной дифференцировки шаблонов в данных. Этот процесс называется инженерией признаков, где использование предметных знаний о данных используется для создания признаков, которые помогают алгоритмам машинного обучения более эффективно обучаться.

В машинном обучении Azure методики масштабирования и нормализации данных применяются для упрощения проектирования признаков. В совокупности эти методы и создание характеристик называются феатуризацией в экспериментах AutoML.

В этой статье предполагается, что вы уже знаете, как настроить эксперимент AutoML.

Сведения о настройке доступны в следующих статьях:

• Опыт программирования: настройте обучение AutoML с помощью Python
• Для интерфейса без кода: настройка обучения AutoML без кода для табличных данных с помощью пользовательского интерфейса студии

В каждом эксперименте AutoML методы автоматического масштабирования и нормализации применяются к данным по умолчанию. Эти методы являются разновидностями конструирования характеристик, которые помогают некоторым алгоритмам, чувствительным к характеристикам на различных масштабах. Можно включить больше фичеризации, такие как заполнение отсутствующих значений, кодирование и преобразования данных.

Для экспериментов, настроенных с помощью пакета SDK для Python, можно включить или отключить параметр конструирования признаков, а затем указать шаги конструирования признаков, которые будут использоваться в эксперименте. Если вы используете Студию машинного обучения Azure, ознакомьтесь с шагами включения признакового моделирования.

В приведенной ниже таблице показаны допустимые параметры для featurization в классе AutoMLConfig.

В следующей таблице перечислены методы, автоматически применяемые к данным. Эти методы применяются к экспериментам, настроенным с помощью пакета SDK или пользовательского интерфейса студии. Чтобы отключить такую реакцию на событие, задайте "featurization": 'off' в объекте AutoMLConfig.

В каждом эксперименте AutoML данные автоматически масштабируются или нормализуются, чтобы помочь алгоритмам хорошо работать. Во время обучения модели для каждой модели применяется один из следующих методов масштабирования или нормализации.

Средства защиты данных помогают выявлять потенциальные проблемы с данными, например отсутствующие значения или несбалансированные данные. Они также помогают выполнять корректирующие действия для улучшения результатов.

Меры по обеспечению безопасности данных применяются:

• Для экспериментов пакета SDK: если параметры "featurization": 'auto' или validation=auto указаны в объекте AutoMLConfig .
• Для студийных экспериментов: когда включена автоматическая обработка признаков.

Вы можете проверить ограничения данных для своего эксперимента.

• Путем установки show_output=True при отправке эксперимента с помощью пакета SDK.
• В студии на вкладке Ограничения данных во время запуска AutoML.

Проверка данных может находиться в одном из трех состояний:

В следующей таблице описаны поддерживаемые в настоящее время ограничения данных и связанные с ними состояния, которые могут наблюдаться при отправке эксперимента.

Вы можете настроить параметры признаков, чтобы гарантировать, что данные и функции, используемые для обучения модели машинного обучения, приводят к соответствующим прогнозам.

Чтобы настроить конструирование признаков с помощью пакета SDK, укажите "featurization": FeaturizationConfig в объекте AutoMLConfig. Если вы используете студию машинного обучения Azure для эксперимента, ознакомьтесь с параметрами настройки признаков. Сведения о настройке признаков для типов задач прогнозирования см. в разделе "Настройка признаков".

Поддерживаемые настройки

Объект можно создать FeaturizationConfig с помощью вызовов API:

featurization_config = FeaturizationConfig()
featurization_config.blocked_transformers = ['LabelEncoder']
featurization_config.drop_columns = ['aspiration', 'stroke']
featurization_config.add_column_purpose('engine-size', 'Numeric')
featurization_config.add_column_purpose('body-style', 'CategoricalHash')
#default strategy mean, add transformer param for 3 columns
featurization_config.add_transformer_params('Imputer', ['engine-size'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['city-mpg'], {"strategy": "median"})
featurization_config.add_transformer_params('Imputer', ['bore'], {"strategy": "most_frequent"})
featurization_config.add_transformer_params('HashOneHotEncoder', [], {"number_of_bits": 3})

К каждой модели AutoML автоматически применяется конструирование признаков. Инженерия признаков включает автоматизированное создание признаков (когда "featurization": 'auto'), а также их масштабирование и нормализацию, которые затем влияют на выбранный алгоритм и значения его гиперпараметров. AutoML поддерживает различные методы, чтобы обеспечивать представление о том, что было применено к вашей модели.

Рассмотрите этот пример прогнозирования:

• Существует четыре входных признака: A (числовой), B (числовой), C (числовой), D (дата и время).
• Числовая функция C удаляется, так как это столбец идентификатора со всеми уникальными значениями.
• Числовые признаки A и B имеют отсутствующие значения, которые заполняются средним значением.
• Признак D типа "дата и время" преобразуется в 11 различных инженерных признаков.

Чтобы получить эти сведения, используйте выходные fitted_model данные из запуска эксперимента AutoML.

automl_config = AutoMLConfig(…)
automl_run = experiment.submit(automl_config …)
best_run, fitted_model = automl_run.get_output()

get_engineered_feature_names() возвращает список имен сконструированных функций.

fitted_model.named_steps['timeseriestransformer']. get_engineered_feature_names ()

Этот список включает в себя имена всех сконструированных признаков.

['A', 'B', 'A_WASNULL', 'B_WASNULL', 'year', 'half', 'quarter', 'month', 'day', 'hour', 'am_pm', 'hour12', 'wday', 'qday', 'week']

get_featurization_summary() возвращает сводку сконструированных признаков по всем входным данным.

fitted_model.named_steps['timeseriestransformer'].get_featurization_summary()

Выходные данные

[{'RawFeatureName': 'A',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'B',
  'TypeDetected': 'Numeric',
  'Dropped': 'No',
  'EngineeredFeatureCount': 2,
  'Tranformations': ['MeanImputer', 'ImputationMarker']},
 {'RawFeatureName': 'C',
  'TypeDetected': 'Numeric',
  'Dropped': 'Yes',
  'EngineeredFeatureCount': 0,
  'Tranformations': []},
 {'RawFeatureName': 'D',
  'TypeDetected': 'DateTime',
  'Dropped': 'No',
  'EngineeredFeatureCount': 11,
  'Tranformations': ['DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime','DateTime',ateTime','DateTime','DateTime']}]

Чтобы понять масштабирование и нормализацию и выбранный алгоритм со своими значениями гиперпараметра, используйте fitted_model.steps.

Следующий пример выходных данных получен в результате выполнения fitted_model.steps для выбранного запуска:

[('RobustScaler', 
  RobustScaler(copy=True, 
  quantile_range=[10, 90], 
  with_centering=True, 
  with_scaling=True)), 

  ('LogisticRegression', 
  LogisticRegression(C=0.18420699693267145, class_weight='balanced', 
  dual=False, 
  fit_intercept=True, 
  intercept_scaling=1, 
  max_iter=100, 
  multi_class='multinomial', 
  n_jobs=1, penalty='l2', 
  random_state=None, 
  solver='newton-cg', 
  tol=0.0001, 
  verbose=0, 
  warm_start=False))]

Чтобы получить дополнительные сведения, используйте эту вспомогательную функцию:

from pprint import pprint

def print_model(model, prefix=""):
    for step in model.steps:
        print(prefix + step[0])
        if hasattr(step[1], 'estimators') and hasattr(step[1], 'weights'):
            pprint({'estimators': list(e[0] for e in step[1].estimators), 'weights': step[1].weights})
            print()
            for estimator in step[1].estimators:
                print_model(estimator[1], estimator[0]+ ' - ')
        elif hasattr(step[1], '_base_learners') and hasattr(step[1], '_meta_learner'):
            print("\nMeta Learner")
            pprint(step[1]._meta_learner)
            print()
            for estimator in step[1]._base_learners:
                print_model(estimator[1], estimator[0]+ ' - ')
        else:
            pprint(step[1].get_params())
            print()   

Эта вспомогательная функция возвращает следующие выходные данные для конкретного запуска, используя LogisticRegression with RobustScalar в качестве конкретного алгоритма.

RobustScaler
{'copy': True,
'quantile_range': [10, 90],
'with_centering': True,
'with_scaling': True}

LogisticRegression
{'C': 0.18420699693267145,
'class_weight': 'balanced',
'dual': False,
'fit_intercept': True,
'intercept_scaling': 1,
'max_iter': 100,
'multi_class': 'multinomial',
'n_jobs': 1,
'penalty': 'l2',
'random_state': None,
'solver': 'newton-cg',
'tol': 0.0001,
'verbose': 0,
'warm_start': False}

Модели, созданные с помощью AutoML, имеют объекты-оболочки, которые повторяют функциональность их классa-источника с открытым исходным кодом. Большинство объектов оболочки модели классификации, возвращаемых AutoML, реализуют функцию predict_proba(), которая принимает данные в виде массива или разреженной матрицы ваших признаков (значения X) и возвращает массив n-мерных вероятностей классов для каждого образца.

При условии, что вы извлекли лучшую модель запуска и оснащения с помощью одних и то же вызовов, можно вызывать predict_proba() непосредственно из установленной модели, предоставляя X_test пример в соответствующем формате в зависимости от типа модели.

best_run, fitted_model = automl_run.get_output()
class_prob = fitted_model.predict_proba(X_test)

Если базовая модель не поддерживает predict_proba() функцию или формат неправильно, создается исключение для конкретного класса модели. Примеры реализации этой функции для различных типов моделей см. в справочной документации по RandomForestClassifier и XGBoost.

Двунаправленные представления кодировщика из преобразователей (BERT) используются в слое признаков AutoML. В этом слое, если столбец содержит произвольный текст или другие типы данных, например метки времени или простые числа, извлечение признаков применяется соответствующим образом.

Для BERT модель настраивается и обучена, используя предоставленные пользователем метки. Отсюда встраивания документов выводятся в виде характеристик вместе с другими, такими как характеристики на основе временной метки или дней недели.

Узнайте, как настроить AutoML для обучения модели обработки естественного языка с помощью Python.

Чтобы вызвать BERT, установите enable_dnn: True, а в automl_settings используйте вычислительные ресурсы GPU (vm_size = "STANDARD_NC6" или более мощный GPU). Если используется вычислительная среда ЦП, то вместо BERT AutoML включает характеризатор BiLSTM DNN.

AutoML выполняет следующие действия для BERT.

1. Предварительно обрабатывает и токенизирует все текстовые столбцы. Например, преобразователь StringCast можно найти в сводке признаков конечной модели. Пример создания сводки характеристик модели можно найти в этой записной книжке Jupyter.

2. Объединяет все текстовые столбцы в один текстовый столбец, следовательно, StringConcatTransformer в окончательной модели.

   В нашей реализации BERT общая длина текста учебной выборки ограничена 128 маркерами. Это означает, что все текстовые столбцы при объединении в идеале должны иметь длину не более 128 токенов. Если имеется несколько столбцов, необходимо урезать каждый столбец, чтобы обеспечить соблюдение этого условия. В противном случае для сцепленных столбцов длиной >128 токенов слой токенизации BERT усечет эти входные данные до 128 токенов.

3. В рамках обработки признаков AutoML сравнивает BERT с базовой моделью (моделью мешка слов) на образце данных. Это сравнение определяет, обеспечит ли BERT повышение точности. Если результаты BERT лучше, чем базовые показатели, AutoML использует BERT для конструирования признаков текста для всех данных. В этом случае вы увидите PretrainedTextDNNTransformer в окончательной модели.

Обычно BERT работает дольше, чем другие характеризаторы. Для повышения производительности рекомендуется использовать STANDARD_NC24r или STANDARD_NC24rs_V3 для их возможностей RDMA.

AutoML распределяет обучение BERT по нескольким узлам, если они доступны (не более восьми узлов). Это можно сделать в объекте AutoMLConfig, задав для параметра max_concurrent_iterations значение выше 1.

В настоящее время AutoML поддерживает около 100 языков. В зависимости от языка набора данных AutoML выбирает соответствующую модель BERT. Для данных на немецком языке используется модель German BERT. Для английского языка мы используем языковую модель English BERT. Для всех других языков используется многоязыковая модель BERT.

В следующем коде активируется немецкая модель BERT, так как язык набора данных указан в deu, где deu представляет собой трехбуквенный код языка для немецкого в соответствии с классификацией ISO.

from azureml.automl.core.featurization import FeaturizationConfig

featurization_config = FeaturizationConfig(dataset_language='deu')

automl_settings = {
    "experiment_timeout_minutes": 120,
    "primary_metric": 'accuracy',
# All other settings you want to use
    "featurization": featurization_config,
    
    "enable_dnn": True, # This enables BERT DNN featurizer
    "enable_voting_ensemble": False,
    "enable_stack_ensemble": False
}

• Развертывание моделей машинного обучения в Azure
• Обучение модели регрессии с помощью AutoML и Python