Рабочий процесс глубокого обучения MLflow 3

Пример записной книжки

В примере записной книжки выполняется одно задание обучения модели глубокого обучения с помощью PyTorch, которое отслеживается как запуск MLflow. Он регистрирует модель контрольных точек после каждых 10 эпох. Каждая контрольная точка отслеживается как MLflow LoggedModel. Используя пользовательский интерфейс MLflow или API поиска, можно проверить модели контрольных точек и ранжировать их по точности.

Записная книжка scikit-learn устанавливает и torch библиотеки.

Модель глубокого обучения MLflow 3 с записной книжкой контрольных точек

Получите ноутбук

Использование пользовательского интерфейса для изучения производительности модели и регистрации модели

После запуска записной книжки можно просмотреть сохраненные модели контрольных точек в пользовательском интерфейсе экспериментов MLflow. Ссылка на эксперимент отображается в выходных данных ячейки записной книжки или выполните следующие действия:

1. Щелкните "Эксперименты" на боковой панели рабочей области.

2. Найдите эксперимент в списке экспериментов. Установите флажок "Только мои эксперименты" или используйте поле поиска "Фильтры экспериментов ", чтобы отфильтровать список экспериментов.

3. Щелкните название вашего эксперимента. Откроется страница Запуски. Эксперимент содержит один запуск MLflow.

   

4. Перейдите на вкладку "Модели". На этом экране отслеживаются отдельные модели контрольных точек. Для каждой контрольной точки можно увидеть точность модели, а также все его параметры и метаданные.

   

В примере ноутбука вы зарегистрировали модель с наилучшей производительностью в каталоге Unity. Вы также можете зарегистрировать модель из пользовательского интерфейса. Для этого выполните следующие действия.

1. На вкладке "Модели" щелкните имя модели, чтобы зарегистрировать.

2. На странице сведений о модели в правом верхнем углу щелкните "Регистрация модели".

   Подсказка

   После регистрации модели может потребоваться несколько минут, прежде чем она появится в пользовательском интерфейсе. Не нажимайте клавишу Register model несколько раз, в противном случае вы зарегистрируете повторяющиеся модели.

   

3. Выберите каталог Unity и выберите существующее имя модели в раскрывающемся меню или введите новое имя.

   

4. Щелкните Зарегистрировать.

Использование API для ранжирования моделей контрольных точек

В следующем коде показано, как ранжировать модели контрольных точек по точности. Дополнительные сведения о поиске в журналированных моделей с помощью API см. в разделе "Поиск и фильтрация журналированных моделей".

ranked_checkpoints = mlflow.search_logged_models(
  output_format="list",
  order_by=[{"field_name": "metrics.accuracy", "ascending": False}]
)

best_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[0]
print(best_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-bba8fa52b6a6499281c43ef17fcdac84',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=90,
  timestamp=1730828771880,
  value=0.9553571428571429
>

worst_checkpoint: mlflow.entities.LoggedModel = ranked_checkpoints[-1]
print(worst_checkpoint.metrics[0])

<Metric:
  dataset_digest='9951783d',
  dataset_name='train',
  key='accuracy',
  model_id='m-88885bc26de7492f908069cfe15a1499',
  run_id='394928abe6fc4787aaf4e666ac89dc8a',
  step=0,
  timestamp=1730828730040,
  value=0.35714285714285715

Какова разница между вкладкой "Модели" на странице эксперимента MLflow и страницей версии модели в обозревателе каталогов?

На вкладке "Модели " на странице эксперимента и странице версии модели в обозревателе каталогов отображаются аналогичные сведения о модели. Два представления имеют разные роли в жизненном цикле разработки и развертывания модели.

• Вкладка "Модели " на странице эксперимента содержит результаты зарегистрированных моделей из эксперимента на одной странице. Вкладка "Диаграммы" на этой странице предоставляет визуализации для сравнения моделей и выбора версий моделей для регистрации в каталоге Unity для возможного развертывания.
• В обозревателе каталогов страница версии модели содержит обзор всех результатов производительности и оценки модели. На этой странице показаны параметры модели, метрики и трассировки во всех связанных средах, включая различные рабочие области, конечные точки и эксперименты. Это полезно для мониторинга и развертывания и особенно хорошо работает с заданиями развертывания. Задача оценки в задании развертывания создает дополнительные метрики, которые отображаются на этой странице. Утверждающий по заданию может проверить и оценить эту страницу, чтобы решить, следует ли утвердить версию модели для развертывания.

Дальнейшие шаги

Дополнительные сведения о LoggedModel отслеживании, которое было представлено в MLflow 3, можно найти в следующей статье.

• Отслеживайте и сравнивайте модели с использованием зарегистрированных моделей в MLflow.

Дополнительные сведения об использовании MLflow 3 с традиционными рабочими процессами машинного обучения см. в следующей статье:

• Традиционный рабочий процесс ML для MLflow 3.