Поделиться через

Управление проектами маркировки

  • Статья

Узнайте, как управлять проектом по разметке в Azure Machine Learning. Эта статья предназначена для руководителей проектов, которые отвечают за управление проектами по маркировке текста или изображений. Сведения о том, как создать проект, см. в разделе "Настройка проекта маркировки текста" или "Настройка проекта маркировки изображений".

Внимание

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Предварительная версия предоставляется без соглашения об уровне обслуживания и не рекомендована для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Запуск и мониторинг проекта.

После инициализации проекта Azure начнет его запускать. Чтобы управлять проектом, выберите проект на главной странице метки данных.

Чтобы приостановить или перезапустить проект, на панели команд проекта переключите состояние "Выполнение ". Данные можно пометить только в том случае, если проект запущен.

Мониторинг прогресса

На вкладке Панель мониторинга отображается ход выполнения задачи добавления меток.

Снимок экрана — панель управления маркировкой данных.

Диаграммы хода выполнения показывают, сколько элементов помечено, пропущено, требуется проверка или еще не завершено. Наведите указатель мыши на диаграмму, чтобы увидеть количество элементов в каждом разделе.

Распределение меток для завершенных задач отображается под диаграммой. В некоторых типах проектов элемент может иметь несколько меток. Общее количество меток может превышать общее количество элементов.

Также отображается распределение меток и количество элементов, помеченных ими.

В среднем разделе показана таблица с очередью неназначенных задач. Если разметка с поддержкой машинного обучения отключена, в этом разделе показано количество задач, выполненных вручную, ожидающих назначения.

При включении меток с поддержкой машинного обучения в этом разделе также отображается:

  • Задачи, содержащие кластеризованные элементы в очереди.
  • Задачи, содержащие предварительно маркированные элементы в очереди.

Кроме того, если включена метка с поддержкой машинного обучения, можно прокрутить вниз, чтобы просмотреть состояние метки с поддержкой ML. В разделах "Задания" приводятся ссылки для каждого запуска машинного обучения.

  • Обучение: Обучает модель предсказывать метки.
  • Проверка: Определяет, используется ли прогноз этой модели для предварительной метки элемента.
  • Вывод: запуск прогнозирования для новых элементов.
  • Создание признаков: Кластеризация элементов (только для проектов классификации изображений).

Просмотр данных и меток

На вкладке "Данные" просмотрите набор данных и просмотрите помеченные данные.

Совет

Перед проверкой скоординируйте свои действия с другими рецензентами. В противном случае вы можете одновременно попытаться утвердить одну и ту же метку, и один из вас не сможет обновить ее.

Прокрутите помеченные данные для просмотра их меток. Если вы видите данные, которые неправильно помечены, выберите его и выберите "Отклонить ", чтобы удалить метки и вернуть данные в очередь без меток.

Пропущенные элементы

Набор фильтров применяется к элементам, которые вы просматриваете. По умолчанию вы просматриваете помеченные данные. Выберите фильтр типа ресурса, чтобы переключить тип на *Пропущенный, чтобы просмотреть элементы, пропущенные.

Снимок экрана: фильтры для просмотра меток.

Если вы считаете, что пропущенные данные должны быть помечены, выберите "Отклонить ", чтобы вернуться в очередь без меток. Если вы считаете, что пропущенные данные не относятся к проекту, выберите "Принять ", чтобы удалить его из проекта.

Консенсусная маркировка

Если в проекте используется метка консенсуса, просмотрите изображения, не имеющие консенсуса:

  1. Выберите вкладку Данные.

  2. В меню слева выберите "Рецензирование меток".

  3. На командной панели над метками проверки выберите Все фильтры.

    Снимок экрана: выбор фильтров для проверки проблем с меткой консенсуса.

  4. В разделе "Метки данных" выберите метки консенсуса, необходимые для просмотра , чтобы показать только изображения, для которых метки не пришли к консенсусу.

    Снимок экрана: выбор меток, необходимых для проверки.

  5. Для каждого изображения для проверки выберите раскрывающийся список метки консенсуса, чтобы просмотреть конфликтующие метки.

    Снимок экрана: раскрывающийся список

  6. Хотя вы можете выбрать отдельного метчика, чтобы просмотреть его метки, для обновления или отклонения меток необходимо использовать основной вариант, метка консенсуса (предварительный просмотр).

Изменение сведений о проекте

Просмотр и изменение сведений о проекте на вкладке "Сведения ". На этой вкладке можно:

  • Просмотр сведений о проекте и входных наборов данных.
  • Установите или снимите параметр "Включить добавочное обновление" через регулярные интервалы или запросить немедленное обновление.
  • Просмотрите сведения о контейнере хранилища, который используется для хранения помеченных выходных данных в проекте.
  • Добавьте метки в проект.
  • Измените инструкции, которые вы предоставляете меткам.
  • Измените настройки для маркировки с помощью машинного обучения и запустите задачу по маркировке.

Проекты, созданные в службах ИИ Azure

Если проект маркировки был создан из Language Studio, на странице Сведения появится вкладка Language Studio. Вкладка позволяет переключаться между метками в Машинном обучении Azure и метками в Language Studio.

  • Если разметка активна в Language Studio, вы не можете использовать разметку в Машинном Обучении Azure. В этом случае Language Studio является единственной доступной вкладкой. Выберите Просмотр в Language Studio, чтобы перейти к активному проекту разметки в Language Studio. После этого вы можете переключиться на разметку в Azure Machine Learning, если захотите.

Если в Azure Machine Learning активирована функция маркировки, у вас есть два варианта:

  • Выберите «Переключиться на Language Studio», чтобы переключить процесс разметки обратно в Language Studio. При переключении все имеющиеся на данный момент помеченные данные импортируются в Language Studio. Возможность разметки данных в Azure Machine Learning отключена, а возможность разметки данных в Language Studio включена. Вы можете в любое время вернуться к разметке в Azure Machine Learning через Language Studio.

    Примечание.

    Только пользователи с корректными ролями в Azure Machine Learning могут переключать метки.

  • Выберите Отключиться от Language Studio, чтобы разорвать связь с Language Studio. После отключения проект теряет связь с Language Studio и больше не отображает вкладку Language Studio. Отключение проекта от Language Studio является постоянным, необратимым процессом и не может быть отменено. Вы больше не сможете получить доступ к меткам этого проекта в Language Studio. С этого момента метки доступны только в Azure Machine Learning.

Добавление новых меток в проект

Во время процесса маркировки данных может потребоваться добавить дополнительные метки для классификации элементов. Например, может потребоваться добавить метку Unknown или Other , чтобы указать путаницу.

Чтобы добавить одну или несколько меток в проект, выполните приведенные далее действия.

  1. На главной странице маркировки данных выберите проект.

  2. На панели команд проекта переключите состояние "Запуск" на "Приостановлено", чтобы остановить действие маркировки.

  3. Выберите вкладку Сведения.

  4. В списке слева выберите категории меток.

  5. Измените метки.

    Снимок экрана, показывающий, как добавить метку в Machine Learning Studio.

  6. Добавьте новую метку в форму. Затем выберите способ продолжения проекта. Так как вы изменили доступные метки, выберите способ обработки данных, которые уже помечены:

    • Начните сначала и удалите все существующие метки. Выберите этот параметр, если вы хотите начать маркировку с самого начала с помощью нового полного набора меток.
    • Начните заново и сохраните все существующие метки. Выберите этот параметр, чтобы пометить все данные как не помеченные, но оставьте существующие метки в качестве тега по умолчанию для изображений, которые были помечены ранее.
    • Продолжить и сохранить все существующие метки. Выберите этот параметр, чтобы сохранить все данные, уже помеченные как они есть, и использовать новую метку для данных, которые еще не помечены.

  7. Измените страницу инструкций по мере необходимости для новых меток.

  8. После добавления всех новых меток переключите переключатель "Приостановлено " на "Запуск ", чтобы перезапустить проект.

Запуск задачи по маркировке с помощью машинного обучения

Разметка с использованием машинного обучения начинается автоматически после заполнения некоторых элементов. Это автоматическое пороговое значение зависит от проекта. Вы можете вручную запустить запуск обучения с помощью технологий машинного обучения, если проект содержит хотя бы несколько помеченных данных.

Примечание.

Обучение по запросу недоступно для проектов, созданных до декабря 2022 года. Чтобы использовать эту функцию, создайте проект.

Чтобы начать новый запуск обучения с использованием машинного обучения, выполните следующую команду:

  1. В верхней части проекта выберите "Сведения".
  2. В меню слева выберите разметка с поддержкой ML.
  3. В нижней части страницы для обучения по запросу нажмите кнопку "Пуск".

Экспортировать метки

Чтобы экспортировать метки, на панели команд проекта нажмите кнопку "Экспорт ". Вы можете в любое время экспортировать данные меток для эксперимента с машинным обучением.

Если тип проекта — семантическая сегментация (предварительная версия), создается ресурс данных Azure MLTable.

Для всех других типов проектов можно экспортировать метку изображения следующим образом:

  • CSV-файл. Машинное обучение Azure создает CSV-файл в папке внутри Метка/ экспорт/csv.
  • Файл формата COCO. Машинное обучение Azure создает COCO-файл в папке внутри Маркировка, экспорт/coco.
  • Ресурс данных Машинного обучения Azure.

При экспорте CSV-файла или COCO уведомление появляется кратко, когда файл готов к загрузке. Выберите ссылку "Скачать файл", чтобы скачать результаты. Вы также можете найти уведомление в разделе "Уведомления" на верхней панели:

Снимок экрана: уведомление о загрузке файла.

Доступ к экспортированным наборам данных и ресурсам данных Azure Машинного обучения в разделе "Данные" Машинного обучения. На странице сведений о данных также представлен пример кода, который можно использовать для доступа к меткам с помощью Python.

Снимок экрана, показывающий пример страницы с деталями набора данных в машинном обучении.

После экспорта помеченных данных в набор данных Azure Machine Learning вы можете использовать AutoML для создания моделей компьютерного зрения, обученных на помеченных данных. Дополнительные сведения о настройке AutoML для обучения моделей компьютерного зрения с помощью Python.

Импорт меток (предварительная версия)

Если у вас есть ресурс данных Azure MLTable или COCO-файл, содержащий метки для текущих данных, можно импортировать эти метки в проект. Например, у вас могут быть метки, экспортированные из предыдущего проекта маркировки с использованием одних и того же данных. Функция импорта меток доступна только для проектов изображений.

Чтобы импортировать метки, на панели команд проекта нажмите кнопку "Импорт ". Вы можете в любое время импортировать помеченные данные для экспериментов с машинным обучением.

Импортируйте из COCO-файла или ресурса данных Azure MLTable.

Сопоставление данных

Необходимо указать столбец, который сопоставляется с полем "Изображение ". Кроме того, можно сопоставить другие столбцы, которые присутствуют в данных. Например, если данные содержат столбец Label , его можно сопоставить с полем "Категория ". Если данные содержат столбец достоверности, его можно сопоставить с полем достоверности.

Если вы импортируете метки из предыдущего проекта, метки должны быть в том же формате, что и при создании меток. Например, если вы создаете ограничивающие метки, импортируемые метки также должны быть ограничивающими метками.

Параметры импорта

Выберите способ обработки импортированных меток:

  • В качестве предварительно помеченных данных выберите этот параметр, чтобы использовать импортированные метки в качестве предварительно помеченных данных. Затем ваш метчик может просмотреть предварительно заданные данные и исправить все ошибки перед отправкой меток.
  • В качестве окончательных меток выберите этот параметр, чтобы импортировать метки в качестве конечных меток. Только данные, которые еще не содержат метку, представлены в виде задач для ваших разметчиков.

Доступ для маркировщиков

Любой пользователь, имеющий доступ к вашей рабочей области в качестве Участника или Владельца, может пометить данные в проекте.

Кроме того, вы можете добавлять пользователей и настраивать разрешения, чтобы у них был доступ к маркировке, но не к другим частям рабочей области или к проекту маркировки. Дополнительные сведения см. в разделе "Добавление пользователей в проект маркировки данных".

Устранение неполадок

Используйте следующие советы, если при управлении проектом возникают какие-либо из следующих проблем:

Проблема Решение
Можно использовать только наборы данных, созданные в хранилищах объектов Blob. Эта проблема — известное ограничение текущего релиза.
Удаление данных из набора данных, который использует проект, приводит к ошибке в проекте. Не удаляйте данные из версии набора данных, используемой в проекте маркировки. Создайте новую версию набора данных для удаления данных.
После создания проекта его состояние в течение длительного времени остаётся Инициализация. Обновите страницу вручную. Инициализация должна выполняться со скоростью примерно 20 точек данных в секунду. Отсутствие автоматического обновления является известной проблемой.
Новые помеченные элементы не видны на странице просмотра данных. Чтобы загрузить все помеченные элементы, нажмите кнопку "Первая ". Первая кнопка возвращает вас к передней части списка и загружает все помеченные данные.
Нельзя назначить набор задач определенному маркировщику. Эта проблема – известное ограничение текущего релиза.

Устранение проблем с обнаружением объектов

Проблема Решение
Если во время разметки для обнаружения объектов выбрана клавиша Esc, создается метка нулевого размера, и отправка метки невозможна. Чтобы удалить метку, щелкните значок удаления X рядом с меткой.

Если у вас возникли проблемы с созданием проекта, см. статью "Устранение неполадок во время создания проекта маркировки данных"

Следующий шаг

Маркировка изображений и текстовых документов