Настройка модели (предварительная версия 4.0)

Настройка модели позволяет обучить специализированную модель анализа изображений для собственного варианта использования. Пользовательские модели могут выполнять классификацию изображений (теги применяются ко всему изображению) или обнаружение объектов (теги применяются к определенным областям изображения). После создания и обучения пользовательской модели он принадлежит ресурсу Визуального распознавания, и его можно вызвать с помощью API анализа изображений.

Быстро и легко настройте модель, следуя краткому руководству по началу работы.

Компоненты сценария

Основными компонентами системы настройки модели являются обучающие образы, COCO-файл, объект набора данных и объект модели.

Изображения для обучения

Набор обучающих изображений должен содержать несколько примеров каждой метки, которую вы хотите обнаружить. Вам также следует собрать несколько дополнительных изображений, чтобы протестировать модель после её обучения. Изображения должны храниться в контейнере в хранилище Azure, чтобы быть доступными для модели.

Чтобы обучение модели было эффективным, используйте разнообразные изображения. Выберите изображения, которые различаются по:

• угол обзора камеры;
• освещение;
• фон
• стиль изображения;
• отдельные/групповые субъекты
• размер
• тип

Также убедитесь, что все обучающие изображения соответствуют следующим критериям:

• Изображение должно быть представлено в формате JPEG, PNG, GIF, BMP, WEBP, ICO, TIFF или MPO.
• Размер файла изображения должен быть меньше 20 мегабайт (МБ).
• Размеры изображения должны превышать 50 x 50 пикселей и менее 16 000 x 16 000 пикселей.

COCO-файл

Файл COCO ссылается на все обучающие изображения и связывает их с их метаданными. В случае обнаружения объектов он указал координаты ограничивающего прямоугольника каждого тега на каждом изображении. Этот файл должен быть в формате COCO, который является определенным типом JSON-файла. Файл COCO должен храниться в том же контейнере хранилища Azure, что и обучающие изображения.

{
 "images": [
   {
     "id": 1,
     "width": 500,
     "height": 828,
     "file_name": "0.jpg",
     "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/0.jpg"
   },
    {
      "id": 2,
      "width": 754,
      "height": 832,
      "file_name": "1.jpg",
      "absolute_url": "https://blobstorage1.blob.core.windows.net/cpgcontainer/1.jpg"
    },

   ...

  ],
  "annotations": [
    {
      "id": 1,
      "category_id": 7,
      "image_id": 1,
      "area": 0.407,
      "bbox": [
        0.02663142641129032,
        0.40691584277841153,
        0.9524163571731749,
        0.42766634515266866
      ]
    },
    {
      "id": 2,
      "category_id": 9,
      "image_id": 2,
      "area": 0.27,
      "bbox": [
        0.11803319477782331,
        0.41586723392402375,
        0.7765206955096307,
        0.3483334397217212
      ]
    },
    ...

  ],
  "categories": [
    {
      "id": 1,
      "name": "vegall original mixed vegetables"
    },
    {
      "id": 2,
      "name": "Amy's organic soups lentil vegetable"
    },
    {
      "id": 3,
      "name": "Arrowhead 8oz"
    },

    ...

  ]
}

Объект набора данных

Объект набора данных представляет собой структуру данных, хранящуюся службой анализа изображений, которая ссылается на файл сопоставления. Перед созданием и обучением модели необходимо создать объект набора данных.

Объект модели

Объект Model — это структура данных, хранящаяся службой анализа изображений, представляющей пользовательскую модель. Он должен быть связан с набором данных, чтобы выполнить начальное обучение. После обучения вы можете запросить модель, введя его имя в model-name параметре запроса вызова API анализа изображений.

Лимиты квот

В следующей таблице описываются ограничения масштаба проектов пользовательской модели.

Часто задаваемые вопросы

Почему при импорте файла COCO происходит сбой при импорте из хранилища BLOB-объектов?

В настоящее время корпорация Майкрософт решает проблему, которая приводит к сбою импорта файлов COCO с большими наборами данных при запуске в Vision Studio. Чтобы обучить использование большого набора данных, рекомендуется использовать REST API.

Почему обучение занимает больше времени или меньше, чем мой указанный бюджет?

Указанный бюджет на обучение — это откалиброванное время вычислений, а не настенное время. Перечислены некоторые распространенные причины разницы:

• Длиннее указанного бюджета:

  • Анализ изображений обеспечивает высокий трафик обучения, а ресурсы GPU могут быть жесткими. Ваше задание может быть в ожидании в очереди или приостанавливаться во время обучения.
  • Процесс обучения бэкенда столкнулся с непредвиденными сбоями, что привело к повторным попыткам выполнения логики. Неудачные запуски не используют бюджет, но это может привести к в целом более длительному времени обучения.
  • Данные хранятся в другом регионе, отличном от ресурса Визуального зрения, что приведет к более длительной передаче данных.

• Выше указанного бюджета: следующие факторы ускоряют обучение, но требуют большего бюджета в определённое время.

  • Анализ изображений иногда использует несколько GPU в зависимости от объёма данных.
  • Анализ изображений иногда проводит несколько эксплуатационных испытаний на нескольких GPU одновременно.
  • Анализ изображений иногда использует передовые более быстрые модели GPU для обучения.

Почему у меня не удается обучение и что мне делать?

Ниже приведены некоторые распространенные причины сбоя обучения:

• diverged: Обучение не может извлечь существенную информацию из ваших данных. Ниже приведены некоторые распространенные причины.
  • Недостаточно данных: предоставление дополнительных данных должно помочь.
  • Данные имеют плохое качество: проверьте, имеют ли изображения низкое разрешение, крайние пропорции или если заметки неверны.
• notEnoughBudget: указанного бюджета недостаточно для размера вашего набора данных и типа модели, которую вы обучаете. Укажите больший бюджет.
• datasetCorrupt: обычно это означает, что предоставленные изображения недоступны или файл заметки находится в неправильном формате.
• datasetNotFound: не удается найти набор данных
• unknown: это может быть проблема серверной части. Обратитесь в службу поддержки для расследования.

Какие метрики используются для оценки моделей?

Используются следующие метрики:

• Классификация изображений: средняя точность, точность топ 1, точность топ 5
• Обнаружение объектов: Средняя усреднённая точность при 30, Средняя усреднённая точность при 50, Средняя усреднённая точность при 75

Почему регистрация набора данных завершается ошибкой?

Ответы API должны быть достаточно информативными. В их число входят:

• DatasetAlreadyExists: набор данных с тем же именем существует
• DatasetInvalidAnnotationUri: "Недопустимый URI был предоставлен в списке URI аннотаций во время регистрации набора данных."

Сколько изображений требуется для разумного/ хорошего или лучшего качества модели?

Несмотря на то, что модели Флоренции обладают способностью эффективно работать с небольшим объемом данных (достигая высокой производительности модели при ограниченной доступности данных), в целом больше данных делает обученную модель лучше и более надежной. В некоторых сценариях требуется мало данных (например, классификация яблока против банана), но другие требуют больше (например, обнаружение 200 видов насекомых в тропических лесах). Это затрудняет предоставление одной рекомендации.

Если бюджет маркировки данных ограничен, рекомендуемый рабочий процесс — повторить следующие действия:

1. Соберите N изображений на класс, где N изображения легко собрать (например, N=3)

2. Обучите модель и протестируйте ее на оценочном наборе.

3. Если производительность модели :

   • Достаточно хорошо (производительность лучше, чем ваше ожидание или производительность близко к предыдущему эксперименту с меньшим объемом собранных данных): остановите здесь и используйте эту модель.
   • Неудовлетворительно (производительность остается низкой относительно ваших ожиданий или лучше, чем предыдущий эксперимент с меньшим количеством данных, собранных с разумной погрешностью):
   • Соберите больше изображений для каждого класса — число, которое легко собрать, и вернитесь к шагу 2.
   • Если вы заметили, что производительность больше не улучшается после нескольких итераций, это может быть потому, что:
     • эта проблема не определена или слишком сложна. Обратитесь к нам за анализом в индивидуальном порядке.
     • Данные обучения могут быть низкого качества: проверьте, есть ли неправильные аннотации или изображения с очень низким разрешением.

Сколько бюджета обучения следует указать?

Необходимо указать верхний предел бюджета, который вы готовы использовать. Анализ изображений использует систему AutoML в серверной части, чтобы попробовать различные модели и рецепты обучения, чтобы найти лучшую модель для вашего варианта использования. Чем больше бюджет, тем выше вероятность поиска лучшей модели.

Система AutoML также останавливается автоматически, если она заключает, что нет смысла продолжать попытки, даже если бюджет все еще остается. Таким образом, он не всегда исчерпает указанный бюджет. Вы гарантированно не будете получать счета, превышающие указанный бюджет.

Можно ли контролировать гиперпараметры и использовать собственные модели в обучении?

Нет, служба настройки модели анализа изображений использует систему обучения AutoML с низким кодом, которая обрабатывает поиск гипер-парам и выбор базовой модели в серверной части.

Можно ли экспортировать модель после обучения?

API прогнозирования поддерживается только через облачную службу.

Почему оценка моей модели обнаружения объектов неудачна?

Ниже приведены возможные причины:

• internalServerError: произошла неизвестная ошибка. Повторите попытку позже".
• modelNotFound: указанная модель не найдена.
• datasetNotFound: указанный набор данных не найден.
• datasetAnnotationsInvalid: произошла ошибка при попытке скачать или проанализировать опорные аннотации, связанные с тестовым набором данных.
• datasetEmpty: тестовый набор данных не содержал никаких разметок "истинные значения".

Какова ожидаемая задержка прогнозов с пользовательскими моделями?

Мы не рекомендуем использовать пользовательские модели для критически важных для бизнеса сред из-за потенциально высокой задержки. Когда клиенты обучают пользовательские модели в Vision Studio, эти пользовательские модели принадлежат ресурсу Azure AI Vision, которому они были обучены, и клиент может вызывать эти модели с помощью API анализа изображений . При выполнении этих вызовов пользовательская модель загружается в память, и инфраструктура прогнозирования инициализируется. Хотя это происходит, клиенты могут столкнуться с большей задержкой для получения результатов прогнозирования.

Конфиденциальность и безопасность данных

Как и во всех службах ИИ Azure, разработчики, использующие настройку модели анализа изображений, должны учитывать политики Майкрософт по данным клиентов. Дополнительные сведения см. на странице служб ИИ Azure в Центре управления безопасностью Майкрософт.

Следующие шаги

Создание и обучение пользовательской модели