Создание и обучение пользовательской модели классификации

Это содержимое относится к:версии 4.0 (GA) | Предыдущие версии:версии 3.1 (GA)версии 3.0 (вывод из эксплуатации)

Пользовательские модели классификации могут классифицировать каждую страницу во входном файле, чтобы определить один или несколько документов внутри. Модели классификатора также могут определять несколько документов или несколько экземпляров одного документа в входном файле. Для начала работы с пользовательскими моделями аналитики документов требуется всего пять обучающих документов для каждого класса документов. Чтобы приступить к обучению пользовательской модели классификации, вам потребуется по крайней мере пять документов для каждого класса и двух классов документов.

Требования к входным данным модели пользовательской классификации

Убедитесь, что набор обучающих данных соответствует требованиям к входным данным для аналитики документов.

Поддерживаются следующие форматы файлов.

• Фотографии и сканы: для получения наилучших результатов предоставьте одну четкую фотографию или высококачественный скан на каждый документ.
• PDF и TIFF: для PDF и TIFF можно обрабатывать до 2000 страниц. (С подпиской на бесплатный уровень обрабатываются только первые две страницы.)
• Размер файла: размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).
• Размеры изображения: размеры должны находиться в диапазоне от 50 пикселей до 10 000 пикселей x 10 000 пикселей.
• Блокировки паролей. Если pdf-файлы заблокированы паролем, необходимо удалить блокировку перед отправкой.
• Высота текста: минимальная высота извлеченного текста составляет 12 пикселей для изображения 1024 x 768 пикселей. Это измерение соответствует примерно 8-точечному тексту при 150 точках на дюйм.
• Обучение пользовательской модели: максимальное количество страниц для обучающих данных составляет 500 для пользовательской модели шаблона и 50 000 для пользовательской нейронной модели.
• Обучение пользовательской модели извлечения: общий размер обучающих данных составляет 50 МБ для модели шаблона и 1 ГБ для нейронной модели.
• Обучение пользовательской модели классификации: общий размер обучающих данных составляет 1 ГБ, не более 10 000 страниц. Для 2024-11-30 (GA) общий размер обучающих данных составляет 2 ГБ с максимум 10 000 страниц.
• Типы файлов Office (DOCX, XLSX, PPTX): максимальная длина строки составляет 8 миллионов символов.

Советы по обучающим данным

Чтобы оптимизировать набор данных для обучения, следуйте приведенным ниже советам.

• По возможности используйте текстовые PDF-документы вместо документов на основе изображений. Сканированные PDF-файлы обрабатываются как изображения.

• Если изображения формы имеют более низкое качество, используйте более крупный набор данных (например, 10–15 изображений).

Отправка обучающих данных

После объединения набора форм или документов для обучения необходимо передать его в контейнер хранилища BLOB-объектов Azure. Если вы не знаете, как создать учетную запись хранилища Azure с контейнером, следуйте инструкциям краткому руководству по служба хранилища Azure для портала Azure. Вы можете использовать бесплатный уровень F0, чтобы попробовать сервис, а затем перейти на платный уровень для рабочей среды. Если набор данных упорядочен как папки, сохраните такую структуру, так как Студия может использовать имена папок для меток, чтобы упростить процесс маркировки.

Создание проекта классификации в Студии аналитики документов

Служба Document Intelligence Studio предоставляет и оркестрирует вызовы API, необходимые для завершения набора данных и обучения модели.

1. Начните с перехода к Студии аналитики документов. При первом использовании Студии необходимо инициализировать подписку, группу ресурсов и ресурс. Затем следуйте предварительным требованиям для пользовательских проектов, чтобы настроить Студию для доступа к набору данных для обучения.

2. В Студии выберите плитку "Пользовательская модель классификации " в разделе пользовательских моделей страницы и нажмите кнопку "Создать проект ".

   

   1. В диалоговом окне Create Project укажите имя проекта, и, при желании, описание, затем нажмите "Продолжить".

   2. Затем выберите или создайте ресурс аналитики документов, прежде чем продолжить.

   

3. Затем выберите учетную запись хранения, используемую для загрузки вашего набора данных обучения пользовательской модели. Путь к папке должен быть пустым, если учебные документы находятся в корне контейнера. Если ваши документы находятся в подпапке, введите относительный путь из корневого каталога контейнера в поле Путь к папке. После настройки учетной записи хранения нажмите кнопку "Продолжить".

   Важно

   Набор данных обучения можно упорядочить по папкам, где имя папки — метка или класс для документов. Кроме того, можно создать плоский список документов, которым можно назначить метку в Студии.

   

4. Для обучения пользовательского классификатора требуются выходные данные модели макета для каждого документа в наборе данных. Запустите макет для всех документов перед процессом обучения модели.

5. Наконец, просмотрите параметры project и выберите Create Project, чтобы создать новый project. Теперь вы должны находиться в окне маркировки и просматривать файлы в указанном наборе данных.

Пометьте свои данные

В проекте необходимо только пометить каждый документ с соответствующей меткой класса.

Вы увидите файлы, отправленные в хранилище в списке файлов, готовых к добавлению метки. У вас есть несколько вариантов метки набора данных.

1. Если документы упорядочены в папках, студия предложит использовать имена папок в качестве меток. Этот шаг упрощает маркировку до единственного выбора.

2. Чтобы назначить метку документу, выберите add label selection mark.

3. Чтобы назначить документам метку, используйте Ctrl+выбор для выбора нескольких документов.

Теперь в наборе данных должны быть помечены все документы. Если вы посмотрите на учетную запись хранения, вы найдете .ocr.json файлы, соответствующие каждому документу в наборе данных обучения, и новый файл class-name.jsonl для каждого класса с метками. Этот обучающий набор данных направляется для тренировки модели.

Обучение модели

Теперь, имея размеченный набор данных, можно обучить модель. Нажмите кнопку "Train" в правом верхнем углу.

1. В диалоговом окне обучения модели укажите уникальный идентификатор классификатора и, при необходимости, описание. Идентификатор классификатора принимает строковый тип данных.

2. Выберите "Обучение ", чтобы инициировать процесс обучения.

3. Обучение моделей классификатора занимает несколько минут.

4. Перейдите в меню "Модели", чтобы просмотреть состояние работы модели.

Тестирование модели

После завершения обучения модели можно протестировать модель, выбрав модель на странице списка моделей.

1. Выберите модель и нажмите кнопку "Тест ".

2. Добавьте новый файл, выбрав его или перетащив в панель выбора документов.

3. Выбрав файл, нажмите кнопку "Анализ ", чтобы проверить модель.

4. Результаты модели отображаются со списком идентифицированных документов, оценкой достоверности для каждого документа, определяемого и диапазоном страниц для каждого из документов, определенных.

5. Проверьте модель, оценив результаты для каждого документа, определенного.

Обучение пользовательского классификатора с помощью SDK или API

Студия координирует вызовы API для обучения пользовательского классификатора. Для набора данных обучения классификатора требуются выходные данные из API макета, который соответствует версии API вашей обучающей модели. Использование результатов макета из более старой версии API может привести к снижению точности модели.

Студия создает результаты разметки для обучающей выборки, если выборка не содержит результатов разметки. При использовании API или пакета SDK для обучения классификатора необходимо добавить результаты макета в папки, содержащие отдельные документы. Результаты макета должны быть в формате ответа API при вызове макета напрямую. Объектная модель ПАКЕТА SDK отличается. Убедитесь, что layout results это результаты API, а не SDK responseрезультаты.

Устранение неполадок

Модель классификации требует результатов из модели макета для каждого учебного документа. Если вы не предоставляете результаты макета, студия пытается запустить модель макета для каждого документа перед обучением классификатора. Этот процесс регулируется и может привести к ответу 429.

В Studio, перед обучением с помощью модели классификации, запустите модель макета в каждом документе и загрузите ее в то же расположение, что и исходный документ. После добавления результатов макета можно обучить модель классификатора своими документами.

Дальнейшие действия