Пользовательские модели аналитики документов

Это содержимое относится к:версии 4.0 (GA) | Предыдущие версии:версии 3.1 (GA) версии 3.0 (вывод из эксплуатации)версии 2.1 (вывод из эксплуатации)

Это содержимое относится к:версии 3.1 (GA) | Последняя версия:версии 4.0 (GA) | Предыдущие версии:версии 3.0версии 2.1

Это содержимое относится к:red-checkmarkверсии 3.0 (удаление)Последние версии:purple-checkmarkверсия 4.0 (GA)purple-checkmarkверсия 3.1Предыдущая версия:blue-checkmarkверсия 2.1 (удаление)

Это содержимое относится к:версия 2.1 | Последняя версия:версия 4.0 (GA)

Типы пользовательских моделей документов

Пользовательские модели документов могут быть одним из двух типов, пользовательского шаблона или пользовательской формы и пользовательских нейронных или пользовательских моделей документов. Процесс маркировки и обучения для обеих моделей идентичен, но модели отличаются следующим образом:

Пользовательские модели извлечения

Чтобы создать пользовательскую модель извлечения, разметьте набор данных документов с нужными для извлечения значениями и обучите модель на размеченном наборе данных. Чтобы приступить к работе, вам потребуется только пять примеров одного и того же типа формы или документа.

Пользовательская нейронная модель

Пользовательская нейронная модель использует модели глубокого обучения и базовую модель, обученную на большой коллекции документов. Затем эта модель настраивается или адаптируется к вашим данным при обучении этой модели с использованием помеченного набора данных. Пользовательские нейронные модели поддерживают извлечение ключевых полей данных из структурированных, полуструктурированных и неструктурированных документов. При выборе между двумя типами моделей начните с нейронной модели, чтобы определить, соответствует ли она вашим функциональным потребностям. С помощью версии 4.0 пользовательская нейронная модель поддерживает обнаружение подписей, достоверность таблиц и перекрывающиеся поля. Дополнительные сведения о пользовательских моделях документов см. в разделе о нейронных моделях.

Пользовательская модель шаблона

Пользовательский шаблон или модель пользовательской формы использует единообразный визуальный шаблон для извлечения размеченных данных. Различия в визуальной структуре ваших документов сказываются на точности вашей модели. Структурированные формы, такие как анкеты или приложения, являются примерами согласованных визуальных шаблонов.

Обучающая выборка состоит из структурированных документов, в которых форматирование и макет являются статическими и постоянными от одного экземпляра документа к другому. Пользовательские модели шаблонов поддерживают пары "ключ-значение", метки выбора, таблицы, поля подписи и регионы. Модели шаблонов могут быть обучены на документах на каждом из поддерживаемых языков. Дополнительные сведения см. в разделе "Пользовательские модели шаблонов".

Если язык документов и сценариев извлечения поддерживает пользовательские нейронные модели, рекомендуется использовать пользовательские нейронные модели для моделей шаблонов для повышения точности.

Требования к входным данным

• Для получения наилучших результатов предоставьте одну четкую фотографию или высококачественное сканирование на каждый документ.

• Поддерживаемые форматы файлов:

  Модель	PDF	Изображение: jpeg/jpg, , pngbmptiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Прочитать	✔	✔	✔
  Макет	✔	✔	✔
  Общий документ	✔	✔
  Предварительно собранный	✔	✔
  Настраиваемое извлечение	✔	✔
  Настраиваемая классификация	✔	✔	✔

  ✱ Microsoft Office файлы в настоящее время не поддерживаются для других моделей или версий.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов предназначен 500 MB для платного уровня (S0) и 4 MB бесплатного уровня (F0).

• Размеры изображения должны составлять от 50 x 50 пикселей до 10 000 пикселей x 10 000 пикселей.

• Если pdf-файлы заблокированы паролем, перед отправкой необходимо удалить блокировку.

• Минимальная высота извлеченного текста составляет 12 пикселей для изображения 1024 x 768 пикселей. Это измерение соответствует примерно тексту размером в 8 пунктов при разрешении 150 точек на дюйм.

• Для обучения пользовательской модели максимальное количество страниц для обучающих данных составляет 500 для пользовательской модели шаблона и 50 000 для пользовательской нейронной модели.

• Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 MB для шаблонной модели и 1 GB для нейронной сети.

• Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1 GB не более 10 000 страниц.

Оптимальные обучающие данные

Входные данные обучения являются основой любой модели машинного обучения. Он определяет качество, точность и производительность модели. Поэтому важно создать лучшие входные данные обучения для проекта Аналитики документов. При использовании пользовательской модели аналитики документов вы предоставляете собственные обучающие данные. Ниже приведены несколько советов, которые помогут эффективно обучить модели:

• Используйте текстовые файлы, а не pdf-файлы на основе изображений, если это возможно. Одним из способов идентификации изображения*на основе PDF является попытка выбора определенного текста в документе. Если вы можете выбрать только все изображение текста, документ основан на изображении, а не на основе текста.

• Организуйте свои обучающие документы, используя подпапку для каждого формата (JPEG/JPG, PNG, BMP, PDF или TIFF).

• Используйте формы, имеющие все доступные поля.

• Используйте формы с различными значениями в каждом поле.

• Используйте более крупный набор данных (более пяти обучающих документов), если изображения являются низким качеством.

• Определите, нужно ли использовать одну модель или несколько моделей, состоящих из одной модели.

• Рассмотрите возможность сегментирования набора данных в папки, где каждая папка является уникальным шаблоном. Обучите одну модель для каждой папки и объедините полученные модели в одну конечную точку. Точность модели может уменьшиться при наличии различных форматов, проанализированных с помощью одной модели.

• Рассмотрите возможность сегментирования набора данных для обучения нескольких моделей, если форма имеет варианты с форматами и разрывами страниц. Пользовательские формы используют согласованный визуальный шаблон.

• Убедитесь, что у вас есть сбалансированный набор данных, учитывая форматы, типы документов и структуру.

Режим сборки

Эта build custom model операция добавляет поддержку шаблонов и нейронных пользовательских моделей. Предыдущие версии REST API и клиентских библиотек поддерживают только один режим сборки, который теперь называется режимом шаблона .

• Модели шаблонов принимают только документы, имеющие ту же базовую структуру страницы ( унифицированный визуальный вид) или то же относительное расположение элементов в документе.

• Нейронные модели поддерживают документы, имеющие одну и ту же информацию, но разные структуры страниц. Примеры этих документов включают формы W2 Соединённых Штатов, которые содержат одну и ту же информацию, но различаются по внешнему виду среди разных компаний.

Эта таблица содержит ссылки на ссылки на справочники по языку программирования в режиме сборки и примеры кода на GitHub:

Сравнение функций модели

В следующей таблице сравниваются пользовательские функции шаблона и пользовательские нейронные функции:

*-По умолчанию время обучения составляет 30 минут; включите платное обучение, чтобы иметь возможность обучать модель дольше 30 минут. Проверить больше сведений о поддержке обучения для пользовательских нейронных сетей

Пользовательская модель классификации

Классификация документов — это новый сценарий, поддерживаемый аналитикой документов с API 2023-07-31 (v3.1 GA). API классификатора документов поддерживает сценарии классификации и разделения. Обучите модель классификации, чтобы определить различные типы документов, которые поддерживаются вашим приложением. Входной файл для модели классификации может содержать несколько документов и классифицирует каждый документ в соответствующем диапазоне страниц. Дополнительные сведения см. в разделе "Пользовательские модели классификации".

Средства пользовательской модели

Модели Аналитики документов версии 3.1 и более поздних версий поддерживают следующие средства, приложения и библиотеки, программы и библиотеки:

Жизненный цикл пользовательской модели

Жизненный цикл пользовательской модели зависит от версии API, используемой для обучения. Если версия API является общедоступной версией, пользовательская модель имеет тот же жизненный цикл, что и эта версия. Пользовательская модель недоступна для вывода, если версия API устарела. Если версия API является предварительной версией, пользовательская модель имеет тот же жизненный цикл, что и предварительная версия API.

Аналитика документов версии 2.1 поддерживает следующие средства, приложения и библиотеки:

Пример средства маркировки

• Средство создания меток для аналитики документов — это средство открытый код, позволяющее протестировать новейшие функции аналитики документов и оптического распознавания символов (OCR).

• Попробуйте краткое руководство по работе с инструментом Sample Labeling, чтобы начать создавать и использовать пользовательскую модель.

Document Intelligence Studio

1. На домашней странице Document Intelligence Studio выберите пользовательские модели извлечения.

2. В разделе "Мои проекты" выберите "Создать проект".

3. Заполните поля сведений о проекте.

4. Сконфигурируйте ресурс службы, добавив учетную запись хранения и контейнер BLOB для подключения источника ваших данных для обучения.

5. Просмотрите и создайте проект.

6. Добавьте примеры документов для маркировки, сборки и тестирования вашей пользовательской модели.

Подробное пошаговое руководство по созданию первой пользовательской модели извлечения см. в статье"Создание пользовательской модели извлечения".

Сводка извлечения пользовательских моделей

В этой таблице сравниваются поддерживаемые области извлечения данных:

Символы таблицы:
✔ — поддерживается
**n/a— в настоящее время недоступно;
*-Ведет себя по-разному в зависимости от модели. При использовании моделей шаблонов искусственные данные создаются во время обучения. При использовании нейронных моделей выбран существующий текст, распознанный в регионе.

• Попробуйте обработать собственные формы и документы с помощью средства маркировки образцов для интеллектуального анализа документов.

• Выполните краткое руководство по анализу документов и начните создавать приложение для обработки документов на выбранном языке разработки.

• Попробуйте обработать собственные формы и документы с помощью Document Intelligence Studio.

• Выполните краткое руководство по анализу документов и начните создавать приложение для обработки документов на выбранном языке разработки.