Пользовательские модели аналитики документов

Это содержимое относится к: версии 4.0 (предварительная версия) | Предыдущие версии: версия 3.1 (GA) версии 3.0 (GA) версии 2.1 (GA)

Это содержимое относится к: версия 3.1 (GA) | Последняя версия: версия 4.0 (предварительная версия) | Предыдущие версии: версии 3.0 версии 2.1

Это содержимое относится к: версия 3.0 (GA) | Последние версии: v4.0 (предварительная версия) версии 3.1 | Предыдущая версия: версия 2.1

Это содержимое относится к: версия 2.1 Последняя версия: версия 4.0 (предварительная версия) |

Типы пользовательских моделей документов

Пользовательские модели документов могут быть одним из двух типов, пользовательского шаблона или пользовательской формы и пользовательских нейронных или пользовательских моделей документов. Процесс создания меток и обучения для обеих моделей идентичен, однако эти модели различаются следующим образом:

Пользовательские модели извлечения

Чтобы создать пользовательскую модель извлечения, наклейте набор данных документов со значениями, которые требуется извлечь и обучить модель в помеченном наборе данных. Для начала работы вам потребуется всего пять примеров формы или документа одного типа.

Пользовательская нейронная модель

Настраиваемая нейронная модель (модель пользовательского документа) использует модели глубокого обучения и базовую модель, обученную большой коллекцией документов. Затем эта модель подстраивается или адаптируется к данным при обучении модели с помощью набора данных с метками. Пользовательские нейронные модели поддерживают извлечение ключевых полей данных из структурированных, полуструктурированных и неструктурированных документов. При выборе между двумя типами моделей начинайте с нейронной модели, чтобы определить, соответствует ли она вашим требованиям к функциональности. Дополнительные сведения о моделях пользовательских документов см. в описании нейронных моделей.

Пользовательская модель шаблона

Модель настраиваемого шаблона или настраиваемой формы полагается на единообразный визуальный шаблон для извлечения помеченных данных. Дисперсии в визуальной структуре документов влияют на точность модели. Примерами единообразных визуальных шаблонов являются такие структурированные формы, как вопросники или приложения.

Набор обучения состоит из структурированных документов, в которых форматирование и макет являются статическими и константными из одного экземпляра документа в следующий. Модели настраиваемого шаблона поддерживают пары "ключ-значение", метки выделения, таблицы, поля подписи и регионы. Модели шаблона можно обучить на документах, составленных на любом из поддерживаемых языков. Дополнительные сведения см. в разделе "Пользовательские модели шаблонов".

Если язык документов и сценариев извлечения поддерживает пользовательские нейронные модели, рекомендуется использовать пользовательские нейронные модели для моделей шаблонов для повышения точности.

Требования к входным данным

• Для получения наилучших результатов предоставьте одну четкую фотографию или скан-копию документа высокого качества.

• Поддерживаемые форматы файлов:

  Модель	PDF	Изображение: jpeg/jpg, , bmppngtiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Читать	✔	✔	✔
  Макет	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview и более поздних версий)
  Документ общего назначения	✔	✔
  Готовое	✔	✔
  Настраиваемая функция извлечения	✔	✔
  Настраиваемая классификация	✔	✔	✔

  ✱ Файлы Microsoft Office сейчас не поддерживаются в других моделях или версиях.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Изображения должны иметь размеры в пределах от 50 x 50 до 10 000 x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту около 8точки в 150 точек на дюйм.

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

• Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1G-МБ для нейронной модели.

• Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1GB не более 10 000 страниц.

Оптимальные обучающие данные

Входные данные обучения являются основой любой модели машинного обучения. Он определяет качество, точность и производительность модели. Поэтому важно создать лучшие входные данные обучения для проекта Аналитики документов. При использовании пользовательской модели аналитики документов вы предоставляете собственные обучающие данные. Вот несколько советов по эффективному обучению моделей:

• По возможности используйте PDF-файлы с распознанным текстом, а не с текстом в виде изображений. Одним из способов идентификации изображения*на основе PDF является попытка выбора определенного текста в документе. Если вы можете выбрать только все изображение текста, документ основан на изображении, а не на основе текста.

• Упорядочьте документы для обучения с использованием вложенной папки для каждого формата (JPEG/JPG, PNG, BMP, PDF или TIFF).

• Используйте формы, в которых заполнены все доступные поля.

• Используйте формы с разными значениями в каждом поле.

• Используйте более крупный набор данных (более пяти обучающих документов), если изображения являются низким качеством.

• Определите, нужно ли использовать одну модель или несколько моделей, объединенных в одну модель.

• Рассмотрите возможность сегментирования набора данных в папки, где каждая папка является уникальным шаблоном. Обучите одну модель для каждой папки и создайте полученные модели в одну конечную точку. Точность модели может уменьшаться, если с помощью одной модели анализируются различные форматы.

• Рассмотрите возможность сегментирования набора данных для обучения нескольких моделей, если форма имеет варианты с форматами и разрывами страниц. Пользовательские формы основываются на согласованном визуальном шаблоне.

• Убедитесь, что у вас есть сбалансированный набор данных, учитывая форматы, типы документов и структуру.

Режим создания

Эта build custom model операция добавляет поддержку шаблонов и нейронных пользовательских моделей. Предыдущие версии REST API и клиентских библиотек поддерживают только один режим сборки, который теперь называется режимом шаблона .

• Модели шаблонов принимают только документы с одинаковой базовой структурой страницы — единообразным внешним видом — или одинаковым относительным расположением элементов в документе.

• Нейронные модели поддерживают документы с одинаковыми сведениями, но разной структурой страниц. Примеры этих документов включают США формы W2, которые используют одну и ту же информацию, но различаются по внешнему виду в разных компаниях.

В этой таблице приведены справочники по SDK и примеры кода на GitHub для языка программирования, используемого для режима создания:

Сравнение функций моделей

В следующей таблице сравниваются пользовательские функции шаблона и пользовательские нейронные функции:

Пользовательская модель классификации

Классификация документов — это новый сценарий, поддерживаемый аналитикой документов с 2023-07-31 ПОМОЩЬЮ API (версии 3.1 GA). API классификатора документов поддерживает сценарии классификации и разделения. Обучите модель классификации, чтобы определить различные типы документов, поддерживаемых приложением. Входной файл для модели классификации может содержать несколько документов и классифицирует каждый документ в соответствующем диапазоне страниц. Дополнительные сведения см. в разделе "Пользовательские модели классификации ".

Средства настраиваемой модели

Модели Аналитики документов версии 3.1 и более поздних версий поддерживают следующие средства, приложения и библиотеки, программы и библиотеки:

Жизненный цикл пользовательской модели

Жизненный цикл пользовательской модели зависит от версии API, используемой для обучения. Если версия API является общедоступной версией, пользовательская модель имеет тот же жизненный цикл, что и эта версия. Пользовательская модель недоступна для вывода, если версия API устарела. Если версия API является предварительной версией, пользовательская модель имеет тот же жизненный цикл, что и предварительная версия API.

Аналитика документов версии 2.1 поддерживает следующие средства, приложения и библиотеки:

Пример средства создания меток

• Средство создания меток для аналитики документов — это средство открытый код, которое позволяет протестировать новейшие функции аналитики документов и оптического распознавания символов (OCR).

• Краткое руководство по созданию и использованию пользовательской модели см. в кратком руководстве по созданию примера меток.

Document Intelligence Studio

1. На домашней странице Document Intelligence Studio выберите пользовательские модели извлечения.

2. В разделе Мои проекты выберите Создать проект.

3. Заполните поля сведений о проекте.

4. Настройте ресурс службы, добавив Учетную запись хранения и Контейнер BLOB-объектов в Connect your training data source (Подключение источника данных для обучения).

5. Проверьте и создайте проект.

6. Добавьте примеры документов в метку, сборку и тестирование пользовательской модели.

Подробное пошаговое руководство по созданию первой пользовательской модели извлечения см. в статье "Создание пользовательской модели извлечения".

Сводка по извлечению пользовательских моделей

В этой таблице сравниваются поддерживаемые области извлечения данных:

Символы таблицы:
✔ — поддерживается
**n/a— в настоящее время недоступно;
*-Ведет себя по-разному в зависимости от модели. При использовании моделей шаблонов искусственные данные создаются во время обучения. При использовании нейронных моделей выбран выход из текста, распознанного в регионе.

• Попробуйте обработать собственные формы и документы с помощью средства проверки меток для аналитики документов.

• Выполните краткое руководство по анализу документов и начните создавать приложение для обработки документов на выбранном языке разработки.

• Попробуйте обработать собственные формы и документы с помощью Document Intelligence Studio.

• Выполните краткое руководство по анализу документов и начните создавать приложение для обработки документов на выбранном языке разработки.