Общая модель документов для аналитики документов

Это содержимое применимо к:v3.1 (GA) | Последняя версия:v4.0 (GA) | Предыдущая версия:v3.0

Это содержимое относится к:v3.0 (GA) | Последние версии:v4.0 (GA)v3.1

Общие функции документа

• Общая модель документов — это предварительно обученная модель; Для этого не требуются метки или учебные курсы.

• Один API извлекает из документов пары "ключ-значение", метки выделения, текст, таблицы и структуру.

• Модель документа общего назначения поддерживает структурированные, частично структурированные и неструктурированные документы.

• Знаки выделения определяются как поля со значением :selected: или :unselected:.

Пример документа, обработанный в Студии аналитики документов

Извлечение пар «ключ — значение»

API общих документов поддерживает большинство типов форм и анализирует документы и извлекает ключи и связанные значения. Это оптимальный вариант для извлечения из документов стандартных пар "ключ-значение". Модель документа общего назначения можно использовать в качестве альтернативы обучению настраиваемой модели без меток.

Варианты разработки

Аналитика документов версии 3.1 поддерживает следующие средства, приложения и библиотеки:

Аналитика документов версии 3.0 поддерживает следующие средства, приложения и библиотеки:

Требования к входным данным

Поддерживаются следующие форматы файлов.

• Фотографии и сканы: Для достижения наилучших результатов предоставьте одну четкую фотографию или качественный скан для каждого документа.
• Файлы PDF и TIFF: Для файлов PDF и TIFF можно обработать до 2 000 страниц. (С подпиской на бесплатный уровень обрабатываются только первые две страницы.)
• Размер файла: размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).
• Размеры изображения: размеры должны находиться в диапазоне от 50 пикселей до 10 000 пикселей x 10 000 пикселей.
• Блокировки паролей. Если pdf-файлы заблокированы паролем, необходимо удалить блокировку перед отправкой.
• Высота текста: минимальная высота извлеченного текста составляет 12 пикселей для изображения 1024 x 768 пикселей. Этот размер соответствует примерно 8-пунктному тексту при 150 точках на дюйм.
• Обучение пользовательской модели: максимальное количество страниц для обучающих данных составляет 500 для пользовательской модели шаблона и 50 000 для пользовательской нейронной модели.
• Обучение пользовательской модели извлечения: общий размер обучающих данных составляет 50 МБ для модели шаблона и 1 ГБ для нейронной модели.
• Обучение пользовательской модели классификации: общий размер обучающих данных составляет 1 ГБ, не более 10 000 страниц. Для 2024-11-30 (GA) общий размер обучающих данных составляет 2 ГБ с максимум 10 000 страниц.
• Типы файлов Office (DOCX, XLSX, PPTX): максимальная длина строки составляет 8 миллионов символов.

Извлечение данных из универсальной модели документов

Попробуйте извлечь данные из форм и документов с помощью Document Intelligence Studio.

Вам потребуются следующие ресурсы:

• Подписка Azure — ее можно создать бесплатно.

• Экземпляр Document Intelligence в портале Azure. Вы можете использовать бесплатный ценовой уровень (F0), чтобы опробовать сервис. После развертывания ресурса выберите Перейти к ресурсу, чтобы получить ключ и конечную точку.

1. На домашней странице Document Intelligence Studio выберите общие документы.

2. Вы можете проанализировать пример документа или отправить собственные файлы.

3. Нажмите кнопку "Выполнить анализ", а при необходимости настройте параметры анализа:

   

   Попробуйте Использовать Document Intelligence Studio.

Пары "ключ-значение"

Пары "ключ-значение" — это отдельные фрагменты внутри документа, которые определяют метку или ключ и связанный с ними ответ или значение. В структурированной форме эти пары могут быть меткой и значением, которое пользователь указал для данного поля. В неструктурированном документе они могут быть датой подписания договора на основании текста в абзаце. Модель искусственного интеллекта предназначена для извлечения идентифицируемых ключей и значений на основе широкого спектра типов документов, форматов и структур.

Ключи также могут существовать в изоляции, когда модель обнаруживает, что ключ существует, но с ним не связано ни одно значение, или при обработке необязательных полей. Например, в некоторых случаях поле для отчества в форме можно оставить пустым. Пары "ключ-значение" — это фрагменты текста, содержащиеся в документе. Для документов, в которых одно и то же понятие описывается по-разному, например customer/user, соответствующий ключ — customer или user (в зависимости от контекста).

Извлечение данных

✓* — доступно только в 2023-07-31 (v3.1 GA) и более поздних версиях API.

Поддерживаемые языки и региональные настройки

См. страницу "Поддержка языка" — модели анализа документов для полного списка поддерживаемых языков.

Рекомендации

• Так как ключи являются диапазонами текста, извлеченных из документа, для полуструктурированных документов ключи необходимо сопоставить с существующим словарем ключей.

• Ожидайте, что будут отображаться пары «ключ-значение» с ключом, но без значения. (например, если пользователь не указал в форме адрес электронной почты).