Нейронная пользовательская модель аналитики документов

Пользовательские нейронные модели документов, или просто нейронные модели, представляют собой тип модели в области глубокого обучения, который объединяет структурные и языковые функции для точного извлечения помеченных полей из документов. Базовая настраиваемая нейронная модель обучена на различных типах документов, что делает ее пригодной для обучения для извлечения полей из структурированных и полуструктурированных документов. Пользовательские нейронные модели доступны в моделях версии 3.0 и более поздних. Начиная с версии 4.0, пользовательская нейронная модель теперь поддерживает обнаружение подписей. В следующей таблице перечислены распространенные типы документов для каждой категории:

Пользовательские нейронные модели используют те же формат меток и стратегию, что и модели пользовательских шаблонов. В настоящее время пользовательские нейронные модели поддерживают только подмножество типов полей, поддерживаемых пользовательскими моделями шаблонов.

Возможности модели

Пользовательские нейронные модели в настоящее время поддерживают пары ключ-значение, метки выбора и структурированные поля (таблицы).

¹ Метки регионов в пользовательских нейронных моделях используют результаты из API макета для указанного региона. Эта функция отличается от моделей шаблонов, в которых при отсутствии значения текст создается во время обучения.
² Перекрывающиеся поля поддерживаются в REST API версии 2024-11-30 (GA). Перекрывающиеся поля имеют некоторые ограничения. Для получения дополнительной информации смотритеперекрывающиеся поля.

Режим создания

Операция Build поддерживает шаблонные и нейронные пользовательские модели. Предыдущие версии REST API и клиентских библиотек поддерживают только один режим сборки, который теперь называется режимом шаблона .

Нейронные модели поддерживают документы с одинаковыми сведениями, но разной структурой страниц. Примеры таких документов включают формы W2 из США, которые содержат одинаковую информацию, но могут отличаться внешним видом в различных компаниях. Дополнительные сведения см. в разделе"Режим сборки пользовательской модели".

Обнаружение сигнатуры

Пользовательская модель нейронной версии 4.0 2024-11-30 (GA) поддерживает обнаружение подписей. Чтобы пометить подпись, используйте тип поля как Подпись и нарисуйте области для подписи. Поле подписи поддерживает только одну область рисования для каждого поля. Чтобы обучить пользовательскую нейронную модель для обнаружения подписей, необходимо использовать по меньшей мере пять образцов, на которых подписи помечены вместе с их вариациями, чтобы получить наиболее точные результаты.

Табличные поля

Пользовательская нейронная модель версии 4.0 2024-11-30 (GA) поддерживает табличные поля (таблицы) для анализа данных таблиц, строк и ячеек с повышенной надежностью.

• Модели, обученные с помощью API версии 2022-06-30-preview или более поздней, будут принимать метки табличных полей.
• Документы, проанализированные с помощью пользовательских нейронных моделей с использованием API версии 2022-06-30-preview или более поздней, будут создавать табличные поля, агрегированные по таблицам.
• Результаты можно найти в массиве analyzeResult объекта documents, который возвращается после операции анализа.

Табличные поля поддерживают межстраничные таблицы по умолчанию:

• Чтобы пометить таблицу, охватывающую несколько страниц, пометьте каждую строку таблицы на разных страницах в одной таблице.
• Рекомендуется убедиться, что набор данных содержит несколько примеров ожидаемых вариантов. Например, включите образцы, в которых вся таблица находится на одной странице, и в которых таблицы занимают две или более страниц.

Табличные поля также полезны при извлечении повторяющихся данных в документе, который не распознается как таблица. Например, повторяющийся раздел об опыте работы в резюме можно пометить и извлечь как табличное поле.

Табличные поля предоставляют доверие к таблицам, строкам и ячейкам 2024-11-30 (GA) с помощью API:

• Исправленные или динамические таблицы добавляют поддержку достоверности для следующих элементов:

  • Достоверность таблицы— мера точного распознавания всей таблицы.
  • Достоверность строк— мера распознавания отдельной строки.
  • Достоверность ячеек— мера распознавания отдельной ячейки.

• Рекомендуемый подход — проверить точность в начале таблицы, а затем строку, а затем ячейку. Ознакомьтесь с оценками уверенности и точности, чтобы узнать больше о достоверности таблиц, строк и ячеек.

Перекрывающиеся поля

Пользовательская нейронная модель версии 4.0 2024-11-30 (GA) поддерживает перекрывающиеся поля:

Чтобы использовать перекрывающиеся поля, набор данных должен содержать по крайней мере один пример с ожидаемым перекрытием. Чтобы пометить перекрытие, используйте обозначение регионов для обозначения каждого диапазона содержимого (с перекрытием) для каждого поля. Сбой маркирования перекрытия с выделением значения в поле в программе Studio, так как маркирование области является единственным поддерживаемым средством маркировки для указания перекрытия полей. Поддержка перекрытия включает:

• Полное перекрытие. Один и тот же набор маркеров помечен для двух разных полей.
• Частичное перекрытие. Некоторые маркеры относятся к обоим полям, но есть маркеры, которые являются только частью одного поля или другого.

Перекрывающиеся поля имеют некоторые ограничения:

• Любой маркер или слово можно пометить только как два поля.
• Перекрывающиеся поля в таблице не могут охватывать строки таблицы.
• Перекрывающиеся поля можно распознать только в том случае, если хотя бы один пример в наборе данных содержит перекрывающиеся метки для этих полей.

Чтобы использовать перекрывающиеся поля, пометьте набор данных с этими перекрытиями и обучите модель, используя версию API **2024-11-30 (GA)**.

Поддерживаемые языки и локали

Ознакомьтесь со службой поддержки языка — пользовательскими моделями для полного списка поддерживаемых языков.

Поддерживаемые регионы

По состоянию на 18 октября 2022 г. обучение пользовательской нейронной модели аналитики документов доступно только в следующих Azure регионах:

• Восточная Австралия
• Южная Бразилия
• Центральная Канада
• Центральная Индия
• Центральная часть США
• Восточная Азия
• Восточная часть США
• Восток США 2
• Центральная Франция
• Восточная Япония
• Центрально-южная часть США
• Юго-Восточная Азия
• южная часть Соединенного Королевства
• Западная Европа
• западная часть США 2
• Правительство США Аризона
• Правительство США (Вирджиния)

Требования к входным данным

• Для получения наилучших результатов предоставьте одну четкую фотографию или скан-копию документа высокого качества.

• Поддерживаемые форматы файлов:

  Модель	PDF	Изображение: jpeg/jpg, png, bmp, tiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) и HTML
  Читать	✔	✔	✔
  Макет	✔	✔	✔
  Документ общего назначения	✔	✔
  Предварительно собранный	✔	✔
  Настраиваемая нейронная модель	✔	✔

  ✱ Microsoft Office файлы в настоящее время не поддерживаются для других моделей или версий.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Изображения должны иметь размеры в пределах от 50 x 50 до 10 000 x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту размером около 8 пункта при разрешении 150 точек на дюйм.

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

• Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1G-МБ для нейронной модели.

• Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1GB не более 10 000 страниц.

Лучшие практики

Пользовательские нейронные модели отличаются от пользовательских моделей шаблонов несколькими различными способами. Настраиваемый шаблон или модель полагаются на единообразный визуальный шаблон для извлечения помеченных данных. Пользовательские нейронные модели поддерживают структурированные и частично структурированные типы данных для извлечения полей. При выборе между типами моделей начните с нейронной модели и проверьте, поддерживает ли она свои функциональные потребности.

• Работа с вариантами - Пользовательские нейронные модели могут обобщать по разным форматам одного типа документа. Рекомендуется создать единую модель для всех вариантов типа документа. Следует добавить по крайней мере пять образцов с метками для каждого из вариантов набора данных для обучения.
• Именование полей - При маркировке данных, маркировка поля, относящегося к значению, повышает точность извлеченных пар "ключ-значение". Например, для значения поля, содержащего идентификатор поставщика, рассмотрите возможность именования поля supplier_id. Имена полей должны быть на языке документа.
• Маркировка смежных значений — маркеры или слова одного поля должны быть представлены следующим образом:
  • Последовательная последовательность в естественном порядке чтения без переключения с другими полями
  • Находятся в области, не перекрывающей какие-либо другие поля.
• Репрезентативные данные . Значения в учебных случаях должны быть разнообразными и репрезентативными. Например, если поле называется датой, значения для этого поля должны быть датой. Искусственное значение, например случайная строка, может повлиять на производительность модели.

Текущие ограничения

• Пользовательская нейронная модель не распознает значения, разделенные по границам страницы.
• Неподдерживаемые типы пользовательских полей игнорируются, если набор данных, предназначенный для пользовательских шаблонных моделей, используется для обучения пользовательской нейронной модели.
• Пользовательские нейронные модели ограничены 20 операциями сборки в месяц для версий 3.x. Если нужно увеличить этот лимит, отправьте запрос в службу поддержки. Дополнительные сведения см. в разделе "Квоты и ограничения службы аналитики документов".

Обучение модели

Пользовательские нейронные модели доступны в моделях версии 3.0 и выше.

Для операции Build обучения модели поддерживается новое свойство buildMode, чтобы обучить пользовательскую нейронную модель, установите buildMode на neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels:build?api-version=v3.1:2023-07-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels/{modelId}:copyTo?api-version=2022-08-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Следующие шаги

Научитесь создавать и объединять настраиваемые модели: