Пользовательская модель классификации для интеллектуальной обработки документов

Аналитика документов Azure в средстве Foundry — это облачная служба средств Foundry, которая позволяет создавать интеллектуальные решения для обработки документов. API аналитики документов анализируют изображения, PDF-файлы и другие файлы документов для извлечения и обнаружения различных содержимого, макета, стиля и семантических элементов.

Пользовательские модели классификации — это типы моделей глубокого обучения, которые объединяют функции макета и языка для точного обнаружения и идентификации документов, обрабатываемых в приложении. Пользовательские модели классификации постранично классифицируют входной файл, чтобы выявлять содержащиеся в нем документы, а также распознавать несколько документов или несколько экземпляров одного и того же документа во входном файле.

Возможности модели

Пользовательские модели классификации могут анализировать документы с одним или несколькими файлами, чтобы определить, содержится ли любой из обученных типов документов в входном файле. Ниже приведены поддерживаемые в настоящее время сценарии:

• Один файл, содержащий один тип документа, например форму заявки на кредит.

• Один файл, содержащий несколько типов документов. Например, пакет документов для заявки на кредит, содержащий форму заявления на кредит, расчётный листок и банковскую выписку.

• Один файл, содержащий несколько экземпляров одного документа. Например, коллекция отсканированных счетов.

✔️ Для обучения пользовательского классификатора требуется не менее two различных классов и минимум five образцов документов для каждого класса. Ответ модели содержит диапазоны страниц для каждого класса документов, определенных.

✔️ Максимально допустимое число классов 1,000. Максимально допустимое число примеров документов для каждого класса 100.

Модель классифицирует каждую страницу входного документа, если не указано, к одному из классов в помеченном наборе данных. Можно также указать номера страниц для анализа в входном документе. Чтобы задать пороговое значение для приложения, используйте оценку достоверности из ответа.

Добавочное обучение

С помощью пользовательских моделей необходимо поддерживать доступ к набору данных обучения, чтобы обновить классификатор с новыми примерами для существующего класса или добавить новые классы. Модели классификаторов теперь поддерживают добавочное обучение, где можно ссылаться на существующий классификатор и добавлять новые примеры для существующего класса или добавлять новые классы с примерами. Инкрементное обучение поддерживает сценарии, в которых хранение данных затруднено и классификатор необходимо обновлять в соответствии с меняющимися потребностями бизнеса. Инкрементное обучение поддерживается для моделей, обученных с использованием версии API v4.0 2024-11-30 (GA).

Для инкрементного обучения необходимо указать исходный идентификатор модели в качестве baseClassifierId. Дополнительные сведения об использовании добавочного обучения см. в статье о добавочном обучении .

Поддержка типов документов Office

Теперь можно обучать классификаторы для распознавания типов документов в различных форматах, включая PDF, изображения, Word, PowerPoint и Excel. При сборке обучающего набора данных можно добавить документы любого из поддерживаемых типов. Классификатор не требует явной метки конкретных типов. Рекомендуется убедиться, что набор данных для обучения имеет по крайней мере один пример каждого формата, чтобы повысить общую точность модели.

Сравнение пользовательских классификаций и составных моделей

Пользовательская модель классификации может заменить составную модель в некоторых сценариях, но следует учитывать несколько различий.

Поддержка языков

Требования к входным данным

Поддерживаемые форматы файлов:

• Для достижения наилучших результатов предоставьте пять четких фотографий или высококачественных сканов для каждого типа документа.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Изображения должны иметь размеры в пределах от 50 x 50 до 10 000 x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Этот размер соответствует тексту размером 8 пунктов при 150 точках на дюйм (DPI).

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

• Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1G-МБ для нейронной модели.

• Для обучения пользовательской модели классификации общий размер обучающих данных составляет 2 ГБ, не более 25 000 страниц.

Разделение документов

При наличии нескольких документов в файле классификатор может определить различные типы документов, содержащиеся в входном файле. Ответ классификатора содержит диапазоны страниц для каждого из определенных типов документов, содержащихся в файле. Этот ответ может включать несколько экземпляров одного типа документа.

Лучшие практики

Для обучения настраиваемых моделей классификации требуется как минимум пять образцов для каждого класса. Если классы похожи, добавление дополнительных примеров обучения повышает точность модели.

Классификатор пытается назначить каждый документ одному из классов, если ожидается, что модель будет видеть типы документов не в классах, входящих в набор данных обучения, следует запланировать установку порогового значения для оценки классификации или добавить несколько репрезентативных примеров типов документов в "other" класс. "other" Добавление класса гарантирует, что ненужные документы не влияют на качество классификатора.

Обучение модели

Пользовательские модели классификации поддерживаются API версии v4.0 2024-11-30 (GA). Document Intelligence Studio предоставляет пользовательский интерфейс без кода для интерактивного обучения пользовательского классификатора. Следуйте инструкциям по началу работы.

При использовании REST API при организации документов по папкам можно использовать azureBlobSource свойство запроса для обучения модели классификации.

https://{endpoint}/documentintelligence/documentClassifiers:build?api-version=2024-11-30

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/deed-of-trust/"
            }
    }
  }
}

https://{endpoint}/formrecognizer/documentClassifiers:build?api-version=2023-07-31

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/deed-of-trust/"
            }
    }
  }
}

Кроме того, если у вас есть неструктурированный список файлов или планируется использовать несколько файлов в каждой папке для обучения модели, можно использовать azureBlobFileListSource свойство для обучения модели. Для этого шага требуется file list в формате JSON Lines. Для каждого класса добавьте новый файл со списком файлов, которые будут отправлены для обучения.

{
  "classifierId": "demo2",
  "description": "",
  "docTypes": {
    "car-maint": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/car-maint.jsonl"
      }
    },
    "cc-auth": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/cc-auth.jsonl"
      }
    },
    "deed-of-trust": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/deed-of-trust.jsonl"
      }
    }
  }
}

Например, список car-maint.jsonl файлов содержит следующие файлы.

{"file":"classifier/car-maint/Commercial Motor Vehicle - Adatum.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Fincher.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Lamna.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Liberty.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Trey.pdf"}

{
  "classifierId": "existingClassifierName",
  "allowOverwrite": true,  // Default=false
  ...
}

POST https://myendpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers:authorizeCopy?api-version=2024-11-30
Ocp-Apim-Subscription-Key: {<your-key>}

{
  "classifierId": "targetClassifier",
  "description": "Target classifier description"
}

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

POST {endpoint}/documentintelligence/documentClassifiers/{classifierId}:copyTo?api-version=2024-11-30
Ocp-Apim-Subscription-Key: {<your-key>}

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

Ответ модели

Анализ входного файла с помощью модели классификации документов.

https://{endpoint}/documentintelligence/documentClassifiers/{classifier}:analyze?api-version=2024-11-30

https://{service-endpoint}/formrecognizer/documentClassifiers/{classifier}:analyze?api-version=2023-07-31

Ответ содержит идентифицированные документы с соответствующими диапазонами страниц в разделе документов ответа.

{
  ...

    "documents": [
      {
        "docType": "formA",
        "boundingRegions": [
          { "pageNumber": 1, "polygon": [...] },
          { "pageNumber": 2, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      },
      {
        "docType": "formB",
        "boundingRegions": [
          { "pageNumber": 3, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      }, ...
    ]
  }

Следующие шаги

Узнайте, как создавать пользовательские модели классификации: