Пользовательская модель классификации аналитики документов

Azure AI Document Intelligence — это облачная служба ИИ Azure, которая позволяет создавать интеллектуальные решения для обработки документов. API аналитики документов анализируют изображения, PDF-файлы и другие файлы документов для извлечения и обнаружения различных содержимого, макета, стиля и семантических элементов.

Пользовательские модели классификации — это типы моделей глубокого обучения, которые объединяют функции макета и языка для точного обнаружения и идентификации документов, обрабатываемых в приложении. Пользовательские модели классификации выполняют классификацию входного файла на одну страницу за раз, чтобы определить документы внутри, а также определить несколько документов или несколько экземпляров одного документа в входном файле.

Возможности модели

Пользовательские модели классификации могут анализировать документы с одним или несколькими файлами, чтобы определить, содержится ли любой из обученных типов документов в входном файле. Ниже приведены поддерживаемые в настоящее время сценарии:

• Один файл, содержащий один тип документа, например форму заявки на кредит.

• Один файл, содержащий несколько типов документов. Например, пакет заявки на кредит, содержащий форму заявки на кредит, payslip и банковский оператор.

• Один файл, содержащий несколько экземпляров одного документа. Например, коллекция отсканированных счетов.

✔️ Для обучения пользовательского классификатора требуются по крайней мере two отдельные классы и минимум five примеров документов для каждого класса. Ответ модели содержит диапазоны страниц для каждого класса документов, определенных.

✔️ Максимально допустимое число классов 500. Максимально допустимое число примеров документов для каждого класса 100.

Модель классифицирует каждую страницу входного документа, если не указано, к одному из классов в помеченном наборе данных. Можно также указать номера страниц для анализа в входном документе. Чтобы задать пороговое значение для приложения, используйте оценку достоверности из ответа.

Добавочное обучение

С помощью пользовательских моделей необходимо поддерживать доступ к набору данных обучения, чтобы обновить классификатор с новыми примерами для существующего класса или добавить новые классы. Модели классификаторов теперь поддерживают добавочное обучение, где можно ссылаться на существующий классификатор и добавлять новые примеры для существующего класса или добавлять новые классы с примерами. Добавочное обучение позволяет сценариям, когда хранение данных является проблемой, и классификатору необходимо обновить, чтобы соответствовать изменяющимся бизнес-потребностям. Добавочное обучение поддерживается с моделями, обученными с помощью версии API и более поздних версий 2024-02-29-preview .

Добавочное обучение требует предоставления исходного идентификатора модели в качестве идентификатора baseClassifierId. Дополнительные сведения об использовании добавочного обучения см. в статье о добавочном обучении .

Поддержка типов документов Office

Теперь можно обучать классификаторы для распознавания типов документов в различных форматах, включая PDF, изображения, Word, PowerPoint и Excel. При сборке обучающего набора данных можно добавить документы любого из поддерживаемых типов. Классификатор не требует явной метки конкретных типов. Рекомендуется убедиться, что набор данных для обучения имеет по крайней мере один пример каждого формата, чтобы повысить общую точность модели.

Сравнение пользовательских классификаций и составных моделей

Пользовательская модель классификации может заменить составную модель в некоторых сценариях, но следует учитывать несколько различий.

Поддержка языков

Требования к входным данным

Поддерживаемые форматы файлов:

• Для получения наилучших результатов предоставьте пять четких фотографий или высококачественные проверки на тип документа.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Изображения должны иметь размеры в пределах от 50 x 50 до 10 000 x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту о 8точке в 150 точек на дюйм (DPI).

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

• Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1G-МБ для нейронной модели.

• Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1 ГБ, не более 10 000 страниц.

Разделение документов

При наличии нескольких документов в файле классификатор может определить различные типы документов, содержащиеся в входном файле. Ответ классификатора содержит диапазоны страниц для каждого из определенных типов документов, содержащихся в файле. Этот ответ может включать несколько экземпляров одного типа документа.

Рекомендации

Для обучения пользовательских моделей классификации требуется не менее пяти выборок на класс. Если классы похожи, добавление дополнительных примеров обучения повышает точность модели.

Классификатор пытается назначить каждый документ одному из классов, если ожидается, что модель будет видеть типы документов не в классах, входящих в набор данных обучения, следует запланировать установку порогового значения для оценки классификации или добавить несколько репрезентативных примеров типов документов в "other" класс. "other" Добавление класса гарантирует, что ненужные документы не влияют на качество классификатора.

Обучение модели

Пользовательские модели классификации поддерживаются API версии 4.0: 2024-02-29-preview, 2024-07-31-preview и версии 3.1: 2023-07-31 (GA). Document Intelligence Studio предоставляет пользовательский интерфейс без кода для интерактивного обучения пользовательского классификатора. Следуйте инструкциям по началу работы.

При использовании REST API при организации документов по папкам можно использовать azureBlobSource свойство запроса для обучения модели классификации.

https://{endpoint}/documentintelligence/documentClassifiers:build?api-version=2024-02-29-preview

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/deed-of-trust/"
            }
    }
  }
}

https://{endpoint}/formrecognizer/documentClassifiers:build?api-version=2023-07-31

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/deed-of-trust/"
            }
    }
  }
}

Кроме того, если у вас есть неструктурированный список файлов или планируется использовать несколько файлов в каждой папке для обучения модели, можно использовать azureBlobFileListSource свойство для обучения модели. Для этого шага требуется file list формат строк JSON. Для каждого класса добавьте новый файл со списком файлов, которые будут отправлены для обучения.

{
  "classifierId": "demo2",
  "description": "",
  "docTypes": {
    "car-maint": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/car-maint.jsonl"
      }
    },
    "cc-auth": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/cc-auth.jsonl"
      }
    },
    "deed-of-trust": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/deed-of-trust.jsonl"
      }
    }
  }
}

Например, список car-maint.jsonl файлов содержит следующие файлы.

{"file":"classifier/car-maint/Commercial Motor Vehicle - Adatum.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Fincher.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Lamna.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Liberty.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Trey.pdf"}

{
  "classifierId": "existingClassifierName",
  "allowOverwrite": true,  // Default=false
  ...
}

POST https://myendpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers:authorizeCopy?api-version=2024-07-31-preview
Ocp-Apim-Subscription-Key: {<your-key>}

{
  "classifierId": "targetClassifier",
  "description": "Target classifier description"
}

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

POST {endpoint}/documentintelligence/documentClassifiers/{classifierId}:copyTo?api-version=2024-07-31-preview
Ocp-Apim-Subscription-Key: {<your-key>}

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

Ответ модели

Анализ входного файла с помощью модели классификации документов.

https://{endpoint}/documentintelligence/documentClassifiers/{classifier}:analyze?api-version=2024-02-29-preview

https://{service-endpoint}/formrecognizer/documentClassifiers/{classifier}:analyze?api-version=2023-07-31

Ответ содержит идентифицированные документы с соответствующими диапазонами страниц в разделе документов ответа.

{
  ...

    "documents": [
      {
        "docType": "formA",
        "boundingRegions": [
          { "pageNumber": 1, "polygon": [...] },
          { "pageNumber": 2, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      },
      {
        "docType": "formB",
        "boundingRegions": [
          { "pageNumber": 3, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      }, ...
    ]
  }

Следующие шаги

Узнайте, как создавать пользовательские модели классификации: