Когнитивный навык извлечения документов

Навык извлечения документов извлекает содержимое из файла в конвейере обогащения. По умолчанию извлечение содержимого встроено в конвейер обогащения. Однако с помощью навыка извлечения документов можно управлять настройкой параметров и именем извлеченного содержимого в дереве обогащения.

Для векторного и многомодального поиска объедините извлечение документов с навыком разделения текста для реализации настраиваемого подхода к фрагментации данных. В этом руководстве показано, как это показано в многомодальном руководстве .

@odata.type

Microsoft.Skills.Util.DocumentExtractionSkill

Поддерживаемые форматы документов

DocumentExtractionSkill может извлечь текст из следующих форматов документов:

• CSV (см. раздел индексирование больших двоичных объектов CSV)
• EML
• EPUB
• GZ
• HTML
• JSON (см. индексирование BLOB-объектов JSON);
• KML (XML для географических представлений)
• Markdown
• Форматы Microsoft Office: DOCX/DOC/DOCM, XLSX/XLSM, PPTX/PPT/PPTM, MSG (outlook emails), XML (как 2003, так и 2006 WORD XML)
• Форматы открытых документов: ODT, ODS, ODP
• PDF
• обычные текстовые файлы (см. также индексирование обычного текста);
• Формат RTF
• XML
• ZIP

Параметры навыков

Параметры чувствительны к регистру.

Входные параметры навыков

Входные данные "file_data" должны быть объектом, определенным как:

{
  "$type": "file",
  "data": "BASE64 encoded string of the file"
}

Кроме того, его можно определить следующим образом:

{
  "$type": "file",
  "url": "URL to download file",
  "sasToken": "OPTIONAL: SAS token for authentication if the URL provided is for a file in blob storage"
}

Объект ссылки на файл можно создать одним из трех способов:

• При задании allowSkillsetToReadFileData параметра в определении индексатора задано значение true. При этом создается путь /document/file_data , представляющий исходные данные файла, скачанные из источника данных BLOB-объектов. Этот параметр применяется только к файлам в хранилище BLOB-объектов.

  allowSkillsetToReadFileData делает скачанные данные файла доступными для навыка. Он не увеличивает размер файла индексатора BLOB-объектов или ограничения содержимого извлеченного содержимого.

• imageAction Задание параметра в определении индексатора значение, отличное от noneзначения. При этом создается массив изображений, которые соответствуют требуемому соглашению для ввода этого навыка, если они передаются по отдельности (т /document/normalized_images/*. е. ).

• Если пользовательский навык возвращает объект JSON, определенный ТОЧНО, как описано выше. Параметр $type должен быть file задан точно, и data параметр должен быть в кодировке 64 байтов данных массива байтов содержимого файла, или url параметр должен быть правильно отформатированным URL-адресом с доступом для скачивания файла в этом расположении.

Выходные данные навыка

Пример определения

 {
    "@odata.type": "#Microsoft.Skills.Util.DocumentExtractionSkill",
    "parsingMode": "default",
    "dataToExtract": "contentAndMetadata",
    "configuration": {
        "imageAction": "generateNormalizedImages",
        "normalizedImageMaxWidth": 2000,
        "normalizedImageMaxHeight": 2000
    },
    "context": "/document",
    "inputs": [
      {
        "name": "file_data",
        "source": "/document/file_data"
      }
    ],
    "outputs": [
      {
        "name": "content",
        "targetName": "extracted_content"
      },
      {
        "name": "normalized_images",
        "targetName": "extracted_normalized_images"
      }
    ]
  }

Пример ввода

{
  "values": [
    {
      "recordId": "1",
      "data":
      {
        "file_data": {
          "$type": "file",
          "data": "aGVsbG8="
        }
      }
    }
  ]
}

Пример полученных результатов

{
  "values": [
    {
      "recordId": "1",
      "data": {
        "content": "hello",
        "normalized_images": []
      }
    }
  ]
}

См. также

• Встроенные навыки
• Определение набора навыков
• Обработка и извлечение информации из изображений