Модель чтения с помощью аналитики документов

Это содержимое относится к: версии 4.0 (предварительная версия) | Предыдущие версии: v3.1 (GA) версии 3.0 (GA)

Это содержимое относится к: версии 4.0 (предварительная версия) | Предыдущие версии: v3.1 (GA) версии 3.0 (GA)

Модель оптического распознавания символов чтения документов (OCR) выполняется в более высоком разрешении, чем azure AI Vision Read и извлекает печатный и рукописный текст из документов PDF и сканированных изображений. Она также включает поддержку извлечения текста из документов Microsoft Word, Excel, PowerPoint и HTML. Он обнаруживает абзацы, текстовые строки, слова, расположения и языки. Модель чтения — это базовый механизм OCR для других предварительно созданных моделей аналитики документов, таких как макет, общий документ, счет, квитанция, удостоверение (идентификатор), карточка медицинского страхования, W2 в дополнение к пользовательским моделям.

Что такое оптическое распознавание символов?

Оптическое распознавание символов (OCR) для документов оптимизировано для больших текстовых документов в нескольких форматах файлов и глобальных языках. Он включает такие функции, как сканирование изображений документов с более высоким разрешением, чтобы лучше обрабатывать меньший и плотный текст; обнаружение абзаца; и управление заполненными формами. Возможности OCR также включают расширенные сценарии, такие как одинарные поля символов и точное извлечение ключевых полей, часто найденных в счетах, квитанциях и других предварительно созданных сценариях.

Варианты разработки (версия 4)

Аналитика документов версии 4.0 (2024-07-31-preview) поддерживает следующие средства, приложения и библиотеки:

Требования к входным данным (версия 4)

• Поддерживаемые форматы файлов:

  Модель	PDF	Изображение: JPEG/JPG, , BMPPNGTIFFHEIF	Microsoft Office: Word (), Excel (XLSXDOCX), PowerPoint (PPTX), HTML
  Читать	✔	✔	✔
  Макет	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
  Документ общего назначения	✔	✔
  Готовое	✔	✔
  Настраиваемая функция извлечения	✔	✔
  Настраиваемая классификация	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview)

• Для получения наилучших результатов предоставьте одну четкую фотографию или скан-копию документа высокого качества.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Размеры изображения должны составлять от 50 пикселей до 50 пикселей и 10 000 пикселей x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту 8 точки в 150 точек на дюйм (DPI).

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

  • Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1 ГБ для нейронной модели.

  • Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1 ГБ не более 10 000 страниц. Для 2024-07-31-preview и более поздних версий общий размер обучающих данных составляет 2 ГБ с максимальным количеством 10 000 страниц.

Начало работы с моделью чтения (версия 4)

Попробуйте извлечь текст из форм и документов с помощью Document Intelligence Studio. Вам потребуются следующие ресурсы:

• Подписка Azure — ее можно создать бесплатно.

• Экземпляр аналитики документов в портал Azure. Вы можете использовать ценовую категорию "Бесплатный" (F0), чтобы поработать со службой. После развертывания ресурса выберите Перейти к ресурсу, чтобы получить ключ и конечную точку.

  

Пример документа, обработанный с помощью Document Intelligence Studio

1. На домашней странице Document Intelligence Studio выберите "Чтение".

2. Вы можете проанализировать пример документа или отправить собственные файлы.

3. Нажмите кнопку "Выполнить анализ", а при необходимости настройте параметры анализа:

   

   Попробуйте Использовать Document Intelligence Studio.

Поддерживаемые языки и языковые параметры (версия 4)

См. страницу "Поддержка языка" — модели анализа документов для полного списка поддерживаемых языков.

Извлечение данных (версия 4)

Pdf-файлы, доступные для поиска

Возможность PDF с возможностью поиска позволяет преобразовать аналоговый PDF-файл( например, сканированный PDF-файл в PDF-файл с внедренным текстом). Внедренный текст позволяет выполнять поиск глубокого текста в извлеченных содержимом PDF путем перекладывания обнаруженных текстовых сущностей на вершину файлов изображений.

Использование pdf-файлов, доступных для поиска

Чтобы использовать pdf-файл, доступный POST для поиска, выполните запрос с помощью Analyze операции и укажите выходной формат следующим образом pdf:

     POST /documentModels/prebuilt-read:analyze?output=pdf
     {...}
     202

Опрос по завершении Analyze операции. После завершения операции отправьте GET запрос на получение формата Analyze PDF результатов операции.

После успешного завершения PDF-файл можно получить и скачать как application/pdf. Эта операция позволяет напрямую загружать внедренную текстовую форму PDF вместо JSON в кодировке Base64.

     // Monitor the operation until completion.
     GET /documentModels/prebuilt-read/analyzeResults/{resultId}
     200
     {...}

     // Upon successful completion, retrieve the PDF as application/pdf.
     GET /documentModels/prebuilt-read/analyzeResults/{resultId}/pdf
     200 OK
     Content-Type: application/pdf

Параметр Pages

Коллекция страниц — это список страниц в документе. Каждая страница представлена последовательно в документе и включает угол ориентации, указывающий, поворачивается ли страница и ширина и высота (измерения в пикселях). Единицы страниц в выходных данных модели подсчитываются следующим образом:

    # Analyze pages.
    for page in result.pages:
        print(f"----Analyzing document from page #{page.page_number}----")
        print(f"Page has width: {page.width} and height: {page.height}, measured with unit: {page.unit}")

    "pages": [
        {
            "pageNumber": 1,
            "angle": 0,
            "width": 915,
            "height": 1190,
            "unit": "pixel",
            "words": [],
            "lines": [],
            "spans": []
        }
    ]

Использование страниц для извлечения текста

Для больших многостраничных документов используйте параметр запроса pages, чтобы указать конкретные номера страниц или диапазоны страниц для извлечения текста.

Извлечение абзаца

Модель OCR чтения в Document Intelligence извлекает все определенные блоки текста в paragraphs коллекции как объект верхнего уровня в разделе analyzeResults. Каждая запись в этой коллекции представляет текстовый блок и включает извлеченный текст какcontent и ограничивающие polygon координаты. Сведения span указывают на фрагмент текста в свойстве верхнего уровня content , содержающем полный текст документа.

    "paragraphs": [
        {
            "spans": [],
            "boundingRegions": [],
            "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
        }
    ]

Извлечение текста, строк и слов

Модель OCR чтения извлекает печатный и рукописный текст стиля как lines и words. Модель выводит ограничивающие polygon координаты и confidence для извлеченных слов. Коллекция styles включает любой рукописный стиль для строк, если они обнаружены вместе с диапазонами, указывающими на связанный текст. Эта функция применяется к поддерживаемым языкам рукописного ввода.

Для Microsoft Word, Excel, PowerPoint и HTML модель чтения документов версии 3.1 и более поздних версий извлекает весь внедренный текст как есть. Тексты экстракированы как слова и абзацы. Внедренные образы не поддерживаются.

    # Analyze lines.
    if page.lines:
        for line_idx, line in enumerate(page.lines):
            words = get_words(page, line)
            print(
                f"...Line # {line_idx} has {len(words)} words and text '{line.content}' within bounding polygon '{line.polygon}'"
            )

            # Analyze words.
            for word in words:
                print(f"......Word '{word.content}' has a confidence of {word.confidence}")

    "words": [
        {
            "content": "While",
            "polygon": [],
            "confidence": 0.997,
            "span": {}
        },
    ],
    "lines": [
        {
            "content": "While healthcare is still in the early stages of its Al journey, we",
            "polygon": [],
            "spans": [],
        }
    ]

Извлечение стиля рукописного ввода

Ответ включает классификацию текста, является ли каждая строка входного текста рукописной или нет, а также оценку достоверности. Дополнительные сведения см. в статье о поддержке рукописного языка. В следующем примере показан пример фрагмента КОДА JSON.

    "styles": [
    {
        "confidence": 0.95,
        "spans": [
        {
            "offset": 509,
            "length": 24
        }
        "isHandwritten": true
        ]
    }

Если вы включили возможность добавления шрифта и стиля, вы также получите результат шрифта или стиля в составе styles объекта.

Дальнейшие действия версии 4.0

Выполните краткое руководство по анализу документов:

Ознакомьтесь с нашим REST API:

Дополнительные примеры на сайте GitHub:

Это содержимое относится к: версия 3.1 (GA) | Последняя версия: версия 4.0 (предварительная версия) | Предыдущие версии: v3.0

Это содержимое относится к: версии 3.0 (GA) | Последние версии: версии 4.0 (предварительная версия) версии 3.1

Модель оптического распознавания символов чтения документов (OCR) выполняется в более высоком разрешении, чем azure AI Vision Read и извлекает печатный и рукописный текст из документов PDF и сканированных изображений. Она также включает поддержку извлечения текста из документов Microsoft Word, Excel, PowerPoint и HTML. Он обнаруживает абзацы, текстовые строки, слова, расположения и языки. Модель чтения — это базовый механизм OCR для других предварительно созданных моделей аналитики документов, таких как макет, общий документ, счет, квитанция, удостоверение (идентификатор), карточка медицинского страхования, W2 в дополнение к пользовательским моделям.

Что такое OCR для документов?

Оптическое распознавание символов (OCR) для документов оптимизировано для больших текстовых документов в нескольких форматах файлов и глобальных языках. Он включает такие функции, как сканирование изображений документов с более высоким разрешением, чтобы лучше обрабатывать меньший и плотный текст; обнаружение абзаца; и управление заполненными формами. Возможности OCR также включают расширенные сценарии, такие как одинарные поля символов и точное извлечение ключевых полей, часто найденных в счетах, квитанциях и других предварительно созданных сценариях.

Варианты разработки

Аналитика документов версии 3.1 поддерживает следующие средства, приложения и библиотеки:

Аналитика документов версии 3.0 поддерживает следующие средства, приложения и библиотеки:

Требования к входным данным

• Поддерживаемые форматы файлов:

  Модель	PDF	Изображение: JPEG/JPG, , BMPPNGTIFFHEIF	Microsoft Office: Word (), Excel (XLSXDOCX), PowerPoint (PPTX), HTML
  Читать	✔	✔	✔
  Макет	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
  Документ общего назначения	✔	✔
  Готовое	✔	✔
  Настраиваемая функция извлечения	✔	✔
  Настраиваемая классификация	✔	✔	✔ (2024-07-31-preview, 2024-02-29-preview)

• Для получения наилучших результатов предоставьте одну четкую фотографию или скан-копию документа высокого качества.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Размеры изображения должны составлять от 50 пикселей до 50 пикселей и 10 000 пикселей x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту 8 точки в 150 точек на дюйм (DPI).

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

  • Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1 ГБ для нейронной модели.

  • Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1 ГБ не более 10 000 страниц. Для 2024-07-31-preview и более поздних версий общий размер обучающих данных составляет 2 ГБ с максимальным количеством 10 000 страниц.

Начало работы с моделью чтения

Попробуйте извлечь текст из форм и документов с помощью Document Intelligence Studio. Вам потребуются следующие ресурсы:

• Подписка Azure — ее можно создать бесплатно.

• Экземпляр аналитики документов в портал Azure. Вы можете использовать ценовую категорию "Бесплатный" (F0), чтобы поработать со службой. После развертывания ресурса выберите Перейти к ресурсу, чтобы получить ключ и конечную точку.

Пример документа, обработанный с помощью Document Intelligence Studio

1. На домашней странице Document Intelligence Studio выберите "Чтение".

2. Вы можете проанализировать пример документа или отправить собственные файлы.

3. Нажмите кнопку "Выполнить анализ", а при необходимости настройте параметры анализа:

   

   Попробуйте Использовать Document Intelligence Studio.

Поддерживаемые языки и языковые стандарты

См. страницу "Поддержка языка" — модели анализа документов для полного списка поддерживаемых языков.

Извлечение данных

Pdf-файл, доступный для поиска

Возможность PDF с возможностью поиска позволяет преобразовать аналоговый PDF-файл( например, сканированный PDF-файл в PDF-файл с внедренным текстом). Внедренный текст позволяет выполнять поиск глубокого текста в извлеченных содержимом PDF путем перекладывания обнаруженных текстовых сущностей на вершину файлов изображений.

Использование PDF с возможностью поиска

Чтобы использовать pdf-файл, доступный POST для поиска, выполните запрос с помощью Analyze операции и укажите выходной формат следующим образом pdf:

    POST /documentModels/prebuilt-read:analyze?output=pdf
    {...}
    202

Опрос по завершении Analyze операции. После завершения операции отправьте GET запрос на получение формата Analyze PDF результатов операции.

После успешного завершения PDF-файл можно получить и скачать как application/pdf. Эта операция позволяет напрямую загружать внедренную текстовую форму PDF вместо JSON в кодировке Base64.

    // Monitor the operation until completion.
    GET /documentModels/prebuilt-read/analyzeResults/{resultId}
    200
    {...}

    // Upon successful completion, retrieve the PDF as application/pdf.
    GET /documentModels/prebuilt-read/analyzeResults/{resultId}/pdf
    200 OK
    Content-Type: application/pdf

Pages

Коллекция страниц — это список страниц в документе. Каждая страница представлена последовательно в документе и включает угол ориентации, указывающий, поворачивается ли страница и ширина и высота (измерения в пикселях). Единицы страниц в выходных данных модели подсчитываются следующим образом:

    "pages": [
        {
            "pageNumber": 1,
            "angle": 0,
            "width": 915,
            "height": 1190,
            "unit": "pixel",
            "words": [],
            "lines": [],
            "spans": []
        }
    ]

Выбор страниц для извлечения текста

Для больших многостраничных документов используйте параметр запроса pages, чтобы указать конкретные номера страниц или диапазоны страниц для извлечения текста.

Абзацы

Модель OCR чтения в Document Intelligence извлекает все определенные блоки текста в paragraphs коллекции как объект верхнего уровня в разделе analyzeResults. Каждая запись в этой коллекции представляет текстовый блок и включает извлеченный текст какcontent и ограничивающие polygon координаты. Сведения span указывают на фрагмент текста в свойстве верхнего уровня content , содержающем полный текст документа.

    "paragraphs": [
        {
            "spans": [],
            "boundingRegions": [],
            "content": "While healthcare is still in the early stages of its Al journey, we are seeing pharmaceutical and other life sciences organizations making major investments in Al and related technologies.\" TOM LAWRY | National Director for Al, Health and Life Sciences | Microsoft"
        }
    ]

Текст, строки и слова

Модель OCR чтения извлекает печатный и рукописный текст стиля как lines и words. Модель выводит ограничивающие polygon координаты и confidence для извлеченных слов. Коллекция styles включает любой рукописный стиль для строк, если они обнаружены вместе с диапазонами, указывающими на связанный текст. Эта функция применяется к поддерживаемым языкам рукописного ввода.

Для Microsoft Word, Excel, PowerPoint и HTML модель чтения документов версии 3.1 и более поздних версий извлекает весь внедренный текст как есть. Тексты экстракированы как слова и абзацы. Внедренные образы не поддерживаются.

    "words": [
        {
            "content": "While",
            "polygon": [],
            "confidence": 0.997,
            "span": {}
        },
    ],
    "lines": [
        {
            "content": "While healthcare is still in the early stages of its Al journey, we",
            "polygon": [],
            "spans": [],
        }
    ]

Стиль рукописного текста для текстовых строк

Ответ включает классификацию текста, является ли каждая строка входного текста рукописной или нет, а также оценку достоверности. Дополнительные сведения см. в статье о поддержке рукописного языка. В следующем примере показан пример фрагмента КОДА JSON.

    "styles": [
    {
        "confidence": 0.95,
        "spans": [
        {
            "offset": 509,
            "length": 24
        }
        "isHandwritten": true
        ]
    }

Если вы включили возможность добавления шрифта и стиля, вы также получите результат шрифта или стиля в составе styles объекта.

Следующие шаги

Выполните краткое руководство по анализу документов:

Ознакомьтесь с нашим REST API:

Дополнительные примеры на сайте GitHub: