Предварительно созданные анализаторы в Azure Content Understanding in Foundry Tools

Предварительно созданные анализаторы Службы "Понимание содержимого Azure" предоставляют набор возможностей извлечения для конкретного домена, которые выходят за рамки предопределенных схем. Они работают на основе баз знаний, содержащих примеры реальных документов. Они понимают структуру и использование информации, адаптацию к нюансам каждого типа контента.

Готовые к использованию анализаторы — это инструменты, которые упрощают распространенные задачи обработки содержимого. Их можно использовать для поглощения контента в рабочих процессах поиска и генерации с расширением поиска (RAG). Их также можно использовать для интеллектуальной обработки документов (IDP) для извлечения данных из счетов или анализа записей центра обработки вызовов. Эти анализаторы также можно использовать в агентических потоках в качестве инструментов для извлечения структурированных представлений из входных файлов. Вы также можете настроить эти анализаторы , чтобы извлечь другие поля или уточнить выходные данные, чтобы лучше соответствовать конкретным требованиям рабочего процесса.

Типы анализаторов

Content Understanding предоставляет несколько категорий анализаторов для поддержки различных сценариев:

• Анализаторы извлечения содержимого — сосредоточьтесь на анализе OCR и макета с постепенно расширенными возможностями извлечения текста, анализа макета и обнаружения штрихкодов.
• Базовые анализаторы — основные возможности обработки содержимого для каждой модальности, используемые в качестве родительских анализаторов при создании пользовательских анализаторов для документов, изображений, аудио и видеоконтента.
• Анализаторы RAG — оптимизированы для сценариев создания семантического анализа и извлечения разметки для приема документов, приложений поиска и баз знаний.
• Анализаторы для конкретного домена — предварительно настроенные анализаторы для общих категорий документов с специализированным извлечением полей для обработки счетов, налоговых форм, проверки идентификатора, ипотечных документов и контрактов.
• Анализаторы служебной программы — специализированные средства для создания схемы и извлечения полей для обнаружения структуры документов и извлечения пар "ключ-значение".

Анализаторы извлечения содержимого

Анализаторы извлечения содержимого сосредоточены на оптическом распознавании символов и анализе макета. Эти анализаторы построены на основе prebuilt-document и обеспечивают постепенно более широкие возможности извлечения.

prebuilt-read

• Извлекает такие элементы содержимого, как слова, абзацы, формулы и штрихкоды из документов.
• Предоставляет основные возможности оптического распознавания символов (OCR).
• Обеспечивает базовое извлечение текста без анализа макета.

Для этой предварительно созданной модели не требуется языковая модель или модель внедрения.

prebuilt-layout

• Извлекает элементы содержимого и макета, такие как слова, цифры, абзацы и таблицы из документов.
• Определяет структуру документов, включая разделы и форматирование.
• Извлекает гиперссылки, внедренные в документы.
• Записывает заметки, такие как выделение, подчеркивание и начерки в цифровых PDF-файлах.
• Предоставляет подробные сведения о макете, которое выходит за рамки просто извлечения текста.
• Обнаруживает типы фигур, включая диаграммы, схемы, рисунки, значки и другие изображения, предоставляя данные о местоположении (только для PDF-файлов).

Для этой предварительно созданной модели не требуется языковая модель или модель внедрения.

Базовые анализаторы

Базовые анализаторы предоставляют основные возможности обработки контента, относящиеся к типу контента. Используйте их в первую очередь в качестве родителя, чтобы наследоваться при создании пользовательских анализаторов. При создании пользовательского анализатора включите один из этих базовых анализаторов с помощью baseAnalyzerId свойства.

• prebuilt-audio — базовая обработка звука
• prebuilt-document — базовая обработка документов
• prebuilt-image — обработка базового образа
• prebuilt-video — базовая обработка видео

Анализаторы генерации с дополненным извлечением (RAG)

Content Understanding предоставляет набор анализаторов, оптимизированных для сценариев генерации, усиленной извлечением (RAG). Эти анализаторы извлекают содержимое в формате markdown и выполняют семантический анализ, чтобы повысить качество извлечения информации для последующих приложений.

prebuilt-documentSearch

• Извлекает различные элементы содержимого и макета, такие как абзацы, таблицы и цифры из документов.
• Предоставляет подробные описания рисунков с текстовыми объяснениями изображений, диаграмм и схем¹.
• Анализирует диаграммы и схемы, предоставляя структурированные выходные данные в виде синтаксиса chart.js для диаграмм или синтаксиса mermaid.js для схем¹.
• Записывает рукописные заметки и разметку в документе.
• Создает сводку по одному абзацу всего содержимого документа.
• Поддерживает широкий спектр форматов файлов , включая PDF, изображения, документы Office и текстовые файлы.
• Рекомендуется для приема документов в рабочих процессах RAG.

¹ Анализ рисунков поддерживается только для форматов PDF-файлов и изображений.

prebuilt-imageSearch

• Анализирует изображения для создания описаний и аналитических сведений.
• Создает одно абзацное описание содержимого изображения.
• Извлекает визуальное содержимое для приложений поиска и извлечения данных.

prebuilt-audioSearch

• Транскрибирует беседы из звуковых и видеофайлов.
• Создает сводку по одному абзацу содержимого беседы.
• Поддерживает несколько локалей для международной обработки содержимого.
• Оптимизировано для анализа бесед и извлечения содержимого.

prebuilt-videoSearch

• Анализирует видео для извлечения расшифровок и описаний для каждого сегмента.
• Автоматически сегментирует видео в значимые разделы на основе смен темы, изменений сцены или визуальных подсказок.
• Создает подробные сводки, ориентированные на людей, места и действия для каждого сегмента.
• Поддерживает разделение сцен и комплексный анализ содержимого видео.
• Предоставляет извлечение расшифровки вместе с контекстными описаниями сегментов.

Анализаторы, относящиеся к домену

Анализаторы, относящиеся к домену, предварительно настроены для распространенных категорий документов в популярных отраслях. Эти анализаторы осуществляют специализированное извлечение полей из документов определённых типов и форматов, основываясь на богатых базах знаний, содержащих реальные примеры.

К ключевым категориям относятся:

• Финансы и налог: извлечение структурированных данных из счетов, квитанций, банковских выписок, выписок по кредитным картам, а также комплексных налоговых форм США, включая формы 1040, W-2, варианты 1099 и серии 1098. Настроенные схемы фиксируют суммы, даты, идентификаторы налогов и финансовые организации. См. разделы финансовых документов и налоговых документов .
• Проверка личности: обработка паспортов, водительских удостоверений, удостоверений личности, карт медицинского страхования и удостоверяющих личность документов из нескольких стран и регионов с prebuilt-idDocument и связанными анализаторами. Извлечение персональных данных, номеров документов и сведений о проверке с поддержкой глобальных форматов. См. раздел "Документы, удостоверяющие личность".
• Ипотека и кредитование: автоматизация извлечения данных из заявлений на ипотеку в США (форма 1003), отчетов об оценке недвижимости (форма 1004), проверки занятости (форма 1005) и раскрытие информации при закрытии сделки. Захват сведений о заемщике, информации о собственности, условиях кредита и финансовых раскрытиях. См. раздел "Ипотечные документы ".
• Закупки и контракты: обработка заказов на покупку, контрактов, документов по закупкам и кредитных записок для извлечения сведений о поставщиках, позициях, цена, условиях и договорных обязательств. Ознакомьтесь с документами о закупкахи юридическими и бизнес-документами .
• Коммунальные услуги и выставление счетов: извлечение структурированных данных из счетов за коммунальные услуги, счетов и платежных документов в различных отраслях, сбор сведений об учетных записях, использовании и платежах. Ознакомьтесь с финансовыми документами и другими специализированными анализаторами.

Полный список анализаторов, относящихся к домену , см. в конце этой статьи.

Анализаторы служебной программы

Анализаторы служебной программы предоставляют специализированные функциональные возможности для создания схемы и извлечения полей.

prebuilt-documentFieldSchema

• Анализирует документы, предлагая соответствующую схему полей
• Полезно для обнаружения структуры в новых типах документов

prebuilt-documentFields

• Извлекает пары "ключ-значение" из документов
• Используется внутренними анализаторами, зависящими от домена, если входные данные не соответствуют ни одной из предопределенных схем (например, prebuilt-idDocument)

Использование предварительно созданных анализаторов

Чтобы проанализировать содержимое с помощью предварительно созданного анализатора, выполните запрос POST к конечной точке анализа:

POST /analyzers/prebuilt-idDocument:analyze

Замените prebuilt-idDocument на идентификатор анализатора, соответствующий вашему сценарию.

Настройка предварительно созданных анализаторов

Используйте любой предварительно созданный анализатор в качестве шаблона для создания пользовательского анализатора, который лучше соответствует вашим потребностям.

Получение определения анализатора

Чтобы получить конфигурацию и схему предварительно созданного анализатора, выполните следующие действия.

GET /analyzers/prebuilt-idDocument

Ответ возвращает определение JSON с параметрами схемы поля и конфигурации. Вы можете изменить это определение и создать собственный анализатор на его основе.

Создание пользовательского анализатора из шаблона

После получения и изменения определения анализатора:

PUT /analyzers/prebuilt-myIdDocument

Включите измененное определение анализатора в текст запроса. Подробные инструкции см. в статье "Создание пользовательского анализатора".

Поведение анализатора блокировки

Определение предварительно созданных анализаторов может измениться в следующей версии API Content Understanding. Чтобы создать стабильную копию предварительно созданного анализатора, который не изменяется с обновлениями API, используйте операции копирования, вызвав его следующим образом:

POST /analyzers/myIdDocument:copy
{
  "source": "prebuilt-idDocument"
}

Эта операция создает новый анализатор с фиксированным определением, скопированным из предварительно созданного анализатора во время операции копирования.

Справочник по анализатору для конкретного домена

В следующих разделах перечислены все доступные анализаторы для конкретной области для специализированной обработки документов. Эти предварительно созданные модели позволяют добавлять интеллектуальную обработку документов для конкретного домена в приложения и потоки без необходимости обучать и создавать собственные модели.

Сведения о поддерживаемых форматах файлов и требованиях к входным данным см. в разделе "Ограничения службы".

Финансовые документы

• prebuilt-invoice - Счета, счета за коммунальные услуги, заказы на продажу, заказы на покупку
• prebuilt-receipt - Квитанции о продажах от розничных и столовых учреждений
• prebuilt-receipt.generic — Общие квитанции о продажах
• prebuilt-receipt.hotel - Квитанции и фолио отеля
• prebuilt-creditCard - Выписки по кредитной карте
• prebuilt-creditMemo - Кредитные записки и документы о возврате средств
• prebuilt-check.us - Проверки банка США
• prebuilt-bankStatement.us - Банковские выписки США

Документы удостоверяющие личность

• prebuilt-idDocument - Водительские лицензии, идентификационные карточки (идентификаторы), разрешения на проживание, паспорта (по всему миру), карты социального страхования (США), военные идентификаторы (США), КАРТЫ PAN (Индия), Аадхаар карты (Индия)
• prebuilt-idDocument.generic — универсальные документы идентификации из различных регионов
• prebuilt-idDocument.passport - Паспортные книги и паспортные карточки (по всему миру)
• prebuilt-healthInsuranceCard.us - Карты медицинского страхования США

Налоговые документы (США)

Формы налога на доходы

• prebuilt-tax.us - Общие налоговые формы США
• prebuilt-tax.us.1040 - Форма 1040 (налог на индивидуальный доход США)
• prebuilt-tax.us.1040Senior - Форма 1040 для старших налогоплательщиков
• prebuilt-tax.us.1040Schedule1 - Дополнительные доходы и корректировки по доходам
• prebuilt-tax.us.1040Schedule2 - Дополнительные налоги
• prebuilt-tax.us.1040Schedule3 - Дополнительные кредиты и платежи
• prebuilt-tax.us.1040Schedule8812 - Кредиты для квалифицированных детей
• prebuilt-tax.us.1040ScheduleA - Постатейные вычеты
• prebuilt-tax.us.1040ScheduleB - Проценты и обычные дивиденды
• prebuilt-tax.us.1040ScheduleC - Прибыль или потеря от бизнеса
• prebuilt-tax.us.1040ScheduleD - Прирост капитала и убытки
• prebuilt-tax.us.1040ScheduleE - Дополнительный доход и потеря
• prebuilt-tax.us.1040ScheduleEIC - Налоговая льгота на заработанный доход
• prebuilt-tax.us.1040ScheduleF - Прибыль или потеря от сельского хозяйства
• prebuilt-tax.us.1040ScheduleH - Налоги на занятость домашних хозяйств
• prebuilt-tax.us.1040ScheduleJ - Доход в среднем для фермеров
• prebuilt-tax.us.1040ScheduleR - Кредит на пожилых людей или инвалидов
• prebuilt-tax.us.1040ScheduleSE - налог на самозанятость

Варианты формы 1099

• prebuilt-tax.us.1099Combo — Объединенные бланки 1099
• prebuilt-tax.us.1099A - Приобретение или отказ от владения обеспеченным имуществом
• prebuilt-tax.us.1099B — Доходы от транзакций брокеров и обменных операций бартером
• prebuilt-tax.us.1099C - Отмена долга
• prebuilt-tax.us.1099CAP - Изменения в структуре корпоративного контроля и капитала
• prebuilt-tax.us.1099DA - Списание долга в результате лишения права выкупа
• prebuilt-tax.us.1099DIV - Дивиденды и дистрибутивы
• prebuilt-tax.us.1099G - Некоторые государственные платежи
• prebuilt-tax.us.1099H - Авансовые платежи по налоговым кредитам на медицинское страхование
• prebuilt-tax.us.1099INT - Процентный доход
• prebuilt-tax.us.1099K — платежная карта и сторонние сетевые транзакции
• prebuilt-tax.us.1099LS - Подлежащая отчетности продажа страхования жизни
• prebuilt-tax.us.1099LTC - преимущества долгосрочного ухода
• prebuilt-tax.us.1099MISC - Прочие доходы
• prebuilt-tax.us.1099NEC - Компенсация для внештатных сотрудников
• prebuilt-tax.us.1099OID - Скидка с первоначальной цены размещения
• prebuilt-tax.us.1099PATR - Налогооблагаемые распределения от кооперативов
• prebuilt-tax.us.1099Q - Платежи из квалифицированных программ образования
• prebuilt-tax.us.1099QA — Выплаты из счетов ABLE
• prebuilt-tax.us.1099R - Распределение от пенсий и аннуитетов
• prebuilt-tax.us.1099S - Доходы от транзакций недвижимости
• prebuilt-tax.us.1099SA — распределения со счета сбережений на здравоохранение (HSA) или медицинского сберегательного счета (MSA)
• prebuilt-tax.us.1099SB - Инвестиции продавца в контракт страхования жизни
• prebuilt-tax.us.1099SSA - Заявление о льготах социального страхования

Варианты формы 1098

• prebuilt-tax.us.1098 - Заявление об ипотечных интересах
• prebuilt-tax.us.1098E - Заявление о проценте на кредит учащихся
• prebuilt-tax.us.1098T - Заявление об обучении

Варианты формы 1095

• prebuilt-tax.us.1095A - Заявление о рынке медицинского страхования
• prebuilt-tax.us.1095C - Медицинское страхование, предоставляемое работодателем

Формы налога на трудоустройство

• prebuilt-tax.us.w2 - Заявление о заработной плате и налоге
• prebuilt-tax.us.w4 — Удостоверение на налоговые удержания сотрудника

Ипотечные документы (США)

• prebuilt-mortgage.us - Общие документы по ипотеке США
• prebuilt-mortgage.us.1003 - Единая жилищная кредитная заявка
• prebuilt-mortgage.us.1004 - Единый отчет об оценке жилых помещений
• prebuilt-mortgage.us.1005 - Проверка занятости
• prebuilt-mortgage.us.1008 — унифицированная сводка по андеррайтингу и передаче документов
• prebuilt-mortgage.us.closingDisclosure - Закрытие раскрытия информации

Юридические и бизнес-документы

• prebuilt-contract - Деловые контракты и соглашения
• prebuilt-marriageCertificate.us - Сертификаты о браке США

Документы о закупках

• prebuilt-procurement - Заказы на покупку, счета и документы, связанные с закупками
• prebuilt-purchaseOrder - Формы заказа на покупку

Другие специализированные анализаторы

• prebuilt-payStub.us - Платёжные ведомости и ведомости о доходах в США
• prebuilt-utilityBill - Счета за коммунальные услуги (электричество, вода, газ, Интернет, телефон)

Дальнейшие шаги

• Попробуйте предварительно созданные анализаторы с помощью REST API
• Настройка предварительно созданных анализаторов