Начало работы с инструментом разработки примеров меток для аналитики документов

Это содержимое относится к:v2.1.

Средство Azure Document Intelligence в Foundry Tools Sample Labeling — это инструмент с открытым исходным кодом, который позволяет протестировать новейшие функции служб интеллектуального анализа документов и оптического распознавания символов (OCR):

• Анализ документов с помощью API макета. Попробуйте использовать API макета для извлечения текста, данных таблиц, меток выделения и структуры из документов.

• Анализ документов с помощью предварительно созданной модели. Начните работу с предварительно созданной моделью для извлечения данных из счетов, чеков, документов, удостоверяющих личность, или визитных карточек.

• Обучение и анализ настраиваемой формы. Используйте пользовательскую модель для извлечения данных из документов с определенными бизнес-данными и в рамках других вариантов использования.

Предварительные требования

Чтобы приступить к работе, вам потребуется следующее:

• Подписка Azure — создайте бесплатную учетную запись

• Ресурс "Инструменты литейного производства" или "Аналитика документов". После получения подписки Azure создайте в портале Azure ресурс Document Intelligence с одной службой или несколькими службами, чтобы получить ключ и конечную точку. Вы можете использовать бесплатный ценовой уровень (F0), чтобы опробовать сервис, а позже перейти на платный уровень для рабочей эксплуатации.

  Совет

  Создайте ресурс Foundry, если планируется получить доступ к нескольким инструментам Foundry под одной конечной точкой/ключом. Только для доступа к аналитике документов создайте ресурс аналитики документов. Обратите внимание, что если вы планируете использовать проверку подлинности Microsoft Entra, вам потребуется один ресурс службы.

Создание ресурса аналитики документов

Перейдите на портал Azure и создайте новый ресурс Document Intelligence . На панели Создать укажите следующие сведения:

Получение ключа и конечной точки

Когда ресурс аналитики документов завершит развертывание, найдите и выберите его из списка всех ресурсов на портале. Ключ и конечная точка находятся на странице "Ключ и конечная точка " ресурса в разделе "Управление ресурсами". Сохраните оба значения во временном расположении перед переходом вперед.

Анализ с помощью предварительно созданной модели

Аналитика документов предлагает несколько предварительно созданных моделей для выбора. Каждая модель имеет собственный набор поддерживаемых полей. Модель, используемая для Analyze операции, зависит от типа документа, который необходимо проанализировать. Ниже приведены готовые модели, поддерживаемые в настоящее время службой аналитики документов:

• Счет — извлекает текст, метки выбора, таблицы, пары "ключ-значение" и ключевые данные из счетов.
• Квитанция — извлекает текст и ключевые данные из квитанций.
• Документ, удостоверяющий личность: извлекает текст и ключевые данные из водительских прав и заграничных паспортов.
• Визитная карточка — извлекает текст и ключевые данные из визитных карточек.

1. Перейдите к средству-примеру для анализа документов.

2. На главной странице примера инструмента выберите плитку Использовать предварительно созданную модель для получения данных.

   

3. Выберите тип формы для анализа из раскрывающегося меню.

4. Выберите URL-адрес для файла, который необходимо проанализировать, в одном из следующих вариантов:

   • Пример документа счета.
   • Пример удостоверения.
   • Пример изображения квитанции.
   • Пример изображения визитной карточки.

5. В поле Источник выберите URL-адрес в раскрывающемся меню, вставьте выбранный URL-адрес и нажмите кнопку Получить.

   

6. В поле Конечная точка службы анализа документов вставьте конечную точку, полученную для вашей подписки на Document Intelligence.

7. В поле ключа вставьте ключ, полученный из ресурса аналитики документов.

   

8. Щелкните элемент Run analysis (Выполнить анализ). Средство разметки примеров для Document Intelligence вызывает API Analyze Prebuilt и анализирует документ.

9. Просмотрите результаты — просмотрите извлечённые пары «ключ — значение», позиции строк, извлечённый выделенный текст и обнаруженные таблицы.

   

10. Скачайте выходной файл в формате JSON для просмотра подробных результатов.

    • Узел readResults содержит каждую строку текста и соответствующее расположение ограничивающего прямоугольника на странице.
    • Узел "selectionMarks" отображает каждую метку выбора (флажок, радиокнопку) и указывает, имеет ли она статус selected или unselected.
    • В разделе pageResults содержатся извлеченные таблицы. Для каждой таблицы извлекаются текст, строка и индекс столбца, объединение строки и столбца, ограничивающий прямоугольник и т. д.
    • Поле documentResults содержит сведения о парах "ключ-значение" и об элементах строк для наиболее релевантных частей документа.

Анализ макета

API макета аналитики документов Azure извлекает текст, таблицы, знаки выделения и сведения о структуре из документов (PDF, TIFF) и изображений (JPG, PNG, BMP).

1. Перейдите к средству-примеру для анализа документов.

2. На домашней странице примера средства выберите Use Layout to get text, tables and selection marks (Использовать макет для получения текста, таблиц и отметок выбора).

   

3. В поле конечной точки службы Аналитики документов вставьте конечную точку, полученную с подпиской на Аналитику документов.

4. В поле ключа вставьте ключ, полученный из ресурса аналитики документов.

5. В поле Источник выберите URL-адрес в раскрывающемся меню, вставьте следующий URL-адрес https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg и нажмите кнопку Получить.

6. Выберите Run Layout. Средство разметки образцов для Интеллектуальной обработки документов вызывает Analyze Layout API и анализирует документ.

   

7. Просмотрите результаты: просмотрите выделенный текст, извлеченный, обнаруженные знаки выделения и обнаруженные таблицы.

   

8. Скачайте выходной файл JSON для просмотра подробных результатов анализа макета.

   • Узел readResults содержит все строки текста и соответствующее расположение ограничивающей рамки на странице.
   • Узел selectionMarks отображает все метки выбора (флажок или радиокнопку), а также то, имеет ли каждая из них состояние selected или unselected.
   • В разделе pageResults содержатся извлеченные таблицы. Для каждой таблицы извлекаются текст, строка и индекс столбца, объединение строки и столбца, ограничивающий прямоугольник и т. д.

Обучить пользовательскую модель форм

Обучите пользовательскую модель анализировать и извлекать данные из форм и документов, относящихся к вашему бизнесу. API — это программа машинного обучения, обученная распознавать поля форм в вашем уникальном контенте и извлекать пары «ключ-значение» и табличные данные. Чтобы приступить к работе, вам потребуется по крайней мере пять примеров одного типа формы, а настраиваемая модель может быть обучена с помощью помеченных наборов данных или без нее.

Требования для обучения модели настраиваемой формы

• Набор данных для обучения в Хранилище BLOB-объектов Azure. Убедитесь, что все обучающие документы имеют одинаковый формат. Если у вас есть формы в разных форматах, рассортируйте их по вложенным папкам соответствующим образом. Для этого проекта можно использовать наш пример набора данных.

• Если вы не знаете, как создать учетную запись хранения Azure с контейнером, обратитесь к краткому руководству по работе со службой хранилища Azure на портале Azure.

• Настройка CORS

  CORS (общий доступ к ресурсам между источниками) необходимо настроить в учетной записи хранения Azure, чтобы она была доступна в Студии аналитики документов. Чтобы настроить CORS в портал Azure, необходимо получить доступ к вкладке CORS учетной записи хранения.

  1. Выберите вкладку CORS для учетной записи хранения.

     

  2. Начните с создания записи CORS в службе BLOB-объектов.

  3. В поле Разрешенные источники введите https://fott-2-1.azurewebsites.net.

     

     Совет

     Можно не указывать домен, а воспользоваться подстановочным знаком *, чтобы разрешить всем исходным доменам делать запросы через CORS.

  4. Выберите все доступные 8 параметров для разрешенных методов.

  5. Утвердите все допустимые и предоставляемые заголовки, введя * в каждом поле.

  6. Установите для параметра Максимальный возраст 120 секунд или любое допустимое значение.

  7. Нажмите кнопку сохранения в верхней части страницы и сохраните изменения.

Используйте инструмент разметки образцов

1. Перейдите к средству-примеру для анализа документов.

2. На главной странице примера инструмента выберите Использовать пользовательскую форму для обучения модели с метками и извлечения пар "ключ — значение".

   

3. Выберите Новый проект

   

Создание нового проекта

Задайте в поля Параметры проекта указанные ниже значения.

1. Отображаемое имя. Присвойте проекту имя.

2. Маркер безопасности. Каждый проект автоматически создает маркер безопасности, который можно использовать для шифрования и расшифровки параметров конфиденциальных проектов. Маркеры безопасности можно найти в параметрах приложения, выбрав значок шестеренки в нижней части левой области.

3. Подключение к источнику. Инструмент разметки образцов подключается к источнику (вашим исходным загруженным формам) и целевому расположению (созданным меткам и выходным данным). Подключения можно настраивать и совместно использовать для нескольких проектов. При этом используется расширяемая модель поставщика, что позволяет легко добавлять новых поставщиков источника и назначения.

   • Создайте новое подключение. Нажмите кнопку "Добавить подключение ". Заполните поля указанными ниже значениями.
   • Отображаемое имя. Назовите соединение.
   • Описание. Добавьте краткое описание.
   • URL-адрес SAS. Вставьте URL-адрес подписи общего доступа (SAS) для контейнера Хранилища BLOB-объектов Azure.

   • Чтобы получить URL-адрес SAS для данных обучения пользовательской модели, перейдите к ресурсу хранилища в портале Azure и выберите вкладку Обозреватель хранилища. Перейдите к своему контейнеру, щелкните его правой кнопкой мыши и выберите Получить подписанный URL-адрес общего доступа. Важно получить SAS для вашего контейнера, а не для самой учетной записи хранения. Убедитесь, что заданы разрешения на чтение, запись, удаление и перечисление, а затем выберите Создать. Затем скопируйте значение из раздела URL во временное место. Оно должно быть в таком формате: https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

     

4. Путь к папке (необязательно). Если исходные формы находятся в папке в контейнере BLOB-объектов, укажите имя папки.

5. URI службы интеллектуальной обработки документов — URL-адрес конечной точки службы интеллектуальной обработки документов.

6. Ключ. Ваш ключ Document Intelligence.

7. Версия API. Сохраните значение v2.1 (по умолчанию).

8. Описание (необязательно). Опишите проект.

   

Создание меток для форм

При создании или открытии проекта открывается главное окно редактора тегов. Редактор тегов разделен на три сегмента.

• Область просмотра с возможностью изменения размера содержит прокручиваемый список форм из подключенного источника.
• Главная панель редактора позволяет применять теги.
• Панель редактора тегов позволяет пользователям изменять, блокировать, переупорядочивать и удалять теги.

Выявление текста и таблиц

Выберите Выполнить анализ непросмотренных документов на панели слева, чтобы получить сведения о тексте и таблицах для каждого документа. Средство маркировки рисует ограничивающие прямоугольники вокруг каждого текстового элемента.

Средство маркировки также показывает, какие таблицы были автоматически извлечены. Щелкните значок таблицы или сетки слева от документа и просмотрите извлеченную таблицу. Так как содержимое таблицы извлекается автоматически, мы не помечаем содержимое таблицы, а не будем полагаться на автоматическое извлечение.

Применение меток к тексту

Затем вы создадите теги (метки) и примените их к текстовым элементам, которые нужно проанализировать моделью. Обратите внимание, что набор данных "Пример метки" содержит уже помеченные поля; мы добавим другое поле.

На панели редактора тегов создайте новый тег, который хотите определять:

1. Щелкните знак плюса (+), чтобы создать новый тег.

2. Введите имя тега Total.

3. Нажмите клавишу ВВОД, чтобы сохранить тег.

4. В главном редакторе выберите общее значение среди выделенных текстовых элементов.

5. Щелкните тег Total, который хотите применить к этому значению, или нажмите соответствующую клавишу на клавиатуре. Цифровые клавиши назначены в качестве горячих клавиш для первых 10 тегов. Чтобы изменить порядок тегов, используйте значки со стрелками вверх и вниз на панели редактора тегов. Выполните следующие действия, чтобы пометить все пять форм в примере набора данных:

   Совет

   При создании меток для форм воспользуйтесь следующими советами:

   • К каждому выбранному текстовому элементу можно применить только один тег.

   • Каждый тег может применяться только один раз на каждую страницу. Если значение встречается несколько раз в одной и той же форме, создайте разные теги для каждого экземпляра. Например: "счет# 1", "счет# 2" и т. д.

   • Теги не могут охватывать несколько страниц.

   • Помечайте значения, отображаемые в форме; не пытайтесь разделить значение на две части двумя разными тегами. Например, поле адреса должно быть помечено одним тегом, даже если оно охватывает несколько строк.

   • Не включайте в поля с тегами ключи — только значения.

   • Данные таблицы должны обнаруживаться автоматически и будут доступны в окончательном выходном JSON-файле в разделе pageResults. Но если модель не сможет обнаружить все данные таблицы, вы можете присвоить метки и обучить модель дополнительно для обнаружения таблиц, как описано в разделе об обучении пользовательской модели и создании меток для форм.

   • Чтобы искать, переименовывать, упорядочивать и удалять теги, используйте кнопки справа от значка +.

   • Чтобы снять примененный тег, не удаляя его, выберите прямоугольник с тегом в представлении документа и нажмите клавишу Delete.

Обучить настраиваемую модель

Щелкните значок "Обучение" на левой панели и откройте страницу обучения. Затем нажмите кнопку Обучение, чтобы начать обучение модели. После завершения процесса обучения вы увидите следующие сведения:

• Идентификатор модели — идентификатор модели, которая была создана и обучена. Каждый вызов обучения создает новую модель с уникальным идентификатором. Скопируйте эту строку в безопасное расположение; Вам потребуется, если вы хотите выполнять прогнозирующие вызовы с помощью REST API или клиентской библиотеки.

• Средняя точность, как характеристика точности модели. Вы можете повысить точность модели, разметив больше форм и переобучив модель, чтобы создать новую модель. Мы рекомендуем начать с присвоения меток пяти документам, затем проанализировать и протестировать результаты и по мере необходимости добавлять дополнительные документы.

• Список тегов и оценка точности для каждого из них. Дополнительные сведения см. в разделе"Интерпретация" и повышение точности и достоверности.

  

Анализ настраиваемой формы

1. Analyze Выберите значок на панели навигации и проверьте модель.

2. Выберите исходный локальный файл. Затем найдите и выберите файл из примера набора данных, который вы ранее распаковали в тестовую папку.

3. Нажмите кнопку Выполнить анализ, чтобы получить прогнозируемые пары «ключ-значение», текст и таблицы для формы. Средство применяет теги в ограничивающих полях и сообщает о достоверности каждого тега.

   

Вот и все! Вы узнали, как использовать пример средства Document Intelligence для готовых, пользовательских моделей и моделей макета. Вы также узнали, как анализировать настраиваемую форму, используя данные, размеченные вручную.

Следующие шаги