Заметка о прозрачности и варианты использования для аналитики документов

Что такое заметка о прозрачности?

Система ИИ включает не только технологию, но и людей, которые будут использовать его, людей, которые будут затронуты им, и среды, в которой она развернута. Для создания системы, которая подходит для ее целевой цели, требуется понимание того, как работает технология, ее возможности и ограничения, а также как достичь оптимальной производительности.

Microsoft предоставляет заметки о прозрачности, чтобы помочь вам понять, как работает наша технология ИИ. К ним относятся выборы владельцев системы, которые могут повлиять на производительность и поведение системы, а также о значении комплексного подхода к системе, включая технологию, людей и окружающую среду. При разработке или развертывании собственной системы можно использовать заметки о прозрачности, а также предоставлять им общий доступ к пользователям, которые будут использовать или влиять на систему.

Заметки о прозрачности являются частью более широких усилий по Microsoft по внедрению принципов ИИ на практике. Дополнительные сведения см. в принципах ИИ Microsoft.

Основы аналитики документов

Введение

Аналитика документов осуществляется через набор API и позволяет разработчикам легко извлекать текст, структуру и поля из документов. Он состоит из таких функций, как:

• Читать для извлечения текста.
• Макет и общие документы для структурных аналитических сведений и общих ке-значений и сущностей, таких как имена, места и вещи.
• Предварительно созданные модели для определенных типов документов, таких как счета, квитанции, визитные карточки, W2s и идентификаторы.
• Настраиваемые модели для создания моделей по типам документов.

Аналитика документов поддерживает один или несколько языков и языковых стандартов для каждой функции, как указано в статье "Поддерживаемые языки ".

Ключевые термины

Возможности

Системное поведение

Azure Аналитика документов в средстве Foundry — это облачное средство Foundry, созданное с помощью оптического распознавания символов (OCR), Анализ текста и пользовательского текста из средств Foundry. Пользовательские модели в настоящее время используют модель GPT-3.5 службы Azure OpenAI. OCR используется для извлечения шрифтов и рукописных текстовых документов. Аналитика документов использует OCR для обнаружения и извлечения информации из форм и документов, поддерживаемых ИИ, чтобы обеспечить большую структуру и информацию для извлечения текста.

Варианты использования

Предполагаемое использование

Аналитика документов включает функции, позволяющие клиентам из различных отраслей извлекать данные из своих документов. Ниже приведены примеры соответствующих вариантов использования.

• Счета к оплате: Компания может повысить эффективность клерков, занимающихся расчетами по счетам, с помощью предварительно созданной модели счета и пользовательских форм для ускорения записи данных счета с участием человека. Предварительно созданная модель счета может извлекать ключевые поля, такие как "Итог счета " и "Адрес доставки".

• Обработка страховых форм: Клиент может обучить модель с использованием пользовательских форм для извлечения пар "ключ-значение" в страховых формах, а затем передавать данные в свой бизнес-поток, чтобы повысить точность и эффективность процесса. Для уникальных форм клиенты могут создавать собственную модель, извлекающую ключевые значения с помощью пользовательских форм. Затем эти извлеченные значения становятся практическими данными для различных рабочих процессов в своей бизнес-среде.

• Обработка банковских форм: Банк может использовать предварительно созданную модель идентификаторов и пользовательские формы для ускорения ввода данных для документации "know your customer", или для ускорения ввода данных для пакета ипотеки. Если банку требуется, чтобы клиенты отправляли личную идентификацию в рамках процесса, предварительно созданная модель идентификаторов может извлекать ключевые значения, такие как "Имя " и "Номер документа", ускоряя общее время ввода данных.

• Автоматизация роботизированных процессов (RPA): С помощью пользовательской модели извлечения клиенты могут извлекать определенные данные из различных типов документов. Затем извлеченные пары "ключ-значение" можно ввести в различные системы, такие как базы данных или системы CRM, с помощью RPA, заменяя ввод данных вручную. Клиенты также могут использовать пользовательскую модель классификации для категоризации документов на основе их содержимого и их размещения в нужном месте. Таким образом, упорядоченный набор данных, извлеченных из пользовательской модели, может быть важным первым шагом для документирования сценариев RPA для предприятий, которые регулярно обрабатывают большие объемы документов.

Рекомендации при выборе других вариантов использования

При выборе варианта использования учитывайте следующие факторы:

• Тщательно рассмотрите возможность применения человеческой проверки при использовании конфиденциальных данных или сценариев: важно включить ручную проверку при работе с сценариями с высоким риском (например, влияющими на чьи-то значимые права) или конфиденциальными данными. Модели машинного обучения не идеальны. Внимательно рассмотрим, когда следует включить шаг проверки вручную для определенных рабочих процессов. Например, проверка личности в порту входа, например аэропортов, должна включать в себя контроль над человеком.

• Внимательно учитывайте при использовании для присуждения или отказа в предоставлении льгот: аналитика документов не была разработана или оценена для присуждения или отказа в предоставлении льгот, и использование в этих сценариях может иметь непредвиденные последствия. К этим сценариям относятся:

  • Медицинское страхование: это будет включать использование медицинских записей и медицинских рецептов в качестве основы решений о страховой награде или отказе.
  • Утверждения кредитов: к ним относятся заявки на новые кредиты или рефинансирование существующих.

• Внимательно рассмотрите поддерживаемые типы документов и языковые стандарты: предварительно построенные модели имеют предопределенный список поддерживаемых полей и создаются для определенных языковых стандартов. Обязательно тщательно проверьте официально поддерживаемые языковые стандарты и типы документов, чтобы обеспечить наилучшие результаты. Например, см. специальные настройки квитанций в системе Document Intelligence.

• Юридические и нормативные аспекты: организациям необходимо оценить потенциальные определенные юридические и нормативные обязательства при использовании любых средств и решений Foundry, которые могут быть не подходящими для использования в каждой отрасли или сценарии. Кроме того, средства и решения Foundry не предназначены для использования и не могут использоваться способами, запрещенными в применимых условиях обслуживания и соответствующих кодексах поведения.

Ограничения

Технические ограничения, операционные факторы и диапазоны

Предварительно созданные ограничения модели

Предустановленные модели для аналитики документов используются для обработки определенных типов документов и предобучены на тысячах форм. Эта возможность позволяет разработчикам приступить к работе и получить результаты в течение нескольких минут без необходимых обучающих данных или меток. Для предварительно созданных моделей важно отметить список входных требований, поддерживаемых типов документов и языковых стандартов для каждой предварительно созданной модели для оптимальных результатов. Например, ознакомьтесь с предварительно созданными требованиями к входным данным счета.

Ограничения пользовательской модели

Пользовательские модели аналитики документов обучаются с использованием ваших собственных данных, чтобы модель могла адаптироваться к вашим конкретным формам и документам. Эта возможность сильно зависит от способа маркировки данных, а также типа предоставленного набора данных обучения. Для пользовательских моделей важно отметить ограничения размера набора данных обучения, ограничения страниц документа и минимальное количество примеров, необходимых для каждого типа документа. В настоящее время пользовательские модели используют модель GPT-3.5 от сервиса Azure OpenAI. Дополнительные сведения о моделях Azure OpenAI можно найти в заметке о прозрачности Azure OpenAI.

На странице ограничений службы содержатся дополнительные сведения о квотах и ограничениях службы аналитики документов для всех ценовых категорий. Он также содержит ограничения модели и лучшие практики по использованию модели, а также методы избежания ограничения скорости запросов.

Поддержка функций

См. таблицу функций анализа для списка различных операций, которые могут выполнять модели аналитики документов.

Производительность системы

Точность

Текст состоит из строк и слов на базовом уровне и сущностях, таких как имена, цены, суммы, имена компаний и продукты на уровне понимания документов.

точность на уровне слова

Популярной мерой точности для OCR является ошибка на слово (WER), то есть количество слов, которые были неправильно выведены в извлеченных результатах. Чем ниже WER, тем выше точность.

WER определяется следующим образом:

Где:

Использование значения достоверности

Как описано в предыдущем разделе, служба предоставляет значение достоверности для каждого прогнозируемого слова в выходных данных OCR. Клиенты используют это значение, чтобы настроить пользовательские пороговые значения для их содержимого и сценариев, чтобы маршрутизировать содержимое либо для прямой обработки, либо для передачи в процесс с участием человека. Полученные измерения определяют точность конкретного сценария.

Последствия для производительности системы OCR могут отличаться в сценариях, в которых применяется технология OCR. Мы рассмотрим несколько примеров, чтобы проиллюстрировать это понятие.

• Соответствие медицинских устройств. В этом первом примере многонациональная фармацевтическая компания с разнообразным портфелем продуктов патентов, устройств, лекарств и лечения должна анализировать информацию о этикетке продукта и результаты анализа, соответствующие FDA. Компания может предпочесть низкий порог значения доверия для применения системы "человек в цикле," так как стоимость ошибочно извлеченных данных может оказать значительное влияние на потребителей и привести к штрафам со стороны регулирующих учреждений.
• Обработка изображений и документов: в этом втором примере компания выполняет обработку страховых и кредитных приложений. Клиент, использующий OCR, может предпочесть порог средней достоверности, так как автоматическое извлечение текста интегрируется в общий поток с другими источниками информации и этапами с участием человека для комплексного обзора приложений.
• Модерация содержимого: Для большого объема данных каталога электронной коммерции, импортированных от поставщиков в большом масштабе, клиент может предпочесть высокий порог достоверности с высокой точностью, так как даже небольшой процент ложно помеченного содержимого может привести к значительным нагрузкам на команды по человеческому анализу и на поставщиков.

Точность на уровне документа и сущностей

На уровне документа, например, в случае счета или квитанции, ошибка даже в одном символе во всем документе может быть оценена как незначительная. Но если эта ошибка находится в тексте, представляющего платную сумму, весь счет или квитанция могут быть помечены как неверные.

Еще одна полезная метрика — частота ошибок сущности (EER). Это процент неправильно извлеченных сущностей, таких как имена, цены, суммы и номера телефонов, из общего числа соответствующих сущностей в одном или нескольких документах. Например, для общей сложности 30 слов, представляющих 10 имен, 2 неправильных слова из 30 равно 0,06 (6%) WER. Но если это приводит к тому, что 2 из 10 имен неправильные, показатель EER для имени равен 0,20 (20%), что гораздо выше, чем WER.

Измерение точности документации как по показателю WER, так и EER — полезное упражнение для получения полноценного представления о точности понимания документов.

Рекомендации по улучшению производительности системы

Рассмотрим следующие моменты об ограничениях и производительности:

Служба поддерживает изображения и документы. Допустимые ограничения для количества страниц, размеров изображений, размеров бумаги и размеров файлов см. в разделе "Что такое аналитика документов?".

• Многие переменные могут повлиять на точность результатов OCR, от которых зависит аналитика документов. К этим переменным относятся качество сканирования документов, разрешение, контрастность, условия света, поворот и текстовые атрибуты, такие как размер, цвет и плотность. Например, рекомендуется, чтобы изображение было не менее 50 x 50 пикселей. Ознакомьтесь с характеристиками продукта и протестируйте службу на ваших документах, чтобы убедиться в соответствии вашей ситуации.
• Обратите внимание на ограничения каждой службы в отношении поддерживаемых входных данных, языков, локалей и типов документов. Например, обратитесь к поддерживаемым языкам макета.

Рекомендации по улучшению качества пользовательской модели

При использовании пользовательской модели Document Intelligence вы предоставляете собственные обучающие данные, чтобы модель могла обучаться вашим конкретным формам и документам. В этом списке используется пользовательская модель формы, чтобы поделиться основными советами по улучшению качества вашей модели.

• Для заполненных форм используйте примеры, в которых все поля заполнены.
• Используйте формы с реальными значениями, которые вы ожидаете видеть для каждого поля.
• Если изображения формы имеют более низкое качество, используйте более крупный набор данных (например, не менее 10–15 изображений).

Полные инструкции и требования к входным данным см. в разделе "Создание набора обучающих данных для пользовательской модели".

Оценка аналитики документов

Производительность аналитики документов зависит от реальных решений, для которых она реализована. Чтобы обеспечить оптимальную производительность в своих сценариях, клиенты должны проводить собственные оценки. Служба предоставляет значение достоверности в диапазоне от 0 до 1 для каждого извлеченного слова и сопоставления ключ-значение. Клиенты должны запустить пилотный проект или доказательство концепции, представляющей свой вариант использования, чтобы понять диапазон значений достоверности и качество извлечения из аналитики документов. Затем они могут оценить пороговые значения достоверности для результатов, которые будут отправлены для прямой обработки (STP) или проверены человеком. Например, клиент может отправлять результаты с значениями достоверности, превышающими или равными 80 для прямой обработки, и применять проверку человека к результатам с значениями достоверности меньше 80.

Оценка и интеграция интеллектуальных систем обработки документов для вашего использования

Microsoft хочет помочь вам ответственно разрабатывать и развертывать решения, использующие аналитику документов. Мы принимаем принципиальный подход к поддержанию личных возможностей и достоинства, учитывая справедливость систем ИИ, надежность и безопасность, конфиденциальность, включённость, прозрачность и подотчетность человека. Эти соображения соответствуют нашей приверженности разработке ответственного искусственного интеллекта.

Когда вы готовитесь к развертыванию продуктов или функций, на основе искусственного интеллекта, следующие действия помогут настроить вас для успешного выполнения:

• Понять, что это может сделать: Полностью оцените потенциал аналитики документов для понимания его возможностей и ограничений. Узнайте, как он будет выполняться в определенном сценарии и контексте. Например, если вы используете предварительно созданную модель счета, проверьте с помощью реальных счетов из бизнес-процессов для анализа и оценки результатов по существующим метрикам процесса.

• Уважайте право человека на конфиденциальность: Собирайте данные и сведения от физических лиц только для законных и оправданных целей. Используйте только данные и сведения, которые у вас есть согласие на использование для этой цели.

• Юридическая проверка: Получите соответствующую юридическую проверку, особенно если планируете использовать ее в конфиденциальных или высокориском приложениях. Узнайте, какие ограничения могут потребоваться для работы, и ваша ответственность за решение любых проблем, которые могут возникнуть в будущем.

• Человек в контуре: Поддерживайте участие человека в контуре и внедряйте человеческий надзор как область для постоянного изучения. Это означает обеспечение постоянного человеческого контроля над продуктом или компонентом на основе искусственного интеллекта, а также поддержание роли человека в принятии решений. Убедитесь, что у вас есть возможность обеспечить вмешательство человека в режиме реального времени в решение, чтобы предотвратить вред. Участие человека позволяет вам управлять ситуациями, когда интеллектуальные технологии обработки документов не выполняют свои функции должным образом.

• Безопасности: Убедитесь, что решение безопасно и имеет надлежащие элементы управления, чтобы сохранить целостность содержимого и предотвратить несанкционированный доступ.

Рекомендации по сохранению конфиденциальности

Успешный подход к конфиденциальности наделяет людей информацией и обеспечивает возможность контроля и защиты для сохранения их конфиденциальности.

• Если аналитика документов является частью решения, предназначенного для включения персональных данных (PII), тщательно подумайте о том, следует ли записывать эти данные и как записывать эти данные. Следуйте применимым национальным и региональным нормативным актам о конфиденциальности и конфиденциальных данных.
• Руководители конфиденциальности должны учитывать политики хранения извлеченных текста и значений, а также базовые документы или изображения этих документов. Политики хранения будут привязаны к предполагаемому использованию каждого приложения.

Дополнительные сведения об ответственном ИИ

• Принципы Microsoft ИИ
• Ресурсы Microsoft по ответственному использованию ИИ
• Microsoft Azure учебные курсы по ответственному ИИ

Дополнительные сведения об аналитике документов

• Обзор аналитики документов
• Данные, конфиденциальность и безопасность для аналитики документов