Интерпретация и повышение показателей точности и достоверности модели

Оценка достоверности указывает на вероятность, измеряя степень статистической уверенности, что извлеченный результат обнаружен правильно. Оценочная точность вычисляется путем выполнения нескольких различных сочетаний обучающих данных для прогнозирования помеченных значений. В этой статье вы узнаете, как интерпретировать оценки точности и достоверности и рекомендации по использованию этих показателей для повышения точности и достоверности результатов.

Оценка достоверности

Результаты анализа аналитики документов возвращают оценку достоверности для прогнозируемых слов, пар "ключ-значение", меток выбора, регионов и подписей. В настоящее время оценку достоверности возвращают не все поля документа.

Достоверность поля обозначает предполагаемую вероятность в диапазоне от 0 до 1 того, что прогноз является правильным. Например, значение достоверности 0,95 (95 %) означает, что прогноз, скорее всего, будет верным в 19 из 20 случаев. В сценариях, где точность имеет решающее значение, достоверность может использоваться для определения того, следует ли автоматически принимать прогноз или помечать его для проверки человека.

Предварительно созданная модель счета в Document Intelligence Studio

Улучшение оценок достоверности

После операции анализа просмотрите выходные данные JSON. Изучите значения confidence для каждого результата "ключ — значение" в узле pageResults. Следует также обратить внимание на оценки достоверности в узле readResults, который соответствует операции чтения текста. Достоверность результатов чтения не влияет на достоверность результатов извлечения ключа или значения, поэтому следует проверить оба. Ниже приведено несколько советов.

• Если оценка достоверности для объекта readResults является низкой, повысьте уровень качества входных документов.

• Если оценка достоверности для pageResults объекта низка, убедитесь, что документы, которые вы анализируете, имеют одинаковый тип.

• Попробуйте включить проверку человеком в рабочие процессы.

• Используйте формы, имеющие разные значения в каждом поле.

• Для пользовательских моделей используйте более широкий набор документов для обучения. Более крупный обучающий набор учит модель распознавать поля с большей точностью.

Оценки точности для пользовательских моделей

Выходные данные операции пользовательской build модели (версии 3.0 и выше) или train (версии 2.1) включают оценку точности. Эта оценка представляет способность модели точно прогнозировать отмеченное значение в визуально похожем документе. Точность измеряется в процентном диапазоне от 0% (низкая) до 100 % (высокая). Рекомендуется выбрать значение 80 % или выше в качестве целевого. Для более чувствительных случаев, таких как финансовые или медицинские записи, мы рекомендуем оценить около 100 %. Вы также можете добавить этап проверки человека для проверки более критически важных рабочих процессов автоматизации.

Обученная настраиваемая модель (счет) в Document Intelligence Studio

Интерпретация показателей точности и достоверности для пользовательских моделей

Пользовательские модели шаблонов создают оценку точности при обучении. Документы, проанализированные с помощью настраиваемой модели, дают оценку достоверности для извлеченных полей. При интерпретации оценки достоверности из пользовательской модели следует учитывать все оценки достоверности, возвращаемые из модели. Начнем со списка всех показателей достоверности.

1. Оценка достоверности типов документов: достоверность типа документа является индикатором тесно проанализированного документа, похожего на документы в наборе данных обучения. Если достоверность типа документа низка, это свидетельствует о шаблоне или структурных вариациях в проанализированном документе. Чтобы повысить достоверность типов документов, пометьте документ с определенным вариантом и добавьте его в обучающий набор данных. После переобученной модели необходимо лучше обучить этот класс вариантов.
2. Достоверность на уровне поля: каждое извлеченное поле с меткой имеет связанную оценку достоверности. Эта оценка отражает уверенность модели в позиции извлеченного значения. При оценке показателей достоверности необходимо также взглянуть на базовую достоверность извлечения, чтобы создать исчерпывающую уверенность для извлеченного результата. OCR Оцените результаты извлечения текста или метки выделения в зависимости от типа поля, чтобы создать составную оценку достоверности для поля.
3. Оценка достоверности слов, извлеченных в документе, имеет связанную оценку достоверности. Оценка представляет достоверность транскрибирования. Массив страниц содержит массив слов, и каждое слово имеет связанный диапазон и оценку достоверности. Диапазоны из извлекаемого настраиваемого поля соответствуют диапазонам извлеченных слов.
4. Оценка достоверности выделения: массив страниц также содержит массив меток выделения. Каждая метка выбора имеет оценку достоверности, представляющую достоверность метки выбора и обнаружения состояния выбора. Если помеченное поле имеет метку выбора, выбор настраиваемого поля в сочетании с уверенностью в выборе является точным представлением общей точности достоверности.

В следующей таблице показано, как интерпретировать показатели точности и достоверности для измерения производительности пользовательской модели.

Обеспечение высокой точности модели для пользовательских моделей

Дисперсии в визуальной структуре документов влияют на точность модели. Показатели точности могут быть нестабильными, если анализируемые документы отличаются от используемых для обучения. Не забывайте, что некоторые документы выглядят одинаковыми для людей, но при этом отличаются для моделей ИИ. Ниже приведен список рекомендаций по обучению моделей с максимальной точностью. С их помощью вы сможете создать модель с более высокими показателями точности и достоверности во время анализа и сократить число документов, помеченных для дальнейшего просмотра человеком.

• Убедитесь, что все варианты документов включены в набор данных для обучения. Варианты документов включают различные форматы, например цифровые и отсканированные документы PDF.

• Добавьте по крайней мере пять примеров каждого типа в обучающий набор данных, если предполагается, что модель будет анализировать оба типа PDF-документов.

• Отдельные визуальные типы документов для обучения различных моделей для пользовательских шаблонов и нейронных моделей.

  • Как правило, если после удаления всех введенных пользователем значений документы выглядят похожими, необходимо добавить в существующую модель дополнительные обучающие данные.
  • Если документы не похожи, распределите обучающие данные по разным папкам и обучите отдельную модель для каждого варианта. Затем разные вариации можно объединить в одну модель.

• Убедитесь, что у вас нет лишних меток.

• Убедитесь, что метка подписей и регионов не включает окружающий текст.

Доверие к таблицам, строкам и ячейкам

При добавлении таблицы, достоверности строк и ячеек с 2024-02-29-preview API и далее ниже приведены некоторые распространенные вопросы, которые должны помочь в интерпретации таблиц, строк и показателей ячеек:

Вопрос: Можно ли увидеть высокую оценку достоверности для ячеек, но низкая оценка достоверности для строки?

Ответ. Да. Различные уровни достоверности таблицы (ячейки, строки и таблицы) предназначены для отслеживания правильности прогноза на этом конкретном уровне. Правильно прогнозируемая ячейка, которая принадлежит строке с другими возможными промахами, будет иметь высокую достоверность ячеек, но достоверность строки должна быть низкой. Аналогичным образом правильная строка в таблице с проблемами с другими строками будет иметь высокую достоверность строк, в то время как общая достоверность таблицы будет низкой.

Вопрос. Какова ожидаемая оценка достоверности при слиянии ячеек? Так как слияние приводит к изменению количества столбцов, определенных для изменения, как влияют оценки?

Ответ. Независимо от типа таблицы, ожидание объединенных ячеек заключается в том, что они должны иметь более низкие значения достоверности. Кроме того, ячейка, которая отсутствует (так как она была объединена с соседней ячейкой), должна иметь NULL значение с более низкой достоверности. Сколько меньше этих значений может быть зависит от набора данных обучения, общая тенденция объединения и отсутствия ячейки с более низкими оценками должна храниться.

Вопрос. Что такое оценка достоверности, если значение является необязательным? Следует ли ожидать ячейку со значением NULL и высокой оценкой достоверности, если значение отсутствует?

Ответ. Если обучающий набор данных является представителем необязательности ячеек, он помогает модели знать, как часто значение, как правило, отображается в наборе обучения, и таким образом, что ожидать во время вывода. Эта функция используется при вычислении достоверности прогноза или отсутствия прогноза вообще (NULL). Вы должны ожидать пустое поле с высокой степенью достоверности для отсутствующих значений, которые в основном пусты в наборе обучения.

Вопрос. Как влияют оценки достоверности, если поле является необязательным, а не присутствует или отсутствует? Ожидается ли, что оценка достоверности отвечает на этот вопрос?

Ответ. Если значение отсутствует из строки, ячейка имеет NULL значение и достоверность. Оценка высокой достоверности здесь должна означать, что прогноз модели (от того, что значение не имеет значения), скорее всего, будет правильным. В отличие от этого, низкая оценка должна сигнализировать больше неопределенности от модели (и, следовательно, возможность ошибки, как и значение, пропущенное).

Вопрос. Что должно быть ожиданием доверия к ячейкам и достоверности строк при извлечении многостраничной таблицы с разбиением строки на страницы?

Ответ. Ожидается, что достоверность ячеек будет высокой, а достоверность строк потенциально ниже, чем строки, которые не разделены. Доля разделенных строк в наборе данных обучения может повлиять на оценку достоверности. Как правило, разделенная строка выглядит не так, как другие строки в таблице (таким образом, модель менее уверена, что она правильна).

Вопрос. Для межстраничных таблиц с строками, которые чисто заканчиваются и начинаются с границ страниц, правильно ли предположить, что оценки достоверности согласованы между страницами?

Ответ. Да. Так как строки выглядят похожими в форме и содержимом, независимо от того, где они находятся в документе (или на какой странице), соответствующие оценки достоверности должны быть согласованы.

Вопрос. Что лучше всего использовать новые оценки достоверности?

Ответ. Посмотрите на все уровни достоверности таблиц, начиная с подхода сверху вниз: сначала проверьте достоверность таблицы в целом, а затем детализацию до уровня строки и посмотрите на отдельные строки, наконец, посмотрите на достоверность на уровне ячеек. В зависимости от типа таблицы есть несколько вещей:

Для фиксированных таблиц достоверность на уровне ячеек уже захватывает довольно много информации о правильности вещей. Это означает, что просто перебирать каждую ячейку и смотреть на ее уверенность может быть достаточно, чтобы помочь определить качество прогноза. Для динамических таблиц уровни предназначены для создания на вершине друг друга, поэтому более важным является подход сверху вниз.

Следующий шаг