Использование критериев оценки

Беседы: Применяется к: только для Dynamics 365 Contact Center

Случаи: применяется только к Dynamics 365 Customer Service

В этой статье объясняется, как использовать, редактировать и расширять критерии оценки, включая рекомендации по созданию четких и практических инструкций. Узнайте, как использовать встроенные критерии, настраивать планы оценки и оптимизировать оценки качества для вашей организации.

Prerequisites

• Включите оценку качества.
• Назначьте необходимые роли и привилегии.
• Настройте кредиты Microsoft Copilot.
• Предоставьте согласие на потенциальное перемещение данных по регионам.

Используйте встроенные критерии оценки

В качестве оценщика качества вы можете использовать или скопировать стандартные критерии оценки, создать новые критерии оценки и изменить опубликованные критерии оценки.

• Используйте критерии качества поддержки или закрытых бесед по умолчанию.

Чтобы просмотреть критерии оценки, выполните следующие действия.

1. На карте сайта рабочей области службы Copilot перейдите к разделу Критерии оценки.

2. На странице критериев оценки выберите критерии оценки вне поля, чтобы просмотреть сведения.

Создание критериев оценки

Ознакомьтесь с [ограничениями] и рекомендациями по критериям оценки при создании критериев оценки.

1. На странице критериев оценки нажмите кнопку "Создать".

2. На странице «Новые критерии оценки», в разделе «Детали критерия», введите название и описание критерия.

3. Включите переключатель «Критерии подсчёта очков », чтобы включить подсчёт по критериям.

4. Включите переключатель «Разрешить оценку» для вопроса , чтобы определить веса для каждого вопроса в разделе.

5. Выберите язык в раскрывающемся списке "Язык ". По умолчанию все существующие критерии находятся на английском языке. Вы не можете изменить формулировку после сохранения критерия, даже в состоянии Draft . Результаты оценки возвращаются на том же языке.

6. В разделе Инструкции на уровне формы добавления введите инструкции, если они есть.

7. В разделе 1 введите следующие сведения:

   1. Название раздела: Введите имя.

   2. Описание: введите описание.

   3. Вес раздела (%): назначьте вес критериям оценки. Общий вес между разделами должен иметь значение 100%.

8. Выберите добавить вопрос , если хотите добавить вопрос.

   Для каждого вопроса введите следующие данные:

   1. Выберите тип ответа: выберите из параметров: "Да/нет", "Несколько выбор", "Одиночный" или " Описательный".

   2. Текст вопроса формы: введите текст вопроса формы.

   3. Добавьте инструкции на уровне вопроса: введите инструкции по вопросу, если таковые есть. Инструкции помогут создать ответы на оценку и повысить точность.

   4. Выберите ответ искусственного интеллекта, чтобы разрешить ИИ прогнозировать ответ на этот вопрос. Если этот параметр не выбран, ИИ не обрабатывает входные данные или возвращает ответ. Создание оценки не удается, если в критериях нет вопросов с поддержкой ИИ для выбранного режима в плане оценивания.

   • Режим агента ИИ: Все вопросы должны включать поддержку ИИ. Редактирование вручную запрещено.
   • Режим поддержки искусственного интеллекта: по крайней мере один вопрос должен использовать ИИ.

   Это требование применяется как к оценкам по запросу, так и к планам оценки.

   1. В зависимости от типа ответа выберите Включить оценивание для добавления оценки. Отключите переключатель оценки, если вы не хотите создавать критерии с оценкой.

   2. Выберите "Пометить как критический вопрос ", если вы хотите, чтобы вопрос был помечен как критический.

9. Для вариантов ответов, в зависимости от выбранного типа ответа, появляются варианты ответов. Укажите инструкции на уровне ответов при необходимости. Если вы отметили вопрос как критический, необходимо выбрать параметр Отметить как неудачу для ответа, чтобы избежать ошибок.

   При необходимости можно удалить или дублировать раздел или вопрос.

10. Выберите Сохранить, затем выберите Опубликовать.

Определите баллы для ваших критериев оценки

Оценка качества использует взвешенную модель оценки, которая рассчитывает баллы на уровне вопроса, агрегирует их в баллы по секциям, а затем объединяет эти баллы для определения общего балла оценки.

Каждая оценка построена на следующих уровнях:

Оценка секций

Вклад секции в общий балл зависит от веса секции и оценок вопросов в этой секции.

Равномерное распределение (по умолчанию): Если вы не настраиваете веса на уровне вопроса, модель равномерно распределяет вес раздела по всем вопросам раздела. Модель вычисляет оценку раздела по следующей формуле:

Оценка секции = Среднее количество баллов по всем вопросам × Процент веса секции

Вес на уровне вопроса

При настройке весов на уровне вопроса система рассчитывает баллы, используя заданный вес каждого вопроса. Такой подход позволяет организациям придавать большее значение конкретным вопросам, основанным на бизнес-требованиях. Взвешенные баллы по вопросам затем агрегируются для расчёта баллов по разделу и общей оценки.

При включении весовых коэффициентов на уровне вопросов:

• Каждый раздел по-прежнему должен иметь общий процентный вес раздела.
• Вы можете присвоить конкретные проценты веса для отдельных вопросов в разделе.
• Совокупный вес всех вопросов в разделе не может превышать отданный ему вес.
• Сообщения валидации появляются, когда общий вес вопросов превышает предел веса раздела.

Оценка вопросов: каждый вопрос даёт балл от 0 до 100. Метод подсчёта очков зависит от типа вопроса.

• Для вопросов с «да/нет » и с единственным ответом :

  • Правильный ответ даёт 100 очков.
  • Неправильный ответ — 0 баллов.

• Для вопросов с множественным выбором:

  • Все значения множества опционов в вопросе должны быть ровно 100.
  • Счёт по вопросу равен сумме баллов за выбранные ответы, ограниченной 100.
  • Неправильный выбор не снижает результат. Штрафов нет.

• Для вопросов с одиночным выбором:

  Вопросы с одиночным выбором позволяют оценщикам выбрать один вариант из заранее определённого списка. Руководители присваивают каждому варианту балл (от 0 до 100), и выбранный вариант определяет результат вопроса. Очки опционов не обязательно должны суммироваться до 100.

  Example:

  Отлично = 100 Хорошо = 75 Требует улучшения = 50 Плохо = 0

  Если выбрать Good, результат на вопрос составляет 75/100.

  • Для описательных вопросов оценки нет.

Общий балл оценки

Общий балл оценки — это сумма всех баллов по секциям.

Общий балл = Сумма всех баллов секций из 100

Оценка с расширенными критериями

Расширенные критерии (дочерние критерии) позволяют организациям обеспечивать общий базовый уровень оценки, одновременно позволяя отдельным бизнес-единицам добавлять собственные вопросы по оценке.

Когда оценка соответствует расширенным критериям, балл рассчитывается в двух частях:

• Оценка родительского раздела: оценивается с использованием стандартной логики оценки разделов и вопросов на основе исходных критериев.
• Оценка детской порции: рассчитывается с использованием стандартного раздела и логики оценки вопросов из расширенных критериев.

На уровне расширенных критериев администраторы назначают процентный вес родительскому элементу и процентный вес дочернему элементу. Вес родителя и ребёнка должен составлять 100%.

Итоговый балл = (Балл по доле родителя × Процент веса родителя) + (Балл по долею ребёнка × Процент веса ребёнка)

Пометить вопрос как критически важный

Включите Отметить как критический вопрос, чтобы обозначить вопрос как критически важный в рамках критерия. Критические вопросы выделяют обязательные требования, такие как соответствие, безопасность или обязательные шаги процесса, которые не должны быть пропущены.

Если на критический вопрос дается ответ 'неудача', то вся оценка или моделирование считаются неуспешными. Можно пометить несколько вопросов как критически важные в рамках критериев, но каждый критический вопрос должен иметь по крайней мере один параметр сбоя. Если нет, появится ошибка. Оценка не изменяется, когда критически важный вопрос приводит к провалу проверки.

Во время моделирования и оценки результаты указывают, привел ли критический вопрос к сбою. Критически важные сведения о вопросе отображаются как на уровне сводки оценки , так и на отдельном уровне вопроса на боковой панели. Кроме того, сетка оценки также содержит столбец, определяющий оценки, которые не удалось выполнить из-за критического вопроса.

В следующих примерах показаны вопросы, в которых сбой должен немедленно завершиться сбоем всей оценки:

• Было ли выбрано правильное действие, когда система запросила проверку на соответствие? (Сбой, если выбрано неверное действие.)

• Получено ли согласие клиента перед записью звонка? (Сбой, если согласие не было явно подтверждено.)

Изменение опубликованных критериев оценки

Вы можете скопировать стандартные критерии оценки или создать новые критерии оценки, а затем внести правки.

Чтобы изменить опубликованные критерии оценки, выполните следующие действия.

1. На карте сайта Copilot Service Workspace перейдите в раздел Критерии оценки.
2. На странице критериев оценки выберите нужные критерии оценки.
3. На выбранной странице критериев оценки нажмите кнопку "Изменить".
4. Сохраните изменения. Критерии сохраняются в виде черновика. Вы также можете вернуться к опубликованным критериям на этом этапе.
5. Опубликуйте изменения.

Управление версиями критериев оценки

Каждое действие по редактированию и публикации увеличивает версию с критериями оценки. Для новых оценок всегда используется последняя опубликованная версия. Руководители могут просматривать предыдущие версии, восстанавливать любую версию, чтобы сделать ее текущей, или отменить черновик изменений по мере необходимости.

1. Выберите исходные критерии и перейдите на вкладку Журнал версий, чтобы просмотреть версии и номера версий вместе с последними данными, которые могут быть добавлены в критерии.
2. Выберите «Запись », чтобы перейти в конкретную версию и просмотреть детали только для чтения.
3. Выберите "Восстановить или опубликовать" , чтобы повторно опубликовать выбранную версию в качестве последней. Это действие отменяет текущий черновик и увеличивает номер версии опубликованных критериев.

Для отслеживания версий можно также добавить столбец Version в сетку оценки. Дополнительные сведения см. в разделе "Оценки".

Создание и запуск имитации

Перед запуском симуляции необходимо включить поток симуляции QEA . Дополнительные сведения см. в разделе "Настройка ссылок на подключения".

Руководители могут выбирать любые критерии в статусе «Черновик» или «Опубликовано» и запускать имитационное тестирование с реальными данными по обращениям и разговорам, чтобы предварительно просматривать результаты прогнозирования оценки качества.

Чтобы создать и запустить имитацию, выполните следующую команду:

1. Выберите критерии и нажмите кнопку "Создать имитацию".
2. На странице «Новые критерии симуляции », вкладке «Общие условия», раздел обзора симуляции , введите следующую информацию:
   1. Название критерия: Введите имя.
   2. Тип записи: выберите обращение или переписку.
   3. Версия условий: выберите версию опубликованных условий. Критерии в состоянии Черновик не имеют назначенной версии.
3. Условия. Выберите условия для запуска имитации. По умолчанию моделирование выполняется на 25 последних записях, которые соответствуют выбранным условиям.
4. Сохраните изменения.
5. Выберите "Выполнить имитацию". Создается запись симуляции критериев.
6. Перейдите на вкладку "Результаты моделирования ", чтобы просмотреть результаты моделирования.

Вы также можете просмотреть сведения о симуляции на вкладке Запуск симуляции ваших условий. Вы можете просмотреть такие сведения, как версия критерия оценки, тип записи, состояние и созданные данные.

1. Выберите запись имитации, которая находится в состоянии "Завершено ".
2. На странице записи моделирования выберите вкладку "Результаты моделирования", а затем выберите необходимый результат моделирования для просмотра прогноза, выполняемого оценкой качества на боковой панели.

Руководители могут просматривать результаты моделирования. Результаты не влияют на записи или метрики качества, поэтому вы можете проверить и уточнить критерии перед публикацией. Каждая имитация использует кредиты Microsoft Copilot.

Расширение критериев оценки

После того как вы создаёте исходные критерии для вашего бизнес-подразделения, вы можете расширить критерии под требования вашей организации. Обновления исходных условий автоматически отображаются во всех расширенных критериях. Выберите любые пользовательские критерии оценки в опубликованном состоянии как исходные критерии для расширения.

1. Выберите условия и выберите критерии расширения. Откроется страница "Новые расширенные критерии оценки ".

2. В разделе сведений о расширенных критериях введите следующие сведения:

   1. Название критерия: Введите имя.

   2. Описание. Укажите описание. Чтобы указать собственные инструкции, отключите переключатель "Использовать исходные инструкции ". Чтобы использовать исходные инструкции, включите переключатель " Использовать исходные инструкции ".

   3. Расширенный вес оценки: если исходные критерии оценки включены, укажите расширенный вес оценки.

   4. Вес оценки источника: автоматически вычисляется в зависимости от расширенных критериев оценки.

3. Выберите "Добавить вопрос" , чтобы добавить вопросы в расширенные критерии.

4. Выберите Сохранить, затем выберите Опубликовать.

   Замечание

   • Данные о критериях источника на странице расширенных критериев не подлежат редактированию. Однако при внесении обновлений в исходные критерии расширенные критерии также обновляются.
   • Оценка условий отражает выбор, сделанный в исходном критерии.
   • Нельзя расширять стандартные критерии. Например, качество поддержки.

Скопируйте стандартные критерии оценки для кейсов и разговоров

1. Выберите галочку по стандартным критериям, а затем выберите «Копировать». Вы получаете копию заранее заполненной формы стандартных критериев в качестве источника. При необходимости можно вносить изменения.

2. Выберите «Сохранить» после завершения правки.

Рекомендации по критериям оценки

• Инструкции уровня критериев: Определите инструкции, применимые ко всем критериям оценки. Включите комплексные цели, ожидания и ограничения, чтобы управлять поведением оценки по всем вопросам и ответам.

• Инструкции на уровне вопроса: укажите конкретные инструкции для каждого вопроса, чтобы помочь создать точные ответы на оценку. Эти инструкции относятся только к вопросу и не влияют на другие части оценки.

  • Текст вопроса: Определите каждый вопрос оценки, чтобы оценить единственную, четко определенную цель и обеспечить ясность и прямое согласование с вариантами ответа.

  • Держите вопрос конкретным: используйте конкретные вопросы, чтобы сохранить оценки сосредоточенными и точными. Например,

    Избегать	Предпочитать
    Правильно ли обрабатывается обмен данными?	Было ли отправлено электронное письмо о полном решении проблемы?
    Правильно ли обработано дело?	Содержит ли ответ все необходимые сведения?

• Инструкции на уровне ответа. Включите инструкции для каждого варианта ответа, чтобы уточнить намерение и контекст ответа.

  • Явно определите условия ответа: избегайте двойных отрицательных значений. Условия государства как прямые истины. Ответьте "Да", если хотя бы одно из следующих условий истинно.
  1. [условие A]
  2. [условие B]
  3. [условие C]
  • Варианты ответов: четко определяют параметры ответа, особенно для вопросов с несколькими вариантами или типами списка. Убедитесь, что вы включаете резервные параметры для обработки неоднозначных или непредвиденных ответов. Условия ответа явные без двойных отрицательных значений.

• Ясность повышает точность: используйте точные и подробные инструкции, чтобы повысить точность оценки. Избегайте расплывчатых языков и убедитесь, что все инструкции являются явными, контекстными и практическими.

• Сначала укажите правила исключения: укажите, что следует игнорировать, прежде чем определять, что следует оценивать. Не учитывайте [исключенные типы записей] в качестве доказательства, даже если они упоминают или описывают [соответствующую информацию].

• Укажите точный источник данных: назовите точный тип записи. Основано только на [конкретном типе записи] от [конкретного субъекта].

  • Требовать доказательства из источника: убедитесь, что доказательства проверены на основе фактической записи, а не выводимых из исключенных источников.

Ограничения для критериев оценки

Ограничения вопросов

• По умолчанию каждый критерий оценки может включать до 50 вопросов. Это ограничение распространяется на весь критерий, а не на каждый раздел.
• Вы можете распределять вопросы по секциям в любой комбинации, если общее количество вопросов не превышает 50.
• Когда достигнете предела:
  • Нельзя добавлять или дублировать вопросы.
  • Вы не можете добавлять или дублировать разделы, если это превысит лимит.

Ограничения символов для содержимого условий

Следующие ограничения символов для каждого поля применяются ко всем типам инструкций (уровень критериев, уровень вопросов и уровень параметров):

Ограничения символов по языку

Система отслеживает общее число символов и отображает предупреждение, если содержимое превышает рекомендуемое ограничение для выбранного языка. Рекомендуемые ограничения зависят от категории языка:

• 90 000 символов для большинства языков.
• 60 000 символов для некоторых языков, например, арабского.
• 30 000 символов для языков с большим расширением токенов.

Рекомендуемое ограничение символов динамически обновляется при изменении выбранного языка. Например, переход с английского на арабский сокращает ограничение от 90 000 до 60 000 символов. Система оценивает ограничения на основе языка, выбранного в параметрах условий.

Когда вы превышаете лимиты:

• Появится баннер предупреждения, указывающий на то, что точность оценки может быть затронута. Вы по-прежнему можете сохранить и использовать критерии.
• Сообщение об ошибке появляется, если содержимое превышает 700 000 символов, что предотвращает сохранение условий.

Расширенные критерии

Создание расширенных условий создаёт родительско-дочернюю связь между исходными критериями и расширенными критериями.

• Ограничения по вопросам: система самостоятельно устанавливает лимиты вопросов для критериев родителя и ребёнка, до 50 вопросов каждый.
• Ограничения по количеству символов: система рассчитывает рекомендуемые лимиты символов (например, 90 000 символов) на основе совокупности родительского и дочернего содержимого.

Связанные сведения

Управление оценкой качества
Использование плана оценки
Использовать оценки