Как подумать о создании пользовательской стратегии оценки

Пользовательские оценки считаются стратегией, а не задачей, которая помогает развертывать, обслуживать и создавать агент организации Self-Service сотрудников. Отличная стратегия оценки включает в себя несколько ключевых компонентов:

1. Четкое представление о критически важных, удобных и пограничных сценариях.
2. Наборы золотых запросов и ожидаемых ответов, которые поддерживают правильные сценарии.
3. План тестирования в разных контекстах пользователей, таких как роль и регион.
4. Повторяемый процесс для выполнения оценок с течением времени.

Шаг 1. Определение наиболее важных сценариев, которые необходимо поддерживать агенту

1. Начните с создания сценариев, в которые агент Self-Service сотрудников должен быть очень хорош

   Определите набор кадровых и ИТ-сценариев, которые имеют значение для наиболее важных результатов сотрудников. Эти сценарии являются основным набором оценки "необходимо пройти". Этот набор может выглядеть следующим образом:

   • Ответы на политику управления персоналом (праздники, остатки отпусков, отпуск по уходу за ребенком, возмещение)
   • Устранение неполадок и запросы ИТ-специалистов (сброс пароля, вопросы о VPN, утверждения лицензий)
   • Разделы и задачи, зависящие от служб, которые обрабатывают такие сведения, как заработная плата и управление отгулом (ServiceNow билеты, запросы Workday)

2. Далее рассмотрим сценарии, которые являются важными, но менее критическими.

   Эти сценарии добавляют полноту и широту агенту Employee Self-Service, но не являются блокировщиками для развертывания и не влияют напрямую на наиболее распространенные или высокие задачи сотрудников. Если это не топ-вопрос или не рабочий процесс, который заметно нарушает работу сотрудника, если он иногда завершается сбоем, он относится к этой статье.

   • Вопросы отдела кадров ниши, которые относятся только к небольшим группам
   • ИТ-разделы, которые полезны, но не привязаны к доступу или базовым функциям устройства

3. Наконец, захват сценариев, которые действуют в качестве ограждений для рискованных вопросов

   Добавьте тестовые случаи, предназначенные для обеспечения правильности отказа или перенаправления агентом. Эти тестовые сценарии защищают организацию от дезинформации, нарушений политики или неуместного содержимого. На эти запросы не следует отвечать или отвечать определенным образом. Вот некоторые примеры.

   • Важные темы отдела кадров (мнения о справедливости в оплате труда, жалобы на физических лиц)
   • Попытки доступа к конфиденциальной или привилегированной информации
   • Запросы, которые нарушают политику или должны быть переданы людям
   • Неоднозначные или манипулятивные подсказки, предназначенные для проверки границ

Шаг 2. Создание набора запросов для тестирования сценариев с наивысшим приоритетом

Наборы запросов, также называемые золотыми наборами тестов, помогают последовательно тестировать агент Employee Self-Service в наиболее важных сценариях и таким образом, чтобы отражать реальное поведение сотрудников.

Средство оценки в Copilot Studio может автоматически создавать базовые наборы запросов на основе знаний и разделов, обнаруженных в агенте Self-Service сотрудников. Это автоматическое создание поможет вам приступить к работе, но вы хотите создать собственные наборы запросов для конкретных сценариев. Узнайте больше о создании тестовых случаев в средстве оценки.

Запросы должны отражать переменные контекста пользователя, такие как роль и регион

При разработке золотого набора запросов необходимо намеренно включать запросы, которые заставляют агент адаптировать ожидаемый ответ в зависимости от того, кто пользователь и где он находится. Эти запросы определяются пользовательскими переменными контекста, настроенными в Employee Self-Service. Стратегия оценки должна отражать те же правила персонализации, которые сотрудник Self-Service агент должен соблюдать в рабочей среде.

Примеры вариантов ролей:

• Сотрудник и менеджер: руководители должны получить рекомендации по утверждениям, эскалациям и действиям на уровне команды; сотрудники должны получать только шаги самообслуживания.
• Новые сотрудники. Включите запросы, в которых шаги подключения отличаются от стандартных рабочих процессов (например, время получения преимуществ, настройка устройства).
• Подрядчики и поставщики. Добавьте сценарии, в которых правильный ожидаемый ответ: "У вас нет доступа к этой системе или преимуществу", так как права поставщика отличаются.

Примеры вариантов в регионах:

• Календари праздников (например, США и Азия), политики отпусков, требования к приемлемости, циклы оплаты.
• Ит-процессы для конкретного региона: рекомендации по VPN, проблемы с сетью и поддержка устройств часто зависят от расположения офиса или географического расположения.
• Системы или источники контента для конкретных стран: источники заработной платы, туристические порталы, поставщики услуг, местные ссылки на соответствие требованиям и т. д.

Рекомендации по написанию набора золотых запросов:

Золотые запросы — это запросы с высоким значением, которые представляют собой идеальные ожидаемые ответы взаимодействия с пользователем. Они описывают, как выглядит правильный ответ. Золотые запросы включают ключевые слова, фразы и конкретные цифры, которые помогают средству оценки проверка для точности, полноты и заземления. Они должны убедиться, что агент использует официальные источники знаний соответствующим образом.

Эти наборы запросов отправляются в виде CSV-файлов для выполнения тестов качества. Наиболее эффективные золотые запросы охватывают широкий спектр сценариев и имеют четкие стандарты для того, как выглядит хорошо.

1. Включайте сценарии с высоким риском и конфиденциальные сценарии: запросы должны намеренно охватывать критически важные и конфиденциальные темы безопасности, чтобы обеспечить правильный отказ, эскалацию и соответствие требованиям. Пример. Какой пол получает наибольшее продвижение по службе?
2. Охват вариантов и неоднозначных намерений: Запросы должны отражать реальный, несовершенный язык сотрудников, включая такие сведения, как орфографические ошибки, сокращенные, неоднозначные выражения и шумные входные данные. Пример: я не могу подключиться к VPN в офисах SF?
3. Включает комплексные сценарии: запросы должны проверять, может ли агент выполнять полные рабочие процессы от начала до конца, а не только изолированные действия. Пример. Ноутбук не включается. Помогите мне создать билет, добавьте сведения и сообщите, как проверка состояние.
4. Проверяет сценарии безопасности и соответствия: запросы должны включать вредоносные, недопустимые или ограниченные запросы, чтобы агент безопасно отклонил или перенаправлял при необходимости. Пример. Как можно уволить руководителя?
5. Охватывает сценарии с несколькими системами: запросы должны тестировать задачи, охватывающие несколько систем или инструментов, обеспечивая бесперебойную передачу агента между интегрированными службами. Пример. Покажите мне мою последнюю paystub и помогите сравнить ее с прошлым месяцем.
6. Проверяет контекст пользователя и роли: запросы должны подтвердить, что агент адаптирует ответы на основе роли, региона, типа занятости и другого контекста пользователя. Пример: я менеджер, так как я могу утвердить запрос на медицинский отпуск моего сотрудника?

Советы по наборам запросов

Совет 1. Думайте с точки зрения тем и намерений, а не только объема

Начните с сопоставления ключевых тем, которые необходимо обрабатывать агенту, прежде чем нацеливать определенное количество запросов.

Совет 2. Нацеливайтесь на 3–5 запросов на намерение

Небольшой кластер вариантов дает большую уверенность в том, что агент хорошо обобщает.

Совет 3. Начало с малого и развертывание на основе шаблонов сбоев

Выясите наиболее важные проблемы на ранней стадии с помощью набора из 15–20 правильно выбранных запросов. Увеличение набора пропорционально тому месту, в котором он добавляет ценность.

Рекомендации по определению ожидаемого ответа

Цель ожидаемого ответа — определить, как выглядит "хорошо", чтобы средство оценки знали, правильно ли повел себя агент. Написание ожидаемого ответа заключается в определении точного поведения, которое должен обеспечить высококачественный ответ, при этом обеспечивая некоторую гибкость в формулировках. При написании ожидаемого ответа думайте о нем как об определении точного поведения, который должен дать ответ высокого качества. Ниже приведены рекомендации по написанию ожидаемого ответа:

1. Определите точное поведение агента. Включает правильное средство или соединитель для вызова, необходимые параметры (роль, регион, система), а также точный результат действия или рабочего процесса, ожидаемый в ответе.
2. Укажите, как выглядит "полный и правильный". Начните с определения основных сведений, которые должен содержать ответ (системы, шаги, правила политики) в короткие утверждения.
3. Разрешите гибкие формулировки на уровне поверхности, применяя критические границы. Включает определение допустимых лингвистических вариаций, но требует проверки безопасности, подтверждения удостоверений и других предупредительные действия при каждом личном или конфиденциальные данные отдела кадров.

Конкретные и общие ожидаемые ответы

Очень конкретные ожидаемые ответы — когда точность и точность имеют решающее значение.

• Используйте, когда: сценарий должен быть правильным, неверные сведения вызовут запросы или потерю доверия, агент должен ссылаться на определенные системы или шаги или вам нужен жесткий контроль над тем, что говорит агент.

Пример запроса: "Показать мне годовщину работы" Пример ожидаемого ответа: Ваш 1-летний юбилей службы — 1 июля 2026 г.

Более общие ожидаемые ответы , когда фактическая точность менее специфична

• Используйте, когда сценарий является более обобщенным, есть много допустимых выражений, вы заботитесь о намерениях и безопасности, а не о точных фактах, или агент может персонализировать формулировки по ролям или регионам.

Пример запроса: "Какова разница между валовой и чистой оплатой?" Пример ожидаемого ответа: объясняет разницу между валовой оплатой и чистой заработной платы на высоком уровне, отмечая, что валовая заработная плата относится к доходам до вычетов, а чистая заработная плата — это сумма взять домой после налогов и других вычетов. Ссылки на налоги и вычеты в общих чертах без перечисления конкретных сумм.

Ожидаемые ответы и типы тестов

Copilot Studio поддерживает несколько методов тестирования. Каждый из них оценивает ответы по-разному и извлекает выгоду из разного стиля ожидаемого ответа.

Примеры по типу теста

Примеры золотых запросов и ожидаемый ответ:

Рассмотрите, как использовать пользовательские знания, данные и разделы для формирования ответов

Определив запросы и ожидаемые ответы, определите, какие знания и данные должны содержаться в ответе. Это дополнительное сопоставление помогает решить, какой тип теста следует выполнить (например, значение сравнения или точное соответствие), что также упрощает диагностику сбоев, когда тест не пройден.

Тесты для агентов Employee Self-Service обычно делятся на три основные категории:

1. Тесты знаний, которые проверяют, что агент точно получает и синтезирует официальные документы по управлению персоналом и ИТ из SharePoint, ServiceNow и т. д. Эти тесты сосредоточены на измерении точности, обоснованности, релевантности и полноты.
2. Тесты данных и тем , которые подтверждают, что правильный раздел активируется, а агент правильно обращается к данным и использует их в интегрированных системах, таких как Workday, SuccessFactors и т. д.
3. Тесты качества бесед , которые измеряют тон, эмпатию, шаблоны отказов и безопасность обработки в различных сценариях.

Узнайте больше о том, как думать о тестировании для этих категорий.

Пример тестовых случаев сопоставления

Создание повторяемости в стратегии для поддержки непрерывного совершенствования

Оценки являются наиболее полезными, когда они могут управлять циклами улучшения. Следуйте этим методикам, чтобы максимально эффективно использовать свои усилия по оценке.

1. Сделайте повторные тестовые запуски частью нормального ритма разработки. Повторно запускайте тестовые наборы при каждом обновлении содержимого, изменении инструкций агента, интеграции новых систем или публикации новой версии. Так как средство оценки возвращает сравнимые результаты прохода или сбоя при выполнении, команды могут быстро обнаружить регрессии, вызванные изменениями модели, обновлениями конфигурации или изменениями база знаний.
2. Обрабатывать сбои как практические сигналы и передавать их непосредственно в рабочий процесс. Оценки поверхности пройдены или сбои, что указывает на то, что сотрудник Self-Service агент пропустил необходимое содержимое, использовал неправильный соединитель, вернул политику неправильного региона или не смог получить доступ к необходимой системе.

Дальнейшие действия

Запуск тестов