О средстве оценки Copilot Studio

Copilot Studio оценки состоят из наборов тестов, которые содержат тестовые случаи. Тестовый случай — это одно сообщение, запрос или вопрос, который имитирует то, что пользователь будет задавать Employee Self-Service. Тестовый случай также может включать ответ, на который должен отвечать агент, который также называется ожидаемым ответом. Узнайте больше о создании тестовых случаев и получите рекомендации по поэтапному созданию стратегии eval.

Сводка параметров оценки в Copilot Studio

Для проверки и улучшения качества агента на нужном уровне глубины Copilot Studio предлагает несколько вариантов оценки. Содержимое этой статьи посвящено выполнению вычислений в собственных пользовательских наборах запросов.

1. Быстро создавайте запросы для общих проверок качества. Используйте запросы, созданные ИИ, если требуется быстрый и упрощенный пульс проверка на поведение агента на основе знаний и разделов, заданных в Employee Self-Service. Этот вариант отлично подходит для раннего изучения, точечной проверки новых функций или проверки небольшого изменения перед выполнением более глубокого тестирования. Эти подсказки помогают выявить проблемы на уровне поверхности без необходимости в полном наборе тестов.
2. Используйте функцию "Оценка" в области "Тестирование" для более глубокой проверки на уровне сценария. На панели Тестовый copilot можно запустить оценку непосредственно в тестируемой беседе.
3. Сохраните динамическую беседу в качестве snapshot оценки. Превратите реальное тестовое взаимодействие в чате в артефакт оценки, который можно использовать повторно. Сохранение snapshot записывает полные сведения о беседе и диагностике, что позволяет проанализировать, что пошло не так, и преобразовать это взаимодействие в будущий тестовый случай, который можно запустить снова в рамках набора регрессии.
4. Выполнение evals в собственных настраиваемых наборах запросов. Используйте пользовательские оценки агента, отправив CSV-файл. file если требуется повторяемый, масштабируемый, безопасный для регрессии метод для измерения качества. Пользовательские наборы тестов позволяют определять ожидаемые ответы, применять несколько оценок, моделировать профили пользователей и сравнивать результаты между версиями с течением времени. Большинство рекомендаций в этом документе посвящены такого рода оценке.

Действия по созданию и выполнению тестов

Выполните следующие действия, чтобы создать и оценить тестовый набор для агента Employee Self-Service в Copilot Studio.

1. Перейдите на вкладку Оценка агента Self-Service сотрудников в Copilot Studio.
2. Выберите Создать новый набор тестов , чтобы начать.
3. Выберите, следует ли создавать запросы автоматически или импортировать CSV-файл. Сведения о наборе тестов можно обновить в любое время.
4. Выберите методы оценки , которые вы хотите использовать.
5. Выберите , какие профили пользователей должны выполнять тесты, чтобы результаты точно отражали контекст, уровни доступа и разрешения.

6. Запустите тест, просмотрите результаты и сравните результаты с течением времени. Вы также можете экспортировать результаты теста , чтобы поделиться с заинтересованными лицами и рецензентами.
7. В зависимости от того, что вы узнали, вы можете обновить источник знаний, триггер раздела, инструкции агента или другие компоненты. После каждого изменения повторно запустите оценку, чтобы подтвердить исправление и убедиться, что регрессии не возникают.

Использование этого руководства и набора средств

Чтобы помочь вам уверенно оценить и улучшить качество вашего сотрудника Self-Service агента, существует три подхода к началу работы:

1. Используйте примеры тестовых наборов, чтобы узнать, как работает средство. Этот полный набор данных можно использовать для экземпляров Employee Self-Service, которые еще не настроены, чтобы вы могли быстро узнать, как работает средство оценки и как структурировать стратегию оценки.
2. Используйте шаблонные наборы данных для быстрой проверки ответов агента. Эти частично структурированные наборы оценки можно быстро адаптировать в соответствии с собственными политиками, системами и рабочими процессами. Эти шаблоны являются отправной точкой и могут быть изменены и расширены в соответствии с реальными политиками, службами и рабочими процессами вашей организации.
3. Получите рекомендации по созданию настраиваемой стратегии оценки. В этом документе описаны основные стратегии, аналитические сведения из исследования опыта сотрудников и другие советы, которые помогут вам создать пользовательские наборы данных, которые можно регулярно тестировать и масштабировать по мере того, как агент использует новые сценарии и возможности.

Сводка о типах проверок качества сотрудников Self-Service, поддерживаемых средством оценки

С помощью средства оценки можно выполнить следующие типы тестов, и уже существуют начальные золотые наборы запросов, поддерживающие эти типы тестов. Перечисленные здесь тесты идеально подходят для агентов Employee Self-Service, так как они тестируют различные части платформы (знания, разделы, инструкции и т. д.), а также тестируют навыки, необходимые каждому сотруднику Self-Service агенту.

Эти тесты делятся на три основные категории:

Рекомендуемые методики по использованию наборов данных:

Начальные золотые наборы запросов предназначены для создания идей и помогают быстро создать собственную библиотеку оценки. Эти запросы представляют собой реальные возможности и популярные типы запросов, но каждая организация должна адаптировать запросы к своим системам, политикам и рабочим процессам.

1. Упорядочение запросов в соответствии со структурой организации. Группирование или разделение запросов по поддомену (например, отдел кадров состоит из преимуществ, отпусков, политик и т. д.) и рассмотрите различные регионы или области тем, чтобы результаты естественным образом потекали к правильным рецензентам.
2. Настройте ожидаемые ответы с помощью источников знаний и интеграций. Для получения более значимых результатов оценки, например URL-адресов, определенных шагов или сведений о политике, для многих запросов требуются определенные системные действия. Замените универсальные ожидаемые ответы точными данными вашей организации.
3. Адаптируйте запросы в соответствии с численностью сотрудников. Добавьте варианты для конкретных ролей и регионов, чтобы оценщик смог проверить логику персонализации (например, руководители и отдельные участники, США и ЕС).
4. Добавьте или удалите запросы в соответствии с Self-Service область сотрудника. Если в развертывании не используются определенные интеграции (например, Workday или Microsoft Self-Help), удалите эти запросы. Если у вас есть пользовательские системы, добавьте для них репрезентативные запросы.
5. Включайте как сценарии прохождения, так и сценарии с хорошими вариантами. Сохраняйте критически важные рабочие процессы (например, vpn-доступ, отпуск по уходу за ребенком, проблемы с устройством), но также проверяйте неформальные выражения, опечатки, эмоциональные тона и расплывчатые подсказки.
6. Используйте наборы для создания покрытия регрессии. После настройки превратите их в стабильные тестовые наборы, выполняемые после каждого обновления разделов, инструкций, источников знаний или интеграции.
7. Непрерывное уточнение на основе обучения, обновлений и сбоев. При сбое теста решите, следует ли исправить агент, изменить ожидаемый ответ или разделить сценарий на более точные варианты.

Тесты знаний

Конкретные тесты знаний

Конкретные тесты знаний проверка, может ли агент ответить на наиболее распространенные вопросы, основанные на знаниях и политиках, задаваемые сотрудниками. Эти запросы имеют один правильный ответ на основе база знаний вашей организации, систем данных и рабочих процессов. Используйте эти тесты для проверки точности, полноты и заземления, особенно для тем, которые напрямую влияют на доверие, внедрение и поддержку нагрузки.

Примеры.

Начало работы:

1. Чтобы проверить, как агент использует знания, используйте общее качество и сравните значение со скоростью прохода 70 %. Сходство текста можно добавить, чтобы лучше понять, как ключевые слова и фразы сравнивают ожидаемые и фактические ответы.
2. Если у вашего агента еще нет знаний, используйте начальный тестовый набор и отправьте соответствующие знания.
3. Если агент уже добавил некоторые знания, используйте шаблонный тестовый набор и заполните ожидаемые ответы.

Чтобы устранить проблемы с качеством для конкретных тестов знаний, выполните следующие действия.

1. Большинство проблем с точностью возникают из-за того, что агент не имеет чистого, полного или интерпретируемого содержимого из источника знаний. Проверьте результат теста, чтобы убедиться, что были использованы правильные знания. Затем проверка качество исходных документов для устаревшего, расплывчатого или конфликтующего содержимого снижает точность.
2. Рассмотрите возможность добавления или уточнения инструкций по источнику знаний. Предоставьте каждому источнику знаний четкие инструкции, например: "Используйте этот документ в качестве авторитетного источника для правил оплачиваемых отгулов в Нью-йорке". Если вы используете SharePoint в качестве знаний, вы можете применить дополнительную фильтрацию, которая помогает получить наиболее подходящее содержимое для нужных пользователей.
3. Инструкции агента также можно изменить, чтобы изменить поведение при использовании знаний. Укрепите глобальные рекомендации агента по использованию только утвержденных источников знаний, когда следует ссылаться, а когда — суммировать, а также правила эскалации или адаптацию на основе ролей.
4. Ознакомьтесь с рекомендациями по оптимизации знаний в SharePoint.

Общие тесты знаний

Эти сценарии проверяют базовую компетенцию агента в широких тематических областях и подтверждают, что она может предоставить полезные и согласованные рекомендации из общих источников знаний в Интернете. Этот тест также помогает быстро понять, как работает средство оценки без необходимости добавлять знания.

Примеры.

Начало работы:

1. Убедитесь, что общие знания включено, и у вас нет дополнительных знаний о пользовательском агенте. Включите использование общих знаний, перейдя в раздел Параметры Знания>>Использовать общие знания и установите для переключателя значение Вкл.
2. Используйте начальный набор тестов для запуска быстрого тестирования в различных сценариях.
3. Для более конкретного теста с более строгими ожидаемыми ответами используйте шаблонный набор тестов и определите идеальный ожидаемый ответ.
4. Чтобы проверить, как агент использует общие знания, используйте общее качество и сравните значение со скоростью прохода 70 %.

Чтобы устранить проблемы с качеством для общих тестов знаний, выполните следующие действия.

1. Если на некоторые запросы отвечают с использованием общих знаний, но на них следует отвечать с помощью знаний вашей организации, добавьте источники знаний, охватывающие эти области в знаниях агента.
2. Если вы решили, что не хотите, чтобы агент вообще использовал общие знания, снова переключите параметр в положение Выкл.

Тесты данных и тем

Тесты SuccessFactors и Workday

Эти тесты позволяют определить, может ли агент правильно получать данные и взаимодействовать с ними из разных настроенных соединителей, например SuccessFactors и Workday. Используйте эти тесты для систематического проверка различных разделов и действий, которые включены для агента.

Примеры.

Начало работы:

1. Разделы для этих интеграций должны быть включены перед тестированием.
2. Используйте начальный набор тестов , чтобы выполнить общий тест качества с общим ожидаемым ответом, чтобы получить представление о том, как отвечают темы.
3. Используйте шаблонный набор тестов , если у вас уже есть определенные данные, которые будут добавлены в предзаписанные ожидаемые ответы. Используйте общий тест качества, тест значения для сравнения на 70 % и тест использования возможностей.

Чтобы устранить проблемы с качеством тестов данных, выполните следующие действия.

Чтобы устранить проблемы с разделом данных, следуйте инструкциям в разделе Предварительные требования для развертывания агента Self-Service сотрудников , чтобы начать с:

1. Исправление разрешений проверки подлинности &: Отменяйте OAuth и сертификаты и убедитесь, что пользователю службы требуются разрешения на чтение и запись.
2. Правильные сопоставления полей: Обновление сопоставлений полей OData или Workday при отсутствии, переименовании или несоответствии атрибутов.
3. Устранение блоков подключения: Проверьте прокси-серверы, брандмауэры и конфигурацию конечной точки, если соединитель не может связаться с Workday или SuccessFactors.
4. Регулирование адресов или задержки: Уменьшите частоту вызовов API или реализуйте логику повторных попыток при достижении ограничений скорости.
5. Устранение проблем с контекстом пользователя: Убедитесь, что контекст сотрудника или руководителя загружается правильно и что workday "Get User Context" не завершится ошибкой.
6. Логика обновления после изменений HRIS. Повторное тестирование разделов после обновления схемы Workday/SF или системных обновлений для перехвата новых неработавших полей.
7. Проверка поведения адаптивная карточка. Обновление правил даты, типов отпусков и логики проверки для сценариев отгула Workday.
8. Предотвращение резервных и галлюцинаций: Укрепите инструкции по темам, чтобы ответы опирались на данные Workday/SF, а не на общее резервное содержимое.

Тесты конфиденциальных тем

По умолчанию шаблон сотрудника Self-Service агента отдела кадров поставляется с параметром "Конфиденциальные темы", предназначенным для обработки сценариев, которые могут быть подходящими для ответа, но должны обрабатываться с осторожностью. Цель конфиденциального раздела — ответить на определенные типы вопросов с определенным ответом или перенаправить определенные беседы на путь эскалации или другой ресурс. После включения раздела его можно настроить в соответствии с уникальными потребностями вашей организации.

Протестируйте конфиденциальный раздел, чтобы убедиться, что он перехватывает правильные слова и фразы триггера и отвечает в соответствии с политиками вашей организации.

Примеры.

Начало работы:

1. Этот тест предназначен для шаблона отдела кадров ESS. Для начала перейдите в раздел Темы > Конфиденциальные темы и установите переключатель в значение ВКЛ.
2. Используйте общий тест качества, тест значения для сравнения на 70 %, и тест сходства текста на 70 %.
3. Используйте начальный набор тестов, чтобы быстро проверка, что этот раздел активируется для определенных сценариев.
4. Если у вашего агента уже есть определенные знания или определенные пути эскалации, начните работу с шаблонным набором тестов и определите, какой должен быть идеальный ожидаемый ответ.

Чтобы устранить проблемы с качеством для конфиденциальных тем, выполните следующие действия.

1. Запросы, которые не прошли этот тест, означает, что фактический ответ не на 70 % похож на идеальный ответ.
2. Если некоторые разделы не предоставляют ожидаемый ответ, это может означать, что триггер темы необходимо изменить. Разделы активируются, когда фразы триггера соответствуют намерению пользователя. Рассмотрите возможность внесения следующих корректировок:
   1. Добавьте несколько вариантов выражения, которые обычно используют сотрудники.
   2. Включите ключевые слова, короткие запросы и варианты беседы.
   3. Удалите нечеткие триггеры, которые перекрываются с другими разделами.

Тесты качества беседы

Эти тесты ориентированы на качество общения. Тесты помогают оценить эффективность инструкций агента тестирования и разделов, используемых для управления определенным поведением с помощью генеративного ИИ. Затем ответы чувствуют себя органичными и разговорными.

Тесты эмоционального интеллекта

Некоторые беседы требуют, чтобы агент мог определять эмоциональные тональности в подсказках, а затем корректировать тон, чтобы оставаться разговорным. Шаблоны агентов для сотрудников Self-Service содержат раздел Поиск эмоционального интеллекта, который можно включить, чтобы убедиться, что агент Self-Service сотрудников откалиброван по правильным эмоциональным очередям и сценариям для вашей организации.

Используйте этот тест, чтобы измерять подсказки, имеющие эмоциональный оттенок, которые требуют, чтобы сотрудник Self-Service агент корректировал тон ответов, чтобы оставаться разговорным.

Примеры.

Начало работы:

1. Включите раздел "Поиск эмоционального интеллекта"
2. Если раздел не изменен, используйте начальный набор тестов , чтобы выполнить быстрый тест и посмотреть, как обрабатываются определенные сценарии.
3. Если вы внесли изменения, используйте шаблонный набор тестов и определите, какой ожидаемый ответ должен быть получен. Ответ должен основываться на политиках вашей организации и существующих темах, которые могут привести к эскалации определенных бесед.
4. Используйте общий тест качества, тест значения для сравнения на 70 % и тест использования возможностей.

Чтобы устранить проблемы с качеством для тестов EQ, выполните следующие действия.

Если некоторые разделы не предоставляют ожидаемый ответ, это может означать, что триггер темы необходимо изменить. Разделы активируются, когда фразы триггера соответствуют намерению пользователя. Рассмотрите возможность внесения следующих корректировок:

1. Добавьте несколько вариантов выражения, которые обычно используют сотрудники.
2. Включите ключевые слова, короткие запросы и варианты беседы.
3. Удалите нечеткие триггеры, которые перекрываются с другими разделами.

Неоднозначные тесты запросов

Неоднозначные запросы проверка, распознает ли агент неясные запросы и запрашивает правильные последующие вопросы, прежде чем действовать. Эти сценарии гарантируют, что агент не угадывает, не галлюцинирует и не выполняет непреднамеренных действий, когда запрос может означать несколько вещей. Сильная логика уточнения повышает точность и доверие пользователей. Шаблон агента employee Self-Service содержит раздел Поиск пояснений , который обнаруживает неоднозначные запросы.

Примеры.

Начало работы:

1. Включите раздел поиска разъяснений в значение ON
2. Если раздел не изменен, используйте начальный набор тестов , чтобы выполнить быстрый тест и посмотреть, как обрабатываются определенные сценарии.
3. Если вы внесли изменения, используйте шаблонный тестовый набор и определите, какой ожидаемый ответ должен быть, на основе политик вашей организации и существующих тем, которые могут привести к эскалации определенных бесед.
4. Используйте общий тест качества, тест значения для сравнения на 70 % и тест использования возможностей.

Чтобы устранить проблемы с качеством для тестов неоднозначности, выполните следующие действия.

Если некоторые разделы не предоставляют ожидаемый ответ, это может означать, что триггер темы необходимо изменить. Разделы активируются, когда фразы триггера соответствуют намерению пользователя. Рассмотрите возможность внесения следующих корректировок:

1. Добавьте несколько вариантов выражения, которые обычно используют сотрудники.
2. Включите ключевые слова, короткие запросы и варианты беседы.
3. Удалите нечеткие триггеры, которые перекрываются с другими разделами.

Ответственные тесты ИИ

Сценарии ответственного использования ИИ (RAI) — это запросы, на которые либо никогда не следует отвечать, либо их следует эскалации в зависимости от политик вашей организации. Агенты, встроенные Copilot Studio, не предоставляют ответы на такие запросы автоматически. Сотрудники Self-Service клиенты могут создавать темы, чтобы передавать определенные случаи в определенные ресурсы.

Примеры.

Начало работы:

1. Используйте начальный набор тестов для быстрого тестирования в сценариях, на которые не следует отвечать.
2. Если у вашего агента уже есть определенные знания или разделы, начните с шаблонного тестового набора и определите, какой должен быть идеальный ожидаемый ответ.
3. Используйте общий тест качества, тест значения для сравнения на 70 %, и тест сходства текста на 70 %.

Чтобы устранить проблемы с качеством тестов RAI, выполните следующие действия.

1. Для запросов, которые проходят: никаких дальнейших действий не требуется, если ваша организация не решит, что они хотят перенаправить определенный диалог в другой канал.
2. Для запросов, которые завершаются ошибкой. Этот сбой означает, что этот запрос не обнаруживается автоматически системой ИИ в Copilot Studio или других знаниях или разделах, которые могут быть настроены.

Ресурсы

• Общие сведения об оценках агентов
• Узнайте, как создать настраиваемую стратегию оценки
• Узнайте, как аналитика и оценки агентов работают вместе