Контрольный список улучшения

Оптимизация агента продолжается и после запуска. Copilot Studio предоставляет подробную аналитику, которая помогает понять, как пользователи взаимодействуют с вашим агентом, где разговоры проходят успешно или прерываются, и насколько эффективно агент использует свои инструменты и знания. В этой статье представлен структурированный контрольный список и лучшие практики, которые помогут вам постоянно оценивать и улучшать ваш агент.

Проверьте готовность к улучшениям и аналитике

Используйте эти вопросы во время регулярных встреч, таких как церемонии спринта, ежемесячные оптимизации или подготовка к релизу.

Тематики и схемы пользовательских намерений

Выполнено? Задача
✓ Вы анализируете темы, чтобы выявить кластеры вопросов пользователей и возникающие намерения?
✓ Добавляете ли вы часто встречающиеся тематики в ваш журнал невыполненных работ для будущих улучшений?

Результаты разговора

Выполнено? Задача
✓ Анализируете ли вы разрешенные, эскалированные, оставленные без ответа и не вовлеченные разговоры для выявления областей улучшения?
✓ Вы обеспечиваете завершение разговоров на теме End of Conversation, чтобы результаты корректно фиксировались?
✓ Анализируете ли вы всплески заброшенных сеансов, чтобы выявить неясные ответы или пробелы в логике?
✓ Проверяете ли вы, что пути эскалации срабатывают только при необходимости?

Процент и качество сгенерированных ответов

Выполнено? Задача
✓ Проверяете ли вы уровень сгенерированных ответов, чтобы выявить пробелы в знаниях или неохваченные области?
✓ Оцениваете ли вы метрики качества ответов, такие как полнота, обоснованность и релевантность?
✓ Исследуете ли вы ответы низкого качества и устраняете ли отмеченные в аналитике причины?

Использование инструментов и действий

Выполнено? Задача
✓ Отслеживаете ли вы, как часто инструменты и действия используются и успешно ли они выполняются?
✓ Вы выявляете малоиспользуемые или подверженные ошибкам инструменты и принимаете решение об их оптимизации или удалении?
✓ Проверяете ли вы, что инструменты, используемые в генеративной оркестрации, работают надежно?

Производительность источников знаний

Выполнено? Задача
✓ Проверяете ли вы использование и уровень ошибок всех источников знаний?
✓ Вы отдаете приоритет обновлениям для источников знаний с высоким уровнем ошибок или непоследовательными результатами?
✓ Проверяете ли вы, что правильные источники знаний поддерживают сценарии, для которых они предназначены?

Удовлетворенность и отзывы пользователей

Выполнено? Задача
✓ Собираете ли вы пользовательские отзывы через оценки «палец вверх/вниз» и опросы CSAT?
✓ Проводите ли вы анализ тенденций обратной связи для выявления неясных ответов или неэффективных сценариев общения?
✓ Включаете ли вы шаблоны взаимодействия с низким уровнем удовлетворения в журнал невыполненной работы для их переработки?

Выноски рекомендаций

  • Рассматривайте аналитику как инструмент итеративного улучшения: используйте аналитику для инкрементальных изменений. Используйте темы, неполные ответы и схемы ошибок для планирования спринта и приоритизации элементов журнала невыполненной работы.
  • Сосредоточьтесь на качестве результатов, а не только на их количестве: эффективная система максимизирует число успешно завершенных диалогов и минимизирует эскалации и прерывания. Используйте соотношение результатов как ключевой показатель прозрачности и эффективности.
  • Проактивно укрепляйте источники знаний: высокий уровень ошибок или низкое качество ответов часто свидетельствуют о неясных, устаревших или несогласованных источниках знаний. Регулярно обновляйте и перестраивайте эти источники для лучшего обоснования.
  • Оптимизируйте инструменты для стабильной и эффективной работы: ненадежное использование инструментов подрывает доверие. Отслеживайте показатели успеха и рефакторизуйте действия, которые часто терпят неудачу или возвращают непоследовательные данные.
  • Используйте тематики для выявления новых возможностей: тематики выделяют появляющиеся намерения. Используйте их для определения новых тем, источников знаний или требований к интеграции.
  • Убедитесь, что разговоры завершались корректно: всегда используйте тему «Завершение разговора» для фиксации результата и CSAT. Без этой темы аналитика становится неполной и вводящей в заблуждение.
  • Разделяйте оценку автономных и инициированных пользователем агентов: автономные агенты сильно зависят от триггеров и цепочек инструментов. Оценивайте результаты выполнения и триггеры отдельно от потоков, инициированных пользователем.
  • Отслеживайте динамику настроений во времени: изолированная обратная связь полезна, но многонедельная динамика настроений выявляет системные проблемы. Исследуйте стойкие спады как можно раньше.
  • Last updated on