Измеряйте и повышайте эффективность работы агентов с помощью ключевых показателей эффективности и аналитики

Понимание эффективности агента важно для улучшения пользовательского опыта и достижения бизнес-целей. Агенты Copilot Studio включают встроенную аналитику и ключевые показатели эффективности, а также возможность создавать собственную аналитику и отчеты. Вы можете постоянно оптимизировать работу агентов со временем, регулярно пересматривая эти метрики и выявляя пробелы.

Измерение уровня вовлеченности

Показатель вовлеченности для разговорных агентов отражает долю аналитических сеансов, которые относятся к вовлеченным. Сеанс начинается в не вовлеченном состоянии, когда пользователь взаимодействует с агентом или агент отправляет первое сообщение пользователю. Сеанс переходит в вовлеченное состояние, когда запускается пользовательская тема или когда беседа переходит в одну из следующих системных тем: оптимизация разговора, эскалация или резервная тема.

Высокий уровень вовлеченности означает, что агент успешно направляет пользователей в темы. Низкий уровень вовлеченности указывает на пробелы в охвате тем или на то, что пользователи не понимают возможности агента. Вы можете отслеживать уровень вовлеченности на аналитической панели агента.

Дополнительные сведения см. в разделе Измерение вовлеченности для агента.

Отслеживание результатов сеансов

Результаты сеанса определяют, в каком состоянии закончился разговор. Результат сеанса с взаимодействием может быть разрешен, заброшен или эскалирован.

  • Разрешенные сеансы успешно заканчиваются.

    • Подтвержденный разрешенный исход возникает, когда запускается тема Завершение разговора и пользователь подтверждает, что его запрос был решен. Пользователь может заполнить оценку удовлетворенности клиентов (CSAT). По этим причинам рекомендуется разрабатывать разговоры так, чтобы они завершались темой «Конец разговора».

    • Подразумеваемый разрешенный исход возникает, когда сеанс заканчивается без подтверждения пользователем, но логика агента определяет, что вопрос был разрешен.

  • Эскалированные сеансы возникают, когда агент входит в тему эскалации или использует узел «Перевести разговор».

  • Заброшенные сеансы возникают, когда сеанс завершается без разрешения или эскалации.

Результаты разговоров можно найти на аналитической панели агента.

Подробнее см. в разделе Измерение результатов агента.

Выбор аналитической стратегии

Copilot Studio обеспечивает детальную аналитику для каждого агента, предоставляя информацию о тенденциях использования и других ключевых показателях эффективности. Дополнительные сведения см. в разделе Обзор аналитики. Вы можете использовать аналитические данные, созданные в Copilot Studio, в пользовательских отчетах. При создании пользовательских отчетов планируйте, как и где хранить данные. Дополнительные сведения см. в разделе Разработка стратегии пользовательской аналитики.

Определение стратегии оптимизации

Со временем улучшайте агента, созданного с помощью Copilot Studio, чтобы увеличить отдачу от инвестиций и удовлетворенность клиентов.

Оценивайте эффективность агента ежемесячно и сосредотачивайтесь на следующих показателях:

  • Коэффициент отклонения: процент выполненных запросов через самообслуживание.
  • Показатель разрешения: процент сеансов, завершившихся успешно.
  • Уровень вовлеченности: процент вовлеченных сеансов.
  • Темы с низким разрешением: процент разрешения по отдельной теме.
  • Нераспознанные высказывания: фразы, которые не активировали ни одну пользовательскую тему.
  • Анализ по каналам: метрики для выявления различий в производительности между каналами.

Дополнительные сведения см. в разделе Обзор отклонения.

Собирайте обратную связь и комментарии пользователей через реакции «палец вверх» и «палец вниз»

Пользователи могут оставить реакцию на любое сообщение, отправленное агентом, используя кнопки «палец вверх» и «палец вниз». Когда пользователь выбирает кнопку реакции, попросите его оставить более подробную обратную связь в комментарии. Вы можете просмотреть все реакции и комментарии за последние 28 дней во вкладке аналитики агента внутри Copilot Studio.

Подробнее см. в разделе Реакции.

Анализируйте вопросы пользователей по темам

Copilot Studio анализирует все пользовательские вопросы, вызывающие ответ генеративного ИИ, и группирует их по общим темам. Тематики помогают создателям понять, какие вопросы задают пользователи и насколько эффективно работает агент. Вы можете просмотреть все связанные вопросы и показатели качества ответов по каждой теме.

Узнайте больше в разделе Анализ вопросов пользователей по темам.

Просмотр ключевых показателей для разговоров в наборе Copilot Agent Kit

Ключевые показатели эффективности диалога (KPI) для отслеживания эффективности агентов также предоставляются в составе Copilot Agent Kit.

Copilot Agent Kit предлагает следующие преимущества:

  • Хранение агрегированных метрик агентов в Dataverse
  • Сохранение данных КПЭ для долгосрочного отслеживания
  • Определение конкретных переменных для отслеживания в рамках КПЭ, например, Net Promoter Score (NPS)
  • Сохранение полных расшифровок разговоров вместе с записями КПЭ
  • Расширение шаблонов отчетов Power BI для создания пользовательских отчетов

Узнайте больше в разделе «Отслеживать эффективность агента с ключевыми показателями для разговоров» в Copilot Agent Kit.

Следующий шаг

Узнайте, как интерпретировать такие сигналы, как объем разговоров, качество сеансов и паттерны повторного использования, чтобы понять, как пользователи взаимодействуют с вашим агентом.

Измеряйте вовлеченность

  • Last updated on