Оценка результатов агентов

Отслеживайте результаты взаимодействия в ходе разговоров, чтобы оценивать эффективность работы агента и выявлять возможности для ее улучшения.

Важно

В результате разговора между пользователем и агентом в Copilot Studio создается один или несколько сеансов аналитики. Все сеансы аналитики являются либо с взаимодействием, либо без взаимодействия.

Понимание результатов сеансов аналитики

Каждый сеанс аналитики имеет результат:

  • Сеансы Без взаимодействия всегда имеют результат Нет.
  • Сеансы С взаимодействием имеют один из следующих результатов:
    • Разрешен
    • Эскалировано
    • Прервано

Взаимодействие и результаты

Просматривать сеансы аналитики разговоров, их состояние взаимодействия и результаты можно на панели мониторинга аналитики или в таблице ConversationTranscript в Dataverse.

Взаимодействие Результат Определение
Без взаимодействия Нет (None) Все сеансы без взаимодействия всегда имеют результат Нет.
Заинтересованный Эскалировано (HandOff) Сеанс считается эскалированным, когда активирована тема Эскалировать или достигнут узел Перевести разговор.
Заинтересованный Разрешено (Resolved) Сеанс считается разрешенным, когда срабатывает тема Конец разговора и пользователь подтверждает, что взаимодействие было успешным (impliedSuccess = FALSE) или не отвечает и позволяет сеансу истечь по времени (impliedSuccess = TRUE).
Заинтересованный Прервано (Abandoned) Сеанс считается прерванным по завершении сеанса взаимодействия, когда он не достиг состояния разрешения или эскалации.

Правильное завершение разговоров для оценки результатов

Завершите разговор темой Конец разговора. С помощью этой темы пользователь может удостовериться, решена ли его проблема, и при необходимости инициировать эскалацию.

Когда агент подтверждает успех, пользователю отображается опрос удовлетворенности клиентов для сбора оценки от 0 до 5.

Если вы уверены в результате разговора на основе логики темы, вы можете напрямую пометить ее как подтвержденный успех или перенаправить на тему эскалации.

Совет

В едином холсте разработки, в редакторе кода, задайте conversationOutcome в действии. Например, используйте conversationOutcome: ResolvedConfirmed для подтвержденного успеха или conversationOutcome: ResolvedImplied для подразумеваемого успеха.

Далее

Определите, где ваш агент успешно решает запросы, где он не справляется, и как повысить эффективное отклонение с помощью лучшей маршрутизации, знаний и оркестрации.