Планирование и создание теста эффективности разговорного агента

Разговорные агенты, созданные в Copilot Studio, работают на платформе, которая автоматически масштабируется для поддержки увеличения спроса и нагрузки. Однако разговорные агенты часто используют пользовательскую логику или вызовы API серверной части, которые вводят задержку, поскольку пользовательская логика неэффективна или базовые API и серверные системы плохо масштабируются.

В ходе тестирования производительности оценивается производительность и устойчивость агента при различных параметрах нагрузки. Выявляются потенциальные проблемы по мере роста числа пользователей, что обеспечивает работоспособность и отзывчивость агента. Без тестирования разговорного агента под нагрузкой, он может хорошо работать во время разработки и тестов, но не справляться с реальным пользовательским трафиком.

Прежде чем переходить к техническим аспектам тестирования производительности, определите критерии принятия, отражающие желаемый пользовательский опыт, и выделите разговорные сценарии использования, которые создают характерные шаблоны нагрузки. В статье кратко описывается этап планирования тестирования производительности и приводятся рекомендации по техническим особенностям создания нагрузки для ваших разговорных агентов.

Планируйте свой тест производительности

План проведения теста производительности должен иметь четко определенную цель и конкретные критерии приемки. Например, одни тесты измеряют производительность системы при стандартной нагрузке, а другие создают более экстремальный стресс, который сознательно приводит к неотзывчивости системы. При измерении производительности разговорных агентов, созданных с помощью Copilot Studio, разрабатывайте тесты для оценки либо базовой производительности агента, либо предполагаемой высокой нагрузки, но не настраивайте тесты на создание чрезмерного стресса.

Общие сведения о поведении пользователей

Начните составление плана тестирования с анализа ожидаемого поведения пользователей в различных разговорных сценариях. С точки зрения нагрузочного тестирования, поведение пользователей может различаться в зависимости от сценария: по тому, что они говорят или спрашивают (например, «Я хочу забронировать билет» или «Какова ваша политика возврата?»), по количеству пользователей, участвующих в конкретном сценарии, и по моделям вовлечённости (например, пользователи подключаются одновременно, например, в полдень, или постепенно в течение дня).

В следующей таблице описано ожидаемое поведение пользователей для банковского разговорного агента.

Создайте план тестирования

После того как вы определили поведение пользователей с точки зрения сценариев использования и моделей вовлеченности, подумайте о деталях своего плана тестирования производительности. Минимальный план тестирования производительности для разговорного агента должен включать цель, тестовые сценарии, ключевые показатели эффективности, подробные тестовые данные и критерии успеха.

Если ваша команда уже определила диалоговые сценарии для оценок, либо создавая тестовые случаи внутри продукта, либо используя Copilot Agent Kit, вы можете использовать эти сценарии для начала создания плана тестирования.

Следующий пример плана теста предназначен для банковского разговорного агента. В плане используются ранее определенные разговорные сценарии для формирования базового сценария тестирования и сценария нагрузочного тестирования. Базовое тестирование позволяет оценить стандартную производительность и выявить проблемы при обычном использовании, тогда как нагрузочное тестирование показывает, как система справляется с пиковыми нагрузками.

Работайте с техническими и деловыми заинтересованными лицами над разработкой плана теста, соответствующего потребностям вашей организации. Согласуйте ключевые параметры, изложенные в примере. Узнайте, как использовать такие инструменты, как Apache JMeter, для создания тестовых скриптов в примере и рекомендациях теста производительности.

Моделирование многоэтапных бесед

Тестовые данные, указанные в плане, подразумевают, что запланированное тестирование производительности запускает многоэтапные беседы. Многоэтапные беседы — это последовательный обмен сообщениями между смоделированными пользователями и разговорным агентом. Тесты производительности должны моделировать многоэтапные беседы, чтобы создаваемая нагрузка максимально соответствовала реальному поведению пользователей. Кроме того, некоторые длительные действия или вызовы API выполняются только тогда, когда пользователи совершают определенную последовательность выборов или отправляют определенный шаблон сообщений в ходе разговора.

В следующем примере API серверной части банка вызывается только после выбора сберегательного счета. Время отклика на первое сообщение составляет менее одной секунды, поскольку задействован только механизм распознавания намерений агента. Последнее сообщение ожидает ответа от API серверной части, что вызывает дополнительную задержку. Без моделирования многоэтапной беседы проблемы с производительностью не проявились бы.

Моделирование многоэтапных бесед требует планирования как при подготовке тестовых данных, так и при создании тестовых скриптов. Включите в тестовые данные серию реплик пользователя, которые инициируют полные сценарии диалога, как показано в примере. Убедитесь, что ваши тестовые скрипты отправляют несколько реплик в рамках одной беседы.

Связанная информация

• Планирование пропускной способности и лимитов скорости
• Разработайте и внедрите оценку агентов
• Решения для архитекторов-агентов: фреймворки для оценки
• Разработка архитектуры решений на базе агентов: общие фреймворки оценки