Улучшение тестирования агентов с помощью Copilot Agent Kit

Power CAT Copilot Agent Kit — это удобное приложение, позволяющее проверять ответы агентов. Также включает встроенные возможности, такие как экспорт и импорт из Excel для массового создания и обновлений.

Настройка, запуск и анализ

Настройте и выполните тесты для API-интерфейсов Copilot Studio (Direct Line), чтобы оценить ответы агента в сравнении с ожидаемыми результатами.

Чтобы обогатить результаты, извлекайте дополнительные данные из приложение Azure Insights и Dataverse, анализируя записи расшифровок разговоров (например, точное имя активированной темы и показатели распознавания намерений).

Для ответов, сгенерированных ИИ, которые по своей природе не являются детерминированными, используйте запросы для сравнения сгенерированного ответа с эталонными ответом или инструкциями по проверке.

Диаграмма, показывающая компоненты Azure и Power Platform, участвующие в тестировании и анализе API-интерфейсов Direct Line Copilot Studio, включая приложение Azure Insights, AI Builder и Dataverse.

Типы тестов

Инструмент поддерживает следующие типы тестов:

  • Совпадение ответа
  • Вложения, такие как адаптивные карточки
  • Совпадение темы (требуется Dataverse)
  • Генеративные ответы (требуется AI Builder для анализа ответов и Application Insights для подробностей, почему ответ не был сгенерирован)
  • Многоходовый тип теста — это особый тип теста. Он состоит из набора тестовых случаев обычных типов, которые выполняются в определенном порядке в одном и том же контексте разговора. Используйте многоходовые тесты для сквозного тестирования сценариев и для тестирования пользовательских агентов с генеративной оркестрацией.
  • Проверка плана позволяет разработчикам убедиться, что их пользовательские агенты, использующие генеративную оркестрацию, включают ожидаемые инструменты. Вместо того чтобы оценивать слова агента, этот тип теста проверяет, включает ли динамический план агента ожидаемые инструменты (инструменты, действия и подключенные агенты) до заранее определенного порога.

Узнайте больше о типах тестов в разделе Configure tests в Copilot Agent Kit.

Снимок экрана деталей результатов тестового запуска, включая график с показателем успеха и задержки всех тестовых запусков.

Следующий шаг

Настройка агента для автоматизации тестирования

  • Last updated on