Совершенствование агентов путем триажа и устранения проблем на основе оценки

Разработка эффективного агента требует не только написания инструкций и подключение данных и инструментов. После развертывания команды должны постоянно оценивать, диагностировать и улучшать поведение агента, чтобы оно соответствовало бизнес-требованиям, требованиям к качеству и требованиям к безопасности.

Эта серия статей представляет собой практическую методологию для этапа совершенствования жизненного цикла разработки агента. Эта методология позволяет взять результаты оценки (баллы, непройденные тестовые случаи и регрессии) и превратить их в четкие, приоритизированные действия.

Используйте эту методологию, когда у вас есть результаты оценки и нужно решить, что делать дальше. Распространенные сценарии включают в себя:

• Результаты набора оценивания оказались ниже ожидаемого порога.
• Конкретные тестовые случаи не пройдены, и причина этого неясна.
• Результаты улучшаются в одной области, но ухудшаются в другой.
• Не пройдено несколько наборов оценивания и неясно, какие из них следует приоритизировать.
• Поведение агента неожиданно меняется после обновления.

Данная методология предполагает, что у вас уже есть результаты "пройден" или "не пройден" для отдельных тестовых случаев в одном или нескольких наборах оценивания.

Далее

Изучите цели методологии триажа и устранения проблем, включая ее структуру и принципы проектирования.

Дополнительные сведения

• Автоматизация тестирования с помощью оценки агентов в Microsoft Copilot Studio
• Разработка и внедрение оценки агентов
• Архитектура решений для агентов: методологии оценки
• Архитектура решений для агентов: распространенные подходы к оценке