Просмотр активности агента

Создание агента — это итеративный процесс. Для этого необходимо понимать, как работают ваши агенты, вносить изменения и оценивать их результаты. Этот процесс помогает создавать более эффективные агенты. Отслеживание действий в Copilot Studio предоставляет наглядное представление последовательности входных данных, решений и выходных данных ваших агентов в рамках действия, что помогает выявлять проблемы и находить возможности для их улучшения.

Для каждого действия формируется карта действия. Действие начинается, когда агент начинает разговор или внешнее событие активирует агент. На карте каждое действие представлено узлом.

Существует две формы отслеживания действий:

• Карта действий в реальном времени агента во время тестирования
• Исторические карты действий и расшифровки прошлых действий

Карта активности в реальном времени во время тестирования

Когда вы задаете агенту вопрос на панели Тестирование агента, на карте действий отображается визуальное представление плана, созданного агентом. На карте выделяются ошибки, например отсутствующие или недопустимые входные и выходные параметры действий, а также отображается время выполнения каждого шага. Вы также можете убедиться в правильности информации, которую отправляет или получает ваш агент.

Чтобы карта действий автоматически отображалась при отправке запроса агенту на панели Тестирование агента, выберите три точки (…), а затем включите параметр Показывать карту действий при тестировании.

В этом примере пользователь задал вопрос: "Какая погода ожидается завтра в Торонто, Канада?". Вы можете увидеть, какое действие агент выбрал для формирования ответа, а также соответствующие входные и выходные данные.

Тестирование триггеров событий

Когда вы тестируете триггеры событий, в тестовом чате отображаются полезные данные триггера в виде сообщения. Только вы можете увидеть это сообщение в Copilot Studio для целей тестирования. Пользователи агента не видят это сообщение. Используйте сообщения полезной нагрузки, чтобы понять, когда и какие данные и инструкции триггер отправляет вашему агенту.

Отслеживание смен тем

Когда вы тестируете агент, вы можете отслеживать смену тем. Когда вы включаете отслеживание, на карте действий отображаются узлы внутри темы в последовательности их выполнения, когда тема запускается как часть плана. Вы можете отслеживать поток разговора.

Просмотр переменных

Вы можете просматривать переменные, используемые вашим агентом во время тестирования. Эти переменные могут быть глобальными, переменными среды, системными или пользовательскими переменными, к которым имеет доступ агент.

Чтобы просмотреть переменные:

1. Откройте программу-агент. Появится страница Обзор.
2. Выберите Тестировать, чтобы открыть панель Тестирование агента.
3. На панели Тестирование агента начните разговор с агентом, введя запрос.
4. Чтобы просмотреть переменные во время тестирования, выберите Тестировать и нажмите Переменные. Откроется панель Переменные, на которой отображаются переменные, использованные во время тестирования.

Просмотр цепочки рассуждений агента в тестовом чате

Функция "Цепочка рассуждений" (CoT) дает представление о процессе рассуждений агента во время тестирования. Она отображает промежуточные этапы, соображения и решения, которые агент формирует в процессе обработки входных данных и создания выходных данных. Эта функция полезна для понимания сложных взаимодействий и отладки поведения агента.

Чтобы во время тестирования просмотреть цепочку рассуждений агента, выполните следующие действия:

1. Откройте программу-агент. Появится страница Обзор.
2. Выберите Тестировать, чтобы открыть панель Тестирование агента.
3. На панели Тестирование агента начните разговор с агентом, введя запрос.
4. Перед тем как агент ответит, на панели Тестирование агента появляется рассуждение, показывающее цепочку рассуждений для ответа агента.

Историческая активность

Каждый раз, когда агент начинает выполнение действия, включая тесты, которые вы запускаете в Copilot Studio, страница Действие регистрирует это действие в режиме реального времени. Перейдите на страницу Действие, чтобы:

• Просмотрите взаимодействия и решения, которые агент принимал в ходе выполнения действия.
• Найти места, где поведение вашего агента не соответствует вашим целям.
• Просмотрите, сколько времени требуется агенту для выполнения каждого действия.
• Найдите сведения об ошибке.

История действий агента доступна для:

• Взаимодействия в тестовом чате Copilot Studio
• Агенты, опубликованные в каналах Microsoft Teams и Microsoft 365 Copilot
• Агенты, опубликованные в канале SharePoint
• События, начавшиеся с автономного триггера

На странице Действие изучите следующую информацию:

• Список действий и сведения о них.
• Пошаговый разговор, который происходит в рамках действия.

Список действий

Действие — это единица взаимодействия с агентом, которая включает разговор с пользователем, регистрацию и обработку событий либо сочетание этих действий.

В списке действий можно увидеть:

• Имя: имя пользователя, взаимодействующего с агентом. Если действие происходит без участия пользователя, например когда агент выполняет действия самостоятельно, пользователь отображается как Автоматизированный.
• Каналы: канал, в котором осуществлялось взаимодействие. Действия, происходящие на панели Тестирование агента, отмечены значком Copilot Studio.
• Дата: дата начала первого взаимодействия в действии.
• Выполненные шаги: количество шагов, которые агент выполняет во время действия.
• Последний шаг: финальный шаг, выполненный в действии.
• Статус: статус действия (успешно, сбой, выполняется).

Настройка представления таблицы действий

Вы можете настроить представление таблицы действий, чтобы сосредоточиться на наиболее важной для вас информации.

Чтобы настроить представление таблицы действий:

1. Перейдите на страницу Действие вашего агента. Появится список действий.
2. Выберите Редактировать колонки. Отобразится панель Изменить столбцы со списком доступных столбцов.
3. На панели Изменить столбцы:
   • Установите флажок рядом с названиями столбцов, которые вы хотите показать.
   • Снимите флажок рядом с названиями столбцов, которые вы хотите скрыть.
   • Перетащите столбцы, чтобы изменить их порядок, или используйте стрелки вверх и вниз.
4. Выберите Сохранить, чтобы подтвердить и обновить представление таблицы действий.

Сортировка и фильтрация сеансов

Вы можете сортировать и фильтровать сеансы по дате, каналу, состоянию и ошибкам, чтобы быстро сузить список для более эффективного анализа и проверки. Также можно настроить представление, чтобы сосредоточиться на наиболее важных для вашего рабочего процесса данных.

Чтобы отсортировать или отфильтровать сеансы, перейдите на страницу Действие. Отобразится список сеансов действий.

• Чтобы отсортировать сеансы, наведите указатель на заголовок столбца, по которому хотите выполнить сортировку, дождитесь появления стрелки сортировки и выберите ее. Выберите ее еще раз, чтобы изменить порядок сортировки на обратный.
• Чтобы настроить представление и сосредоточиться на определенных сеансах, выберите Фильтры и укажите критерии, по которым хотите выполнить фильтрацию.
• Чтобы отфильтровать сеансы по статусу, выберите один из следующих фильтров в верхней части списка сеансов: Сбой, Заблокировано, Выполняется, Ожидание пользователя или Завершено.

Просмотр действия сеанса

На странице Действие вы можете просмотреть разговор внутри действия либо в виде визуальной карты действий, либо одновременно в виде расшифровки разговора и визуальной карты действий. По умолчанию выбрано Расшифровка и представление карты.

1. Чтобы просмотреть разговор внутри действия, выберите действие.

   • Чтобы просмотреть расшифровку и карту действий вместе, выберите Просмотр, затем выберите Расшифровка и представление карты.
   • Чтобы просмотреть только карту действий, выберите Просмотр, затем выберите Представление карты.

   

2. Чтобы вернуться к списку действий, щелкните значок "Назад" .

В представлении Расшифровка и представление карты отображается разговор, произошедший с агентом во время действия, а также визуальная карта действий. В расшифровке содержатся данные, введенные пользователем, полезные данные триггера и ответы агента. Используйте расшифровки, чтобы увидеть, как агент отвечает во время разговоров с пользователями. Вы также можете увидеть сообщения полезной нагрузки триггера, которую ваш агент получает от триггеров событий.

Просмотр цепочки рассуждений агента

Функция "Цепочка рассуждений" (CoT) дает представление о процессе рассуждений вашего агента в ходе действия. Она отображает промежуточные этапы, соображения и решения, которые агент формирует в процессе обработки входных данных и создания выходных данных. Эта функция полезна для понимания сложных взаимодействий и отладки поведения агента. Вы можете просмотреть цепочку рассуждений агента по конкретному действию только в представлении карты.

Чтобы просмотреть цепочку рассуждений или обоснования агента по конкретному действию:

1. На вкладке Действие выберите действие, которое необходимо просмотреть. По умолчанию отображается Расшифровка и представление карты.
2. На карте действий выберите шеврон Обоснование. Появляется цепочка рассуждений агента.

Просмотрите взаимодействие вашего агента с другими пользователями

Когда системный администратор позволяет делиться расшифровками активности вашего агента с другими пользователями, вы можете увидеть взаимодействие других пользователей с вашим агентом на странице активности . Вы можете проанализировать, как ваш агент ведёт себя в реальных взаимодействиях, и выявить области для улучшения.

Дополнительные сведения см. в разделе "Совместное использование агентов с другими пользователями".

Закрепление или открепление действия

На странице Действие можно закрепить важные действий вверху списка действий для удобного доступа к ним или открепить их, когда они больше не нужны.

• Чтобы закрепить действие, наведите указатель на действие и щелкните значок "Закрепить" рядом с его именем.
• Чтобы открепить действие, наведите указатель на закрепленное действие и щелкните значок "Открепить" рядом с его именем.

Просмотр всех действий агента на карте действий

Представление карты — это визуальное отображение потока входных данных, решений и реакций, происходящих в рамках действия. Каждое действие, которое выполняет агент, пользователь или триггер, связано с узлом. При просмотре карты действий выберите узел, чтобы просмотреть сведения о входных данных, решениях и выходных данных для этого действия.

Следующее изображение — пример того, что отображается при выборе узла знаний. В нем показано:

• Запрос, который агент использовал для поиска источников знаний. Он может отличаться от запроса, сформулированного пользователем, или от входных данных, предоставленных триггером.
• Ответ, сформированный агентом на основе источников знаний.
• Источники, на которые ссылался агент.
• Другие источники, которые агент просматривал, но не использовал для формирования ответа. Агент изучил эти источники, но не нашел релевантной информации к запросу.

В этом примере вы можете просмотреть сведения об узле действия Получить прогноз завтра, включая входные и выходные данные:

Выберите Изменить, чтобы просмотреть и изменить конфигурацию, связанную с выбранным действием.

Логическое обоснование

Логическое обоснование содержит объяснение того, почему агент решил вызвать определенный инструмент. ИИ создает обоснование по запросу на основе метаданных агента и действии. Логическое обоснование отображается для источников знаний или соединителей со статусом Завершено. Выберите Показать логическое обоснование, чтобы отобразить логическое обоснование.

При проверке действия агента используйте Логическое обоснование, чтобы лучше понять, почему агент решил вызвать определенный инструмент или заполнить параметры. Это помогает устранять проблемы с поведением агента. Однако поскольку ИИ генерирует логическое обоснование, оно может быть неточным. Используйте собственное суждение при проверке предоставленного логического обоснования.

Состояние агента

В следующей таблице приведены сведения о различных состояниях, с которыми агент может столкнуться в процессе работы:

Отправка отзывов

Если у вас есть предложения по улучшению качества агента, отправьте отзыв, используя значок Отзывы на вкладке Действие.