Телеметрия на уровне агента с Application Insights

В этой статье объясняется, как захватить телеметрические данные на уровне агента из вашего агента Copilot Studio на основе стандартного использования в приложение Azure Insights.

Подключение агента Copilot Studio к Application Insights

Чтобы подключить вашего агента к Application Insights, сначала добавьте ключ инструментирования в его конфигурацию.

1. Перейдите на страницу Параметры для агента и выберите Дополнительно.

2. В разделе Application Insights укажите строку подключения. Сведения о том, как найти строку подключения, см. в документации по Azure Monitor.

3. Или же вы можете включить один из следующих параметров.

   • Включить ведение журнала: если включено, система фиксирует данные входящих и исходящих сообщений и событий.

   • Вести журнал деталей беседы: включает идентификатор пользователя, имя пользователя и текст сообщения (для действий типа «Сообщение»). Когда трассировка OpenTelemetry включена, эта настройка также управляет входными аргументами инструментов и выходными результатами инструментов, зафиксированными в спанах.

   • Запись конфиденциальных свойств действий: если эта функция включена, журналы содержат значения определенных свойств входящих и исходящих сообщений и событий, которые могут считаться конфиденциальными.

   • События выполнения узлов: запись события при каждом выполнении узла внутри темы.

Анализ телеметрии бота с помощью Application Insights

После подключения агента к Application Insights он ведёт данные телеметрии при взаимодействии пользователей с агентом, включая тестирование внутри Copilot Studio. Чтобы просмотреть зарегистрированные телеметрические данные, перейдите в раздел «Журналы» вашего ресурса Application Insights в Azure. Здесь вы можете использовать запросы Kusto для запроса и анализа ваших данных. Узнайте больше в примерах запросов.

Примеры запросов

Запрос может быть таким же простым, как указание одной таблицы, например, таблица customEvents, которая показывает все пользовательские события телеметрии, зарегистрированные в Copilot Studio. Но вы также можете использовать запросы Kusto, чтобы еще больше сузить результаты, в том числе:

• Добавить временной интервал
• Расширение результатов с помощью пользовательских измерений. Пользовательские измерения — это настраиваемые свойства, которые регистрируются вместе с готовыми полями, такими как метка времени или название события.
• Добавление предложения со значением «где» (where) для ограничения данных, возвращаемых на основе условия
• Использование дополнительных встроенных функций Kusto для определения того, какая информация и как отображается

Следующий пример запроса строит график, демонстрирующий, сколько уникальных пользователей взаимодействовали с вашим ботом по дням за последние 14 дней.

let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

Исключите телеметрию из тестовых разговоров в ваших запросах

Ваш бот регистрирует данные телеметрии для всех разговоров, включая те, которые происходят в Copilot Studio при тестировании. Если вы хотите исключить телеметрию, собранную во время тестирования, дополните ваш запрос, используя designMode пользовательское измерение, которое фиксируется во всех событиях, и добавьте предложение со значением «где» (where) в ваш запрос.

В следующем примере показаны все настраиваемые события, за исключением событий, захваченных тестовым холстом.

customEvents
| extend isDesignMode = customDimensions['designMode']
| where isDesignMode == "False"

Пользовательские измерения

Большая часть данных о конкретных действиях, полученных из Copilot Studio, хранится в поле customDimensions. Видно , что поле пользовательской аналитики используется в запросе для исключения телеметрии из тестовых бесед.

Просмотр результатов мониторинга (предварительный просмотр)

Панель мониторинга Copilot Studio использует сигналы из Azure Monitor Application Insights. Он запрашивает Application Insights через Azure Workbooks и создаёт визуализации.

Эти представления объединяют ключевые метрики, такие как общее количество разговоров, задержки, исключения, использование инструментов и аналитику тем, в одном представлении. Единое представление обеспечивает командам прозрачность, позволяя отслеживать операционное состояние и качество, анализировать тенденции и постоянно оценивать для улучшения приложения.

Чтобы получить доступ и использовать встроенное средство мониторинга в Application Insights, выполните следующие шаги:

1. Откройте ресурс Application Insights.
2. Выберите вкладку Мониторинг на левой панели навигации.
3. Во вкладке Мониторинг выберите Книги. Откройте Панель мониторинга Copilot Studio из коллекции книг.

Настройка и предоставление общего доступа к панели мониторинга

Application Insights — это мощный инструмент для мониторинга производительности приложений (APM), который предоставляет аналитические сведения о работоспособности и производительности приложений.

Панель мониторинга открывается как редактируемая книга, в которой вы сможете настроить ее под свои задачи и сохранить.

1. Выберите "Изменить " на панели команд.

   

2. Измените элементы по мере необходимости для вашего варианта использования. Нажмите на три точки (…) у элемента, чтобы редактировать, добавить, переместить или изменить размер элемента, клонировать или удалить его. Например, вы можете добавить элемент, который использует KQL для отслеживания пользовательского атрибута, который не отображается во встроенном представлении.

   

3. Выберите Сохранить, чтобы сохранить последние изменения и создать разные представления по мере необходимости.

   

4. Нажмите значок Поделиться на панели инструментов, чтобы поделиться с вашей командой.

   Note

   Когда вы делитесь этой книгой со своими коллегами, у них должна быть как минимум роль «Читатель» для подключенного ресурса Application Insights, чтобы они могли просматривать отображаемую информацию.

   

Отключить телеметрию Application Insights на уровне агента

Чтобы помешать создателям включить телеметрию Application Insights на уровне агента, заблокируйте разъём Application Insights в Copilot Studio через политику данных в административном центре Power Platform.

Прежде чем начать, убедитесь, что у вас есть:

• Роль администратора платформы Power Platform или администратора Dynamics 365 на уровне арендатора в Microsoft Entra ID.
• Доступ к целевой среде, где размещаются агенты Copilot Studio.

Чтобы отключить телеметрию Application Insights на уровне агента, следуйте следующим шагам:

1. В административном центре Power Platform выберите Безопасность в левой панели, затем Данные и конфиденциальность, а затем Политика данных.
2. Создайте новую политику данных или отредактируйте существующую.
3. Выберите среды, к которым должна применяться политика, и выберите « Добавить в политику».
4. На шаге Connectors (новая политика) или Prebuilt Connectors (существующая политика) найдите Application Insights в Copilot Studio и выберите его.
5. Выберите Блок, чтобы перенести Application Insights в Copilot Studio в группу Blocked connector.
6. Выполните оставшиеся шаги настройки политики и опубликуйте политику.

Когда политика данных применяется, коннектор Application Insights в Copilot Studio блокируется для целевых сред. Пользователи и производители не могут использовать этот разъём в условиях, регулируемых политикой.

Связанная информация

• Обзор телеметрии с Application Insights
• Телеметрия на уровне окружающей среды с Application Insights (предварительный просмотр)
• Экспорт данных в Application Insights