Мониторинг агентов ИИ с помощью Application Insights

Представление сведений об агенте в Application Insights предоставляет унифицированный интерфейс для мониторинга агентов ИИ в нескольких источниках, включая Microsoft Foundry, Copilot Studio и сторонних агентов.

Эта функция объединяет данные телеметрии и диагностики, позволяя отслеживать производительность агента, анализировать использование маркеров и затраты, устранять ошибки и оптимизировать поведение агента.

Предпосылки

Прежде чем использовать представление сведений об агентах, реализуйте сбор данных агента ИИ.

Следите за вашими агентами ИИ

Доступ к просмотру сведений об агенте

После того как данные телеметрии поступят в Application Insights:

1. На портале Azure перейдите к ресурсу Application Insights.

2. В меню навигации выберите агенты (предварительная версия).

   

Изучение следов

Чтобы просмотреть определенные запуски агента:

1. Выберите параметр в представлении сведений об агенте:

   • Просмотр трассировок с помощью запусков агента — просмотр всех выполнений агента.
   • Просмотр трассировок с ошибками генеративного ИИ — сосредоточьтесь на неудачных или проблемных запусках.
   • Любой отдельный вызов инструмента или модель на плитках Вызовы инструментов или Модели.

   

   Наложение Search отображает отфильтрованные трассировки, соответствующие вашему выбору.

2. Используйте возможности поиска, чтобы:

   • Сортировка трассировок по метрикам, таким как большинство маркеров, используемых для выявления дорогостоящих операций.
   • Отфильтруйте по диапазону времени, чтобы изолировать определенные инциденты.
   • Выполнять поиск по содержимому промпта, если включено журналирование конфиденциальных данных.

3. Выберите любую трассировку, чтобы открыть представление Сведения о сквозной транзакции для всестороннего анализа.

   

Комплексное представление деталей транзакций

В режиме просмотра сведений о сквозной транзакции теперь доступен упрощённый вид. В этом представлении шаги агента показаны в ясной, в стиле рассказа манере, включая вызываемого агента, базовую крупную языковую модель (LLM), используемые инструменты и многое другое.

Простое представление помогает быстро найти соответствующие данные телеметрии и перейти в Foundry или другие средства, чтобы внести необходимые изменения.

В этом примере вы исследуете высокий расход токенов. Сведения о транзакции помогают понять, что большой контекст промпта и дорогая модель увеличивают расход токенов и затраты.

Настройка представлений мониторинга с помощью Grafana

Представление сведений об агенте в Application Insights предлагает настроенный, готовый к использованию интерфейс для мониторинга ваших агентов ИИ. Для более гибкой настройки и визуализации выберите Explore in Grafana на верхней панели навигации на странице сведений об агенте.

Azure Monitor включает предварительно созданные панели мониторинга Grafana, предназначенные для мониторинга генеративного ИИ, чтобы помочь вам начать работать.

• Agent Framework — Мониторинг выполнения и производительности агента
• Рабочий процесс Agent Framework — Отслеживание шаблонов рабочих процессов агента и зависимостей
• Foundry - визуализация специфических для Foundry метрик и телеметрии
• Панели мониторинга агента программирования — Мониторинг использования агента программирования ИИ, производительности и затрат. См. статью "Мониторинг агентов программирования ИИ".

Эти панели мониторинга служат отправной точкой для стратегии мониторинга. Их можно настроить следующими способами:

• Использование различных панелей визуализации для соответствия вашим предпочтениям
• Редактирование или создание новых запросов для отображения определенных метрик
• Использование «Сохранить как» для создания настраиваемых панелей мониторинга для вашей конкретной среды и сценариев использования

Дополнительные сведения об использовании Grafana с Application Insights можно найти в разделах Dashboards with Grafana in Application Insights и Use Azure Monitor Dashboards with Grafana.

Мониторинг агентов программирования искусственного интеллекта

ИИ-агенты для программирования, такие как GitHub Copilot, Claude Code, Codex, OpenClaw, Gemini CLI и OpenCode, генерируют сигналы по протоколу OpenTelemetry (OTLP), которые передаются в Application Insights для обеспечения видимости использования, затрат и надежности.

Как телеметрия агента для программирования поступает в Azure Monitor

Настройте агенты программирования или среды разработки для экспорта сигналов OTLP с помощью переменных среды на уровне организации, параметров проекта или конфигураций общего репозитория.

Сборщик OpenTelemetry получает данные OTLP и пересылает его в Azure Monitor с помощью экспортера Azure Monitor. Сведения о комплексной настройке см. в разделе "Мониторинг агентов программирования ИИ" с помощью Grafana.

Когда данные поступают в Azure Monitor, вы можете анализировать модели использования и внедрения в представлениях агента в Application Insights и визуализировать тенденции с помощью готовых панелей мониторинга агента программирования.

Предварительно созданные панели мониторинга Grafana для агентов программирования

Azure Monitor включает готовые к использованию панели мониторинга Grafana для мониторинга агента кодирования:

• панель мониторинга GitHub Copilot
• Панель мониторинга Claude Code
• Панель мониторинга OpenClaw

Эти панели мониторинга можно найти на панелях мониторинга с помощью Grafana в Application Insights и в Управление Azure для Grafana.

Связанные ресурсы

• Мониторинг использования агента с помощью OpenTelemetry (VS Code)
• Мониторинг агентов программирования искусственного интеллекта с помощью Grafana

Дальнейшие шаги

• Изучите сквозную диагностику транзакций, которая сопоставляет данные телеметрии на стороне сервера из всех отслеживаемых компонентов Application Insights в едином представлении.