Мониторинг агентов ИИ с помощью Application Insights

Представление сведений об агенте в Application Insights предоставляет единый интерфейс для мониторинга агентов ИИ в нескольких источниках, включая Azure AI Foundry, Copilot Studio и сторонних агентов.

Эта функция объединяет данные телеметрии и диагностики, позволяя клиентам отслеживать производительность агента, анализировать использование маркеров и затраты, устранять ошибки и оптимизировать поведение агента.

Предпосылки

Начало работы

Выбор подхода к мониторингу

Начало может различаться в зависимости от того, как и где вы создаёте агентов.

Управляемое размещение

• Azure AI Foundry: Вы можете собирать данные телеметрии из агентного приложения с помощью дистрибутива OpenTelemetry Azure Monitor и пакета SDK для Azure AI Foundry.

• Copilot Studio: Встроенную конфигурацию можно использовать для отправки данных телеметрии в Azure Monitor, см. статью "Подключение агента Copilot Studio к Application Insights".

Самостоятельное размещение

• Microsoft Agent Framework: При создании агента с нуля и самостоятельном размещении можно использовать Microsoft Agent Framework для управления агентом и отправки телеметрических данных в Azure Monitor.

• Сторонние агенты: Если вы создали агент в другом месте, вы можете отправить данные телеметрии в Azure Monitor с помощью Трассировщика Azure AI OpenTelemetry. Эти агенты также можно зарегистрировать в Azure AI Foundry.

  Дополнительные сведения можно найти здесь

  • Включите трассировку для агентов, созданных на основе LangChain и LangGraph.
  • Включение трассировки для агентов, созданных на основе пакета SDK для агентов OpenAI

Если вы решите собирать полную информацию о подсказке (например, с помощью флага EnableSensitiveData в Agent Framework), вы сможете искать подсказки в представлении поиск и просматривать диалоги, включая сообщения помощника, системные подсказки и использование инструментов в представлении сведения о транзакциях.

Настройка оценок

Для настройки оценки существует несколько подходов.

Пакетные оценивания:

• Локальные оценки с помощью пакета SDK для оценки ИИ Azure:выполнение вычислений на компьютере разработки во время тестирования.
• Облачные оценки с помощью пакета SDK для Azure AI Foundry:Выполнение вычислений в Azure для более крупных наборов данных или совместной работы группы.
• Оценки на основе портала Azure Foundry:используйте портал Azure AI Foundry для рабочих процессов оценки без кода.

Непрерывная оценка:настройка автоматических вычислений, выполняемых в рабочей среде для обнаружения регрессий качества.

Следите за вашими агентами ИИ

Доступ к просмотру сведений об агенте

Когда данные телеметрии начинают поступать в Application Insights:

1. На портале Azure перейдите к ресурсу Application Insights .

2. В меню навигации выберите агенты (предварительная версия).

   

Изучение следов

Чтобы выполнить детализацию конкретных запусков агента, выполните указанные действия.

1. Выберите один из следующих элементов в представлении данных об агенте.

   • Просмотр трассировок с помощью запусков агента — просмотр всех выполнений агента
   • Просмотр трассировок с ошибками генеративного ИИ - Фокус: на неудачных или проблемных запусках
   • Любой отдельный вызов инструментов или модель в плитках Вызовы инструментов или Модели

   

   Наложение поиска отображает отфильтрованные трассировки, соответствующие вашему выбору.

2. Используйте возможности поиска, чтобы:

   • Сортировка трассировок по метрикам, таким как большинство маркеров, используемых для выявления дорогостоящих операций
   • Фильтрация по диапазону времени для изоляции конкретных инцидентов
   • Поиск по содержимому запроса (если включено ведение журнала конфиденциальных данных)

3. Выберите любую трассировку, чтобы получить представление сведений о сквозной транзакции для комплексного анализа.

   

Комплексное представление деталей транзакций

Подробные сведения о транзакциях теперь предлагают простое представление, в котором показаны шаги агента в четкой, сюжетной форме, включая вызываемый агент, базовый LLM, выполненные инструменты и многое другое.

Простое представление позволяет быстро найти соответствующие данные телеметрии и перейти в Azure AI Foundry или другие средства, чтобы внести необходимые изменения.

В нашем примере мы исследовали высокую активность использования токенов. Сведения о транзакциях позволяют определить, что контекст большого запроса и (или) дорогостоящая модель увеличивают использование токенов и расходы.

Настройка представлений мониторинга с помощью Grafana

Представление сведений об агенте в Application Insights предлагает настроенный, готовый к использованию интерфейс для мониторинга ваших агентов ИИ. Для более продвинутой настройки и визуализации вы можете выбрать Обзор в Grafana на верхней панели навигации в представлении сведений об агенте.

Azure Monitor включает предварительно созданные панели мониторинга Grafana, специально разработанные для мониторинга ИИ поколения, которые помогут вам приступить к работе:

• Agent Framework — Мониторинг выполнения и производительности агента
• Рабочий процесс Agent Framework — Отслеживание шаблонов рабочих процессов агента и зависимостей
• AI Foundry — Визуализация метрик и телеметрии, специфичных для AI Foundry

Эти панели мониторинга служат отправной точкой для стратегии мониторинга. Их можно настроить следующими способами:

• Использование различных панелей визуализации для соответствия вашим предпочтениям
• Редактирование или создание новых запросов для отображения определенных метрик
• Использование "Сохранить как" для создания адаптированных панелей мониторинга для вашей конкретной среды и вариантов использования

Дополнительные сведения об использовании Grafana с Application Insights см. статью "Панели" с Grafana в Application Insights и см. статью "Использование панелей Azure Monitor с Grafana".

Дальнейшие шаги

• Узнайте, как работает корреляция в Application Insights с помощью корреляции телеметрии.
• Изучите сквозную диагностику транзакций, которая сопоставляет данные телеметрии на стороне сервера из всех отслеживаемых компонентов Application Insights в едином представлении.