Отслеживайте ваши приложения генеративного ИИ (предварительная версия)

Мониторинг созданных приложений ИИ никогда не был более важным из-за сложности и быстрого развития отрасли ИИ. Наблюдаемость с помощью Azure Ai Foundry, интегрированная с Azure Monitor Application Insights, позволяет непрерывно отслеживать развернутые приложения ИИ, чтобы обеспечить их производительность, безопасность и получение высококачественных результатов в рабочей среде. Помимо возможностей непрерывного мониторинга, мы также предоставляем возможности непрерывной оценки для агентов, чтобы еще больше улучшить панель наблюдения Foundry, обеспечив видимость критически важных дополнительных метрик качества и безопасности.

Включение мониторинга

Чтобы использовать возможности мониторинга в Azure AI Foundry, необходимо подключить ресурс Application Insights к проекту Azure AI Foundry.

1. Перейдите к разделу Мониторинг в левой панели навигации портала Azure AI Foundry.
2. Перейдите на вкладку "Аналитика приложений ".
3. Создайте ресурс Application Insights, если у вас еще нет ресурса.
4. Подключите ресурс к проекту AI Foundry.

Сбор рабочих данных для мониторинга

Здесь вам нужно начать сбор телеметрии для вашего приложения, чтобы отслеживать её в наших встроенных представлениях. Для этого рекомендуется:

• Инструментирование отслеживания позволяет собирать подробные данные телеметрии вашего приложения. Эти данные содержат аналитические сведения о производительности, задержке и поведении приложения в рабочей среде.

• Непрерывные оценки помогают отслеживать качество и безопасность агента в рабочей среде, оценивая свои выходные данные по предопределенным метрикам и пороговым значениям.

Просмотр результатов мониторинга

На портале Azure AI Foundry панель аналитики приложений использует сигналы из Azure Monitor Application Insights, запрашивая их через рабочие книги Azure и создавая визуализации.

Эти представления предназначены для сведения ключевых метрик — потребления токенов, задержки, исключений, качества отклика — на единый экран, обеспечивая прозрачность для команд в отслеживании оперативного состояния и качества, понимании тенденций и непрерывной оценке для улучшения своего приложения.

Выполните следующие действия, чтобы получить доступ к встроенному представлению мониторинга в проекте AI Foundry:

1. Перейдите к проекту Ai Foundry на портале Azure AI Foundry.
2. Выберите "Мониторинг" в области навигации слева.
3. На вкладке "Аналитика приложений" просмотрите обзор работоспособности приложения.
4. Используйте фильтры для указания диапазона времени, приложения и /или модели для извлечения подробных аналитических сведений.
5. Если вы заметили проблемы, такие как снижение качества метрик, перейдите к трассировке для отладки проблем в приложении.
6. Чтобы дополнительно настроить интерфейс мониторинга и использовать расширенные возможности в Azure Monitor, прокрутите страницу вниз и выберите "Вид" в Azure Monitor Application Insights.

Настройка и предоставление общего доступа к панели мониторинга

Application Insights — это мощный инструмент для мониторинга производительности приложений (APM), который предоставляет аналитические сведения о работоспособности и производительности приложений.

Панель мониторинга "Аналитика приложений" можно открыть в галерее книг Azure Monitor Application Insights, выбрав ссылку Просмотреть в Azure Monitor Application Insights в конце страницы.

Эта панель мониторинга открывается как редактируемая таблица, где вы можете настроить таблицу и сохранить её в соответствии с вашими потребностями.

1. Выберите "Изменить " на панели команд.

2. Измените элементы по мере необходимости в вашем варианте использования. Выберите ... , чтобы изменить, добавить, переместить или изменить размер, клонировать или удалить. Например, можно добавить плитку с помощью KQL для отслеживания настраиваемого атрибута, который вы собираете, и который не отображается в нашем встроенном представлении.

3. Сохраните последние изменения и создайте различные представления по мере необходимости, нажав кнопку "Сохранить".

4. Поделиться с командой, выбрав значок "Общий доступ" на панели команд.

Изучение и анализ с помощью языка запросов Kusto (KQL)

KQL (Язык запросов Kusto) — это мощный язык запросов, используемый в Azure для изучения, анализа и визуализации больших объемов данных телеметрии и журналов.

В представлении панели мониторинга аналитики приложений можно открыть ссылку запроса , выбрав значок в правом верхнем углу для определенной плитки или диаграммы.

Выбрав это, вы можете просмотреть и запустить те же запросы KQL, которые позволяют просматривать представление мониторинга и подробно ознакомиться с соответствующими данными.

Настройка оповещений Azure

Правила генерации оповещений Azure можно определить на основе предыдущих запросов KQL для упреждающего обнаружения проблем с операциями после производства в будущем. Выберите ... , чтобы просмотреть дополнительные параметры, такие как новое правило генерации оповещений.

При нажатии кнопки "Новое правило генерации оповещений" откроется мастер создания правила генерации оповещений для связанного сигнала.

Дополнительные сведения о настройке оповещений Azure и управлении ими для упреждающего решения проблем см. в статье "Оповещения" в Azure Monitor.

Связанный контент

• Мониторинг развертываний моделей