Код Genie для наблюдаемости и оценки агента

Genie Code предоставляет интерфейс естественного языка для понимания, отладки и улучшения приложений GenAI в MLflow. Он имеет доступ на чтение ко всему в эксперименте, от трассировок, запросов и наборов данных до запусков оцениваний, оценивателей и сеансов маркировки, поэтому вы можете изучить данные наблюдаемости и оценки в интерактивном режиме без необходимости писать запросы и переходить по нескольким страницам пользовательского интерфейса.

Чтобы приступить к работе, щелкните значок Кода Genie в правом верхнем углу рабочей области при просмотре эксперимента.

Возможности

Код Genie может помочь вам с широким спектром задач наблюдения и оценки, включая:

• Анализ трассировки и отладка. Исследование неудачных трассировок, поиск ошибок, изучение деревьев пролетов, точное определение первопричин, анализ задержки и определение узких мест в потоке выполнения агента. Глубокое изучение любой трассировки для проверки полного иерархического охвата, включая входные данные, выходные данные, метаданные и использование маркеров на каждом этапе.
• Метрики и производительность: процентиль задержки вычислений (P50/P95/P99), отслеживание частоты ошибок и пропускной способности с течением времени, анализ шаблонов использования маркеров и затрат, а также сравнение производительности в разных периодах времени или фильтрах.
• Качество и оценка: просмотр оценок от человеческих отзывов, судей LLM и программных проверок. Проверьте наборы данных оценки, ознакомьтесь с зарегистрированными оценщиками и их конфигурациями, а также получите помощь в настройке mlflow.genai.evaluate() с правильными оценщиками.
• Маркировка и проверка: просмотр сеансов маркировки и назначенных для проверки трассировок и проверки схем маркировки для понимания таких критериев обратной связи, как оценки, комментарии и ожидания.
• Реестр команд: Просмотрите команды в каталоге Unity, а также шаблоны, версии и псевдонимы.
• руководство по Instrumentation: Получите помощь в добавлении трассировки в ваш код с помощью autolog(), @mlflow.trace или вручную созданных промежутков, а также выполняемых фрагментов кода, которые можно напрямую вставить в блокноты Azure Databricks.

Примеры вопросов

Ниже приведены некоторые моменты, которые вы можете попросить Genie Code:

• "Помогите мне выявить проблемы с использованием инструмента моего агента в данных трассировки для этого эксперимента за последние 3 часа"
• "Определите случаи, когда пользователи разочарованы в беседах с моим агентом"
• "Какие сеансы имеют самые низкие оценки отзывов пользователей, и что пошло не так в этих беседах?"
• Каковы наиболее распространенные шаблоны сбоев в моих трассировках на прошлой неделе, и какие метрики нужно добавить для их выявления?
• Какие диапазоны потребляют наибольшее количество токенов во всех моих трассировках?
• "Поиск трасс, где модуль извлечения не дал результатов, но агент все равно попытался ответить"
• Помогите мне настроить оценку для агента RAG с правильными оценщиками

Требования

Чтобы использовать Genie Code для наблюдаемости и оценки работы агентов, вашему рабочему пространству потребуется следующее:

• Функции ИИ, управляемые партнером, включены как для учетной записи, так и для рабочей области. См. функции ИИ, поддерживаемые партнерами.
• Рабочая область должна находиться в поддерживаемом регионе. Genie Code — это назначенная служба, которая использует геозоны для управления местонахождением данных. См. географическую доступность функций Genie Code.

Дополнительные ресурсы

• Трассировка MLflow — наблюдаемость GenAI — узнайте о трассировке MLflow для сквозной наблюдаемости.
• Оценка и мониторинг агентов . Настройка оценки и мониторинга для агентов GenAI.
• Начало работы: MLflow 3 для GenAI — начало работы с MLflow 3 для GenAI .