Протестируйте версию приложения с интерфейсом чата приложения Review

Приложение проверки MLflow включает встроенный интерфейс чата, который позволяет экспертам домена интерактивно тестировать приложение GenAI и предоставлять немедленные отзывы. Используйте пользовательский интерфейс чата, чтобы оценить атмосферу вашего приложения.

Когда следует использовать тестирование пользовательского интерфейса чата

Тестирование пользовательского интерфейса чата идеально подходит, если вы хотите:

• Тестирование потоков общения и многоэтапного взаимодействия с экспертами домена
• Сбор отзывов экспертов о ответах и поведении приложений
• Проверка обновлений в безопасной среде перед развертыванием в рабочей среде

Предпосылки

• Необходимо установить MLflow и необходимые пакеты. Для функций, описанных в этом руководстве, требуется MLflow версии 3.1.0 или более поздней. Выполните следующую команду, чтобы установить или обновить пакет SDK MLflow, включая дополнительные компоненты, необходимые для интеграции Databricks:

  pip install --upgrade "mlflow[databricks]>=3.1.0" openai "databricks-connect>=16.1"
  

• Среда разработки должна быть подключена к эксперименту MLflow , в котором регистрируются трассировки приложений GenAI.

  • Следуйте руководству: Подключение среды разработки к MLflow чтобы подключить вашу среду разработки.

• Эксперты домена нуждаются в следующих разрешениях для использования пользовательского интерфейса чата приложения проверки:

  • Доступ к учетной записи: должен быть настроен в вашей учетной записи Databricks, но доступ к рабочей области не требуется.

    Для пользователей без доступа к рабочей области администраторы учетных записей могут:

    • Использование провижнинга SCIM на уровне учетной записи для синхронизации пользователей из провайдера удостоверений
    • Регистрация пользователей и групп вручную в Databricks

    Дополнительные сведения см. в разделе "Управление пользователями и группами ".

  • Доступ к конечной точке: CAN_QUERY разрешение на конечную точку обслуживания модели.

Настройка и сбор отзывов с помощью пользовательского интерфейса чата

Пользовательский интерфейс чата приложения проверки MLflow подключается к развернутой версии приложения GenAI, что позволяет экспертам домена общаться с приложением и предоставлять немедленные отзывы. Выполните следующие действия, чтобы настроить пользовательский интерфейс чата и собрать отзывы:

1. Упаковайте приложение с помощью Agent Framework и разверните его с помощью развертывания в приложениях в качестве конечной точки службы моделей.

2. Добавьте конечную точку в приложение проверки эксперимента:

   Замечание

   В приведенном ниже примере в приложение для рецензий добавляется LLM, размещенный на Databricks. Замените конечную точку конечной точкой приложения на шаге 1.

   from mlflow.genai.labeling import get_review_app
   
   # Get review app for current MLflow experiment
   review_app = get_review_app()
   
   # Connect your deployed agent endpoint
   review_app.add_agent(
       agent_name="claude-sonnet",
       model_serving_endpoint="databricks-claude-sonnet-4-5",
   )
   
   print(f"Share this URL: {review_app.url}/chat")
   

3. После настройки поделитесь URL-адресом приложения проверки с экспертами домена. Они смогут:

• Доступ к интерфейсу чата через веб-браузер
• Взаимодействие с приложением путем ввода вопросов
• Предоставление отзывов после каждого ответа с помощью встроенных элементов управления обратной связью
• Продолжить беседу для тестирования нескольких взаимодействий

Просмотр визуализации содержимого приложения

Пользовательский интерфейс чата использует запросы экспертов в качестве входных данных, ответы на запросы от конечных точек живого агента в качестве выходных данных и сохраняет результаты в трассировках MLflow. Вам не нужно предоставлять настраиваемую схему маркировки, так как этот подход использует фиксированные вопросы обратной связи.

Приложение Review автоматически отрисовывает различные типы контента из трека MLflow.

• Извлеченные документы: документы в RETRIEVER пределах диапазона отображаются для отображения
• Сообщения формата OpenAI: отрисовываются входные и выходные данные трассировки MLflow в следующих беседах чата OpenAI:
  • outputs которые содержат объект ChatCompletions формата OpenAI
  • inputs или outputs словари, содержащие messages ключ, в котором находится массив сообщений чата формата OpenAI
    • messages Если массив содержит вызовы инструмента форматирования OpenAI, они также обрабатываются
• Словари: входные данные и выходные данные для трассировки MLflow, которые являются словарями, отображаются в виде красиво оформленного JSON

В противном случае содержимое input и output из корневой области каждой трассировки используется в качестве основного содержимого для проверки.

Просмотр отзывов в чате

Все взаимодействия и отзывы, собранные с помощью пользовательского интерфейса чата, автоматически фиксируются как данные трассировки в MLflow.

Чтобы просмотреть трассировки из взаимодействий чата, выполните следующие действия.

1. Перейдите к пользовательскому интерфейсу MLflow
2. Поиск эксперимента, связанного с сеансом проверки приложения
3. Просматривайте следы, чтобы увидеть весь ход беседы
4. Просмотрите отзывы, присоединенные к каждому ответу

Дальнейшие шаги

• Узнайте, как пометить существующие трассировки для более систематического сбора отзывов
• Изучение коллекции отзывов конечных пользователей для рабочих приложений