Обратная связь от людей в MLflow

MLflow фиксирует обратную связь от людей в виде оценок, привязанных к трассировкам вашего приложения GenAI, что позволяет собирать оценки, комментарии и эталонные ожидаемые результаты от разработчиков, конечных пользователей и предметных экспертов. Человеческая обратная связь дополняет автоматическую оценку. Используйте его для создания наборов данных для LLM-оценщиков и моделей выставления оценок, а также для поддержания их согласованности с оценками экспертов-людей.

Обзор модели данных

MLflow сохраняет отзывы человека как оценки, связанные с отдельными трассировками MLflow. Это связывает отзывы непосредственно с конкретным запросом пользователя и выходными данными и логикой приложения GenAI.

Существует 2 типа оценки:

  1. Обратная связь. Оценивает фактические выходные данные приложения или промежуточные шаги. Например, он отвечает на такие вопросы: "Был ли ответ агента хорошим?". Отзывы оценивают то, что было создано приложением, например оценки или комментарии. Отзывы оценивают то, что было создано приложением и предоставляет качественные аналитические сведения.
  2. Ожидание. Определяет нужный или правильный результат (земная истина), который должен быть создан вашим приложением. Например, это может быть "Идеальный ответ" на запрос пользователя. Для заданных входных данных ожидания всегда одинаковы. Ожидания определяют, что приложение должно создавать и использовать для создания наборов данных оценки,

Оценки можно подключить ко всей трассировке или к определенному участку в пределах трассировки.

Дополнительные сведения о трассировке см. в разделе "Основные понятия трассировки".

Сбор отзывов

MLflow помогает собирать отзывы из трех основных источников. Каждый источник предназначен для различных вариантов использования в жизненном цикле приложения GenAI. Хотя обратная связь поступает от разных лиц, базовая модель данных одинакова для всех пользователей.

Отзывы разработчика

Во время разработки можно напрямую аннотировать трассировки. Это полезно для отслеживания заметок о качестве при создании и маркировке конкретных примеров для дальнейшего использования или регрессионного тестирования.

Сведения о том, как добавлять отзывы во время разработки, см. в разделе Label во время разработки.

Отзывы экспертов по домену

Обратитесь к экспертам по темам, чтобы предоставить структурированные отзывы о выходных данных вашего приложения и определить ожидания для правильных ответов. Их подробные оценки помогают определить, как выглядят высококачественные ответы для конкретного кейса использования и являются бесценными для согласования оценки судей LLM с нюансами бизнес-требований.

Note

Для новых рабочих процессов с проверкой человеком Azure Databricks рекомендует очереди проверки (бета-версия). Очереди проверки направляют трассы и записи наборов данных проверяющим в специальном рабочем пространстве, где элементы обрабатываются по одному, объединяя структурированные вопросы и назначение проверяющих, которые в противном случае пришлось бы настраивать с помощью схем разметки и сеансов разметки.

Просмотр образа героя приложения предварительной версии.

MLflow также предлагает два подхода для сбора обратной связи экспертов в области с помощью приложения Review:

Интерактивное тестирование с помощью пользовательского интерфейса чата: эксперты взаимодействуют с развернутым приложением в режиме реального времени через интерфейс чата, предоставляя немедленную обратную связь по ответам при тестировании потоков беседы. Этот подход идеально подходит для "проверок vibe" и качественной проверки перед развертыванием в рабочей среде. Дополнительные сведения см. в статье "Тестирование версии приложения с помощью пользовательского интерфейса чата".

Маркировка существующих трассировок: эксперты систематически просматривают и маркируют трассировки, которые уже были записаны в вашем приложении. Этот подход идеально подходит для структурированных сеансов оценки, в которых эксперты оценивают конкретные примеры и определяют ожидания на основе истины. Дополнительные сведения см. в разделе Маркировка существующих трассировок.

Отзывы конечных пользователей

В рабочей среде зафиксируйте отзывы пользователей, взаимодействующих с вашим динамическим приложением. Это обеспечивает важную информацию о реальной производительности, помогая выявлять проблемные запросы, которые нуждаются в исправлении и выделении успешных взаимодействий для сохранения во время будущих обновлений. MLflow предоставляет средства для сбора, хранения и анализа отзывов непосредственно от пользователей развернутых приложений.

Сведения о сборе отзывов пользователей см. в руководстве по сбору отзывов пользователей в разделе трассировки.

Дополнительные ресурсы

  • Last updated on