Просмотр результатов оценки на портале Microsoft Foundry

В этой статье описано, как:

• Находите и открывайте запуски оценивания.
• Просмотр агрегированных и выборочных метрик.
• Сравните результаты между запусками.
• Интерпретация категорий и вычислений метрик.
• Диагностика и устранение отсутствующих или частичных метрик.

Необходимые условия

• Роль пользователя Azure AI в проекте Foundry. Для получения дополнительной информации см. управление доступом на основе ролей для Microsoft Foundry.
• Завершенный цикл оценки.
  • Сведения о выполнении вычислений на портале см. в разделе "Оценка моделей и приложений сгенерированных ИИ".
  • Сведения о выполнении вычислений из пакета SDK см. в статье "Выполнение вычислений из пакета SDK " или "Оценка агентов ИИ".

Просмотр результатов оценки

1. На портале Foundry перейдите в проект и выберите "Оценка " в левой области.

2. Выберите запуск оценки из списка, чтобы открыть страницу сведений. Если процесс все еще выполняется, состояние показывает в процессе и обновляется автоматически при завершении.

   На странице сведений показано:

   Поле	Описание
   Имя	Имя запуска оценки.
   Цель	Модель или агент, подвергнут оценке.
   Набор данных	Используемый тестовый набор данных. Щелкните значок скачивания, чтобы экспортировать его в виде CSV-файла.
   Статус	Текущее состояние выполнения (выполнение, завершение или сбой).
   Маркеры оценки	Маркеры, используемые оценщиками в процессе выполнения.
   Целевые маркеры	Маркеры, потребляемые оцениваемой моделью или агентом.
   Оценки	Суммарная оценка для каждого используемого оценщика.

   

3. Наведите указатель мыши на ячейку оценки, чтобы просмотреть сведения об использовании маркеров и дополнительный контекст.

   

4. Выберите дополнительные сведения о метриках, чтобы просмотреть определения метрик и формулы оценки.

Сведения о процессе выполнения оценки

Выберите имя запуска, чтобы просмотреть результаты на уровне строк для каждого отдельного запроса. Для каждой строки можно увидеть запрос, ответ, истинное значение, оценку эксперта и объяснение этой оценки.

Сравнение результатов оценки

Чтобы сравнить два или более запусков, выберите запуски, которые вы хотите сравнить и запустить процесс.

1. Выберите два или более запусков на странице сведений об оценке.
2. Выберите "Сравнить".

Вы увидите параллельное представление сравнения для всех выбранных запусков.

Сравнение использует статистическое t-тестирование, что дает более конфиденциальные и надежные результаты для принятия решений. Вы можете использовать различные функции этой функции:

• Сравнение базовых показателей. Задав базовый запуск, можно определить эталонную точку, с которой можно сравнить другие запуски. Вы можете увидеть, как каждый запуск отклоняется от выбранного стандарта.
• Статистическая оценка t-тестирования: каждая ячейка предоставляет результаты stat-sig с различными цветовыми кодами. Вы также можете навести указатель мыши на ячейку, чтобы получить размер выборки и p-значение.

Общие сведения о встроенных метриках оценки

Понимание встроенных метрик важно для оценки производительности и эффективности приложения ИИ. Изучая эти ключевые средства измерения, вы можете интерпретировать результаты, принимать обоснованные решения и настраивать приложение для достижения оптимальных результатов.

Дополнительные сведения см. в разделе "Встроенные оценщики".

Устранение неполадок

Связанное содержимое

• Запустите оценивания с портала Microsoft Foundry
• Выполнение пакетных вычислений из пакета SDK
• Встроенные вычислители
• Повышение производительности модели с помощью точной настройки