Запуск вычислений на портале Microsoft Foundry

Оцените производительность и безопасность ваших генеративных моделей ИИ и агентов, запуская их на тестовом наборе данных. Во время оценки модель или агент тестируются с помощью набора данных, а его производительность измеряется с помощью встроенных и настраиваемых вычислителей.

Используйте портал Foundry для выполнения вычислений, просмотра результатов и анализа метрик.

Предпосылки

• Тестовый набор данных в формате CSV или JSON Lines (JSONL) или модель или агент для оценки.
• Подключение Azure OpenAI с развернутой моделью GPT, которая поддерживает завершение чата (например, gpt-4o-mini). Требуется только для оценки качества с помощью ИИ.

Создание оценки

Вы можете запустить оценку из нескольких мест на портале Foundry:

• Страница оценки: в левой области выберите "Создать оценку>".
• Страница "Модели": перейдите к модели, перейдите на вкладку "Оценка ", а затем нажмите кнопку "Создать".
• Страница "Агенты": перейдите к агенту, перейдите на вкладку "Оценка ", а затем нажмите кнопку "Создать".
• Игровая площадка агента: перейдите к агенту, перейдите на вкладку "Детская площадка ", а затем выберите "Метрики>", чтобы выполнить полную оценку.

Целевой объект оценки

При создании оценки сначала выберите целевой объект оценки. Цель определяет, в отношении чего проводится оценка.

• Агент: оценивает выходные данные, созданные выбранным агентом и определяемым пользователем запросом.
• Модель. Вычисляет выходные данные, созданные выбранной моделью и определяемым пользователем запросом.
• Набор данных: вычисляет предварительно существующие модели или выходные данные агента из тестового набора данных.

Выбор или создание набора данных

Укажите набор данных для оценки. Вы можете отправить собственный набор данных или создать его искусственным способом.

• Add new dataset: загрузка файлов из локального хранилища. Поддерживаются только форматы ФАЙЛОВ CSV и JSONL. Предварительный просмотр тестовых данных отображается на правой панели.
• Создание искусственного набора данных: создайте искусственный набор данных, если у вас нет тестовых данных. Укажите ресурс, количество строк и запрос, описывающий создаваемые данные. Вы также можете отправлять файлы для повышения релевантности.

Настройка условий тестирования

Выберите оценщики для использования в вашей оценке. Microsoft Foundry предоставляет три категории встроенных оценщиков:

• Оценщики агентов — оценивают, насколько эффективно агенты обрабатывают задачи, инструменты и намерения пользователя.
• Оценщики качества — измеряют общее качество созданных ответов. Включает в себя метрики с поддержкой ИИ (требуется развертывание модели для оценки) и метрики обработки естественного языка (математические, часто требуют эталонных данных).
• Оценщики безопасности — выявление потенциальных рисков содержимого и безопасности в сгенерированном выводе. Для оценки безопасности не требуется развертывание модели.

Вы также можете создать собственные пользовательские оценщики и выбрать их при настройке критериев тестирования.

Полный список доступных оценщиков см. в разделе Встроенные вычислители.

Сопоставление данных

Для разных вычислителей требуются различные входные данные. Портал автоматически сопоставляет поля набора данных с полями, которые ожидает каждый вычислитель. При необходимости проверьте сопоставление и переназначьте поля. Сведения о требованиях к полю см. на соответствующих страницах оценщика в разделе встроенных оценщиков.

Просмотр и отправка

После завершения настройки укажите имя для оценки, просмотрите параметры и нажмите кнопку "Отправить".

Связанный контент

Дополнительные сведения об оценке моделей и агентов сгенерированных ИИ:

• Просмотр результатов оценки
• Выполнение пакетной оценки
• Примечание о прозрачности в оценках безопасности литейного производства