Ручное вычисление запросов на игровой площадке портала Azure AI Foundry

Когда вы начинаете работу с проектированием запросов, следует тестировать различные входные данные по одному, так как оценка их эффективности может быть очень трудоемкой. Это связано с тем, что важно проверить, работают ли фильтры содержимого соответствующим образом, является ли ответ точным и многое другое.

Чтобы упростить этот процесс, вы можете использовать ручное вычисление на портале Azure AI Foundry, средство оценки, позволяющее непрерывно выполнять итерацию и оценивать запрос на тестовые данные в одном интерфейсе. Вы также можете вручную оценить ответы модели, чтобы укрепить ваше доверие в формулировке запроса.

Ручная оценка поможет вам понять, насколько хорошо работает ваш запрос, и внести необходимые изменения, чтобы обеспечить достижение требуемого уровня уверенности.

Из этой статьи вы узнаете:

• Создание результатов оценки вручную
• Оцените ответы модели
• Итеративность в вашем запросе и переоценка
• Сохранение и сравнение результатов
• Оценка с использованием встроенных метрик

Предпосылки

Чтобы создать результаты оценки вручную, необходимо подготовить следующее:

• Тестовый набор данных в одном из этих форматов: csv или jsonl. Если у вас нет доступного набора данных, мы также разрешаем вводить данные вручную из пользовательского интерфейса.

• Развертывание одной из этих моделей: модели GPT 3.5, GPT 4 или Davinci. Дополнительные сведения о создании развертывания можно узнать в статье "Развертывание моделей".

Создание результатов оценки вручную

На игровой площадке выберите "Ручная оценка" , чтобы начать процесс проверки ответов модели вручную на основе тестовых данных и запроса. Запрос автоматически переходит в оценку вручную , и теперь вам просто нужно добавить тестовые данные для оценки запроса.

Это можно сделать вручную с помощью текстовых полей в столбце входных данных .

Вы также можете импортировать данные , чтобы выбрать один из предыдущих существующих наборов данных в проекте или отправить набор данных в формате CSV или JSONL. После загрузки данных вам будет предложено сопоставить столбцы соответствующим образом. После завершения и выбора импорта данные заполняются соответствующим образом в столбцах ниже.

Теперь, когда данные добавлены, можно запустить чтобы заполнить выходной столбец ответом модели.

Оцените ответы модели

Вы можете предоставить положительную или отрицательную оценку для каждого ответа, чтобы оценить результаты запроса. Основываясь на предоставленных оценках, вы можете просмотреть эти оценки ответа в кратких сводках.

Продолжайте улучшать свой запрос и переоцените его

На основе вашей сводки вы можете захотеть внести изменения в ваш запрос. Для изменения настройки запроса можно использовать указанные выше элементы управления запросом. Это может быть обновление системного сообщения, изменение модели или изменение параметров.

После внесения изменений вы можете повторно запустить все, чтобы обновить всю таблицу или сосредоточиться на повторном запуске определенных строк, которые не соответствовали вашим ожиданиям в первый раз.

Сохранение и сравнение результатов

После заполнения результатов, вы можете сохранить их, чтобы поделиться прогрессом с командой или продолжить ручную оценку с того места, на котором остановились.

Кроме того, вы можете сравнить положительные и отрицательные оценки по разным ручным оценкам, сохранив их и просмотрев на вкладке "Ручная оценка" в разделе "Оценки".

Дальнейшие шаги

Узнайте больше о том, как оценить созданные приложения ИИ:

• Оценка созданных приложений ИИ с помощью портала Azure AI Foundry или ПАКЕТА SDK
• Просмотр результатов оценки

Узнайте больше о методах устранения вреда.