Сравнивайте и выбирайте модели с помощью доски лидеров моделей на портале Azure AI Foundry (просмотр)

Из этой статьи вы узнаете, как упростить процесс выбора модели в каталоге моделей Azure AI Foundry, сравнивая модели в списках лидеров моделей (предварительная версия), доступных на портале Azure AI Foundry. Это сравнение поможет вам принять обоснованные решения о том, какие модели соответствуют требованиям для конкретного варианта использования или приложения. Вы можете сравнить модели, просмотрев следующие списки лидеров:

• Таблицы показателей качества, затрат и производительности для быстрого определения лидеров моделей на основе одной метрики (качество, стоимость или пропускная способность);
• Диаграммы компромиссов, чтобы увидеть, как модели работают по одной метрике по сравнению с другой, например качество против стоимости;
• Списки лидеров по сценариям, чтобы найти лучшие списки лидеров, которые подходят вашему сценарию.

Предпосылки

• Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.

• Проект Azure AI Foundry.

Доступ к спискам лидеров модели

1. Войдите в Azure AI Foundry.
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области навигации.

4. Перейдите в раздел "Лидеры моделей " каталога моделей. В этом разделе отображаются три лучших лидера модели, ранжированные по качеству, стоимости и производительности. Для получения дополнительных сведений можно выбрать любую из этих моделей.

   

5. В разделе "Список лидеров моделей " каталога моделей выберите "Обзор списков лидеров ", чтобы перейти на целевую страницу списков лидеров модели , чтобы просмотреть полный набор доступных списков лидеров.

   

   На домашней странице отображаются основные моменты списка лидеров для критериев выбора модели. Качество является наиболее распространенным критерием выбора модели, за которым следует стоимость и производительность.

   

Сравнение моделей в диаграммах компромисса

Компромиссные диаграммы позволяют сравнивать модели на основе критериев, о которым вы заботитесь больше. Предположим, что вы заботитесь больше о стоимости, чем качество, и вы обнаружите, что самая дешевле модель не является самой дешевой, вам может потребоваться компромисс между качеством, стоимостью и критериями производительности. На диаграммах компромиссов можно сравнить, как модели демонстрируют результат по двум метрикам.

1. Выберите раскрывающееся меню "Модели" , чтобы добавить или удалить модели из диаграммы компромисса.
2. Выберите вкладку "Качество и пропускная способность " и вкладку "Пропускная способность" и "Стоимость ", чтобы просмотреть эти диаграммы для выбранных моделей.
3. Выберите "Сравнить между метриками" , чтобы получить более подробные результаты для каждой модели.

Просмотр списков лидеров по сценариям

Предположим, что у вас есть сценарий, требующий определенных возможностей модели. Например, предположим, что вы создаете чат-бота для вопросов и ответов, который требует хороших навыков работы с вопросами и ответами, а также способностей к рассуждению. Возможно, вам будет полезно сравнить модели в этих таблицах лидеров, подкрепленные тестами для конкретных возможностей.

После изучения списков лидеров можно выбрать модель для использования.

Просмотр бенчмарков из карточки модели

1. Выберите модель для вашего вкуса и выберите сведения о модели. Вы можете выбрать модель из одной из отображаемых таблиц лидеров, например в таблице лидеров качества в верхней части домашней страницы таблиц лидеров модели. В этом примере выберите gpt-4o. Это действие открывает страницу обзора модели.

2. Перейдите на вкладку Benchmarks , чтобы проверить результаты теста для модели.

   

3. Выберите "Сравнить с другими моделями".

4. Перейдите в представление списка , чтобы получить более подробные результаты для каждой модели.

   

Анализ результатов бенчмарка

Если вы находитесь на вкладке "Тесты" для конкретной модели, вы можете собирать подробные сведения, чтобы лучше понять и интерпретировать результаты теста, включая:

• Высокоуровневые статистические оценки: эти оценки качества ИИ, затрат, задержки и пропускной способности предоставляют краткий обзор производительности модели.

• Сравнительная диаграмма: эти диаграммы отображают относительную позицию модели по сравнению с соответствующими моделями.

• Таблица сравнения метрик: в этой таблице представлены подробные результаты для каждой метрики.

  

По умолчанию Azure AI Foundry отображает средний индекс по различным метрикам и наборам данных, чтобы обеспечить высокий уровень производительности модели.

Чтобы получить доступ к результатам теста для определенной метрики и набора данных, выполните указанные ниже действия.

1. Нажмите кнопку "Развернуть" на диаграмме. Всплывающий график сравнения показывает подробные сведения и обеспечивает большую гибкость для сравнения.

   

2. Выберите интересующую метрику и выберите различные наборы данных в зависимости от конкретного сценария. Для получения более подробных определений метрик и описаний общедоступных наборов данных, используемых для вычисления результатов, нажмите кнопку "Подробнее".

   

Оцените результаты эталонного теста с вашими данными

В предыдущих разделах показаны результаты теста, вычисляемые корпорацией Майкрософт, с помощью общедоступных наборов данных. Однако вы можете попытаться повторно создать тот же набор метрик с данными.

1. Вернитесь на вкладку Benchmarks в карточке модели.

2. Выберите "Попробовать с собственными данными", чтобы оценить модель на ваших данных. Оценка данных помогает узнать, как модель выполняется в определенных сценариях.

   

Связанный контент

• Таблицы лидеров моделей на портале Azure AI Foundry
• Как оценить созданные приложения ИИ с помощью Azure AI Foundry
• Просмотр результатов оценки на портале Azure AI Foundry