Сравнивайте и выбирайте модели с помощью рейтинга моделей на портале Microsoft Foundry (предварительный просмотр)

В этой статье показано, как упростить выбор моделей в каталоге моделей Microsoft Foundry, сравнивая модели в списках лидеров моделей (предварительная версия), доступных на портале Foundry. Это сравнение поможет вам принять обоснованные решения о том, какие модели соответствуют требованиям для конкретного варианта использования или приложения.

В этой статье показано, как упростить выбор моделей в каталоге моделей Microsoft Foundry с помощью таблиц лидеров моделей (предварительная версия) и параллельных функций сравнения на портале Microsoft Foundry. Эти функции позволяют понять производительность модели с помощью комплексных списков лидеров и прямых сравнений, помогая принимать обоснованные решения о том, какие модели лучше всего соответствуют вашим конкретным требованиям к использованию или приложению.

• Сравнение моделей для оценки функций, производительности и предполагаемых затрат в параллельном представлении

1. Войдите в Microsoft Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Фаундри (классическая модель).
2. Если вы еще не находитесь в проекте, выберите его.
3. Выберите каталог моделей в левой области.

4. Перейдите в раздел "Лидеры моделей " каталога моделей. В этом разделе показаны первые три лидера модели, ранжированные по качеству, безопасности, стоимости и производительности. Для получения дополнительных сведений можно выбрать любую из этих моделей.

   

5. В разделе "Список лидеров моделей " каталога моделей выберите "Обзор списков лидеров ", чтобы перейти на целевую страницу списков лидеров модели , чтобы просмотреть полный набор доступных списков лидеров.

   

   На домашней странице отображаются основные моменты списка лидеров для критериев выбора модели. Качество является наиболее распространенным критерием выбора модели, за которым следует безопасность, стоимость и производительность.

   

1. Если вы еще не находитесь в проекте, выберите его.

2. Перейдите в раздел "Обнаружение " из верхней навигации, где можно просмотреть моментальный снимок таблицы лидеров модели на странице обзора. Вы можете отсортировать различные метрики, чтобы просмотреть первые 6 соответственно. Качество является наиболее распространенным критерием выбора модели, за которым следует безопасность, стоимость и производительность. Вы можете выбрать любую из этих моделей, чтобы перейти к соответствующим страницам сведений о модели. Чтобы просмотреть больше моделей, превышающих топ-6, выберите "Перейти к списку лидеров".

3. Таблица лидеров модели выделяет топ-5 лучших по качеству, безопасности, пропускной способности и предполагаемой стоимости. Эти диаграммы можно развернуть для визуального просмотра верхней 10.

4. После диаграмм можно найти полный рейтинг модели. Как и в топ-6, вы можете сортировать метрики, которые вам наиболее важны, и выбрать имя модели, чтобы перейти на соответствующую страницу деталей.

5. Вы также можете выбрать 2-3 модели для подробного сравнения признаков в параллельном представлении.

1. Выберите раскрывающееся меню "Модели" , чтобы добавить или удалить модели из диаграммы компромисса.
2. Выберите вкладку "Качество" и "Безопасность ", " Качество" и "Стоимость " и " Пропускная способность ", чтобы просмотреть эти диаграммы для выбранных моделей.
3. Выберите "Сравнить между метриками" , чтобы получить доступ к сравнениям между несколькими парами этих измерений.

Вы можете сравнить качество с предполагаемой стоимостью, пропускной способностью или безопасностью с помощью раскрывающегося списка для переключения.

Вы можете добавить или удалить модели из диаграммы компромисса с помощью селектора справа.

Просмотр бенчмарков из карточки модели

1. Выберите модель для вашего вкуса и выберите сведения о модели. Вы можете выбрать модель из одной из отображаемых таблиц лидеров, например в таблице лидеров качества в верхней части домашней страницы таблиц лидеров модели. В этом примере выберите gpt-4o. Это действие открывает страницу обзора модели.

2. Перейдите на вкладку Benchmarks , чтобы проверить результаты теста для модели.

   

3. Выберите "Сравнить с другими моделями".

4. Перейдите в представление списка , чтобы получить более подробные результаты для каждой модели.

   

Анализ результатов бенчмарка

Если вы находитесь на вкладке "Тесты" для конкретной модели, вы можете собирать подробные сведения, чтобы лучше понять и интерпретировать результаты теста, включая:

• Высокоуровневые статистические оценки: эти оценки качества ИИ, затрат, задержки и пропускной способности предоставляют краткий обзор производительности модели.

• Сравнительная диаграмма: эти диаграммы отображают относительную позицию модели по сравнению с соответствующими моделями.

• Таблица сравнения метрик: в этой таблице представлены подробные результаты для каждой метрики.

  

По умолчанию Foundry отображает средний индекс для различных метрик и наборов данных, чтобы обеспечить высокий уровень производительности модели.

Чтобы получить доступ к результатам теста для определенной метрики и набора данных, выполните указанные ниже действия.

1. Нажмите кнопку "Развернуть" на диаграмме. Всплывающий график сравнения показывает подробные сведения и обеспечивает большую гибкость для сравнения.

   

2. Выберите интересующую метрику и выберите различные наборы данных в зависимости от конкретного сценария. Для получения более подробных определений метрик и описаний общедоступных наборов данных, используемых для вычисления результатов, нажмите кнопку "Подробнее".

   

Оцените результаты эталонного теста с вашими данными

В предыдущих разделах показаны результаты теста, вычисляемые корпорацией Майкрософт, с помощью общедоступных наборов данных. Однако вы можете попытаться повторно создать тот же набор метрик с данными.

1. Вернитесь на вкладку Benchmarks в карточке модели.

2. Выберите "Попробовать с собственными данными", чтобы оценить модель на ваших данных. Оценка данных помогает узнать, как модель выполняется в определенных сценариях.

   

Сравнение моделей

Эта функция позволяет параллельно сравнивать до трех моделей одновременно в нескольких измерениях, включая тесты производительности, спецификации сведений о модели, поддерживаемые конечные точки и поддержку функций.

Используйте раскрывающийся список для выбора моделей, которые нужно сравнить.

Если вы хотите узнать еще больше о модели, вы можете просмотреть сведения или, если вы готовы начать использовать модель, можно развернуть.

Просмотр и анализ эталонных показателей на модельной карточке.

Выбрав модель, которая вас заинтересовала, будь то из списка лидеров или при просмотре каталога, перейдите на вкладку "Оценки", чтобы ознакомиться с результатами тестирования модели.

Если вы находитесь на вкладке "Эталонные показатели" для конкретной модели, вы можете собрать подробные сведения, чтобы лучше понять и интерпретировать результаты теста с помощью:

• Результаты теста общедоступных данных: это высокоуровневые статистические оценки качества ИИ, безопасности, предполагаемой стоимости, задержки и пропускной способности, которые предоставляют краткий обзор производительности модели.

• Сравнительная диаграмма: эти диаграммы отображают относительную позицию модели по сравнению с соответствующими моделями.

• Таблица сравнения метрик: в этой таблице представлены подробные результаты для каждой метрики.

  

По умолчанию Microsoft Foundry отображает средний индекс по различным метрикам и наборам данных, чтобы обеспечить высокий уровень производительности модели.

Чтобы получить доступ к результатам теста для определенной метрики и набора данных, выполните указанные ниже действия.

1. Нажмите кнопку "Развернуть" на диаграмме. Всплывающий график сравнения показывает подробные сведения и обеспечивает большую гибкость для сравнения.

2. Выберите интересующую метрику и выберите различные наборы данных в зависимости от конкретного сценария. Для получения более подробных определений метрик и описаний общедоступных наборов данных, используемых для вычисления результатов, нажмите кнопку "Подробнее".

Для параллельных сравнений моделей можно сравнить модели для оценки функций, метрик производительности и предполагаемых затрат для нескольких моделей.