Таблицы лидеров моделей на портале Azure AI Foundry (предварительная версия)

Таблицы лидеров моделей (предварительная версия) на портале Azure AI Foundry позволяют упростить процесс выбора модели в каталоге моделей Azure AI Foundry. Таблицы лидеров модели, поддерживаемые отраслевыми стандартными тестами, помогут вам найти лучшую модель для пользовательского решения ИИ. В разделе "Таблицы лидеров моделей" каталога моделей можно просматривать списки лидеров для сравнения доступных моделей следующим образом:

• Таблицы показателей качества, затрат и производительности для быстрого определения лидеров моделей на основе одной метрики (качество, стоимость или пропускная способность);
• Диаграммы компромиссов, чтобы увидеть, как модели работают по одной метрике по сравнению с другой, например качество против стоимости;
• Списки лидеров по сценариям, чтобы найти лучшие списки лидеров, которые подходят вашему сценарию.

Каждый раз, когда вы найдете модель для вашего вкуса, вы можете выбрать ее и увеличить масштаб до подробных результатов тестирования модели в каталоге моделей. Если вы довольны моделью, её можно развернуть, протестировать в тестовой среде или оценить на ваших данных. В таблице лидеров поддерживается сравнение производительности между текстовыми языковыми моделями (крупные языковые модели (LLMs) и небольшие языковые модели (SLM)) и моделями встраивания.

Тестирование больших и небольших языковых моделей

Тесты моделей оценивают LLM и SLM в следующих категориях: качество, производительность и стоимость. Тесты регулярно обновляются по мере добавления новых наборов данных и связанных метрик в существующие модели, а также при добавлении новых моделей в каталог моделей.

Качество

Azure AI оценивает качество LLM и SLM с использованием показателей точности из стандартных, эталонных наборов данных, измеряющих возможности модели, такие как логические рассуждения, знания, ответы на вопросы, математика и программирование.

Индекс качества предоставляется в масштабе от нуля до одного. Более высокие значения индекса качества лучше. Наборы данных, включенные в индекс качества, :

Дополнительные сведения см. в оценках точности:

Оценки точности предоставляются по шкале от нуля до одного. Более высокие значения лучше.

Производительность

Метрики производительности вычисляются как агрегат за 14 дней, на основе 24 трасс (два запроса на трассу), отправленных ежедневно с интервалом в один час между каждой трассой. Для каждого запроса к конечной точке модели используются следующие параметры по умолчанию:

Производительность LLM и SLM оценивается по следующим показателям:

Azure AI также отображает индексы производительности для задержки и пропускной способности следующим образом:

Для метрик производительности, таких как задержка или пропускная способность, время первого маркера и созданные маркеры в секунду дают лучшее представление о типичной производительности и поведении модели. Мы обновляем наши показатели производительности по регулярной частоте.

Себестоимость

Расчеты затрат — это оценки использования конечной точки модели LLM или SLM, размещенной на платформе ИИ Azure. Azure AI поддерживает отображение стоимости бессерверных API и моделей Azure OpenAI. Поскольку эти затраты подлежат изменению, мы обновляем наши расчеты затрат по регулярной частоте.

Стоимость LLM и SLM оценивается по следующим метрикам:

Azure AI также отображает индекс затрат следующим образом:

Тестирование моделей внедрения

Тесты моделей оценивают внедрение моделей на основе качества.

Качество

Качество внедрения моделей оценивается по следующим метрикам:

Вычисление показателей

Отдельные оценки

Результаты теста происходят из общедоступных наборов данных, которые обычно используются для оценки языковой модели. В большинстве случаев данные размещаются в репозиториях GitHub, поддерживаемых создателями или кураторами данных. Конвейеры оценки ИИ Azure загружают данные из исходных источников, извлекают входные запросы из каждой строки, генерируют ответы модели, а затем вычисляют соответствующие метрики точности.

Создание запросов следует лучшим практикам для каждого набора данных, как указано в документе, представляющем набор данных, и отраслевым стандартам. В большинстве случаев каждый запрос содержит несколько примеров, то есть несколько примеров полных вопросов и ответов, чтобы подготовить модель к выполнению задачи. Конвейеры оценки создают снимки, выбирая вопросы и ответы из части данных, исключенной из оценки.

Связанный контент

• Сравнивайте и выбирайте модели, используя доску лидеров моделей на портале Azure AI Foundry
• Каталог моделей и коллекции на портале Azure AI Foundry