Таблицы лидеров моделей на портале Microsoft Foundry (предварительная версия)

Каждый раз, когда вы найдете модель для вашего вкуса, вы можете выбрать ее и увеличить масштаб до подробных результатов тестирования модели в каталоге моделей. Если вы довольны моделью, её можно развернуть, протестировать в тестовой среде или оценить на ваших данных. В таблице лидеров поддерживается сравнение производительности между текстовыми языковыми моделями (крупные языковые модели (LLMs) и небольшие языковые модели (SLM)) и моделями встраивания.

Тесты моделей оценивают LLMs и SLM по следующим категориям: качество, безопасность, стоимость и пропускная способность. Кроме того, мы оцениваем качество внедрения моделей с помощью стандартных эталонных показателей. Списки лидеров регулярно обновляются по мере интеграции более лучших и менее насыщенных тестов, а также добавления новых моделей в систему каталогов моделей.

Область сравнительного анализа моделей

В рейтингах моделей представлен подобранный набор текстовых языковых моделей из каталога моделей Foundry. Модели включаются на основе следующих критериев:

• Приоритетные модели Azure Direct: Модели Azure Direct выбираются строго для наиболее подходящих моделей, рекомендуемых для сценариев GenAI клиентов.
• Применимость основных эталонных показателей: модели должны подходить для задач общего назначения, включая логические рассуждения, знания, вопросы и ответы, математические рассуждения и возможности программирования. Специализированные модели (например, свертывание белка или QA, специфичное для домена) или другие модальности не поддерживаются.

Это определение гарантирует, что таблицы лидеров отражают текущие, высококачественные модели, относящиеся к основным сценариям искусственного интеллекта.

Тесты качества языковых моделей

Foundry оценивает качество LLM и SLM с использованием показателей точности из стандартных, комплексных эталонных наборов данных, измеряющих способности моделей, такие как логическое рассуждение, знания, ответы на вопросы, математика и кодирование.

Индекс качества предоставляется в масштабе от нуля до одного. Более высокие значения индекса качества лучше. Наборы данных, включенные в индекс качества, :

Дополнительные сведения см. в оценках точности:

Оценки точности предоставляются по шкале от нуля до одного. Более высокие значения лучше.

Тесты безопасности языковых моделей

Чтобы руководствоваться выбором показателей безопасности для оценки, мы применяем структурированный процесс фильтрации и проверки, предназначенный для обеспечения релевантности и строгости. Бенчмарк подходит для внедрения, если он устраняет риски с высоким приоритетом. Для рейтингов безопасности мы рассматриваем различные критерии, которые можно считать достаточно надежными, чтобы предоставить некоторые сигналы по определенным интересующим темам, связанным с безопасностью. Мы выбираем HarmBench для безопасности модели прокси и упорядочим списки лидеров сценариев следующим образом:

Модель вредных действий

Эталонный показатель HarmBench измеряет вредные поведения модели и включает в себя задания, провоцирующие модель на такие действия. Как это связано с безопасностью, тест охватывает семь семантических категорий поведения:

• Кибербезопасность и несанкционированное вторжение
• Химическое и биологическое оружие/наркотики
• Нарушения авторских прав
• Ложная информация и дезинформация
• Домогательства и издевательства
• Незаконные действия
• Общий вред

Эти семь категорий можно объединить в три функциональные категории.

• Стандартное вредное поведение
• контекстно вредное поведение
• Нарушения авторских прав

Каждая функциональная категория представлена в отдельной таблице лидеров для конкретного контекста. Мы используем прямые запросы от HarmBench (без атак) и оценщиков HarmBench для вычисления частоты успешности атак (ASR). Более низкие значения ASR означают более безопасные модели. Мы не изучаем стратегию атаки для оценки, а тестирование моделей выполняется с отключенным фильтром безопасности содержимого Foundry.

Способность модели обнаруживать токсическое содержимое

Toxigen — это масштабируемый набор данных, созданный компьютером для обнаружения состязательной и неявной речи ненависти. Он включает в себя доброкачественные и неявно токсичные предложения, упоминающие 13 групп меньшинств. Мы используем аннотированные примеры из Toxigen для оценки и вычисления F1-оценок для оценки эффективности классификации. Оценка выше в этом наборе данных означает, что модель лучше обнаруживает токсическое содержимое. Тестирование моделей выполняется с отключенным фильтром безопасности содержимого Foundry.

Знание модели в конфиденциальных доменах

Эталон Proxy оружия массового уничтожения (WMDP) измеряет знание модели в чувствительных доменах, включая биобезопасность, химическую безопасность и кибербезопасность. В таблице лидеров используются средние оценки точности в области кибербезопасности, биобезопасности и химической безопасности. Более высокая оценка точности WMDP обозначает больше знаний о опасных возможностях (хуже поведения с точки зрения безопасности). Тестирование моделей выполняется с включёнными фильтрами безопасности содержимого Foundry по умолчанию. Эти фильтры безопасности обнаруживают и блокируют вред содержимого в насилии, самоповреждения, сексуальной, ненависти и несправедливости, но не нацелены на категории в кибербезопасности, биобезопасности и химической безопасности.

Ограничения эталонных показателей безопасности

Мы понимаем и признаем, что безопасность является сложной темой и имеет несколько измерений. Ни один текущий тест с открытым исходным кодом не может тестировать или представлять полную безопасность системы в различных сценариях. Кроме того, большинство этих эталонных показателей страдают от насыщенности или несоответствия между разработкой эталонов и определением риска, может не иметь четкой документации о том, как целевые риски концептуализируются и реализуются на практике, что усложняет оценку того, точно ли эталонные показатели фиксируют нюансы рисков. Это ограничение может привести к чрезмерному оценке или недооценке производительности модели в реальных сценариях безопасности.

Тесты производительности языковых моделей

Метрики производительности вычисляются как агрегат за 14 дней, на основе 24 трасс (два запроса на трассу), отправленных ежедневно с интервалом в один час между каждой трассой. Для каждого запроса к конечной точке модели используются следующие параметры по умолчанию:

Производительность LLM и SLM оценивается по следующим показателям:

Foundry также отображает метрики производительности для задержки и пропускной способности следующим образом:

Для метрик производительности, таких как задержка или пропускная способность, время первого маркера и созданные маркеры в секунду дают лучшее представление о типичной производительности и поведении модели. Мы обновляем наши показатели производительности по регулярной частоте.

Ориентиры затрат языковых моделей

Расчеты затрат — это оценки использования конечной точки модели LLM или SLM, размещенной на платформе Foundry. Foundry поддерживает отображение стоимости бессерверных развертываний API и моделей Azure OpenAI. Поскольку эти затраты подлежат изменению, мы обновляем наши расчеты затрат по регулярной частоте.

Стоимость LLM и SLM оценивается по следующим метрикам:

Foundry также отображает стоимость следующим образом:

Бенчмаркинг лидербордов сценариев

Доски лидеров для сценариев группируют эталонные наборы данных по общим целям оценки в реальном мире, чтобы вы могли быстро определить сильные и слабые стороны модели в соответствии с случаями использования. Каждый сценарий объединяет один или несколько общедоступных наборов данных теста. В следующей таблице перечислены доступные списки лидеров сценариев и связанные с ними наборы данных и описания.

Тесты качества внедрения моделей

Индекс качества внедрения моделей определяется как средняя оценка точности комплексного набора бессерверных наборов данных API, предназначенных для получения информации, кластеризации документов и задач суммирования.

Дополнительные сведения см. в определениях оценки точности, относящихся к каждому набору данных:

Вычисление показателей

Отдельные оценки

Результаты теста происходят из общедоступных наборов данных, которые обычно используются для оценки языковой модели. В большинстве случаев данные размещаются в репозиториях GitHub, поддерживаемых создателями или кураторами данных. Конвейеры оценки Foundry загружают данные из исходных источников, извлекают запросы из каждой примеров строки, создают ответы модели и затем вычисляют метрики, относящиеся к точности.

Создание запросов следует лучшим практикам для каждого набора данных, как указано в документе, представляющем набор данных, и отраслевым стандартам. В большинстве случаев каждый запрос содержит несколько примеров, то есть несколько примеров полных вопросов и ответов, чтобы подготовить модель к выполнению задачи. Конвейеры оценки создают снимки путем выборки вопросов и ответов из части данных, содержащихся в оценке.

Связанный контент

• Сравнивайте и выбирайте модели, используя рейтинговую таблицу моделей на портале Foundry
• Каталог моделей и коллекции на портале Foundry