Таблицы лидеров моделей на портале Azure AI Foundry (предварительная версия)

Таблицы лидеров моделей (предварительная версия) на портале Azure AI Foundry позволяют упростить процесс выбора модели в каталоге моделей Azure AI Foundry. Таблицы лидеров модели, поддерживаемые отраслевыми стандартными тестами, помогут вам найти лучшую модель для пользовательского решения ИИ. В разделе "Таблицы лидеров моделей" каталога моделей можно просматривать списки лидеров для сравнения доступных моделей следующим образом:

• Таблицы лидеров по качеству, безопасности, затратам и производительности для быстрого определения лидеров моделей по одной метрике (качество, безопасность, стоимость или производительность);
• Диаграммы компромиссов, чтобы увидеть, как модели работают по одной метрике по сравнению с другой, например качество против стоимости;
• Списки лидеров по сценариям, чтобы найти лучшие списки лидеров, которые подходят вашему сценарию.

Каждый раз, когда вы найдете модель для вашего вкуса, вы можете выбрать ее и увеличить масштаб до подробных результатов тестирования модели в каталоге моделей. Если вы довольны моделью, её можно развернуть, протестировать в тестовой среде или оценить на ваших данных. В таблице лидеров поддерживается сравнение производительности между текстовыми языковыми моделями (крупные языковые модели (LLMs) и небольшие языковые модели (SLM)) и моделями встраивания.

Тесты моделей оценивают LLMs и SLM по следующим категориям: качество, безопасность, стоимость и пропускная способность. Кроме того, мы оцениваем качество внедрения моделей с помощью стандартных эталонных показателей. Списки лидеров регулярно обновляются по мере интеграции более лучших и менее насыщенных тестов, а также добавления новых моделей в систему каталогов моделей.

Тесты качества языковых моделей

Azure AI оценивает качество LLM и SLM с использованием показателей точности из стандартных, эталонных наборов данных, измеряющих возможности модели, такие как логические рассуждения, знания, ответы на вопросы, математика и программирование.

Индекс качества предоставляется в масштабе от нуля до одного. Более высокие значения индекса качества лучше. Наборы данных, включенные в индекс качества, :

Дополнительные сведения см. в оценках точности:

Оценки точности предоставляются по шкале от нуля до одного. Более высокие значения лучше.

Тесты безопасности языковых моделей

Чтобы руководствоваться выбором показателей безопасности для оценки, мы применяем структурированный процесс фильтрации и проверки, предназначенный для обеспечения релевантности и строгости. Бенчмарк подходит для внедрения, если он устраняет риски с высоким приоритетом. Для рейтингов безопасности мы рассматриваем различные критерии, которые можно считать достаточно надежными, чтобы предоставить некоторые сигналы по определенным интересующим темам, связанным с безопасностью. Мы выбираем HarmBench для безопасности модели прокси и упорядочим списки лидеров сценариев следующим образом:

Модель вредных действий

Эталонный показатель HarmBench измеряет вредные поведения модели и включает в себя задания, провоцирующие модель на такие действия. Как это связано с безопасностью, тест охватывает 7 семантических категорий поведения:

• Кибербезопасность и несанкционированное вторжение
• Химическое и биологическое оружие/наркотики
• Нарушения авторских прав
• Ложная информация и дезинформация
• Домогательства и издевательства
• Незаконные действия
• Общий вред

Эти 7 категорий можно свести к 3 функциональным категориям.

• Стандартное вредное поведение
• контекстно вредное поведение
• Нарушения авторских прав

Каждая функциональная категория представлена в отдельной таблице лидеров для конкретного контекста. Мы используем прямые запросы от HarmBench (без атак) и оценщиков HarmBench для вычисления частоты успешности атак (ASR). Более низкие значения ASR означает более безопасные модели. Мы не изучаем стратегию атак для оценки, а тестирование моделей выполняется с отключенным фильтром безопасности содержимого ИИ Azure.

Способность модели обнаруживать токсическое содержимое

Toxigen — это масштабируемый набор данных, созданный компьютером для обнаружения состязательной и неявной речи ненависти. Он включает в себя доброкачественные и неявно токсичные предложения, упоминающие 13 групп меньшинств. Мы используем аннотированные примеры из Toxigen для оценки и вычисления F1-оценок для оценки эффективности классификации. Оценка выше в этом наборе данных означает, что модель лучше обнаруживает токсическое содержимое. Тестирование моделей выполняется с отключенным фильтром безопасности содержимого ИИ Azure.

Знание модели в конфиденциальных доменах

Эталонный тест посредника оружия массового уничтожения (WMDP) измеряет знание моделей в чувствительных областях, таких как биобезопасность, кибербезопасность и химическая безопасность. В таблице лидеров используются средние оценки точности в области кибербезопасности, биобезопасности и химической безопасности. Более высокая оценка точности WMDP обозначает больше знаний о опасных возможностях (хуже поведения с точки зрения безопасности). Сравнительное тестирование моделей выполняется с включёнными фильтрами безопасности содержимого Azure AI по умолчанию. Эти фильтры безопасности обнаруживают и блокируют вред содержимого в насилии, самоповреждения, сексуальной ненависти и несправедливости, но не нацелены на категории в кибербезопасности, биобезопасности и химической безопасности.

Ограничения эталонных показателей безопасности

Мы понимаем и признаем, что безопасность является сложной темой и имеет несколько измерений. Ни один текущий тест с открытым исходным кодом не может тестировать или представлять полную безопасность системы в различных сценариях. Кроме того, большинство этих эталонных показателей страдают от насыщенности или несоответствия между разработкой эталонов и определением риска, может не иметь четкой документации о том, как целевые риски концептуализируются и реализуются на практике, что усложняет оценку того, точно ли эталонные показатели фиксируют нюансы рисков. Это ограничение может привести к чрезмерному оценке или недооценке производительности модели в реальных сценариях безопасности.

Тесты производительности языковых моделей

Метрики производительности вычисляются как агрегат за 14 дней, на основе 24 трасс (два запроса на трассу), отправленных ежедневно с интервалом в один час между каждой трассой. Для каждого запроса к конечной точке модели используются следующие параметры по умолчанию:

Производительность LLM и SLM оценивается по следующим показателям:

Azure AI также отображает индексы производительности для задержки и пропускной способности следующим образом:

Для метрик производительности, таких как задержка или пропускная способность, время первого маркера и созданные маркеры в секунду дают лучшее представление о типичной производительности и поведении модели. Мы обновляем наши показатели производительности по регулярной частоте.

Ориентиры затрат языковых моделей

Расчеты затрат — это оценки использования конечной точки модели LLM или SLM, размещенной на платформе ИИ Azure. Azure AI поддерживает отображение стоимости развертываний бессерверных API и моделей Azure OpenAI. Поскольку эти затраты подлежат изменению, мы обновляем наши расчеты затрат по регулярной частоте.

Стоимость LLM и SLM оценивается по следующим метрикам:

Azure AI также отображает индекс затрат следующим образом:

Тесты качества внедрения моделей

Индекс качества внедрения моделей определяется как средняя оценка точности комплексного набора бессерверных наборов данных API, предназначенных для получения информации, кластеризации документов и задач суммирования.

Дополнительные сведения см. в определениях оценки точности, относящихся к каждому набору данных:

Вычисление показателей

Отдельные оценки

Результаты теста происходят из общедоступных наборов данных, которые обычно используются для оценки языковой модели. В большинстве случаев данные размещаются в репозиториях GitHub, поддерживаемых создателями или кураторами данных. Конвейеры оценки ИИ Azure загружают данные из исходных источников, извлекают входные запросы из каждой строки, генерируют ответы модели, а затем вычисляют соответствующие метрики точности.

Создание запросов следует лучшим практикам для каждого набора данных, как указано в документе, представляющем набор данных, и отраслевым стандартам. В большинстве случаев каждый запрос содержит несколько примеров, то есть несколько примеров полных вопросов и ответов, чтобы подготовить модель к выполнению задачи. Конвейеры оценки создают снимки путем выборки вопросов и ответов из части данных, содержащихся в оценке.

Связанный контент

• Сравнивайте и выбирайте модели, используя доску лидеров моделей на портале Azure AI Foundry
• Каталог моделей и коллекции на портале Azure AI Foundry