Поделиться через

Безопасность содержимого для моделей, курируемых СИ Azure в каталоге моделей

  • Статья

Это важно

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Для получения дополнительной информации см. Дополнительные условия использования для предварительных версий Microsoft Azure.

В этой статье описаны возможности безопасности содержимого для моделей из каталога моделей, развернутых с помощью бессерверных API.

Параметры фильтра содержимого по умолчанию

Azure AI использует конфигурацию по умолчанию фильтров содержимого безопасности содержимого ИИ Azure для обнаружения вредного содержимого в четырех категориях, включая ненависть и справедливость, самоповредение, сексуальное и насилие для моделей, развернутых с помощью бессерверных API. Дополнительные сведения о фильтрации содержимого (предварительная версия) см. в разделе "Общие сведения о категориях вреда".

Конфигурация фильтрации содержимого по умолчанию для текстовых моделей настроена для фильтрации по порогу средней серьезности, отфильтровав любое обнаруженное содержимое на этом уровне или выше. Для моделей изображений конфигурация фильтрации содержимого по умолчанию устанавливается на низком пороге конфигурации, фильтруя на этом уровне или выше. Для моделей, развернутых с помощью службы вывода модели ИИ Azure, можно создать настраиваемые фильтры, выбрав вкладку "Фильтры содержимого" на странице "Безопасность и безопасность " портала Azure AI Foundry.

Подсказка

Фильтрация содержимого (предварительная версия) недоступна для определенных типов моделей, развернутых через бессерверные API. Эти типы моделей включают модели встраивания и модели временных рядов.

Фильтрация содержимого (предварительная версия) выполняется синхронно в то время, как служба обрабатывает запросы для создания содержимого. Вам могут выставить счет отдельно в соответствии с ценами на безопасность содержимого Azure AI для такого использования. Вы можете отключить фильтрацию содержимого (предварительная версия) для отдельных бессерверных конечных точек:

  • При первом развертывании языковой модели
  • Позже, выбрав переключатель фильтрации содержимого на странице сведений о развертывании

Предположим, вы решили использовать API, отличный от API вывода модели ИИ Azure, для работы с моделью, развернутой через бессерверный API. В такой ситуации фильтрация содержимого (предварительная версия) не включена, если только вы не реализуете его отдельно с помощью безопасности содержимого ИИ Azure. Чтобы начать работу с безопасностью контента Azure AI, см. краткое руководство: Анализ текстового контента. При работе с моделями, развернутыми с помощью бессерверных API, возникает более высокий риск предоставления пользователям вредного содержимого, если вы не используете фильтрацию содержимого (предварительная версия).

Общие сведения о категориях вреда

Категории вреда

Категория Описание Термин API
Ненависть и справедливость Ненависть и вред относятся к любому содержимому, которое атакует или использует дискриминационный язык по отношению к человеку или идентификационной группе на основе определенных характеристик этих групп.

Среди прочего необходимо отметить следующие улучшения:
  • Раса, этническое происхождение, национальность
  • Группы и выражения гендерной идентификации
  • сексуальная ориентация;
  • Религиозная деятельность
  • Персональный внешний вид и размер тела
  • Состояние инвалидности
  • Домогательства и издевательства
 Hate
Половой Сексуальный описывает язык, связанный с анатомическими органами и гениталиями, романтическими отношениями и сексуальными актами, действия, изображаемые в эротических или ласковых терминах, в том числе те, которые изображаются как нападение или принудительный сексуальный насильственный акт против воли человека.

Это включает в себя, но не ограничивается:
  • Вульгарное содержимое
  • Проституция
  • Нагота и порнография
  • Злоупотребление
  • Эксплуатация детей, жестокое обращение с детьми, уход за детьми
 Sexual
Насилие Насилие описывает терминологию, связанную с физическими действиями, предназначенными для того, чтобы ранить или убить кого-либо или что-либо; описывает оружие, пистолеты и связанные с ними объекты.

Это включает в себя, но не ограничивается:
  • Оружие
  • Издевательства и запугивание
  • Террористический и насильственный экстремизм
  • Преследование
 Violence
Самоповредение Самоповреждение описывает речь о физических действиях, направленных на намеренное причинение боли, травмы, повреждения тела или суицида.

Это включает в себя, но не ограничивается:
  • Расстройства питания
  • Издевательства и запугивание
 SelfHarm

Уровни серьезности

Уровень Описание
Безопасно Содержимое может быть связано с насилием, самовосхищением, сексуальными или ненавистными категориями. Однако термины используются в целом, журналистских, научных, медицинских и аналогичных профессиональных контекстов, которые подходят для большинства аудиторий.
Низкий уровень Содержимое, которое выражает предрассудки, суждение или мнения мнения, включает в себя оскорбительный использование языка, стереотипы, варианты использования, изучающие вымышленный мир (например, игры, литература) и изображения с низкой интенсивностью.
Средний Содержимое, использующее оскорбительные, оскорбительные, высмеивание, запугивание или унижение языка в отношении определенных групп удостоверений, включает изображения поиска и выполнения вредных инструкций, фантазий, славения, поощрения вреда в средней интенсивности.
Высоко Содержимое, отображающее явные и серьезные вредные инструкции, действия, ущерб или злоупотребление; включает в себя одобрение, славу или продвижение серьезных вредных актов, крайних или незаконных форм вреда, радикализации или неконсенсуального обмена властью или злоупотреблений.

Как вычисляются расходы

Сведения о ценах можно просмотреть по ценам на безопасность содержимого ИИ Azure. Плата взимается, когда безопасность содержимого ИИ Azure проверяет запрос или завершение. Если безопасность содержимого ИИ Azure блокирует запрос или завершение, плата взимается как за оценку содержимого, так и вызовы вывода.

Связанный контент