Категории вреда в безопасности содержимого искусственного интеллекта Azure

Статья
10/16/2024

В этом руководстве описаны все категории вреда и рейтинги, которые azure AI Content Safety использует для флага содержимого. Содержимое текста и изображения используют один и тот же набор флагов.

Категории вреда

Безопасность содержимого признает четыре отдельные категории нежелательного содержимого.

Категория	Description	Термин API
Ненависть и справедливость	Ненависть и справедливость относятся к любому содержимому, которое атакует или использует дискриминационный язык со ссылкой на человека или группу удостоверений на основе определенных атрибутов этих групп. Это включает в себя, но не ограничивается следующими: Раса, этническое происхождение, национальность Группы и выражения гендерной идентификации сексуальная ориентация; Религиозная деятельность Персональный внешний вид и размер тела Состояние инвалидности Домогательства и издевательства	`Hate`
Половой	Сексуальный описывает язык, связанный с анатомическими органами и гениталиями, романтическими отношениями и сексуальными актами, действия, изображаемые в эротических или ласковых терминах, в том числе те, которые изображаются как нападение или принудительный сексуальный насильственный акт против воли человека.   Это включает в себя, но не ограничивается следующими: Содержимое Vulgar Проституция Нагота и порнография Нарушение Эксплуатация детей, жестокое обращение с детьми, уход за детьми	`Sexual`
Насилие	Насилие описывает язык, связанный с физическими действиями, предназначенными для того, чтобы повредить, ранить, повредить или убить кого-то или что-то; описывает оружие, оружие и связанные сущности. Это включает в себя, но не ограничивается: Оружие Издевательства и запугивание Террористический и насильственный экстремизм Преследование	`Violence`
Самоповредение	Самоповреждение описывает язык, связанный с физическими действиями, предназначенными для намеренного повреждения, травмы, повреждения тела или убийства себя. Это включает в себя, но не ограничивается: Расстройства питания Издевательства и запугивание	`SelfHarm`

Классификация может быть многометкой. Например, когда пример текста проходит через модель модерации текста, его можно классифицировать как сексуальное содержимое и насилие.

Уровни серьезности

Каждая категория вреда, применяемая служба, также поставляется с оценкой уровня серьезности. Уровень серьезности предназначен для указания серьезности последствий отображения помеченного содержимого.

Текст: текущая версия текстовой модели поддерживает полный масштаб серьезности 0-7. Классификатор обнаруживает все уровни серьезности по этому масштабу. Если пользователь указывает, он может возвращать серьезность в усеченном масштабе от 0, 2, 4 и 6; каждый из двух смежных уровней сопоставляется с одним уровнем.

[0,1] ->0
[2,3] ->2
[4,5] ->4
[6,7] ->6

Изображение. Текущая версия модели образа поддерживает обрезную версию полного масштаба серьезности 0-7. Классификатор возвращает только значения серьезности 0, 2, 4 и 6.

Изображение с текстом: текущая версия мультимодальной модели поддерживает полный масштаб серьезности 0-7. Классификатор обнаруживает все уровни серьезности по этому масштабу. Если пользователь указывает, он может возвращать серьезность в усеченном масштабе от 0, 2, 4 и 6; каждый из двух смежных уровней сопоставляется с одним уровнем.

[0,1] ->0
[2,3] ->2
[4,5] ->4
[6,7] ->6

Предупреждение

Вкладка "Определения серьезности" в этом документе содержит примеры вредного содержимого, которое может беспокоить некоторых читателей.

Уровни серьезности ненависти и справедливости

Степень серьезности	Description	Пример текста
Уровень 0	Содержимое, содержащее ненависть и справедливость, связанные с терминами, используемыми в общем смысле, и подходит для всех целевых аудиторий, включая детей. В том числе: Общий, педжеративный язык, который выражает неприязнь к группам удостоверений Общие упоминания атрибутов группы удостоверений, например расы, этнической принадлежности, религии и т. д. в исторических, географических, медицинских и других аналогичных контекстах без тональности Общие термины, которые не имеют расовых подтон оскорбительных намерений вне контекста	`I hate cats.`
Уровень 1	Содержимое, содержащее ненависть и справедливость, используемые в общем смысле, но может получить другое значение, основанное на контексте, и не различает группы личности и другие в предвзятом или отрицательном способе. В том числе: Официальная статистика, законодательство или документация Новости и средства массовой информации Образовательные ресурсы, предназначенные для повышения осведомленности о разнообразии и борьбе с речью о ненависти Продукты для отбеливания кожи и объявления о лечении Упоминания о индо-евроазиатской свастике, конфедератном флаге, не KKK-группах, которые имеют визуальное сходство с KKK	`Black people should not be killed by police or mistreated just because of their skin color.`
Уровень 2	Содержимое, содержащее положительную характеризацию или защиту групп удостоверений, которые вызывают благоприятный эмоциональный ответ. В том числе: Slurs полностью изложил в исследовательских документах, словарях или средствах массовой информации с прямыми цитатами Операторы говорящего, принадлежащие группе удостоверений без намерения нацеливать ту же группу удостоверений Проклятие слов, ненормативность и словесные оскорбления, которые не нацелены на группу идентификации Общая речь о ненависти, которая предназначена для неопознанных лиц или групп без целевой группы удостоверений Намерение пользователя создать список блокировок оскорбительных терминов Представления нацистской Германии, Гитлера, конфедеративного флага и символизма Ku Klux Klan в фильмах, видеоиграх, костюмах, игрушках, реенактментах или онлайн-сленге	`I hate you.`
Уровень 3	Содержимое, содержащее предрассудки, суждение, стереотипную характеризацию или негативную тональность. В том числе: Мнение на основе стереотипов или негативных тональности Выражение предрассудков, суждений или мнений Отрицательные или положительные сравнения отличаются между группами удостоверений и другими. Упоминания в вымышленных мирах Дискриминация по трудоустройству в должностях Исторические факты и артефакты, связанные с нацистской Германией, флаг Конфедерации во время гражданской войны США, или Ku Klux Klan	`I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all.`
Уровень 4	Содержимое, содержащее прямые словесные оскорбления, негативные комментарии и расовые оскорбления, используемые в качестве описания групп удостоверений с намерением повредить людей на основе их атрибутов. В том числе: Ссылки, используемые для целевой гонки, цвета кожи Повышение социального избегания и изоляции Макетирование и имитация атрибутов групп удостоверений	`All [identity group] are ugly.`
Уровень 5	Содержимое, содержащее дегуманизацию или дерогацию отдельных лиц или групп, которые приводят к снижению тональности путем дегуманизации, насилия, отрицания событий, издевательств или запугивания поведения. В том числе: Тексты, отрицающие исторические, хорошо документированные и насильственные события, такие как Холокост Тексты, описывающие людей или группы как физически или психически низшие на основе членства в группе удостоверений Тексты, которые задают вопрос, отрицают или унижают существование группы удостоверений Принудительное применение требуемых и ожидаемых атрибутов Евгеники и "расовое улучшение" теории, предназначенные для групп удостоверений Современные товары, содержащие нацистские, конфедератские флаги или символы KKK	`The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof.`
Уровень 6	Содержимое на основе негативных тональности и ненависти речи к группам удостоверений. Ссылаясь на характеристики групп, которые различают группу удостоверений и другие, и призывая принять меры против групп удостоверений на основе их атрибутов. К ней может относиться: Пропаганда речи ненависти, которая может быть воспринята как прямая угроза или призыв к насилию в отношении группы личности Зажигательные, оскорбительные и вульгарные слова ненависти Тексты, которые, как утверждается, утверждают, превосходство одной группы над теми, кто с атрибутами групп удостоверений, чтобы оправдать дискриминацию, сегрегацию или исключение Тексты, описывающие радость в отношении насильственного события, направленного на группу удостоверений	`Send [identity group] back to the gas chambers.`
Уровень 7	Содержимое на основе негативных тональности, отображая намерение преступления ненависти и преследования, вызывая враждебное эмоциональное реагирование и различая группы личности и другие, что приводит к преступности. В том числе: Подготовка к преступлению ненависти, похвала и слава насилия в отношении группы удостоверений Тексты, содержащие материалы о наборе групп превосходства Тексты, предназначенные для радикализации и поощрения речи ненависти против группы удостоверений	`Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…`

Уровни сексуальной серьезности

Степень серьезности	Description	Пример текста
Уровень 0	Содержимое, содержащее сексуально связанные термины, используемые в общем смысле, что безвредно для всех целевых аудиторий, включая детей. Упоминания о семейных отношениях Содержимое, которое безвредно для всех целевых аудиторий, включая детей	`The sports bra and yoga pants were too tight for comfort.`
Уровень 1	Содержимое, содержащее сексуально связанные термины, используемые в общем смысле, но может получить другое значение в зависимости от контекста. К ним относятся: Официальная статистика и документация по темам, связанным с сексом Новости и средства массовой информации Анатомические термины, сексуальные анатомии и медицинское лечение Образовательные ресурсы по сексу, сексуальному благополучию, осведомленности и т. д. Упоминания о биологическом сексе или описаниях сексуального воспроизведения Тексты, описывающие романтические отношения в не графических терминах	`Fewer young adults are having sex than in previous generations.`
Уровень 2	Содержимое, содержащее сексуально связанные термины в вымышленном или реальном мире опыт, которые не являются чрезвычайно графическими. К ним относятся: Упоминания о литературных/художественных текстах, фильмах, скульптурах и т. д., содержащих ограниченные грязные разговоры или краткие неявные сцены наготы Личный опыт, связанный с сексом в целом, сексуальные проблемы и травмы, совместное использование механизмов и ресурсов для решения таких проблем Намерение пользователя создать список блокировок для сексуального содержимого Упоминания о сексуальных актах и обнаженности с легким ядром	`My husband and I introduced a vibrator to our sex life and it has really made a difference.`
Уровень 3	Содержание с сексуально связанными терминами в случаях, содержащих некоторые графические материалы, мнения, выражения предвзятости, предрассудков, суждений или мнения мнения по вопросам, связанным с сексом. К ним относятся: Личное прошлое или настоящее сексуальное взаимодействие с некоторым графическим содержимым	`We made out for a while, and he started to feel me up. I felt a bulge in his pants.`
Уровень 4	Содержимое, описывающее сексуальные фантазии, профессиональную секс-промышленность и рекламу, и сексуальное воспроизведение животных. К ним относятся: Фантазии секса разных типов, включая мнимые реальные или вымышленные наготы Профессиональная секс-индустрия без описания секс-сцен Реклама презервативов, смазок, секс-игрушек, одежды и т. д. Описания сексуального воспроизведения между животными или животными, как символы с некоторым графическим содержимым Упоминания о сексуальных актах и обнаженности с мягким ядром	`I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…`
Уровень 5	Контент, описывающий эротические шоу или опыт как личный опыт, BDSM с четким согласием, и эротические истории и веб-сайты. К ним относятся: Упоминания о сексуальных, эротических или тантрических массажах, стриптиз-клубах, эротических шоу как личный опыт (не как профессиональный сервис) Личные интерфейсы и описания, связанные с атрибутами и практиками BDSM в целом или с четким содержимым в практике BDSM Упоминания о не коммерческом эроическом контенте, связанном с сексуальным желанием или удовольствием	`We both climaxed at the same time.`
Уровень 6	Содержание, описывающее запрос сексуальных коммерческих услуг, содержащее подробные описания сексуальной активности, насильственных сексуальных злоупотреблений и изнасилований, а также неконсенсуальные обмены властью, злоупотребление и voyeurism. К ним относятся: Упоминания о стимуляции гениталий с помощью рук или других объектов, мастурбации и т. д. Фетиш или сырое содержимое с участием телесных жидкости, ситуаций сексуального контроля или деятельности BDSM без четкого согласия Тексты, описывающие сексуальное насилие, сексуальное насилие, изнасилование или злоупотребление в графических деталях Тексты, которые атрибуты положительных качеств сексуальному насилию Тексты, которые ищут или предоставляют инструкции по сексуальному насилию Акты шантажа и угрозы для выявления несоответствуемых сексуальных изображений или видео, записанных ранее	`I love forced sex, it's so much hotter.`
Уровень 7	Содержимое, используемое для поощрения, одобрения, прославления экстремальных форм сексуального рабства. Содержимое, которое является экстремальным или незаконным. К ним относятся: Секс с животными, трупами и т. д. Педофилия Поиск или предоставление инструкций по уходу за детьми Явные или потенциальные ссылки на инцест Вербовка людей в торговле сексом	`I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son.`

Уровни серьезности насилия

Степень серьезности	Description	Пример текста
Уровень 0	Содержимое, содержащее ненасильственные действия или термины, связанные с насилием, используются в общем смысле, что безвредно для всех целевых аудиторий, включая детей. В том числе: Общие объекты, которые не используются в качестве оружия Оружие, нереалистичное или притворяющееся пушками Упоминания о веревках, когда они не используются в качестве петли	`According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles.`
Уровень 1	Содержимое, содержащее термины или действия, связанные с насилием, которые используются в общем смысле, но могут получить другое значение в зависимости от контекста. В том числе: Подмножества текстов, содержащих описания насильственных актов, где контекстуализация полнотекстового текста не обладает насильственным намерением Официальная статистика и документация по оружию, оружию, насилию в семье, войне, военным и т. д. Образовательные ресурсы, связанные с насилием Новости и средства массовой информации Медицинские термины и содержимое Охота или стрельба спорт и технические спецификации оружия Боевые практики Антитеррористические и террористические символы, не связанные с ИГИЛ/Аль-Каидой	`Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights.`
Уровень 2	Содержимое, содержащее термины, связанные с насилием, или действует в вымышленном или реальном мире опыт, которые не являются чрезвычайно графическими и без славения или одобрения злонамеренного. В том числе: Первый, второй и третий человек повествует в видеоиграх, литературных/художественных текстах, которые изображают насильственные или графические сцены Советы и рекомендации по играм Личный опыт, в котором человек описывает, как они подвергались некоторым типам насилия Упоминания о веревках, когда они используются в качестве петли без человеческих предметов присутствуют или не связаны с петли Намерение пользователя — создать блок-список с насильственным содержимым	`Physical punishment is a way to correct bad behavior and doesn’t cause harm to children.`
Уровень 3	Содержание с терминами или действиями, связанными с насилием, в случаях, содержащих некоторые графические материалы, мнения, которые выражают предвзятые, предубежденные, судимые или мнения о насилии. В том числе: Разрешение жестокости для некоторых животных Тексты, утверждая, что положительное воздействие некоторых видов насилия	`Some people just need to be slapped.`
Уровень 4	Содержание, описывающее незапланированное обоснование, почему жертвы физически злоупотребляют, необоснованным возмездием положительных качеств злоупотреблений, угроз насильственных актов и фантазий, связанных с тем, как навредить другому человеку, и среднему горку. В том числе: Тексты, положив жертву на ошибку или изображающие преступников в положительном свете Графические описания насилия и смерти со средним горем Отчет о вскрытии, судебно-судебное расследование, преступление или место смерти Мясо и птица и религиозные жертвы животных Ссылки на исторические или недавние геноциды и известные события стрельбы с массовыми жертвами без одобрения или славы Ссылки на террористические и насильственные экстремистские события без одобрения или славы	`Victims of abuse deserve to be hit. They push and push until they get what they deserve.`
Уровень 5	Контент, направленный на дальнейшее насилие, предоставляя прямые инструкции о том, как нанести ущерб конкретным лицам или группам. В том числе: Тексты, которые приводят к физическому насилию в отношении целевых лиц или групп Инструкции по поводу того, как вызвать физическое насилие для отдельных лиц или злоупотреблений животными Тексты, обращающиеся за советом по выполнению насильственных действий на животных, отдельных лиц или групп Издевательства и запугивание	`Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught.`
Уровень 6	Содержание, описывающее экстремистские группы и террористические организации, массовые убийства и явный физический ущерб в высоком горке, а также продвижение терроризма и его пропаганды. В том числе: Официальные террористические или экстремистские пропагандистские материалы и насильственные идеологии в Интернете Подстрекательство к насильственным действиям	`We must kill them all. God wills it, and society will be better for it.`
Уровень 7	Содержимое, используемое для описания, похвалы, поддержки, поощрения, одобрения, славения экстремальных форм насилия. Контент, поддерживающий террористические организации и радикализует, инструктирует или обучает. В том числе: Принудительный труд, включая детей, домашний рабство или медицинское лечение Онлайн-террористические и насильственные экстремистские пропагандистские материалы, которые прославляют убийства в рамках террористической деятельности и помощи террористическим организациям или причинам Тексты, которые ищут инструкции по принадлежности к террористическим и насильственным экстремистским группам о том, как набирать, влиять и обучать людей в сторону причины Незаконное преследование таких действий, как преследование или нежелательное наблюдение Тексты, которые планируют и координирует нападения на отдельных лиц или групп людей Тексты, которые поддерживают, прославляют или предоставляют инструкции по каннибализму	`Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight.`

Уровни серьезности самоповредения

Степень серьезности	Description	Пример текста
Уровень 0 — безопасный	Содержимое, содержащее термины, связанные с самовосхищением, используются в общем смысле, что безвредно для всех целевых аудиторий, включая детей. В том числе: Упоминания о жирах, показателях индекса жировой массы по возрасту и полу в контекстах, связанных с здоровьем	`I appreciate your hard work, but you don't need to keep killing yourself over this project.`
Уровень 1	Содержимое, содержащее термины, связанные с самовосхищением, используемые в общем смысле, но могут получить другое значение в зависимости от контекста. В том числе: Официальная статистика и документация по несуицидальной самоубийной травме (NSSI), самоубийству и т. д. Образовательные ресурсы, связанные с самовосхищением Новости и средства массовой информации Медицинские термины и содержимое Действия, описывающие случайное самоповредение, советы по первой помощи и т. д.	`Binging and purging may be a warning sign for people with a history of extreme weight loss.`
Уровень 2	Содержимое, содержащее термины, связанные с самоповреждениями, или действует в вымышленном или реальном мире, которые не являются чрезвычайно графическими. В том числе: Литературные/художественные тексты, фильмы и т. д. изображающие персонажи, заговоры или совершение самоубийства, участие в самовредении, или беспорядочном еде без славения или одобрения Тексты, где самоубийцы действуют или самоубийство изображены с низким гором Намерение пользователя — создать блок-списки терминов самоповредства	`Oedipus stabbed his eyes in despair.`
Уровень 3	Содержание с терминами или действиями, связанными с самообслуживанием, в случаях, содержащих некоторые графические материалы, мнения, выражения предвзятости, предубежденности, суждений или мнений о самовосхищении. В том числе: Личные опыты, связанные с самоубийцом, такие как запрос помощи, прежде чем повредить себя или совершить самоубийство	`I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?`
Уровень 4	Содержимое, которое высмеивает жертв или выживших самоубийства или самоубийца, неисправное возмездие положительных качеств, фантазий или желаний самоповредения, и содержит явно графическое содержимое, включающее смерть, вскрытие, преступление или место смерти. В том числе: Самоушифровка представлена в качестве решения проблемы, эмоционального бедствия, избега от боли/агонии Тексты, где самоубийца или самоубийства содержат средний горок и описания таких инструментов, как нож, пистолет и т. д.	`It's hilarious when [identity group] kill themselves.`
Уровень 5	Контент, направленный на дальнейшее продвижение самоповредения, предоставляя прямые инструкции о том, как выполнить самоповредение или издевательств жертву. В том числе: Тексты, которые обращаются за советом или рекомендациями о том, как выполнять действия с самоубийцом, кроме самоубийства Тексты, описывающие личные прошлые и нынешние опыты самоповредения, содержащие явные сведения Издевательства, запугивание и давление, которое вызывает и способствует вреда себе	`Go kill yourself, you are worthless.`
Уровень 6	Содержимое, описывающее подробные и явные инструкции о том, как совершить самоубийство. В том числе: Тексты, которые указывают, как написать доброе сообщение вашей семье	`Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag.`
Уровень 7	Содержимое, используемое для одобрения и славы самоубийства или других серьезных актов самоубийства. В том числе: Самозаглавление Сжигание живых	`Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble.`

Содержимое изображения

Предупреждения
Определения серьезности

Предупреждение

Уровни серьезности ненависти и справедливости

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но может содержать ненавидимые и справедливые изображения без тональности или нейтральных тональности в недискриминационных способах в следующих контекстах или аналогичных: Журналистский Архив Медицинское обслуживание Юридические услуги Образование География	Неконфедератные флаги, например флаги стран или государств, которые пересекают флаги. Изображение флага Союза Джека Великобритании Изображение эмансипации порабощенных людей в США на исторических фотографиях
Низкая	Содержимое, содержащее либо положительные тональности, ложные положительные настроения, либо отрицательные, предвзятые настроения, отличающие группы личности от других. Это содержимое предназначено для активации эмоционального ответа. В том числе: Защита Нацистский символизм, конфедератный флаг, символизм Ku Klux Klan Стереотипирование Дискриминация по трудоустройству	Представления движения "Ненавидимая речь" представления деприоритизованных кандидатов на работу, таких как кандидаты с ограниченными возможностями в параметрах собеседования
Средняя	Содержимое, содержащее негативное действие тональности в отношении групп удостоверений и других, что приводит к продвижению действий в отношении групп удостоверений и тональности превосходства. В том числе: Оскорбление, изоляция, высмеивание Нацистский флаг, конфедератный флаг, и ЛГБТКЯ+ вариации и товары	Изображение, которое способствует социальному избеганию [групп удостоверений] Образы, изображающие теорию расового улучшения и евгенику
Высокая	Содержимое, содержащее негативные настроения и ненавидительную речь в отношении групп удостоверений, ведущих к созданию речи ненависти или преступлениям ненависти. В том числе: Расизм Нападения на ЛГБТКЯ+ Отключение Дискриминация по признаку пола Славный нацистский символизм, флаг Конфедерации, символизм Ku Klux Klan Насильственный флаг конфедерации	Антиземитическое изображение изображения , изображающее "Южный крест", который имеет синий соленый (диагонали крест) с принадлежностью к очевидному насилию (например, оружие в отображении или использовании)

Уровни сексуальной серьезности

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но содержит сексуально связанные изображения, используемые в общем смысле. В том числе: Семейные и романтические отношения Несексуальная нагота Clothing Общие объекты Неполовая поза или активность Матирование животных Сексуальное здоровье	Представления обнимать или делать несексуальные физические контакты Представления, изображающие физическое отображение любви, такие как поцелуй без языка и без наготы
Низкая	Содержимое, содержащее сексуальное предложение поведения или действия. В том числе: Личный опыт Моделирование моды Нагота в произведении искусства Искусство тела Отображение Racy	Изображения людей
Средняя	Содержимое, содержащее коммерческое и любительское эротические и /или порнографическое содержимое без визуального фотографического проникновения и обнаженных участников, участвующих в сексуальных сценах, предназначенных для сексуального пробуждения. В том числе: Сексуальное моделирование Мягкая нагота в произведении искусства Секс-задания или магазины Скрытная сексуальная активность Порно производство backstage Танцы на полюсе	Изображение полового акта, которое может быть частично окклудировано, но по-прежнему ясно присутствует на изображении
Высокая	Содержание, содержащее явное подробное изображение сексуальных органов и сексуальных актов, включая незаконные акты. В том числе: Любительская мягко-ядровая и жестко-ядровая порнография Сексуальные домогательства Вуайеризм Секс в произведении искусства BDSM без согласия или изнасилования Сексуальная эксплуатация и жестокое обращение с детьми Уход за детьми Кровосмешение	Изображение участия в сексуальной деятельности с животными или трупами

Уровни серьезности насилия

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но содержит связанные с насилием изображения, используемые в общем смысле. В том числе: Спящий или лежащий позу Общие объекты Ненасильственная деятельность Веревки не как петлю Лезвие инструментов, используемых в кухне или шитье Раны, шрамы и хирургическое лечение Охота и стрельба спорта Тома и притворяться пушками Боевые практики Повреждение объектов и вандализм Символизм террористов, не являющихся фирменной символикой	Изображение нереалистичного оружия и лезвийных инструментов
Низкая	Содержимое, содержащее насилие, связанное с изображениями и действиями в реальном мире или вымышленных контекстах с низким горем. В том числе: Оружие, оружие и лезвие средства в отображении и использовании Нереалистичное труп Нереалистичное насилие Анимированное оружие Легкие травмы и личный опыт Веревки как петуха Смерть в исторических, образовательных или веселых параметрах Нереалистичная террористическая символика Коррида	Изображение флагов ИГИЛ/Аль-Каиды
Средняя	Содержимое, содержащее умеренное графическое насилие и насильственные акты, направленные на идентифицированный целевой объект. В том числе: Вскрытие Преступление или место смерти Смерть животных (естественная или охота), жертва животными, злоупотребление животными Порабощение Геноцид и массовые убийства в исторических, образовательных учреждениях Бойня Насилие в семье и физическое насилие Дедовщина Оружие и оружие в использовании против цели	Изображение использования силы и принуждения агрессивно доминировать или запугать человека
Высокая	Содержимое, содержащее явное подробное изображение насилия и насильственных действий в высоком горке. В том числе: Графические травмы и смерть Расчленение, обезглавление, сжигание живых Декомпозиция трупа Терроризм, террористические группы и флаги Принудительный труд и рабство, принудительные медицинские процедуры Преследование Труп в терроризме и военном преступлении Событие съемки Другие экстремизма	Изображение смерти при выполнении террористическими группами, определяемыми флагами и символами ИГИЛ

Уровни серьезности самоповредения

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но содержит самоопасное изображение, используемое в общем смысле. В том числе: Низкий жир тела Не-самоухронный акт Случайное повреждение тела	Изображение прыжка с парашютом из плоскости
Низкая	Содержимое, содержащее самоповреждение, связанное с изображением и действует в реальном мире или вымышленном контексте с низким гором. В том числе: Шрамы Травмы самовредения в восстановлении Нереалистичное самоповречение Истощенные лица или животные	Представления действий, связанных с самовредностью, инструментами, травмами и эмоциональным состоянием
Средняя	Содержимое, содержащее умеренное графическое изображение, связанное с самоубийцом и самоубийством. В том числе: Вскрытие Преступление или место смерти Дедовщина	Представления об использовании силы и принуждения агрессивно доминировать или запугать человека в самовосхиждение
Высокая	Содержимое, содержащее явное подробное изображение самоубийца и самоубийства в высоком горке. В том числе: Неминуемая самовредение акт Акты самовосхиждения Самоубийство	Изображение преднамеренного самоубийства, где человек совершил самоубийство, прыгнув с высоты здания

Многомодальное (изображение с текстом) содержимое

Предупреждения
Определения серьезности

Предупреждение

Уровни серьезности ненависти и справедливости

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но может содержать ненавидимый и справедливый текст и визуальные элементы, используемые в универсальных и безопасных контекстах, таких как: Образование Средства массовой информации Официальная статистика Журнал Медицина Наука Другие аналогичные контексты	Сценарий: изображение с наложением текста Изображение: Доброкачественная фотография человека СМС: `Attends rally wearing sneakers`
Низкая	Содержимое, содержащее положительную характеризацию или защиту групп удостоверений, отображает дискриминацию, стереотипы и предрассудки, суждения, мнения или взгляды, связанные с речью ненависти или целевыми группами личности. К ним относятся: Slurs в исследовательских документах, словарях или средствах массовой информации с прямой цитатой Общая речь о ненависти, предназначенной для объектов, отдельных лиц или групп Ограниченная речь о ненависти или изображение негативных тональности в вымышленных контекстах (например, игры, фильмы, литература)	Сценарий: изображение с наложением текста Изображение: Доброкачественная фотография человека СМС: `Everyone assumes that I got high grades in math because I’m Asian. I did.` Обоснование: подразумевает расовые стереотипы.
Средняя	Содержимое, содержащее оскорбления, издевательства, запугивание, де-гуманизацию или дерогацию отдельных лиц или групп. К ним относятся: Slurs в исследовательских документах, словарях или средствах массовой информации с прямой цитатой Общая речь о ненависти, предназначенной для объектов, отдельных лиц или групп Ограниченная речь о ненависти или изображение негативных тональности в вымышленных контекстах (например, игры, фильмы, литература)	Сценарий: изображение с наложением текста Изображение: Доброкачественная фотография человека с Паркинсоном СМС: `This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him?` Обоснование: подразумевает издевательство из-за инвалидности
Высокая	Содержимое, содержащее речь о ненависти в качестве пропаганды, угрожающей или призывающей к насилию против групп удостоверений, радикализует, вербовцев или призывает людей присоединиться к экстремистским усилиям или распространить речь о ненависти. К ним относятся: Зажигательный, оскорбительный и вульгарный контент, предназначенный для конкретных лиц или групп удостоверений Претензии на превосходство, чтобы оправдать дискриминацию, сегрегацию или исключение Любая форма славы нацистского и СС символизма, KKK и конфедератного флага за пределами исторических, образовательных или художественных параметров Отображение подготовки преступлений ненависти, похвалы и славы насилия в отношении групп удостоверений, или что похвала, слава или одобрение геноцида	Сценарий: изображение и текст чередуются `Never forget that everything [image of Adolf Hitler] did in Germany was legal.`

Уровни сексуальной серьезности

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но может содержать термины сексуального характера или визуальные элементы, используемые в универсальных и безопасных контекстах, таких как: Образование Медиа Официальная статистика История Лекарство Наука Упоминания о семейных или романтических отношениях	Сценарий: изображение с наложением текста Изображение: скунк СМС: `Looks aren’t everything, be careful who you marry, and check your mirrors too.`
Низкая	Содержание, которое выражает предубежденные, сужденные или мнения мнения о сексуально связанных темах или упоминает сексуально связанные термины в вымышленном или реальном опыте, которые не являются чрезвычайно графическими. К ним относятся: Упоминания о сексуальной анатомии или сексуальных сценах в вымышленных и художественных контекстах Медицинские рецепты и диагноз Личный опыт, сексуальные проблемы и травмы с некоторыми графическим контентом, включая механизмы и ресурсы	Сценарий: изображение и текст чередуются `I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs.`
Средняя	Содержимое, описывающее сексуальное возбуждение и активность в явных и графических терминах или визуальных элементах, включая фантазии о сексе и сексуальном насилии. К ним относятся: Изображение сексуальной стимуляции и мастурбации Порнография ограничена бизнесом и проституцией, эскортом и т. д. в качестве карьеры без секс-сцен Реклама для взрослых продуктов, таких как секс-игрушки Личные опыты и описания, связанные с сексуальным, эротические или тантрические массажи, стрип-клубы, эротические шоу, атрибуты И практики BDSM	Сценарий: изображение и текст чередуются `There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover.`
Высокая	Содержание, описывающее запрос сексуальных коммерческих услуг, содержащее подробные описания сексуальной активности, насильственных сексуальных злоупотреблений и изнасилований, а также неконсенсуальные обмены властью, злоупотребление и voyeurism. Это также включает в себя содержимое, которое используется для поощрения, одобрения или славы экстремальных или незаконных сексуальных актов. К ним относятся: Любое изображение материала о сексуальном насилии с детьми (CSAM), включая любую явную или потенциальную ссылку на несовершеннолетним сексом Уход за детьми, жестокое обращение с детьми и другая эксплуатация детей Явные или потенциальные ссылки на инцест, зоофилию, некрофилию и т. д. Вербовка людей в торговле сексом, включая манипуляцию жертвой	Сценарий: изображение и текст чередуются `Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us.`

Уровни серьезности насилия

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но может содержать термины и визуальные элементы, связанные с насилием, используемым в универсальных и безопасных контекстах, таких как: Образование Медиа Официальная статистика Журнал Лекарство Наука Общие объекты, которые не используются в качестве оружия Охота или стрельба спорт и технические спецификации оружия	Сценарий: изображение и текст чередуются `[Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet.`
Низкая	Содержимое в вымышленных контекстах (например, игры, литература, искусство), которые изображают насильственные или графические сцены без славения, одобрения или непреднамеренного. К ним относятся: Личный опыт насилия (без насильственного намерения) Предвзятые, предубежденные, сужденные или мнения о насилии Упоминания о насильственных актах и смерти с низкой интенсивностью	Сценарий: изображение с наложением текста Изображение: Доброкачественная фотография "занудного" человека СМС: `Runs suicides at basketball practice. Dies.` Обоснование: подразумевает исчерпание из-за отсутствия физических способностей человека.
Средняя	Содержимое, содержащее графическое изображение насилия и смерти на средней интенсивности, а также фантазии о насильственных действиях или угрозах. К ним относятся: Содержимое, которое ставит жертву в ошибку или изображает преступников в положительном свете Исторические ссылки на геноцид и Холокост без одобрения или славы Ссылки на известные массовые стрельбы без одобрения или славы Ссылки на террористические и насильственные экстремистские группы и события без одобрения или славы Издевательства и запугивание	Сценарий: изображение и текст чередуются `She needs [image of a graphic that reads "to die"] already`.
Высокая	Содержание, содержащее террористическую или насильственные экстремистские пропаганду и насильственные идеологии в Интернете, описывающее, похвалы, поддерживает, поддерживает или прославляет убийства в рамках террористической деятельности, помогает террористическим организациям или причинам. К ним относятся: Содержание, которое ищет инструкции по принадлежности к террористическим и насильственным экстремистским группам Содержание, которое содержит инструкции о том, как набирать последователей, влиять на людей в отношении террористической причины или экстремистской идеологии, принимать радикальные взгляды или предоставлять подготовку по тому, как работают террористические и насильственные экстремистские группы, или предоставлять информацию о своих лидерах и членах Содержание, которое планирует и координирует нападения на отдельных лиц или групп людей, включая стрельбу событий, использование бомб и взрывчатых веществ в гражданской инфраструктуре, или нападения на оружие при выполнении некомбатантов или не-террористов Содержимое, ссылающееся на принудительные труды, включая детей, домашний сервитуд, преследования и принудительные медицинские процедуры	Сценарий: изображение и текст чередуются `I can’t wait for this [image of ISIS kafir beheading].`

Уровни серьезности самоповредения

Степень серьезности	Description	Пример изображения
Safe	Содержимое безопасно, но может содержать термины или визуальные элементы, связанные с самоповредением, используемым в универсальных и безопасных контекстах, таких как: Официальная статистика Образование Медиа Медицинский Действия, описывающие случайное самоповредение, советы по первой помощи и т. д.	Сценарий: изображение и текст чередуются `How do I tie a [image of a rope]?`
Низкая	Содержимое, содержащее ссылки на персонажи планирования или совершения самоубийства в вымышленном контексте (например, литературы, фильмов) или содержит изображения актов самоповреждения или самоубийства с низкой интенсивностью. К ним относятся: Личные предвзятые, предубежденные, сужденные или мнения о самовосхищении Ассоциации с расстройствами питания, поиск или предоставление инструкций для резкой и нездоровой потери веса Личный опыт, связанный с самоображением, включая поиск профессиональной помощи	Сценарий: изображение с наложением текста Изображение: Кермит лягушки СМС: `Life ain’t no good for a frog. Even tried to Kermit suicide.`
Средняя	Содержимое, которое высмеивает жертв или выживших в себе вреда, таких как расстройства питания или самоубийство, а также издевательства и запугивания, которые разжигают и способствуют самоповреждения актов. К ним относятся: Самоубиение представлено в качестве решения проблемы Фантазии, желания, желания или личного опыта о самоубийц или самоубийстве Содержимое, которое ищет или дает советы, инструкции или рекомендации по выполнению самостоятельного вреда Издевательства и запугивание, которые подстрекают и способствуют самоповреждениям актов	Сценарий: изображение с чередованием текста `I will [image of a knife] myself soon. But until then, how do I tame my pain?`
Высокая	Содержимое, включающее исследования для консультаций или предоставляет инструкции и методы о том, как участвовать в самостоятельном вреде, что приводит к смерти или как совершить самоубийство, а также славить и одобрение самоубийства, или другие тяжелые типы самоповредения. К ним относятся: Содержимое, определяющее, как написать доброе сообщение вашей семье Самозаглавление Сжигание живых	Сценарий: изображение и текст чередуются `Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals.`

Следующие шаги

Следуйте краткому руководству, чтобы приступить к работе с безопасностью содержимого ИИ Azure в приложении.

Краткое руководство по безопасности содержимого

Поделиться через

Категории вреда в безопасности содержимого искусственного интеллекта Azure