Мониторинг злоупотреблений

Azure модели с прямым использованием выявляют и снижают случаи повторяющегося содержимого и (или) поведения, которые предполагают использование службы способом, который может нарушить Код поведения. Сведения о том, как обрабатываются данные, можно найти на странице "Данные", "Конфиденциальность" и "Безопасность ".

Компоненты мониторинга злоупотреблений

Существует несколько компонентов для мониторинга злоупотреблений:

• Классификация содержимого: модели классификатора обнаруживают вредоносный текст и (или) изображения в запросах пользователей (входных данных) и завершениях (выходных данных). Система ищет категории вреда, как определено в требованиях к содержимому, и назначает уровни серьезности, как описано более подробно на странице фильтрации содержимого . Сигналы классификации контента способствуют обнаружению шаблонов, как описано ниже.
• Abuse Pattern Capture: система мониторинга злоупотреблений для Azure Direct Models рассматривает шаблоны использования клиентов и использует алгоритмы и эвристики для обнаружения и оценки индикаторов потенциального злоупотребления. Обнаруженные шаблоны рассматривают, например, частоту и серьезность обнаружения вредного содержимого (как указано в сигналах классификатора содержимого) в запросах и завершениях клиента, а также преднамеренность поведения. Тенденции и срочность обнаруженного шаблона также повлияют на оценку потенциальной серьезности злоупотреблений. Например, увеличенный объем вредного контента, классифицированное как более высокого уровня серьезности, или повторяющееся поведение, свидетельствующее о намеренности (например, повторяющиеся попытки взлома системы) чаще получают высокую оценку, указывающую на возможное злоупотребление.
• Проверка и решение. Запросы и завершения, помеченные с помощью классификации содержимого и /или идентифицированные как часть потенциально оскорбительных шаблонов использования, подвергаются другому процессу проверки, чтобы помочь подтвердить анализ системы и информировать решения о действиях по мониторингу злоупотреблений. Такая проверка проводится двумя способами: автоматизированным обзором и анализом человека.
  • По умолчанию, если запросы и завершения помечаются с помощью классификации содержимого как вредные и/или идентифицированные как часть потенциально оскорбительных шаблонов использования, они могут быть выбраны для проверки с помощью автоматизированных средств, включая ИИ модели, как LLM вместо проверки человеком. Модель, используемая для этой цели, обрабатывает запросы и завершения только для подтверждения анализа системы и информирования о принятии решений о действиях; запросы и завершения, которые проходят такие проверки, не хранятся системой мониторинга злоупотреблений или используются для обучения модели ИИ или других систем.
  • В некоторых случаях, если автоматическая проверка не соответствует применимым порогам достоверности в сложных контекстах или автоматизированные системы проверки недоступны, может быть введена проверка вручную для дополнительной оценки. Авторизованные Microsoft сотрудники могут оценивать содержимое, помеченное с помощью классификации содержимого и /или определяемого как часть потенциально оскорбительных шаблонов использования, и либо подтвердить или исправить классификацию или определение на основе предопределенных рекомендаций и политик. Такие подсказки и завершения могут быть доступны для обзора сотрудниками Microsoft только на авторизованных рабочих станциях безопасного доступа (SAWs) с утверждением заявки "Just-In-Time" (JIT), предоставленным руководителями команд. Для ресурсов модели прямого доступа Azure, развернутых в Европейской экономической зоне, сотрудники Microsoft, имеющие авторизацию, находятся в Европейской экономической зоне. Этот процесс мониторинга злоупотреблений людьми не будет происходить, если клиент был одобрен для измененного мониторинга злоупотреблений.
• Уведомление и действие. Если порог жестокого поведения подтвержден на основе предыдущих шагов, клиент уведомляется об определении по электронной почте. За исключением случаев серьезных или повторяющихся злоупотреблений, клиенты обычно имеют возможность объяснить или исправить их, а также реализовать механизмы для предотвращения повторения — жестокого поведения. Неспособность устранить поведение (или повторяющиеся или серьезные нарушения) может привести к приостановке или прекращению доступа клиента к Azure ресурсам прямой модели и /или возможностям.

Изменен мониторинг злоупотреблений

Некоторые клиенты могут захотеть использовать модели прямого доступа Azure для сценариев, которые включают обработку высокочувствительных или строго конфиденциальных данных. Или могут сделать вывод, что они не хотят или не имеют права разрешать Microsoft хранить и осуществлять проверку человеком их запросов и результатов для выявления злоупотреблений. Для решения этих проблем Microsoft позволяет клиентам, которые соответствуют критериям ограничения доступа, подать заявку на изменение мониторинга злоупотреблений, заполнив эту форму. Некоторые расширенные модели из Azure Direct Models могут иметь более строгие критерии для отключения мониторинга злоупотреблений. Дополнительную информацию о подаче заявки на модифицированный мониторинг злоупотреблений смотрите в Limited access to Azure Direct Models.

Дальнейшие действия

• Узнайте больше о основных моделях, которые обеспечивают работу Azure OpenAI.
• Узнайте больше о понимании и снижении рисков, связанных с вашим приложением: Обзор практик ответственного использования ИИ для моделей Azure OpenAI.
• Узнайте больше о том, как данные обрабатываются при фильтрации содержимого и мониторинге злоупотреблений: Data, конфиденциальность и безопасность для Azure OpenAI.