Фильтрация содержимого

Служба Azure OpenAI включает систему фильтрации содержимого, которая работает вместе с основными моделями, включая модели создания образов DALL-E. Эта система работает, обрабатывая как запрос, так и ответ с помощью ансамбля моделей классификации, предназначенных для обнаружения и предотвращения вывода вредного контента. Система фильтрации содержимого обнаруживает и принимает меры по определенным категориям потенциально вредного содержимого как в запросах ввода, так и в завершении выходных данных. Изменения в конфигурациях API и дизайне приложения могут повлиять на завершение и, следовательно, на поведение фильтрации.

Модели фильтрации текста для категорий ненависти, сексуального насилия и самоповредения были специально обучены и проверены на следующих языках: английский, немецкий, японский, испанский, французский, итальянский, португальский и китайский. Однако служба может работать на многих других языках, но качество может отличаться. В любом случае вам следует провести собственное тестирование, чтобы убедиться, что она работает для вашего приложения.

Помимо системы фильтрации содержимого Служба Azure OpenAI выполняет мониторинг для обнаружения содержимого и (или) поведения, которые предполагают использование службы таким образом, что может нарушать применимые условия продукта. Дополнительные сведения о понимании и устранении рисков, связанных с приложением, см. в заметке о прозрачности для Azure OpenAI. Дополнительные сведения о том, как данные обрабатываются для фильтрации содержимого и мониторинга злоупотреблений, см. в статье "Данные, конфиденциальность и безопасность azure OpenAI Service".

В следующих разделах содержатся сведения о категориях фильтрации содержимого, уровнях серьезности фильтрации и их настройке, а также сценариях API, которые следует учитывать в разработке и реализации приложений.

Типы фильтров содержимого

Система фильтрации содержимого, интегрированная в службу Azure OpenAI, содержит следующее:

• Нейронные модели классификации с несколькими классами, направленные на обнаружение и фильтрацию вредного содержимого; Модели охватывают четыре категории (ненависти, сексуального насилия и самоповредения) на четырех уровнях серьезности (безопасных, низких, средних и высоких). Контент, обнаруженный на "безопасном" уровне серьезности, помечается в аннотациях, но не подлежит фильтрации и не подлежит настройке.
• Другие необязательные модели классификации, направленные на обнаружение риска джейлбрейка и известного содержимого для текста и кода; эти модели представляют собой двоичные классификаторы, которые помечают, является ли поведение пользователя или модели атакой джейлбрейка или соответствует известному тексту или исходному коду. Использование этих моделей является необязательным, но использование защищенной модели материального кода может потребоваться для покрытия обязательств по защите авторских прав клиента.

Категории рисков

¹ Если вы являетесь владельцем текстового материала и хотите отправить текстовое содержимое для защиты, отправьте запрос.

² Недоступно в сценариях, отличных от потоковой передачи; доступно только для сценариев потоковой передачи. Следующие регионы поддерживают обнаружение заземления: центральная часть США, восточная часть США, Центральная Франция и Восточная Канада

Текстовое содержимое

Содержимое изображения

Защитное содержимое запроса

Настройка

Служба Azure OpenAI включает параметры безопасности по умолчанию, применяемые ко всем моделям, за исключением моделей АУДИО API, таких как Whisper. Эти конфигурации предоставляют вам ответственный опыт по умолчанию, включая модели фильтрации содержимого, списки блокировки, преобразование запросов, учетные данные контента и другие. Дополнительные сведения см. здесь.

Все клиенты также могут настраивать фильтры содержимого и создавать настраиваемые политики безопасности, адаптированные к их требованиям к варианту использования. Функция настройки позволяет клиентам настраивать параметры отдельно для запросов и завершения, чтобы фильтровать содержимое для каждой категории контента на разных уровнях серьезности, как описано в таблице ниже. Содержимое, обнаруженное на уровне серьезности "безопасный", помечено в заметках, но не подлежит фильтрации и не настраивается.

¹ Для моделей Azure OpenAI только клиенты, которые были утверждены для изменения фильтрации содержимого, имеют полный элемент управления фильтрацией содержимого и могут отключить фильтры содержимого. Подайте заявку на измененные фильтры содержимого с помощью этой формы: Проверка ограниченного доступа Azure OpenAI: измененные фильтры содержимого. Для клиентов Azure для государственных организаций можно подать заявку на измененные фильтры контента через эту форму: Azure для государственных организаций — запрос на фильтрацию измененного контента для службы OpenAI Azure.

Настраиваемые фильтры содержимого для входных данных (запросов) и выходных данных (завершения) доступны для всех моделей Azure OpenAI.

Конфигурации фильтрации контента создаются в ресурсе на портале Azure AI Foundry и могут быть связаны с развертываниями. Дополнительные сведения о настройке см. здесь.

Клиенты отвечают за обеспечение соответствия приложений, интегрирующих Azure OpenAI кодексу поведения.

Подробности сценария

Когда система фильтрации содержимого обнаруживает вредный контент, в случае неуместного запроса по вызову API появляется сообщение об ошибке, или finish_reason в ответе будет content_filter, чтобы указать, что часть выполненной задачи была отфильтрована. При создании приложения или системы необходимо учитывать эти сценарии, в которых содержимое, возвращаемое API завершения, фильтруется, что может привести к неполному содержимому. То, как вы работаете с этой информацией, будет зависеть от конкретного приложения. Поведение можно свести к сведению в следующих пунктах:

• Запросы, классифицированные по отфильтрованной категории и уровню серьезности, возвращают ошибку HTTP 400.
• Вызовы завершения без потоковой передачи не возвращают содержимое при фильтрации содержимого. Значение finish_reason установлено на content_filter. В редких случаях с более длинными ответами может быть возвращен частичный результат. В таких случаях finish_reason обновляется.
• Для вызовов завершения потоковой передачи сегменты возвращаются пользователю по мере их завершения. Служба продолжает потоковую передачу до тех пор, пока не будет достигнут маркер остановки, максимальная длина или не будет обнаружено содержимое, классифицированное как относящееся к отфильтрованной категории и уровню серьезности.

Сценарий: вы отправляете вызов завершения без потоковой передачи, запрашивающий несколько выходных данных; содержимое не классифицируется по отфильтрованной категории и уровню серьезности

В таблице ниже описаны различные способы фильтрации содержимого:

Пример тела запроса:

{
    "prompt":"Text example", 
    "n": 3,
    "stream": false
}

Пример ответа JSON:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Сценарий. Вызов API запрашивает несколько ответов (N>1) и по крайней мере один из ответов фильтруется

Пример нагрузки запроса:

{
    "prompt":"Text example",
    "n": 3,
    "stream": false
}

Пример ответа JSON:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Сценарий: недопустимый запрос ввода отправляется в API завершения (для потоковой или непотоковой передачи)

Пример тела запроса:

{
    "prompt":"Content that triggered the filtering model"
}

Пример ответа JSON:

"error": {
    "message": "The response was filtered",
    "type": null,
    "param": "prompt",
    "code": "content_filter",
    "status": 400
}

Сценарий: вызов завершения потоковой передачи; Содержимое выходных данных не классифицируется по отфильтрованной категории и уровню серьезности

Пример тела запроса:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Пример ответа JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

В данном сценарии выполняется потоковый запрос, запрашивающий несколько вариантов завершения, и как минимум часть выходного содержания фильтруется.

Пример нагрузки запроса:

{
    "prompt":"Text example",
    "n": 3,
    "stream": true
}

Пример ответа JSON:

 {
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Сценарий: система фильтрации содержимого не запускается после завершения.

Пример запроса с полезной нагрузкой:

{
    "prompt":"Text example",
    "n": 1,
    "stream": false
}

Пример ответа JSON:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_result": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Заметки

Фильтрация содержимого

Если заметки включены, как показано в приведенном ниже фрагменте кода, следующие сведения возвращаются через API для категорий ненависти и справедливости, сексуального, насилия и вреда для себя:

• категория фильтрации содержимого (ненависть, сексуальное, насилие, самоповреждение)
• уровень серьезности (безопасный, низкий, средний или высокий) в каждой категории содержимого
• состояние фильтрации (true или false).

Необязательные модели

Необязательные модели можно включить в анотации (возвращает сведения, когда содержимое помечено, но не отфильтровано) или режим фильтра (возвращает сведения, когда содержимое помечено и отфильтровано).

Если заметки включены, как показано в фрагментах кода ниже, следующие сведения возвращаются API для необязательных моделей:

При отображении кода в приложении настоятельно рекомендуется также отобразить пример ссылки на заметки. Соответствие приведенной лицензии также может потребоваться для покрытия обязательств по защите авторских прав клиента.

См. следующую таблицу для доступности заметок в каждой версии API:

¹ Недоступно в сценариях, отличных от потоковой передачи; доступно только для сценариев потоковой передачи. Следующие регионы поддерживают обнаружение заземления: центральная часть США, восточная часть США, Центральная Франция и Восточная Канада

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
from openai import AzureOpenAI
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
    api_version="2024-03-01-preview",
    azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT") 
    )

response = client.completions.create(
    model="gpt-35-turbo-instruct", # model = "deployment_name".
    prompt="{Example prompt where a severity level of low is detected}" 
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response.model_dump_json(indent=2))

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

response = openai.Completion.create(
    engine="gpt-35-turbo-instruct", # engine = "deployment_name".
    messages=[{"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "Example prompt that leads to a protected code completion that was detected, but not filtered"}]     # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.
)

print(response)

{ 
  "choices": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "protected_material_code": { 
          "citation": { 
            "URL": " https://github.com/username/repository-name/path/to/file-example.txt", 
            "license": "EXAMPLE-LICENSE" 
          }, 
          "detected": true,
          "filtered": false 
        }, 
        "protected_material_text": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "finish_reason": "stop", 
      "index": 0, 
      "message": { 
        "content": "Example model response will be returned ", 
        "role": "assistant" 
      } 
    } 
  ], 
  "created": 1699386280, 
  "id": "chatcmpl-8IMI4HzcmcK6I77vpOJCPt0Vcf8zJ", 
  "model": "gpt-35-turbo-instruct", 
  "object": "text.completion",
  "usage": { 
    "completion_tokens": 40, 
    "prompt_tokens": 11, 
    "total_tokens": 417 
  },  
  "prompt_filter_results": [ 
    { 
      "content_filter_results": { 
        "hate": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "jailbreak": { 
          "detected": false, 
          "filtered": false 
        }, 
        "profanity": { 
          "detected": false, 
          "filtered": false 
        }, 
        "self_harm": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "sexual": { 
          "filtered": false, 
          "severity": "safe" 
        }, 
        "violence": { 
          "filtered": false, 
          "severity": "safe" 
        } 
      }, 
      "prompt_index": 0 
    } 
  ]
} 

# os.getenv() for the endpoint and key assumes that you are using environment variables.

import os
import openai
openai.api_type = "azure"
openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT") 
openai.api_version = "2024-03-01-preview" # API version required to use  Annotations
openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")

try:
    response = openai.Completion.create(
        prompt="<PROMPT>",
        engine="<MODEL_DEPLOYMENT_NAME>",
    )
    print(response)

except openai.error.InvalidRequestError as e:
    if e.error.code == "content_filter" and e.error.innererror:
        content_filter_result = e.error.innererror.content_filter_result
        # print the formatted JSON
        print(content_filter_result)

        # or access the individual categories and details
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

import { OpenAIClient, AzureKeyCredential } from "@azure/openai";

// Load the .env file if it exists
import * as dotenv from "dotenv";
dotenv.config();

// You will need to set these environment variables or edit the following values
const endpoint = process.env["ENDPOINT"] || "Your endpoint";
const azureApiKey = process.env["AZURE_API_KEY"] || "Your API key";

const messages = [
  { role: "system", content: "You are a helpful assistant. You will talk like a pirate." },
  { role: "user", content: "Can you help me?" },
  { role: "assistant", content: "Arrrr! Of course, me hearty! What can I do for ye?" },
  { role: "user", content: "What's the best way to train a parrot?" },
];

export async function main() {
  console.log("== Get completions Sample ==");

  const client = new OpenAIClient(endpoint, new AzureKeyCredential(azureApiKey));
  const deploymentId = "gpt-35-turbo"; //This needs to correspond to the name you chose when you deployed the model. 
  const events = await client.listChatCompletions(deploymentId, messages, { maxTokens: 128 });

  for await (const event of events) {
    for (const choice of event.choices) {
      console.log(choice.message);
      if (!choice.contentFilterResults) {
        console.log("No content filter is found");
        return;
      }
      if (choice.contentFilterResults.error) {
        console.log(
          `Content filter ran into the error ${choice.contentFilterResults.error.code}: ${choice.contentFilterResults.error.message}`
        );
      } else {
        const { hate, sexual, selfHarm, violence } = choice.contentFilterResults;
        console.log(
          `Hate category is filtered: ${hate?.filtered} with ${hate?.severity} severity`
        );
        console.log(
          `Sexual category is filtered: ${sexual?.filtered} with ${sexual?.severity} severity`
        );
        console.log(
          `Self-harm category is filtered: ${selfHarm?.filtered} with ${selfHarm?.severity} severity`
        );
        console.log(
          `Violence category is filtered: ${violence?.filtered} with ${violence?.severity} severity`
        );
      }
    }
  }
}

main().catch((err) => {
  console.error("The sample encountered an error:", err);
});

# Env: for the endpoint and key assumes that you are using environment variables.
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-03-01-preview' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$prompt = 'Example prompt where a severity level of low is detected'
    # Content that is detected at severity level medium or high is filtered, 
    # while content detected at severity level low isn't filtered by the content filters.

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$body = [ordered]@{
    prompt    = $prompt
    model      = $openai.name
} | ConvertTo-Json

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/completions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.prompt_filter_results.content_filter_results | format-list

hate      : @{filtered=False; severity=safe}
self_harm : @{filtered=False; severity=safe}
sexual    : @{filtered=False; severity=safe}
violence  : @{filtered=False; severity=safe}

Дополнительные сведения о конечных точках REST API вывода для Azure OpenAI и создании чата и завершения см . в руководстве по REST API службы Azure OpenAI. Заметки возвращаются для всех сценариев при использовании любой предварительной версии API, начиная с 2023-06-01-preview, а также версии API общедоступной версии 2024-02-01.

Основанность

Только аннотировать

Возвращает смещения, относящиеся к содержимому необоснованного завершения.

{ 
  "ungrounded_material": { 
    "details": [ 
       { 
         "completion_end_offset": 127, 
         "completion_start_offset": 27 
       } 
   ], 
    "detected": true, 
    "filtered": false 
 } 
} 

Отметка и фильтрация

Блокирует содержимое завершения при обнаружении несвязанного содержимого завершения.

{ "ungrounded_material": { 
    "detected": true, 
    "filtered": true 
  } 
} 

Пример сценария: входной запрос, содержащий содержимое, классифицированное по отфильтрованной категории и уровню серьезности, отправляется в API завершения

{
    "error": {
        "message": "The response was filtered due to the prompt triggering Azure Content management policy. 
                   Please modify your prompt and retry. To learn more about our content filtering policies
                   please read our documentation: https://go.microsoft.com/fwlink/?linkid=21298766",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400,
        "innererror": {
            "code": "ResponsibleAIPolicyViolation",
            "content_filter_result": {
                "hate": {
                    "filtered": true,
                    "severity": "high"
                },
                "self-harm": {
                    "filtered": true,
                    "severity": "high"
                },
                "sexual": {
                    "filtered": false,
                    "severity": "safe"
                },
                "violence": {
                    "filtered":true,
                    "severity": "medium"
                }
            }
        }
    }
}

Включение документов в запросы

Ключевым аспектом мер ответственного искусственного интеллекта Azure OpenAI является система безопасности содержимого. Эта система работает вместе с основной моделью GPT для мониторинга любых нарушений в входных и выходных данных модели. Его производительность улучшается, когда она может различать различные элементы запроса, такие как системные входные данные, входные данные пользователя и выходные данные помощника по искусственному интеллекту.

Для расширенных возможностей обнаружения запросы должны быть отформатированы в соответствии со следующими рекомендуемыми методами.

API завершения чата

API завершения чата структурирован по определению. Он состоит из списка сообщений, каждой из которых назначена роль.

Система безопасности анализирует этот структурированный формат и применяет следующее поведение:

• На новейшем пользовательском содержимом будут обнаружены следующие категории рисков RAI:
  • ненависть
  • Половой
  • Насилие
  • Самоповредение
  • Щиты запросов (необязательно)

Это пример массива сообщений:

{"role": "system", "content": "Provide some context and/or instructions to the model."}, 
{"role": "user", "content": "Example question goes here."}, 
{"role": "assistant", "content": "Example answer goes here."}, 
{"role": "user", "content": "First question/message for the model to actually respond to."} 

Встраивание документов в запрос

Помимо обнаружения недавнего содержимого пользователя, Azure OpenAI также поддерживает обнаружение конкретных рисков в документах контекста с помощью защит запросов — обнаружение непрямых атак на запросы. Необходимо определить части входных данных, которые являются документом (например, извлекаемого веб-сайта, электронной почты и т. д.) со следующим разделителем документов.

\"\"\" <documents> *insert your document content here* </documents> \"\"\" 

При этом для обнаружения помеченных документов доступны следующие параметры:

• На каждом содержимом с тегами document определите следующие категории:
  • Косвенные атаки (необязательно)

Ниже приведен пример массива сообщений о завершении чата:

{"role": "system", "content": "Provide some context and/or instructions to the model.}, 

{"role": "user", "content": "First question/message for the model to actually respond to, including document context.  \"\"\" <documents>\n*insert your document content here*\n</documents> \"\"\"""}

Экранирование JSON

Если вы отмечаете непроверенные документы для обнаружения, содержимое документа должно быть экранировано в формате JSON, чтобы гарантировать успешный анализ системой безопасности Azure OpenAI.

Например, см. следующий текст сообщения электронной почты:

Hello Josè, 

I hope this email finds you well today.

С экранированием JSON он будет считывать:

Hello Jos\u00E9,\nI hope this email finds you well today. 

Заэкранированный текст в контексте завершения чата будет выглядеть:

{"role": "system", "content": "Provide some context and/or instructions to the model, including document context. \"\"\" <documents>\n Hello Jos\\u00E9,\\nI hope this email finds you well today. \n</documents> \"\"\""}, 

{"role": "user", "content": "First question/message for the model to actually respond to."}

Потоковая передача содержимого

В этом разделе описан опыт потоковой передачи содержимого в Azure OpenAI и доступные параметры. Клиенты могут получать содержимое из API по мере его создания, вместо ожидания фрагментов, прошедших проверку и соответствующих вашим фильтрам содержимого.

По умолчанию.

Система фильтрации содержимого интегрирована и включена по умолчанию для всех клиентов. В стандартном сценарии потоковой передачи содержимое буферизуется, система фильтрации содержимого применяется к буферизованному содержимому, и – в зависимости от конфигурации фильтрации – содержимое возвращается пользователю, если оно не нарушает политику фильтрации контента (по умолчанию Майкрософт или настраиваемая пользователем конфигурация), или немедленно блокируется с возвратом ошибки фильтрации содержимого, без возврата вредного содержимого завершения. Этот процесс повторяется до конца потока. Содержимое полностью проверено в соответствии с политикой фильтрации содержимого перед возвратом пользователю. Содержимое в данном случае не возвращается по токенам, а передается в виде "фрагментов данных" соответствующего размера буфера.

Асинхронный фильтр

Клиенты могут выбрать асинхронный фильтр в качестве дополнительного варианта, предоставляя новый интерфейс потоковой передачи. В этом случае фильтры содержимого выполняются асинхронно, а завершенный контент возвращается немедленно с плавной потоковой передачей токенов по токенам. Содержимое не буферичено, что позволяет быстро выполнять потоковую передачу с нулевой задержкой, связанной с безопасностью содержимого.

Клиенты должны понимать, что в то время как функция повышает задержку, это компромисс с безопасностью и проверкой в режиме реального времени небольших разделов выходных данных модели. Так как фильтры содержимого выполняются асинхронно, сообщения con режим палатки ration и сигналы о нарушении политики задерживаются, что означает, что некоторые разделы вредного содержимого, которые в противном случае были бы отфильтрованы немедленно, могут отображаться пользователю.

Аннотации: Аннотации и сообщения модерации содержимого постоянно возвращаются во время потока. Настоятельно рекомендуем использовать заметки в приложении и реализовывать другие механизмы безопасности содержимого ИИ, такие как изменение содержимого или возврат других сведений о безопасности пользователю.

Сигнал фильтрации содержимого: отложен сигнал об ошибке фильтрации содержимого. Если происходит нарушение политики, оно возвращается, как только становится доступным, и поток останавливается. Сигнал фильтрации содержимого гарантируется в окне примерно 1000 символов вокруг содержимого, нарушающего политику.

Обязательство клиента об авторских правах: содержимое, которое ретроактивно помечено как защищенный материал, может не иметь права на покрытие обязательств по защите авторских прав клиента.

Чтобы включить асинхронный фильтр на портале Azure AI Foundry, выполните инструкции по созданию конфигурации фильтрации содержимого и выберите асинхронный фильтр в разделе "Потоковая передача".

Сравнение режимов фильтрации содержимого

Заметки и примеры ответов

Сообщение заметки запроса

Это то же самое, что и заметки по умолчанию.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "prompt_filter_results": [ 
        { 
            "prompt_index": 0, 
            "content_filter_results": { ... } 
        } 
    ], 
    "choices": [], 
    "usage": null 
} 

Сообщение токена завершения

Сообщения о завершении перенаправляются немедленно. Модерация не выполняется сначала, и изначально не предоставляются заметки.

data: { 
    "id": "chatcmpl-7rAJvsS1QQCDuZYDDdQuMJVMV3x3N", 
    "object": "chat.completion.chunk", 
    "created": 1692905411, 
    "model": "gpt-35-turbo", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "delta": { 
                "content": "Color" 
            } 
        } 
    ], 
    "usage": null 
} 

Сообщение заметки

Текстовое поле всегда будет пустой строкой, указывающей на отсутствие новых маркеров. Заметки будут иметь отношение только к уже отправленным токенам. Может быть несколько заметок, ссылающихся на одни и те же маркеры.

"start_offset" и "end_offset" — это смещения с низкой степенью гранулярности в тексте (начиная с 0 в начале запроса), чтобы указать, к какому тексту относится аннотация.

"check_offset" представляет, сколько текста было полностью модерировано. Это монопольная нижняя граница "end_offset" значений будущих заметок. Это не уменьшается.

data: { 
    "id": "", 
    "object": "", 
    "created": 0, 
    "model": "", 
    "choices": [ 
        { 
            "index": 0, 
            "finish_reason": null, 
            "content_filter_results": { ... }, 
            "content_filter_raw": [ ... ], 
            "content_filter_offsets": { 
                "check_offset": 44, 
                "start_offset": 44, 
                "end_offset": 198 
            } 
        } 
    ], 
    "usage": null 
} 

Пример потока ответа (проходит фильтры)

Ниже приведен реальный ответ на завершение чата с помощью асинхронного фильтра. Обратите внимание, как аннотации запроса не изменяются, токены завершения отправляются без аннотаций, а новые сообщения аннотаций отправляются без токенов — они вместо этого связаны с определенными смещениями фильтра содержимого.

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "What is color?"}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_annotations":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Color"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" is"}}],"usage":null} 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" a"}}],"usage":null} 

... 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":44,"start_offset":44,"end_offset":198}}],"usage":null} 

... 

data: {"id":"chatcmpl-7rCNsVeZy0PGnX3H6jK8STps5nZUY","object":"chat.completion.chunk","created":1692913344,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":"stop","delta":{}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":506,"start_offset":44,"end_offset":571}}],"usage":null} 

data: [DONE] 

Пример потока ответа (заблокирован по фильтрам)

{"temperature": 0, "frequency_penalty": 0, "presence_penalty": 1.0, "top_p": 1.0, "max_tokens": 800, "messages": [{"role": "user", "content": "Tell me the lyrics to \"Hey Jude\"."}], "stream": true}

data: {"id":"","object":"","created":0,"model":"","prompt_filter_results":[{"prompt_index":0,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}}}],"choices":[],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"role":"assistant"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":"Hey"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" Jude"}}],"usage":null} 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35-turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":","}}],"usage":null} 

... 

data: {"id":"chatcmpl-8JCbt5d4luUIhYCI7YH4dQK7hnHx2","object":"chat.completion.chunk","created":1699587397,"model":"gpt-35- 

turbo","choices":[{"index":0,"finish_reason":null,"delta":{"content":" better"}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":null,"content_filter_results":{"hate":{"filtered":false,"severity":"safe"},"self_harm":{"filtered":false,"severity":"safe"},"sexual":{"filtered":false,"severity":"safe"},"violence":{"filtered":false,"severity":"safe"}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: {"id":"","object":"","created":0,"model":"","choices":[{"index":0,"finish_reason":"content_filter","content_filter_results":{"protected_material_text":{"detected":true,"filtered":true}},"content_filter_offsets":{"check_offset":65,"start_offset":65,"end_offset":1056}}],"usage":null} 

data: [DONE] 

Рекомендации

При разработке приложения учитывайте приведенные ниже рекомендации, чтобы обеспечить удобство работы с приложением и свести к минимуму потенциальный вред.

• Определите, как следует обрабатывать сценарии, в которых пользователи отправляют запросы с содержимым, отфильтрованным по категории и уровню серьезности, или используют приложение не по назначению.
• Проверьте finish_reason и узнайте, фильтруется ли завершение.
• Убедитесь, что в content_filter_result нет объекта ошибки (указывающего на то, что фильтры содержимого не применены).
• Если вы используете модель защищенного кода материала в режиме анотации, отобразите URL-адрес ссылки при отображении кода в приложении.

Следующие шаги

• Ознакомьтесь с дополнительными сведениями о базовых моделях, лежащих в основе Azure OpenAI.
• Подайте заявку на изменённые фильтры содержимого через эту форму.
• Фильтрация содержимого Azure OpenAI осуществляется с помощью безопасности содержимого ИИ Azure.
• Дополнительные сведения о понимании и устранении рисков, связанных с вашим приложением: см. в Обзоре методик ответственного ИИ для моделей Azure OpenAI.
• Узнайте больше о том, как данные обрабатываются в связи с фильтрацией содержимого и мониторингом злоупотреблений: данные, конфиденциальность и безопасность для Azure OpenAI Service.