Принудительное применение проверок безопасности содержимого для запросов LLM

ОБЛАСТЬ ПРИМЕНЕНИЯ: Разработчик | Базовый | Базовая версия 2 | Стандартный | Стандартная версия 2 | Премиум | Премиум версия 2

Политика llm-content-safety обеспечивает проверку безопасности содержимого на запросы (запросы) или ответы (завершения) больших языковых моделей (LLM), отправив их в службу безопасности содержимого Azure ИИ . Политика также может обеспечивать проверки безопасности контента при запросах или ответах на инструменты MCP или API агентов A2A, управляемых в API Management.

Если включить политику и безопасность содержимого искусственного интеллекта Azure обнаруживает вредоносное содержимое, управление API блокирует запрос или ответ и возвращает 403 код ошибки.

Примечание.

Термины категории и категории , используемые в службе "Управление API", являются синонимами категории вреда и вреда в службе безопасности содержимого Azure. Дополнительные сведения см. в разделе "Категории вреда" в службе "Безопасность содержимого ИИ Azure".

Используйте политику в следующих сценариях:

  • Блокировать запросы или ответы, содержащие предопределенные категории вредного содержимого или речи ненависти.
  • Примените настраиваемые списки блокировок, чтобы предотвратить отправку или получение определенного содержимого.
  • Экранирует запросы, соответствующие шаблонам атак.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Предпосылки

  • Ресурс безопасности содержимого ИИ Azure .
  • Серверная часть управления API, настроенная для маршрутизации вызовов API безопасности содержимого и проверки подлинности в службе безопасности содержимого Azure:
    • Управляемое удостоверение управления API должно быть настроено в службе безопасности содержимого ИИ Azure с ролью пользователя Cognitive Services.
    • Url-адрес серверной части безопасности содержимого ИИ Azure, на который backend-idllm-content-safety ссылается политика, должен находиться в форме https://<content-safety-service-name>.cognitiveservices.azure.com.
    • Учетные данные авторизации серверной части службы безопасности содержимого Azure должны иметь значение Managed Identity включено с точным идентификатором https://cognitiveservices.azure.comресурса.

Правило политики

<llm-content-safety backend-id="name of backend entity" shield-prompt="true | false" enforce-on-completions="true | false" window-size="integer" window-overlap-size="integer">
    <categories output-type="FourSeverityLevels | EightSeverityLevels">
        <category name="Hate | SelfHarm | Sexual | Violence" threshold="integer" />
        <!-- If there are multiple categories, add more category elements -->
        [...]
    </categories>
    <blocklists>
        <id>blocklist-identifier</id>
        <!-- If there are multiple blocklists, add more id elements -->
        [...]
    </blocklists>
</llm-content-safety>

Атрибуты

Атрибут Описание Обязательно По умолчанию
идентификатор серверной части Идентификатор (имя) серверной части безопасности содержимого Azure для маршрутизации вызовов API безопасности содержимого. Допустимы выражения политики. Да Не применимо
экран-запрос Если задано значение true, проверьте содержимое для атак пользователей. В противном случае пропустите эту проверку. Допустимы выражения политики. нет false
принудительное завершение Если задано значение true при настройке политики в разделе входящего трафика для проверки безопасности содержимого по запросам, примените проверки безопасности содержимого также при завершении чата для проверки ответа. При настройке политики в разделе исходящего трафика для проверки безопасности содержимого на ответы этот атрибут игнорируется. Допустимы выражения политики. нет false
размер окна Размер текстового окна в символах, которые политика отправляет в Службу безопасности содержимого ИИ Azure для оценки. Настраиваемая только для ответов; для запросов всегда используется размер окна по умолчанию. Допустимы выражения политики. нет 10 000 символов (ограничение безопасности содержимого ВИ Azure)
размер окна перекрывается Размер перекрывающихся символов между текстовыми окнами при разделении содержимого с помощью атрибута window-size . Если значение не указано, окна не перекрываются. Допустимы выражения политики. нет Не применимо

Элементы

Элемент Описание Обязательно
категории Список элементов, определяющих category параметры блокировки запросов при обнаружении категории. нет
блок-списки Список элементов блокировкиid из экземпляра безопасности содержимого ИИ Azure, для которого обнаружение приводит к блокировке запроса. Допустимы выражения политики. нет

Атрибуты категорий

Атрибут Описание Обязательно По умолчанию
Тип выходных данных Указывает, как уровни серьезности возвращаются безопасностью содержимого ИИ Azure. Атрибут должен иметь одно из следующих значений.

- FourSeverityLevels: уровень серьезности выходных данных на четырех уровнях: 0,2 4,6.
- EightSeverityLevels: уровень серьезности выходных данных в восьми уровнях: 0,1,2,3,4,5 6,7.

Допустимы выражения политики.		 нет FourSeverityLevels

Атрибуты категории

Атрибут Описание Обязательно По умолчанию
имя Указывает имя этой категории. Атрибут должен иметь одно из следующих значений: Hate, SelfHarm, Sexual, Violence. Допустимы выражения политики. Да Не применимо
порог Указывает пороговое значение для этой категории, по которой блокируются запросы или ответы. Запросы с серьезностью содержимого меньше порога не блокируются. Значение должно находиться в диапазоне от 0 до 7 (наименее ограничивающих). Допустимы выражения политики. Да Не применимо

Использование

Заметки об использовании

  • Настройте политику в разделе входящего трафика, чтобы проверить запросы и в разделе "Исходящий" для проверки ответов.
  • Для потоковых ответов обработчик потока буферизирует события в скользящем окне и, если обнаружено нарушение безопасности содержимого, перестает переадресовать дальнейшие события клиенту. Ошибка 403 не возвращается в этом случае.
  • Если запрос или ответ превышает предел символа безопасности содержимого ИИ Azure, политика возвращает ошибку 403 .
  • Эту политику можно использовать несколько раз на определение политики.

Пример

В следующем примере при настройке входящего раздела применяется проверка безопасности содержимого для запросов LLM с помощью службы безопасности содержимого Azure AI. Политика блокирует запросы, содержащие речь в Hate или Violence категории с уровнем серьезности 4 или более поздней. Другими словами, фильтр позволяет продолжать уровни 0-3, а уровни 4-7 блокируются. Повышение порогового значения категории повышает допустимость и потенциально уменьшает количество заблокированных запросов. Снижение порогового значения снижает допустимость и потенциально увеличивает количество заблокированных запросов. Атрибут shield-prompt установлен для true проверки состязательности атак.

<policies>
    <inbound>
        <llm-content-safety backend-id="content-safety-backend" shield-prompt="true">
            <categories output-type="EightSeverityLevels">
                <category name="Hate" threshold="4" />
                <category name="Violence" threshold="4" />
            </categories>
        </llm-content-safety>
    </inbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.

  • Last updated on