Защита запросов в Microsoft Foundry

Защитные щиты обнаруживают и предотвращают попытки манипулировать поведением модели с помощью враждебных входных данных. Эта функция защищает от двух типов атак:

• Атаки на запросы пользователей — вредоносные запросы , которые пытаются обойти системные инструкции или обучение безопасности. Просканировано на точке вмешательства пользователя.
• Атаки документов — скрытые инструкции, внедренные в стороннее содержимое (документы, электронные письма, веб-страницы), которые пытаются взломать сеанс модели. Сканируется на точках вмешательства пользователя и средства реагирования .

Экраны Prompt являются частью системы ограждающих и управляющих систем Foundry. Их можно включить при настройке ограничительных элементов управления для развертывания моделей или агентов. При включении каждый запрос возвращает результаты заметки со значениями detected (true/false) и filtered (true/false).

Пример структуры ответа:

{
  "choices": [...],
  "prompt_filter_results": [{
    "prompt_index": 0,
    "content_filter_results": {
      "jailbreak": {
        "filtered": false,
        "detected": true
      }
    }
  }]
}

Типы атак ввода

Типы атак ввода, которые обнаруживает Prompt Shields, описываются в этой таблице.

Экраны защиты для пользовательских запросов

Ранее называлось обнаружение риска джейлбрейка, этот щит предназначен для атак инъекции пользовательских запросов, где пользователи намеренно эксплуатируют уязвимости системы для несанкционированного поведения LLM. Это может привести к созданию несоответствующего содержимого или нарушениям системных ограничений.

Примеры

Подтипы атак пользовательского запроса

Щиты для защиты запросов от атак на пользовательский ввод распознают следующие классы атак:

Защитные экраны для запросов документов

Этот щит предназначен для защиты от атак, которые используют информацию, не предоставляемую пользователем или разработчиком, например внешние документы. Злоумышленники могут внедрить скрытые инструкции в эти материалы, чтобы получить несанкционированный контроль над сеансом LLM.

Примеры

Подтипы атак Document

Щиты для защиты от атак на документы распознают следующие классы атак:

Освещение (предварительная версия)

Подсветка обеспечивает расширенную защиту от непрямых атак, когда ваше приложение обрабатывает сторонние документы, которые могут содержать встроенные вредоносные инструкции. Используйте обходное обнаружение атак, если требуется дополнительный уровень защиты поверх стандартного обнаружения атак на документы, особенно для приложений, которые обрабатывают загруженные пользователями файлы или внешнее веб-контент.

Принцип работы

Пометки используют входящие документы с особым форматированием, чтобы указать на низкий уровень доверия модели. Служба преобразует содержимое документа с помощью кодировки base-64, поэтому модель обрабатывает ее как менее надежную, чем прямые запросы пользователя и системы. Это помогает предотвратить выполнение непреднамеренных команд, найденных в сторонних документах.

Затраты и ограничения

Нет прямой стоимости для подсветки, но она увеличивает маркеры документов из-за кодирования в base-64, что может повысить общие затраты. Подсветка также может привести к превышению ограничений размера входных данных в больших документах. Фокусирование доступно только для моделей, используемых через API завершения чата.

Включение выделения

Подсветка по умолчанию отключена. Его можно включить при настройке элементов управления guardrail на портале Foundry или с помощью REST API, включив переключатель 'Spotlighting' при настройке элементов управления атаками документа.

Настройка защитных экранов для подсказок

Использование портала Foundry

1. На портале Foundry перейдите к проекту.
2. Выберите Guardrails из левой навигации.
3. Выберите Создать ограждение.
4. Выберите атаку пользовательского запроса или атаку документа из раскрывающегося списка рисков.
5. Выберите точки воздействия (входные данные пользователя, ответ средства) и действие (аннотировать или блокировать).
6. Для включения функции Spotlighting активируйте переключатель Spotlighting при настройке элементов управления атаками документов.
7. Назначьте ограждение вашим развертываниям модели или агентам.

Подробные инструкции по настройке см. в разделе Настройка ограничителей и управляющих элементов.

Использование REST API

POST https://{endpoint}/openai/deployments/{deployment-id}/chat/completions?api-version=2024-10-01-preview
Content-Type: application/json
api-key: {key}

{
  "messages": [{"role": "user", "content": "Hello"}],
  "data_sources": [{...}],
  "prompt_shield": {
    "user_prompt": {
      "enabled": true,
      "action": "annotate"
    },
    "documents": {
      "enabled": true,
      "action": "block",
      "spotlighting_enabled": true
    }
  }
}

Устранение неполадок

Защитные экраны для запросов не обнаруживают ожидаемые атаки

• Убедитесь, что для развертывания или агента назначено ограничение.
• Проверьте соответствие точек вмешательства, в которых происходят атаки (входные данные пользователя и ответ средства)
• Просмотр результатов аннотации для сравнения обнаруженных и отфильтрованных статусов

Ложные срабатывания

• Переключите с режима "блокировать" на "аннотировать", чтобы вести журнал без фильтрации.
• Просмотр конкретных подтипов атак, запускающих ложные срабатывания
• Рассмотрите возможность исключения доверенных источников входных данных из сканирования документов на предмет атак

Выделение ссылок на кодировку в ответах

• Это известный побочный эффект при включенной функции Spotlight.
• Рассмотрите возможность отключения Spotlight, если кодировка нарушает взаимодействие с пользователем
• Используйте системные запросы, чтобы указать модели избежать упоминания кодировок

Связанные ресурсы для защитных ограждений

• Обзор ограничителей и элементов управления
• Настройка ограничений и средств контроля
• Аннотации Guardrail
• Категории вреда и уровни серьезности
• Фильтрация содержимого