Настройка фильтров содержимого

Статья
2025-03-05

Система фильтрации содержимого, интегрированная в Azure AI Foundry, работает вместе с основными моделями, включая модели создания образов DALL-E. В нем используется ансамбль моделей классификации с несколькими классами для обнаружения четырех категорий вредного содержимого (насилия, ненависти, сексуального и самостоятельного вреда) на четырех уровнях серьезности (безопасный, низкий, средний и высокий), а также необязательные двоичные классификаторы для обнаружения риска взлома, существующего текста и кода в общедоступных репозиториях.

Конфигурация фильтрации контента по умолчанию используется для фильтрации по порогу средней серьезности для всех четырех категорий вреда содержимого для запросов и выполненных процессов. Это означает, что содержимое, обнаруженное на уровне серьезности среднего или высокого уровня, фильтруется, а содержимое, обнаруженное на низком или безопасном уровне серьезности, не фильтруется фильтрами содержимого. Дополнительные сведения о категориях контента, уровнях серьезности и поведении системы фильтрации содержимого см. здесь.

Обнаружение риска джейлбрейка и защищённые модели текстов и программного кода являются необязательными и включены по умолчанию. Функция настройки позволяет всем клиентам включать и отключать модели джейлбрейка и защищенных материалов. Модели по умолчанию включены и могут быть отключены для каждого сценария. Некоторые модели должны быть включены для определенных сценариев, чтобы сохранить покрытие в соответствии с обязательством по защите авторских прав клиента.

Примечание.

Все клиенты могут изменять фильтры контента и настраивать пороговые значения серьезности (низкий, средний, высокий). Утверждение требуется для частичного или полного отключения фильтров контента. Только управляемые пользователи могут подать заявку на полный контроль фильтрации контента через форму: Azure OpenAI Limited Access Review: Modified Content Filters. В настоящее время невозможно стать управляемым клиентом.

Фильтры содержимого можно настроить на уровне ресурса. После создания новой конфигурации ее можно связать с одним или несколькими развертываниями. Дополнительные сведения о развертывании моделей см. в руководстве по развертыванию ресурсов.

Предварительные условия

Для настройки фильтров содержимого у вас должен быть ресурс Azure OpenAI и развертывание крупной языковой модели (LLM). Чтобы приступить к работе, воспользуйтесь кратким руководством.

Общие сведения о настройке фильтра содержимого

Служба Azure OpenAI включает параметры безопасности по умолчанию, применяемые ко всем моделям, за исключением Whisper Azure OpenAI. Эти конфигурации обеспечивают ответственное использование по умолчанию, включая модели фильтрации контента, черные списки, преобразование запросов, атрибуты содержимого и другие. Дополнительные сведения см. здесь.

Все клиенты также могут настраивать фильтры содержимого и создавать настраиваемые политики безопасности, адаптированные к их требованиям к варианту использования. Функция настройки позволяет клиентам настраивать параметры отдельно для запросов и завершения, чтобы фильтровать содержимое для каждой категории контента на разных уровнях серьезности, как описано в таблице ниже. Содержимое, обнаруженное на уровне серьезности "безопасный", помечено в заметках, но не подлежит фильтрации и не настраивается.

Фильтрация серьезности	Может быть настроена для подсказок	Настраиваемая для завершения	Описания
Низкий, средний, высокий	Да	Да	Самая строгая конфигурация фильтрации. Содержимое, обнаруженное на уровнях серьезности, низком, среднем и высоком, фильтруется.
Средний, высокий	Да	Да	Содержимое, обнаруженное на низком уровне серьезности, не фильтруется, содержимое на среднем и высоком уровне фильтруется.
Высокая	Да	Да	Содержимое, обнаруженное на уровнях серьезности "низкий" и "средний", не фильтруется. Фильтруется только содержимое на высоком уровне серьезности.
Фильтры отсутствуют.	Если утверждено¹	Если утверждено¹	Содержимое не фильтруется независимо от уровня серьезности. Требуется утверждение¹.
Только аннотируйте	Если утверждено¹	Если утверждено¹	Отключает функции фильтра, поэтому содержимое не будет заблокировано, но заметки возвращаются через ответ API. Требуется утверждение¹.

¹ Для моделей Azure OpenAI только клиенты, которые были утверждены для изменения фильтрации содержимого, имеют полный элемент управления фильтрацией содержимого и могут отключить фильтры содержимого. Подайте заявку на изменение фильтров контента с помощью этой формы: Проверка ограниченного доступа Azure OpenAI: Измененные фильтры контента. Для клиентов Azure для государственных организаций необходимо подать заявку на модифицированные фильтры содержимого через эту форму: Azure Government - Запрос на модифицированную фильтрацию содержимого для службы Azure OpenAI.

Настраиваемые фильтры содержимого для входных данных (запросов) и выходных данных (завершения) доступны для всех моделей Azure OpenAI.

Конфигурации фильтрации содержимого создаются в рамках ресурса на портале Azure AI Foundry и могут быть связаны с развертываниями. Дополнительные сведения о настройке см. здесь.

Клиенты отвечают за обеспечение соответствия приложений, интегрирующих Azure OpenAI кодексу поведения.

Общие сведения о других фильтрах

Вы можете настроить следующие категории фильтров в дополнение к фильтрам категорий вреда по умолчанию.

Категория фильтра	Состояние	Значение по умолчанию	Применено к запросу или завершению?	Описание
Защитные экраны от прямых атак (джейлбрейк)	Общедоступная версия	Включено	Запрос пользователя	Фильтрует или аннотирует запросы пользователей, которые могут представлять риск нарушения безопасности. Для получения дополнительной информации о заметках посетите страницу на тему фильтрация контента Azure AI Foundry.
Экраны защиты от непрямых атак	Общедоступная версия	Выключено	Запрос пользователя	Фильтрация/аннотирование непрямых атак, также называемых непрямыми атаками на запросы или атаками на внедрение запросов между доменами, – потенциальная уязвимость, когда третьи лица размещают вредоносные инструкции в документах, к которым генеративная система ИИ может получить доступ и обработать. Требуется: внедрение документов и форматирование.
Защищенный материал — код	GA	Включено	Завершение	Фильтрует защищенный код или получает примеры ссылок и лицензий в заметках для фрагментов кода, которые соответствуют любым общедоступным источникам кода, на основе GitHub Copilot. Дополнительные сведения об использовании заметок см. в руководстве по фильтрации содержимого
Защищенный материал — текст	Общедоступная версия	Включено	Завершение	Определяет и блокирует отображение известного текстового содержимого в выходных данных модели (например, текст песни, рецепты и выбранное веб-содержимое).
Заземленность	Предварительный просмотр	Выключено	Завершение	Определяет, находятся ли текстовые ответы больших языковых моделей (LLM) в исходных материалах, предоставляемых пользователями. Недостоверность относится к случаям, когда LLM создают информацию, которая является недостоверной или неточной по сравнению с тем, что было представлено в исходных материалах. Требуется: внедрение документов и форматирование.

Создание фильтра содержимого в Azure AI Foundry

Для любого развертывания модели в Azure AI Foundry можно напрямую использовать фильтр содержимого по умолчанию, но вам может потребоваться больше управления. Например, можно сделать фильтр более строгим или, наоборот, более мягким, или активировать более сложные функции, такие как защита запросов и обнаружение защищенных материалов.

Совет

Дополнительные сведения о фильтрации содержимого в проекте Azure AI Foundry можно найти на странице фильтрация содержимого Azure AI Foundry.

Выполните следующие действия, чтобы создать фильтр содержимого:

Перейдите в Azure AI Foundry и перейдите к проекту. Затем выберите страницу "Безопасность и безопасность " в меню слева и перейдите на вкладку "Фильтры содержимого ".
Выберите + Создать фильтр содержимого.
На странице "Основные сведения" введите имя конфигурации фильтрации содержимого. Выберите соединение для связывания с фильтром содержимого. Затем выберите Далее.

Теперь можно настроить входные фильтры (для запросов пользователей) и выходные фильтры (для завершения модели).
На странице "Входные фильтры" можно задать фильтр для запроса ввода. Для первых четырех категорий контента существует три уровня серьезности, которые настраиваются: низкий, средний и высокий. Ползунки можно использовать для задания порогового значения серьезности, если определить, что для приложения или сценария использования требуется фильтрация, отличная от значений по умолчанию. Некоторые фильтры, такие как экраны запросов и детектирование защищенных материалов, позволяют определить, должна ли модель аннотировать и/или блокировать содержимое. При выборе Annotate only запускается соответствующая модель и аннотации возвращаются через ответ API, но содержимое не будет фильтроваться. Помимо аннотирования, вы также можете заблокировать контент.

Если ваш вариант использования был утверждён для изменённых фильтров контента, вы получаете полный контроль над конфигурациями фильтрации контента и можете отключить фильтрацию частично или полностью или включить аннотацию только для категорий вредного контента (насилие, ненависть, сексуальный ущерб и самоповреждение).

Содержимое будет аннотировано по категориям и заблокировано в соответствии с заданным пороговым значением. Для категорий насилия, ненависти, сексуальных материалов и самоповреждения отрегулируйте ползунок для блокировки содержимого высокой, средней или низкой степени серьёзности.
На странице "Фильтры выходных данных" можно настроить выходной фильтр, который будет применяться ко всему выходному содержимому, созданному моделью. Настройте отдельные фильтры, как и раньше. Эта страница также предоставляет параметр режима потоковой передачи, который позволяет фильтровать содержимое практически в режиме реального времени по мере его создания моделью, уменьшая задержку. После завершения нажмите кнопку "Далее".

Содержимое будет аннотировано каждой категорией и заблокировано в соответствии с пороговым значением. Для насильственного содержимого, ненавидимого содержимого, сексуального содержимого и категории содержимого самоповреждения настройте пороговое значение, чтобы заблокировать вредное содержимое с равными или более высокими уровнями серьезности.
При необходимости на странице развертывания можно связать фильтр содержимого с развертыванием. Если к выбранному развертыванию уже подключен фильтр, нужно убедиться, что вы хотите его заменить. Вы также можете связать фильтр содержимого с развертыванием позже. Нажмите кнопку создания.

Конфигурации фильтрации содержимого создаются на уровне концентратора на портале Azure AI Foundry. Дополнительные сведения о настройке см. в документации по Службе OpenAI Azure.
На странице "Рецензирование" просмотрите параметры и нажмите кнопку "Создать фильтр".

Использование списка блокировок в качестве фильтра

Список блокировок может служить как в качестве фильтра ввода или вывода, так и для фильтрации того и другого. Включите параметр "Список блокировок" на странице фильтра входных данных и (или) фильтра вывода. Выберите в раскрывающемся списке один или несколько списков блокировок или воспользуйтесь встроенным списком блокировок ненормативной лексики. В один фильтр можно включить несколько списков блокировок.

Применение фильтра содержимого

Процесс создания фильтра позволяет применить фильтр к нужным развертываниям. Вы также можете изменять или удалять фильтры содержимого из развертываний в любое время.

Выполните следующие действия, чтобы применить фильтр содержимого к развертыванию:

Перейдите в Azure AI Foundry и выберите проект.
Выберите модели и конечные точки в левой области и выберите один из развертываний, а затем нажмите кнопку "Изменить".
В окне обновления развертывания выберите фильтр содержимого, который нужно применить к развертыванию. Затем нажмите кнопку "Сохранить" и "Закрыть".

При необходимости можно также изменить и удалить конфигурацию фильтра содержимого. Перед удалением конфигурации фильтрации содержимого необходимо сначала отменить её назначение, а затем заменить в любой развертке на вкладке Развертывания.

Теперь вы можете перейти на площадку, чтобы проверить, работает ли фильтр содержимого должным образом.

Совет

Вы также можете создавать и обновлять фильтры содержимого с помощью REST API. Дополнительные сведения см. в справочнике по API. Фильтры содержимого можно настроить на уровне ресурса. После создания новой конфигурации ее можно связать с одним или несколькими развертываниями. Дополнительные сведения о развертывании модели см. в руководстве по развертыванию ресурсов .

Укажите конфигурацию фильтрации содержимого во время запроса (предварительная версия)

Помимо конфигурации фильтрации содержимого на уровне развертывания, мы также предоставляем заголовок запроса, позволяющий указать настраиваемую конфигурацию во время запроса для каждого вызова API.

curl --request POST \ 
    --url 'URL' \ 
    --header 'Content-Type: application/json' \ 
    --header 'api-key: API_KEY' \ 
    --header 'x-policy-id: CUSTOM_CONTENT_FILTER_NAME' \ 
    --data '{ 
        "messages": [ 
            { 
                "role": "system", 
                "content": "You are a creative assistant." 
            }, 
            { 
                "role": "user", 
                "content": "Write a poem about the beauty of nature." 
            } 
        ] 
    }'

Конфигурация фильтрации содержимого на уровне запроса переопределит конфигурацию уровня развертывания для конкретного вызова API. Если указана конфигурация, которая не существует, будет возвращено следующее сообщение об ошибке.

{ 
    "error": 
        { 
            "code": "InvalidContentFilterPolicy", 
            "message": "Your request contains invalid content filter policy. Please provide a valid policy." 
        } 
}

Отзыв о фильтрации содержимого отчета

Если возникает проблема с фильтрацией содержимого, нажмите кнопку "Отзывы о фильтрах" в верхней части игровой площадки. Это становится доступно в разделах «Изображения», «Чат» и «Завершения» площадки после отправки запроса.

При появлении диалогового окна выберите соответствующую проблему фильтрации содержимого. Добавьте максимально подробную информацию, связанную с проблемой фильтрации содержимого, например с определенной ошибкой запроса и фильтрации содержимого, с которой вы столкнулись. Не включать частную или конфиденциальную информацию.

Для поддержки отправьте запрос в службу поддержки.

Следуйте лучшим практикам

Мы рекомендуем принимать решения по настройке фильтрации содержимого на основе итеративной идентификации (например, тестирования красной командой, стресс-тестирования и анализа) и измерений, чтобы устранить возможные риски, актуальные для конкретной модели, приложения и сценария развертывания. После реализации таких мер, как фильтрация содержимого, повторите измерение для проверки эффективности. Рекомендации и лучшие практики по ответственному ИИ для Azure OpenAI, основанные на стандарте Ответственного ИИ Майкрософт, можно найти в обзоре ответственного ИИ для Azure OpenAI.

Узнайте больше о методиках ответственного ИИ для Azure OpenAI: Общие сведения о методиках ответственного ИИ для моделей Azure OpenAI.
Узнайте больше о категориях фильтрации содержимого и уровнях серьезности с помощью Azure AI Foundry.
Дополнительные сведения о "красном командировании" больших языковых моделей (LLMs) см. в статье «Введение в красное командирование больших языковых моделей».
Узнайте, как настроить фильтры содержимого с помощью API