Настройка фильтров содержимого (классическая модель)

Применяется только к:Портал Foundry (классический). Эта статья недоступна для нового портала Foundry. Дополнительные сведения о новом портале.

Система фильтрации содержимого, интегрированная в Майкрософт Foundry, работает вместе с основными моделями, включая модели создания изображений. В нем используется ансамбль моделей классификации с несколькими классами для обнаружения четырех категорий вредного содержимого (насилия, ненависти, сексуального и самостоятельного вреда) на четырех уровнях серьезности (безопасный, низкий, средний и высокий), а также необязательные двоичные классификаторы для обнаружения риска взлома, существующего текста и кода в общедоступных репозиториях.

Конфигурация фильтрации контента по умолчанию используется для фильтрации по порогу средней серьезности для всех четырех категорий вреда содержимого для запросов и выполненных процессов. Это означает, что содержимое, обнаруженное на уровне серьезности среднего или высокого уровня, фильтруется, а содержимое, обнаруженное на низком или безопасном уровне серьезности, не фильтруется фильтрами содержимого. Дополнительные сведения о категориях контента, уровнях серьезности и поведении системы фильтрации содержимого см. здесь.

Экранные защиты и защищенные модели текста и кода являются необязательными и включены по умолчанию. Для экранов запросов и защищенных текстовых и кодовых моделей возможность настройки позволяет всем клиентам включать и отключать модели. Модели по умолчанию включены и могут быть отключены для каждого сценария. Для некоторых сценариев необходимо, чтобы определённые модели были включены для сохранения охвата в рамках Обязательства клиента по авторским правам.

Фильтры содержимого можно настроить на уровне ресурса. После создания новой конфигурации ее можно связать с одним или несколькими развертываниями. Дополнительные сведения о развертывании моделей см. в руководстве по развертыванию ресурсов.

Предпосылки

• Для настройки фильтров содержимого необходимо иметь ресурс Azure OpenAI и развертывание крупной языковой модели (LLM). Следуйте быстрому старту, чтобы начать.

Общие сведения о настройке фильтра содержимого

Azure OpenAI в моделях Foundry от Майкрософт включает параметры безопасности по умолчанию, применяемые ко всем моделям (за исключением моделей аудио API, таких как Whisper). Эти конфигурации предоставляют вам ответственный опыт по умолчанию, включая модели фильтрации содержимого, списки блокировки, преобразование запросов, учетные данные контента и другие. Читать подробнее об этом здесь.

Все клиенты также могут настраивать фильтры содержимого и создавать пользовательские политики контента, адаптированные к их требованиям к варианту использования. Функция настройки позволяет клиентам настраивать параметры отдельно для запросов и завершения, чтобы фильтровать содержимое для каждой категории контента на разных уровнях серьезности, как описано в таблице ниже. Содержимое, обнаруженное на уровне серьезности "безопасный", помечено в аннотациях, но не подлежит фильтрации и не подлежит настройке.

¹ Для моделей OpenAI Azure только клиенты, которые были утверждены для фильтрации измененного содержимого, имеют полный контроль фильтрации содержимого и могут отключить фильтры содержимого. Примените измененные фильтры содержимого с помощью этой формы: Limited Access Review: Modified Content Filters. Для клиентов Azure для государственных организаций, подайте заявку на изменение фильтров содержимого через эту форму: Azure для государственных организаций — запрос на изменение фильтрации содержимого.

Настраиваемые фильтры содержимого для входных данных (запросов) и выходных данных (завершения) доступны для всех Azure моделей OpenAI.

Конфигурации фильтрации содержимого создаются на портале Foundry и могут быть связаны с развертываниями. Дополнительные сведения о настройке фильтров содержимого см. здесь.

Клиенты отвечают за обеспечение соответствия приложений Azure OpenAI Code of Conduct.

Общие сведения о других фильтрах

Вы можете настроить следующие категории фильтров в дополнение к фильтрам категорий вреда по умолчанию.

Создание фильтра содержимого в Майкрософт Foundry

Для любого развертывания модели в Foundry можно напрямую использовать фильтр содержимого по умолчанию, но вам может потребоваться больше управления. Например, можно сделать фильтр более строгим или, наоборот, более мягким, или активировать более сложные функции, такие как защита запросов и обнаружение защищенных материалов.

Выполните следующие действия, чтобы создать фильтр содержимого:

1. Войдите в Майкрософт Foundry. Убедитесь, что переключатель New Foundry отключен. Эти действия относятся к Foundry (классическая).

   

2. Перейдите в ваш проект. Затем выберите страницу "Guardrails + элементы управления" в меню слева и перейдите на вкладку "Фильтры содержимого ".

   

3. Выберите + Создать фильтр содержимого.

4. На странице "Основные сведения" введите имя конфигурации фильтрации содержимого. Выберите соединение для связывания с фильтром содержимого. Затем выберите Далее.

   

   Теперь можно настроить входные фильтры (для запросов пользователей) и выходные фильтры (для завершения модели).

5. На странице "Входные фильтры" можно задать фильтр для запроса ввода. Для первых четырех категорий контента существует три уровня серьезности, которые настраиваются: низкий, средний и высокий. Ползунки можно использовать для задания порогового значения серьезности, если определить, что для приложения или сценария использования требуется фильтрация, отличная от значений по умолчанию. Некоторые фильтры, такие как экраны запросов и детектирование защищенных материалов, позволяют определить, должна ли модель аннотировать и/или блокировать содержимое. При выборе Annotate only запускается соответствующая модель и возвращаются аннотации в ответе API, но содержимое не будет фильтроваться. Помимо аннотирования, вы также можете заблокировать контент.

   Если вариант использования был утвержден для измененных фильтров содержимого, вы получаете полный контроль над конфигурациями фильтрации содержимого. Вы можете отключить фильтрацию частично или полностью или включить только аннотирование для категорий вредоносного контента (насилие, ненависть, сексуальное содержание и самоповреждение).

   Содержимое задается по категориям и блокируется в соответствии с заданным пороговым значением. Для категорий насилия, ненависти, сексуальных материалов и самоповреждения отрегулируйте ползунок для блокировки содержимого высокой, средней или низкой степени серьёзности.

   

6. На странице "Фильтры выходных данных" можно настроить выходной фильтр, который применяется ко всему выходному содержимому модели. Настройте отдельные фильтры, как и раньше. Страница предоставляет параметр режима потоковой передачи, позволяя фильтровать содержимое практически в режиме реального времени, так как модель создает ее и снижает задержку. После завершения нажмите кнопку "Далее".

   Содержимое аннотируется по каждой категории и ограничивается в соответствии с пороговым значением. Для насильственного содержимого, ненавидимого содержимого, сексуального содержимого и категории содержимого самоповреждения настройте пороговое значение, чтобы заблокировать вредное содержимое с равными или более высокими уровнями серьезности.

   

7. При необходимости на странице подключения можно связать фильтр содержимого с развертыванием. Если к выбранному развертыванию уже подключен фильтр, нужно убедиться, что вы хотите его заменить. Вы также можете связать фильтр содержимого с развертыванием позже. Нажмите кнопку "Создать".

   Конфигурации фильтрации содержимого создаются на уровне концентратора на портале Foundry. Дополнительные сведения о настройке см. в документации Azure OpenAI in Foundry Models.

8. На странице "Рецензирование" просмотрите параметры и нажмите кнопку "Создать фильтр".

Использование списка блокировок в качестве фильтра

Список блокировок может служить как в качестве фильтра ввода или вывода, так и для фильтрации того и другого. Включите параметр "Список блокировок" на странице фильтра входных данных и (или) фильтра вывода. Выберите в раскрывающемся списке один или несколько списков блокировок или воспользуйтесь встроенным списком блокировок ненормативной лексики. В один фильтр можно включить несколько списков блокировок.

Применение фильтра содержимого

Процесс создания фильтра позволяет применить фильтр к нужным развертываниям. Вы также можете изменять или удалять фильтры содержимого из развертываний в любое время.

Выполните следующие действия, чтобы применить фильтр содержимого к развертыванию:

1. Перейдите к Foundry и выберите project.

2. Выберите модели и конечные точки в левой области и выберите один из развертываний, а затем нажмите кнопку "Изменить".

   

3. В окне обновления развертывания выберите фильтр содержимого, который нужно применить к развертыванию. Затем нажмите кнопку "Сохранить" и "Закрыть".

   

   При необходимости можно также изменить и удалить конфигурацию фильтра содержимого. Перед удалением конфигурации фильтрации содержимого необходимо отменить его назначение в рамках всех развертываний и заменить его на вкладке "Развертывания".

Теперь вы можете перейти на площадку, чтобы проверить, работает ли фильтр содержимого должным образом.

Указание конфигурации фильтрации содержимого во время запроса

Помимо конфигурации фильтрации содержимого на уровне развертывания, мы также предоставляем заголовок запроса, позволяющий указать настраиваемую конфигурацию во время запроса для каждого вызова API.

curl --request POST \ 
    --url 'URL' \ 
    --header 'Content-Type: application/json' \ 
    --header 'api-key: API_KEY' \ 
    --header 'x-policy-id: CUSTOM_CONTENT_FILTER_NAME' \ 
    --data '{ 
        "messages": [ 
            { 
                "role": "system", 
                "content": "You are a creative assistant." 
            }, 
            { 
                "role": "user", 
                "content": "Write a poem about the beauty of nature." 
            } 
        ] 
    }' 

Конфигурация фильтрации содержимого на уровне запроса переопределит конфигурацию уровня развертывания для конкретного вызова API.

Если указана конфигурация, которая не существует, будет возвращено следующее сообщение об ошибке.

{ 
    "error": 
        { 
            "code": "InvalidContentFilterPolicy", 
            "message": "Your request contains invalid content filter policy. Please provide a valid policy." 
        } 
} 

Отзыв о фильтрации содержимого отчета

Если возникает проблема с фильтрацией содержимого, нажмите кнопку "Отзывы о фильтрах" в верхней части игровой площадки. Это становится доступно в разделах «Изображения», «Чат» и «Завершения» площадки после отправки запроса.

При появлении диалогового окна выберите соответствующую проблему фильтрации содержимого. Добавьте максимально подробную информацию, связанную с проблемой фильтрации содержимого, например с определенной ошибкой запроса и фильтрации содержимого, с которой вы столкнулись. Не включать частную или конфиденциальную информацию.

Для получения поддержки отправьте запрос в службу поддержки.

Следуйте лучшим практикам

Мы рекомендуем принимать решения по настройке фильтрации содержимого на основе итеративной идентификации (например, тестирования красной командой, стресс-тестирования и анализа) и измерений, чтобы устранить возможные риски, актуальные для конкретной модели, приложения и сценария развертывания. После реализации таких мер, как фильтрация содержимого, повторите измерение для проверки эффективности. Рекомендации и наилучшие практики по ответственному ИИ для Azure OpenAI, основанные на Майкрософт Responsible AI Standard, можно найти в Обзоре ответственного ИИ для Azure OpenAI.

Связанный контент

• Узнайте больше о методиках ответственного ИИ для Azure OpenAI: Обзор практик ответственного ИИ для моделей Azure OpenAI.
• Узнайте больше о категориях фильтрации содержимого и уровнях серьезности на платформе Foundry.
• Дополнительные сведения о "красном командировании" больших языковых моделей (LLMs) см. в статье «Введение в красное командирование больших языковых моделей».
• Узнайте, как настроить фильтры содержимого с помощью API