Как настроить фильтры контента в Службе Azure OpenAI
Система фильтрации содержимого, интегрированная в службу Azure OpenAI, работает вместе с основными моделями, включая модели создания образов DALL-E. В нем используется ансамбль моделей классификации с несколькими классами для обнаружения четырех категорий вредного содержимого (насилия, ненависти, сексуального и самостоятельного вреда) на четырех уровнях серьезности (безопасный, низкий, средний и высокий), а также необязательные двоичные классификаторы для обнаружения риска взлома, существующего текста и кода в общедоступных репозиториях. Конфигурация фильтрации контента по умолчанию используется для фильтрации по порогу средней серьезности для всех четырех категорий вреда содержимого для запросов и выполненных процессов. Это означает, что содержимое, обнаруженное на уровне серьезности среднего или высокого уровня, фильтруется, а содержимое, обнаруженное на низком или безопасном уровне серьезности, не фильтруется фильтрами содержимого. Дополнительные сведения о категориях контента, уровнях серьезности и поведении системы фильтрации содержимого см. здесь. Обнаружение рисков в тюрьме и защищенные модели текста и кода являются необязательными и отключенными по умолчанию. Функция настройки позволяет всем клиентам включать и отключать модели в виде тюрьмы и защищенных материалов. Модели по умолчанию отключены и могут быть включены для каждого сценария. Некоторые модели должны быть включены для определенных сценариев, чтобы сохранить покрытие в соответствии с обязательством по защите авторских прав клиента.
Примечание.
Все клиенты могут изменять фильтры контента и настраивать пороговые значения серьезности (низкий, средний, высокий). Утверждение требуется для частичного или полного отключения фильтров контента. Только управляемые клиенты могут подать заявку на получение полного контроля над фильтрацией контента с помощью проверки ограниченного доступа к Azure OpenAI: измененные фильтры контента. В настоящее время невозможно стать управляемым клиентом.
Фильтры содержимого можно настроить на уровне ресурса. После создания новой конфигурации ее можно связать с одним или несколькими развертываниями. Дополнительные сведения о моделях развертывания Azure, см. в руководстве по развертыванию ресурсов.
Необходимые компоненты
- Для настройки фильтров содержимого необходимо использовать ресурс Azure OpenAI и крупное развертывание языковой модели (LLM). Чтобы приступить к работе, ознакомьтесь с этим руководством.
Общие сведения о настройке фильтра содержимого
Служба Azure OpenAI включает параметры безопасности по умолчанию, применяемые ко всем моделям, за исключением Whisper Azure OpenAI. Эти конфигурации предоставляют ответственный интерфейс по умолчанию, включая модели фильтрации содержимого, блок-списки, преобразование запросов, учетные данные содержимого и другие. Дополнительные сведения см. здесь.
Все клиенты также могут настраивать фильтры содержимого и создавать настраиваемые политики безопасности, адаптированные к их требованиям к варианту использования. Функция настройки позволяет клиентам настраивать параметры отдельно для запросов и завершения, чтобы фильтровать содержимое для каждой категории контента на разных уровнях серьезности, как описано в таблице ниже. Содержимое, обнаруженное на уровне серьезности "безопасный", помечено в заметках, но не подлежит фильтрации и не настраивается.
| Фильтрация серьезности | Настраиваемая для запросов | Настраиваемая для завершения | Descriptions |
|---|---|---|---|
| Низкий, средний, высокий | Да | Да | Самая строгая конфигурация фильтрации. Содержимое, обнаруженное на уровнях серьезности, низком, среднем и высоком, фильтруется. |
| Средний, высокий | Да | Да | Содержимое, обнаруженное на низком уровне серьезности, не фильтруется, содержимое на среднем и высоком уровне фильтруется. |
| Высокая | Да | Да | Содержимое, обнаруженное на уровнях серьезности, не фильтруется. Фильтруется только содержимое на высоком уровне серьезности. |
| Фильтры отсутствуют. | Если утверждено1 | Если утверждено1 | Содержимое не фильтруется независимо от уровня серьезности. Требуется утверждение1. |
| Только annotate | Если утверждено1 | Если утверждено1 | Отключает функции фильтра, поэтому содержимое не будет заблокировано, но заметки возвращаются через ответ API. Требуется утверждение1. |
1 Для моделей Azure OpenAI только клиенты, которые были утверждены для изменения фильтрации содержимого, имеют полный элемент управления фильтрацией содержимого и могут отключить фильтры содержимого. Примените для измененных фильтров содержимого с помощью этой формы: Проверка ограниченного доступа Azure OpenAI: измененные фильтры содержимого. Для клиентов Azure для государственных организаций применяется к измененным фильтрам содержимого с помощью этой формы: Azure для государственных организаций — запрос на фильтрацию измененного содержимого для службы OpenAI Azure.
Настраиваемые фильтры содержимого для входных данных (запросов) и выходных данных (завершения) доступны для следующих моделей Azure OpenAI:
- Серия моделей GPT
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 и 3
Настраиваемые фильтры содержимого недоступны для
- o1-preview
- o1-mini
*Доступно только для GPT-4 Turbo Vision GA, не применяется к GPT-4 Turbo Vision preview
Конфигурации фильтрации содержимого создаются в ресурсе в Azure AI Studio и могут быть связаны с развертываниями. Дополнительные сведения о настройке см. здесь.
Клиенты отвечают за обеспечение соответствия приложений, интегрирующих Azure OpenAI кодексу поведения.
Общие сведения о других фильтрах
Вы можете настроить следующие категории фильтров в дополнение к фильтрам категорий вреда по умолчанию.
| Категория фильтра | Состояние | Значение по умолчанию | Применено к запросу или завершению? | Description |
|---|---|---|---|---|
| Экраны запроса для прямых атак (разломка) | Общедоступная версия | Включено | Запрос пользователя | Фильтры или аннотирует запросы пользователей, которые могут представлять риск для тюрьмы. Дополнительные сведения о заметках см . в фильтрации содержимого службы OpenAI Azure. |
| Экраны запроса для непрямых атак | Общедоступная версия | Включено | Запрос пользователя | Фильтрация и непрямые атаки, также называемые непрямым атаками на запросы или атаки на внедрение запросов между доменами, потенциальной уязвимостью, в которой сторонние стороны размещают вредоносные инструкции в документах, к которым может обращаться и обрабатывать система искусственного интеллекта. Обязательный: форматирование документов. |
| Защищенный материал — код | Общедоступная версия | Включено | Completion | Фильтрует защищенный код или получает примеры ссылок и лицензий в заметках для фрагментов кода, которые соответствуют любым общедоступным источникам кода, на основе GitHub Copilot. Дополнительные сведения об использовании заметок см. в руководстве по фильтрации содержимого |
| Защищенный материал — текст | Общедоступная версия | Включено | Completion | Определяет и блокирует отображение известного текстового содержимого в выходных данных модели (например, текст песни, рецепты и выбранное веб-содержимое). |
Настройка фильтров содержимого с помощью Azure AI Studio
Ниже показано, как настроить настраиваемую конфигурацию фильтрации содержимого для ресурса.
Перейдите в Azure AI Studio и перейдите на вкладку "Фильтры содержимого" (в левой нижней части навигации, как указано красным полем ниже).
Создайте настраиваемую конфигурацию фильтрации содержимого.
Это приводит к следующему представлению конфигурации, где можно выбрать имя настраиваемой конфигурации фильтрации содержимого. После ввода имени можно настроить входные фильтры (запросы пользователя) и выходные фильтры (ответ модели). Для первых четырех категорий контента существует три уровня серьезности, которые настраиваются: низкий, средний и высокий. Ползунки можно использовать для задания порогового значения серьезности, если определить, что для приложения или сценария использования требуется фильтрация, отличная от значений по умолчанию. Некоторые фильтры позволяют определить, должна ли модель аномировать и /или блокировать. При выборе Annotate выполняется соответствующая модель и возвращаются заметки через ответ API, но он не будет фильтровать содержимое. Помимо заметок, вы также можете фильтровать содержимое, переключив переключатель фильтра вкл.
Если вариант использования был утвержден для измененных фильтров содержимого, как описано выше, вы получаете полный контроль над конфигурациями фильтрации содержимого и можете отключить фильтрацию частично или полностью.
Вы можете создать несколько конфигураций фильтрации содержимого в соответствии с вашими требованиями.
Затем, чтобы сделать настраиваемую конфигурацию фильтрации содержимого операционной, назначьте конфигурацию одному или нескольким развертываниям в ресурсе. Для этого перейдите на вкладку "Развертывания" и выберите развертывание. Затем выберите Edit (Изменить).
В появившемся окне развертывания обновления выберите пользовательский фильтр в раскрывающемся меню фильтра содержимого. Затем нажмите кнопку "Сохранить" и закройте , чтобы применить выбранную конфигурацию к развертыванию.
При необходимости можно также изменить и удалить конфигурацию фильтра содержимого. Для этого перейдите на вкладку фильтров содержимого и выберите конфигурацию. Затем выберите нужное действие. Одновременно можно изменить только одну конфигурацию фильтрации.
Примечание.
Перед удалением конфигурации фильтрации содержимого необходимо отменить назначение из любого развертывания на вкладке "Развертывания".
Применение рекомендаций
Мы рекомендуем сообщить о решениях по настройке фильтрации содержимого с помощью итеративной идентификации (например, красного тестирования, стресс-тестирования и анализа) и процесса измерения, чтобы устранить потенциальные последствия, которые относятся к определенной модели, приложению и сценарию развертывания. После реализации таких мер, как фильтрация содержимого, повторите измерение для проверки эффективности. Рекомендации и рекомендации по ответственному ИИ для Azure OpenAI, основанные на стандарте Ответственного ИИ Майкрософт, можно найти в обзоре ответственного ИИ для Azure OpenAI.
Связанный контент
- Узнайте больше о методиках ответственного ИИ для Azure OpenAI: общие сведения о рекомендациях ответственного ИИ для моделей Azure OpenAI.
- Дополнительные сведения о фильтрации содержимого категорий и уровней серьезности см. в службе Azure OpenAI.
- Дополнительные сведения о красной команде см. в статье "Общие сведения о красной команде больших языковых моделей ( LLMs).