Данные, конфиденциальность и безопасность для Службы Azure OpenAI

В этой статье содержатся сведения о том, как данные, предоставляемые службой Azure OpenAI, обрабатываются, используются и хранятся. Azure OpenAI хранит и обрабатывает данные для предоставления службы и отслеживания использования, которые нарушают применимые условия продукта. Также см. надстройку защиты данных от продуктов и служб Майкрософт, которая управляет обработкой данных службой Azure OpenAI. Azure OpenAI — это служба Azure; Узнайте больше о применимых предложениях по соответствию Требованиям Azure.

Какие данные обрабатывает служба Azure OpenAI?

Azure OpenAI обрабатывает данные следующих типов:

• Запросы и сгенерированное содержимое. Запросы отправляются пользователем, а содержимое создается службой с помощью функций заполнения, завершения диалога, работы с изображениями и операций встраивания.
• Отправленные данные. Вы можете предоставить собственные данные для использования с определенными функциями службы (например, тонкой настройкой, API помощников, пакетной обработкой) с помощью API файлов или векторного хранилища.
• Данные для автоматически управляемых сущностей. При использовании некоторых дополнительных функций службы Azure OpenAI, таких как функция Потоков API помощников и хранимые завершения, служба создает хранилище данных для сохранения истории сообщений и другого содержимого в соответствии с тем, как вы настраиваете функцию.
• Дополненные с помощью запросов данные. При использовании данных, связанных с сущностями с сохранением состояния, служба извлекает релевантные данные из настроенного хранилища данных и дополняет запрос для получения выводов, обоснованных вашими данными. Запросы также могут быть дополнены данными, полученными из источника, включенного в сам запрос, например URL-адрес.
• Обучающие и валидирующие данные. Вы можете предоставить собственные обучающие данные, состоящие из пар завершения запроса для настройки модели OpenAI.

Каким образом служба Azure OpenAI выполняет обработку данных?

На схеме ниже показано, как обрабатываются данные. На этой схеме рассматривается несколько типов обработки:

1. Как служба Azure OpenAI обрабатывает ваши запросы с помощью инференции для создания контента (включая случаи, когда дополнительные данные из указанного источника данных добавляются к запросу с помощью Azure OpenAI для ваших данных, помощников или пакетной обработки).
2. Как функция Помощников сохраняет данные в связи с сообщениями, потоками и запусками.
3. Как функция пакетной обработки обрабатывает ваши отправленные данные.
4. Как служба Azure OpenAI создает тонко настроенную (пользовательскую) модель с загруженными данными.
5. Как служба Azure OpenAI и персонал Майкрософт анализируют запросы и завершения (как текстовые, так и визуальные) на наличие вредного содержимого и для выявления шаблонов, предполагающих такое использование службы, которое нарушает Кодекс поведения или другие применимые условия продукта.

Как показано на схеме выше, клиенты с управляемыми услугами могут подать заявку на изменение мониторинга злоупотреблений.

Генерация текстов, изображений или эмбеддингов через вывод данных

Модели (базовые или настроенные), развернутые в пределах вашего ресурса, обрабатывают входные подсказки и создают ответы с текстом, изображениями или векторными представлениями. Взаимодействия клиентов с моделью логически изолированы и защищены с помощью технических мер, включая, но не ограничиваясь транспортным шифрованием TLS1.2 или более поздней версии, периметром безопасности вычислений, токенизацией текста и исключительным доступом к выделенной памяти GPU. Запросы и завершения оцениваются в режиме реального времени для вредных типов контента, а создание контента фильтруется на основе настроенных пороговых значений. Дополнительные сведения см. в фильтрации содержимого Службы OpenAI Azure.

Запросы и ответы обрабатываются в пределах указанного клиентом географического региона (если вы не используете глобальный тип развертывания), но могут обрабатываться между регионами в географическом регионе для операционных целей (включая управление производительностью и емкостью). Дополнительные сведения о расположении обработки при использовании глобального типа развертывания см. ниже.

Модели не сохраняют состояния: в модели не хранятся ни запросы, ни результаты. Кроме того, запросы и сгенерированные данные не используются для обучения, переобучения или улучшения базовых моделей.

Общие сведения о расположении обработки для типов развертывания "Глобальный" и "Зона данных"

Помимо стандартных развертываний, Служба Azure OpenAI предлагает варианты развертывания, помеченные как global и DataZone. Для любого типа развертывания с меткой "Глобальный", запросы и ответы могут обрабатываться в любом географическом регионе, где развернута соответствующая модель Azure OpenAI (дополнительные сведения о доступности регионов моделей). Для любого типа развертывания, помеченного как DataZone, запросы и ответы могут обрабатываться в любой географической области в пределах указанной зоны данных, как определено корпорацией Майкрософт. Если вы создаете развертывание DataZone в ресурсе Azure OpenAI, расположенном в США, запросы и ответы могут обрабатываться в любом месте США. Если вы создаете развертывание DataZone в ресурсе Azure OpenAI, расположенном в стране-члене Европейского союза, запросы и ответы могут обрабатываться в этой или любой другой стране-члене Европейского союза. Для типов развертывания Global и DataZone все данные, хранящиеся в состоянии покоя, например загруженные данные, хранятся на территории, указанной клиентом. Влияет только расположение обработки, если клиент использует глобальный тип развертывания или тип развертывания DataZone в службе Azure OpenAI; Обязательства по обработке и соответствию данным Azure остаются применимыми.

Дополнение запросов для привязки созданных результатов к вашим данным.

Функция Azure OpenAI "на основе ваших данных" позволяет подключать источники данных, чтобы связывать их с созданными результатами на основе ваших данных. Данные сохраняются в источнике данных и указанном расположении; Служба Azure OpenAI не создает дубликат хранилища данных. При получении запроса пользователя служба извлекает соответствующие данные из подключенного источника данных и расширяет запрос. Модель обрабатывает этот расширенный запрос и возвращает созданное содержимое, как описано выше. Узнайте больше о том, как безопасно использовать функцию On Your Data.

Хранилище данных для функций Службы OpenAI Azure

Некоторые функции Службы Azure OpenAI хранят данные в службе. Эти данные передаются клиентом с помощью API файлов или векторного хранилища или автоматически хранятся в связи с определенными сущностями с отслеживанием состояния, такими как функция Потоков API Помощников и хранимые завершения. Данные, хранящиеся для функций службы Azure OpenAI:

• Хранится в ресурсе Azure OpenAI в клиенте Azure заказчика в том же географическом регионе, что и ресурс Azure OpenAI.
• Всегда шифруется в состоянии покоя путем шифрования AES-256 от Microsoft по умолчанию, с возможностью использования управляемого клиентом ключа (некоторые функции предварительной версии могут не поддерживать управляемые клиентом ключи).
• Может быть удален клиентом в любое время.

Сохраненные данные могут использоваться со следующими функциями и возможностями службы:

• Создание настраиваемой (точно настроенной) модели. Узнайте больше о том, как работает тонкая настройка. Точно настроенные модели доступны исключительно клиенту, данные которого использовались для создания точно настроенной модели, зашифрованы в состоянии покоя, когда они не развернуты для выполнения выводов, и могут быть удалены клиентом в любое время. Данные обучения, отправленные для точной настройки, не используются для обучения, переобучения или улучшения базовых моделей Майкрософт или сторонних производителей.
• Пакетная обработка. Узнайте больше о том, как работает пакетная обработка. Пакетная обработка — это глобальный тип развертывания; данные, хранящиеся в покое, остаются в указанном географическом регионе Azure до тех пор, пока не станет доступна мощность для обработки; обработка может происходить в любом географическом регионе, где развернута соответствующая модель Azure OpenAI (подробнее о доступности моделей в регионах).
• API помощников (предварительная версия). Узнайте больше о том, как работает API Помощников. Некоторые функции помощников, такие как потоки, хранят историю сообщений и другое содержимое.
• Сохранённые завершения (предварительная версия). Сохраненные завершения хранят пары входных и выходных данных из моделей Azure OpenAI, развернутых клиентом, таких как GPT-4o, через API завершения чата, и отображают эти пары на портале Azure AI Foundry. Это позволяет клиентам создавать наборы данных с их производственными данными, которые затем можно использовать для оценки или точной настройки моделей (как разрешено в применимых условиях продукта).

Предотвращение злоупотреблений и вредного создания содержимого

Чтобы снизить риск вредного использования службы Azure OpenAI, служба Azure OpenAI включает как фильтрацию содержимого, так и функции мониторинга злоупотреблений. Дополнительные сведения о фильтрации содержимого см. в статье "Фильтрация содержимого Службы OpenAI Azure". Дополнительные сведения о мониторинге злоупотреблений см. в разделе мониторинга злоупотреблений.

Фильтрация содержимого выполняется синхронно, так как процессы службы запрашивают создание содержимого, как описано выше и здесь. Запросы или созданные содержимое не хранятся в моделях классификатора контента, а запросы и выходные данные не используются для обучения, переобучения или улучшения моделей классификаторов без вашего согласия.

Оценки безопасности точно настроенных моделей оценивают точно настроенную модель для потенциально опасных ответов с помощью метрик риска и безопасности Azure. Только результирующая оценка (развертываемая или неразвертываемая) регистрируется в службе.

Система мониторинга злоупотреблений Azure OpenAI предназначена для обнаружения и устранения повторяющихся экземпляров повторяющегося содержимого и (или) поведения, которые предполагают использование службы таким образом, что может нарушать кодекс поведения или другие применимые условия продукта. Как описано здесь, система использует алгоритмы и эвристики для обнаружения индикаторов потенциальных злоупотреблений. При обнаружении этих индикаторов может быть выбран образец запросов и завершений клиента для проверки. Проверка проводится LLM по умолчанию с дополнительными проверками рецензентами по мере необходимости. Подробные сведения об ИИ и проверке людьми доступны по ссылке мониторинг злоупотреблений в Службе OpenAI Azure.

Для проверки ИИ запросы и завершения клиента не хранятся системой или используются для обучения LLM или других систем. Для проверки человеком хранилище данных, содержащее запросы и завершения, логически отделяется по ресурсу клиента (каждый запрос содержит идентификатор ресурса Azure OpenAI клиента). Отдельное хранилище данных находится в каждом географическом регионе, в котором доступна служба Azure OpenAI, а запросы клиента и созданное содержимое хранятся в географическом регионе Azure, где развернут ресурс службы Azure OpenAI клиента в пределах границы службы Azure OpenAI. Рецензенты, оценивая потенциальные злоупотребления, могут получить доступ к запросам и завершению данных только в том случае, если эти данные уже помечены системой мониторинга злоупотреблений. Рецензенты пользователей являются авторизованными сотрудниками Майкрософт, которые получают доступ к данным с помощью точечных запросов с помощью идентификаторов запросов, рабочих станций secure Access (SAWs) и JIT-In-Time (JIT) запроса на утверждение, предоставленное менеджерами команд. Для Службы Azure OpenAI, развернутой в Европейской экономической зоне, авторизованные сотрудники Майкрософт находятся в Европейской экономической зоне.

Если клиент был утвержден для измененного мониторинга злоупотреблений (дополнительные сведения см. в мониторинге злоупотреблений в Службе OpenAI Azure), корпорация Майкрософт не хранит запросы и завершения, связанные с утвержденными подписками Azure, и описанный выше процесс проверки человека не возможен и не выполняется. Однако проверка ИИ по-прежнему может выполняться, используя LLMs, которые просматривают запросы и завершения в момент их предоставления или создания, если это применимо.

Как клиент может проверить, отключено ли хранилище данных для мониторинга злоупотреблений?

Существует два способа для клиентов, после получения одобрения на отключение мониторинга злоупотреблений, убедиться, что хранилище данных для мониторинга злоупотреблений было отключено в вашей подписке Azure:

• Использование портала Azure или
• Azure CLI (или любой API управления).

Предпосылки

1. Вход в Azure
2. Выберите подписку Azure, на которой размещен ресурс Службы Azure OpenAI.
3. Перейдите на страницу обзора ресурса Службы Azure OpenAI.

{ 
    "name":"ContentLogging",
    "value":"false"
}

az cognitiveservices account show -n resource\_name -g resource \_group

Дополнительные сведения о конфиденциальности и безопасности корпорации Майкрософт см. в Центре управления безопасностью Майкрософт.

Журнал изменений

См. также

• Кодекс поведения для интеграции Служб OpenAI Azure
• Обзор практик ответственного применения ИИ для моделей Azure OpenAI
• Примечание о прозрачности и варианты использования для Службы OpenAI Azure
• Размещение данных в Azure
• Сравнение Azure OpenAI в Azure для государственных организаций
• Ограниченный доступ к Службе Azure OpenAI
• Сообщите о злоупотреблении службой Azure OpenAI с помощью портала "Злоупотребление отчетами"
• Сообщить о проблеме [email protected]