Данные, конфиденциальность и безопасность для моделей Azure Direct в Microsoft Foundry

В этой статье содержатся сведения о том, как данные, предоставляемые вами в Azure Direct Models в Microsoft Foundry, обрабатываются, используются и хранятся. Azure Direct Model означает модель ИИ, назначенную и развернутую как "Прямую модель Azure" в Foundry, и включает модели Azure OpenAI. Azure Direct Models хранит и обрабатывает данные для предоставления службы и отслеживания использования, которые нарушают применимые условия продукта. Также см. Дополнение к защите данных от продуктов и служб Майкрософт, которое регулирует обработку данных Azure Direct Models. Foundry — это служба Azure; Узнайте больше о применимых предложениях по соответствию Требованиям Azure.

Какие данные обрабатывает Foundry для предоставления Direct Models Azure?

Foundry обрабатывает следующие типы данных для предоставления Azure Direct Models:

• Запросы и сгенерированное содержимое. Когда пользователем отправляются запросы, контент генерируется службой с помощью операций создания, создания чатов, изображений и встраиваний.
• Отправленные данные. Вы можете передать собственные данные для использования с определенными функциями службы (например, тонкой настройкой, API помощников, пакетной обработкой) с помощью API файлов или векторного хранилища.
• Данные для автоматически управляемых сущностей. При использовании некоторых не обязательных функций Azure Direct Models и агентов, таких как API ответов, функция потоков в API помощников и хранение завершений, служба создает хранилище данных для сохранения истории сообщений и другого содержимого в соответствии с тем, как настроена эта функция.
• Дополненные с помощью запросов данные. При использовании данных, связанных с сущностями с сохранением состояния, служба извлекает релевантные данные из настроенного хранилища данных и дополняет запрос для получения выводов, обоснованных вашими данными. Запросы также могут быть дополнены данными, полученными из источника, включенного в сам запрос, например URL-адрес.
• Обучающие и валидирующие данные. Вы можете предоставить собственные данные обучения, состоящие из пар «запрос-ответ», для точной настройки модели.

Как foundry обрабатывает данные для предоставления прямых моделей Azure?

На схеме ниже показано, как обрабатываются данные. На этой схеме рассматривается несколько типов обработки:

1. Как Foundry выполняет обработку запросов с помощью инференсации с помощью Azure Direct Models для создания содержимого (в том числе при добавлении дополнительных данных из определенного источника данных в запрос с использованием Azure OpenAI на ваших данных, помощниках или в пакетной обработке).
2. Как функция Помощников сохраняет данные в связи с сообщениями, потоками и запусками.
3. Как функция API ответов хранит данные для сохранения журнала сообщений.
4. Как функция пакетной обработки обрабатывает ваши отправленные данные.
5. Как Foundry создает тонко настроенную (кастомную) модель с загруженными данными.
6. Как Foundry и персонал Microsoft анализируют вводы и выходы (текст и изображение) на наличие вредного содержимого и шаблонов, указывающих на использование службы таким образом, который нарушает кодекс поведения или другие применимые условия продукта.

Как показано на схеме выше, клиенты с управляемыми услугами могут подать заявку на изменение мониторинга злоупотреблений.

Генерация текстов, изображений или эмбеддингов через вывод данных

Модели Azure Direct (базовые или точно настроенные), развернутые в вашем ресурсе Foundry, обрабатывают входные подсказки и создают ответы в виде текста, изображений или векторов. Взаимодействия клиентов с моделью логически изолированы и защищены с помощью технических мер, включая, но не ограничиваясь транспортным шифрованием TLS1.2 или более поздней версии, периметром безопасности вычислений, токенизацией текста и исключительным доступом к выделенной памяти GPU. Запросы и завершения оцениваются в режиме реального времени для вредных типов контента, а создание контента фильтруется на основе настроенных пороговых значений. Дополнительные сведения см. в обзоре Guardrails (ранее фильтры содержимого).

Запросы и ответы обрабатываются в пределах указанного клиентом географического региона (если вы не используете глобальный или тип развертывания DataZone), но могут обрабатываться между регионами в географическом регионе для операционных целей (включая управление производительностью и емкостью). Дополнительные сведения о расположении обработки при использовании типа развертывания Global или DataZone см. ниже.

Модели без отслеживания состояния: в модели не хранятся запросы или завершения. Кроме того, запросы и завершения не применяются для обучения, переобучения или улучшения базовых моделей.

Общие сведения о расположении обработки для типов развертывания "Глобальный" и "Зона данных"

Помимо стандартных развертываний, Foundry предлагает варианты развертывания Azure Direct Model, помеченные как Global и DataZone. Для любого типа развертывания с меткой "Глобальный", запросы и ответы могут обрабатываться в любом географическом регионе, где развернута соответствующая модель Azure Direct (дополнительные сведения о доступности регионов моделей). Для любого типа развертывания, помеченного как DataZone, запросы и ответы могут обрабатываться в любой географической области в пределах указанной зоны данных, как определено корпорацией Майкрософт. Если вы создаете развертывание DataZone в ресурсе Foundry, расположенном в США, запросы и ответы могут обрабатываться в любом месте в СОЕДИНЕННЫх Штатах. Если вы создаете развертывание DataZone в ресурсе Foundry, расположенном в стране-члене Европейского союза, запросы и ответы могут обрабатываться в этой или любой другой стране-члене Европейского союза. Для типов развертывания Global и DataZone все данные, сохраняемые в состоянии покоя, такие как загруженные данные, а также хранилище данных мониторинга злоупотреблений, созданное для развертываний Global и DataZone, хранятся в географическом регионе, определенном клиентом. Влияет только расположение обработки, если клиент использует глобальный тип развертывания или тип развертывания DataZone в Azure Direct Models; Обязательства по обработке и соответствию данным Azure остаются применимыми.

Дополнение запросов для привязки созданных результатов к вашим данным.

Функция Azure OpenAI "на основе ваших данных" позволяет подключать источники данных, чтобы связывать их с созданными результатами на основе ваших данных. Данные сохраняются в источнике данных и указанном расположении; Azure OpenAI не создает дубликат хранилища данных. При получении запроса пользователя служба извлекает соответствующие данные из подключенного источника данных и расширяет запрос. Модель обрабатывает этот расширенный запрос и возвращает созданное содержимое, как описано выше. Узнайте больше о том, как безопасно использовать функцию On Your Data.

Хранилище данных для функций Azure Direct Models

Некоторые функции Azure Direct Models хранят данные в службе. Эти данные загружаются клиентом с помощью API файлов или векторного хранилища или автоматически сохраняются в связи с определенными сущностями, отслеживающими состояние, такими как API Ответов, функция потоков в API Помощников и Хранимые Завершения. Данные, хранящиеся для таких функций:

• Хранение данных осуществляется в ресурсе Foundry в клиентской инфраструктуре Azure в той же географической области, что и ресурс.
• Данные всегда зашифрованы на месте с использованием шифрования AES-256 от Microsoft по умолчанию, с возможностью использования ключа, управляемого пользователем (некоторые функции предварительной версии могут не поддерживать такие ключи). Ключи, управляемые корпорацией Майкрософт, всегда используются для обеспечения базового шифрования для всех сохраненных данных.
• Может быть удален клиентом в любое время.

Сохраненные данные могут использоваться со следующими функциями и возможностями службы:

• Создание настраиваемой (точно настроенной) модели. Узнайте больше о том, как работает тонкая настройка. Точно настроенные модели доступны исключительно клиенту, данные которого использовались для создания точно настроенной модели, зашифрованы в состоянии покоя, когда они не развернуты для выполнения выводов, и могут быть удалены клиентом в любое время. Обучающие данные, отправленные для тонкой настройки, не используются для обучения базовых моделей генеративного ИИ без вашего разрешения или инструкции.
• Пакетная обработка. Узнайте больше о том, как работает пакетная обработка. Пакетная обработка — это глобальный тип развертывания; данные, хранящиеся в состоянии покоя, остаются в указанном регионе Azure, пока не станет доступна мощность обработки; обработка может происходить в любом регионе, где развернута соответствующая модель Azure Direct (дополнительные сведения о доступности регионов моделей).
• API ответов. Узнайте больше о том, как работает API ответов . Этот API хранит журнал сообщений и другое содержимое, связанное с журналом сообщений. Это необходимо для многоэтапных бесед и рабочих процессов.
• API помощников (предварительная версия). Узнайте больше о том, как работает API Помощников. Некоторые функции помощников, такие как потоки, хранят историю сообщений и другое содержимое.
• Сохранённые завершения (предварительная версия). Сохраненные комплектации содержат пары ввода-вывода из развернутых клиентских моделей Azure OpenAI, таких как GPT-4o, через API чат-комплектаций и отображают пары на портале Foundry. Это позволяет клиентам создавать наборы данных с их производственными данными, которые затем можно использовать для оценки или точной настройки моделей (как разрешено в применимых условиях продукта).

Предотвращение злоупотреблений

Чтобы снизить риск жестокого или вредного использования, Azure Direct Models включает функции мониторинга злоупотреблений. Дополнительные сведения о мониторинге злоупотреблений см. в разделе мониторинга злоупотреблений.

Оценки безопасности точно настроенных моделей оценивают точно настроенную модель для потенциально опасных ответов с помощью метрик риска и безопасности Azure. Только результирующая оценка (развертываемая или неразвертываемая) регистрируется в службе.

Система мониторинга злоупотреблений в azure Direct Models предназначена для обнаружения и устранения повторяющихся экземпляров повторяющегося содержимого и (или) поведения, которые позволяют использовать службу таким образом, что может нарушать кодекс поведения или другие применимые условия продукта. Как описано здесь, система использует алгоритмы и эвристики для обнаружения индикаторов потенциальных злоупотреблений. При обнаружении этих индикаторов может быть выбран образец запросов и завершений клиента для проверки. Проверка проводится автоматизированными средствами, включая модели ИИ, такие как LLM по умолчанию, с дополнительными проверками со стороны рецензентов по мере необходимости. Подробные сведения об автоматизированной проверке и проверке человека доступны в мониторинге злоупотреблений.

Для автоматической проверки запросы и завершения клиента не хранятся системой или используются для обучения моделей ИИ или других систем. Хранилище данных мониторинга злоупотреблений, в котором хранятся запросы и завершения для проверки человеком, логически разделяется по ресурсу клиента (каждый запрос включает идентификатор ресурса Foundry клиента). Отдельное хранилище данных находится в каждом географическом регионе, в котором доступна модель Azure Direct, и запросы клиента и созданные содержимое хранятся в географическом регионе Azure, где развернут ресурс Foundry клиента в пределах границы службы Azure Direct Models. Рецензенты, оценивая потенциальные злоупотребления, могут получить доступ к данным о запросах и ответах только в том случае, если эти данные уже помечены системой мониторинга злоупотреблений, или когда запросы и ответы являются частью потенциально злоупотребляющих шаблонов использования. Рецензенты пользователей являются авторизованными сотрудниками Майкрософт, которые получают доступ к данным с помощью точечных запросов с помощью идентификаторов запросов, рабочих станций secure Access (SAWs) и JIT-In-Time (JIT) запроса на утверждение, предоставленное менеджерами команд. Для моделей Azure Direct, развернутых в Европейской экономической зоне, авторизованные сотрудники Майкрософт находятся в Европейской экономической зоне.

Если клиент был утвержден для адаптированного мониторинга злоупотреблений (дополнительные сведения о мониторинге злоупотреблений), хранилище данных и процесс человеческой проверки, описанный выше, не выполняется. Однако автоматическая проверка по-прежнему может выполняться, используя алгоритмы, включая модели искусственного интеллекта, которые анализируют запросы и завершения в момент их предоставления или создания, в зависимости от обстоятельств. Если такая автоматическая проверка обнаруживает содержимое, потенциально указывающее на серьезные или повторяющиеся злоупотребления в подписке клиента, клиент может быть подвержен ограничениям доступа, как указано в условиях продукта для ответственного использования служб Искусственного интеллекта Майкрософт. От клиента могут попросить согласия на мониторинг злоупотреблений с проверкой, осуществляемой человеком, чтобы снизить риск будущих ограничений на доступ (например, ограничения или приостановки учетной записи или подписки при обнаружении злоупотребления).

Предотвращение создания вредного содержимого

Прямые модели Azure включают систему, предназначенную для обнаружения и предотвращения выходных данных вредного содержимого. Дополнительные сведения о Guardrails (ранее фильтры содержимого) см. в разделе Guardrails.

Защита выполняется синхронно, так как процессы службы запрашивают создание содержимого, как описано выше и здесь. Запросы или созданные содержимое не хранятся в моделях классификатора содержимого, а запросы и выходные данные не используются для обучения моделей создания ИИ без вашего разрешения или инструкции.

Как клиент может проверить, отключено ли хранилище данных для мониторинга злоупотреблений?

Существует два способа для клиентов, после получения одобрения на отключение мониторинга злоупотреблений, убедиться, что хранилище данных для мониторинга злоупотреблений было отключено в вашей подписке Azure:

• Использование портала Azure или
• Azure CLI (или любой API управления).

Prerequisites

1. Вход в Azure
2. Выберите подписку Azure, на которой размещен ресурс Foundry.
3. Перейдите на страницу обзора ресурса Foundry.

{ 
    "name":"ContentLogging",
    "value":"false"
}

az cognitiveservices account show -n resource\_name -g resource \_group

Дополнительные сведения о конфиденциальности и безопасности корпорации Майкрософт см. в Центре управления безопасностью Майкрософт.

Журнал изменений

См. также

• Кодекс поведения для интеграции Служб OpenAI Azure
• Обзор практик ответственного применения ИИ для моделей Azure OpenAI
• Примечание о прозрачности и варианты использования для Службы OpenAI Azure
• Размещение данных в Azure
• Сравнение Azure OpenAI в Azure для государственных организаций
• Ограниченный доступ к Службе Azure OpenAI
• Сообщите о злоупотреблении службой Azure OpenAI с помощью портала "Злоупотребление отчетами"
• Сообщить о проблеме [email protected]