Данные, конфиденциальность и безопасность моделей, проданные Azure в Microsoft Foundry

В этой статье приводятся сведения о том, как обрабатываются, используются и хранятся данные, предоставленные вами моделям Foundry, продаваемым Azure в Microsoft Foundry. «Модель, продаваемая Azure» — это модель ИИ, обозначенная и развернутая в этом качестве в Foundry, и она включает модели Azure OpenAI. Модели, продаваемые через Azure, хранят и обрабатывают данные для предоставления сервиса и отслеживания случаев использования, нарушающих применимые условия продукта. См. также Дополнение о защите данных для продуктов и услуг Microsoft, которое регулирует обработку данных моделями, продаваемыми через Azure. Foundry — это служба Azure; узнайте больше о предложениях по соблюдению требований Azure.

Какие данные обрабатывает Foundry для предоставления моделей, продаваемых через Azure?

Foundry обрабатывает следующие типы данных для предоставления моделей, проданных Azure:

• Подсказки и сгенерированное содержимое. Когда пользователем отправляются запросы, содержимое генерируется службой с помощью операций генерации, генерации чата, создания изображений и встраивания.
• Отправленные данные. Вы можете передать собственные данные для использования с определенными функциями службы (например, тонкой настройкой, API помощников, пакетной обработкой) с помощью API файлов или векторного хранилища.
• Данные для сущностей состояния. Когда вы используете некоторые необязательные функции Моделей, продаваемых через Azure, и Агентов, такие как API Responses, функция Threads в Assistants API и сохранённые завершения, служба создаёт хранилище данных для сохранения журнала сообщений и другого содержимого в соответствии с тем, как вы настроили эту функцию.
• Дополненные данные, включенные в запросы или с помощью запросов. При использовании данных, связанных с сущностями с отслеживанием состояния, служба извлекает соответствующие данные из настроенного хранилища данных и дополняет запрос для создания поколений, основанных на ваших данных. Запросы также могут быть дополнены данными, полученными из источника, включенного в сам запрос, например URL-адрес.
• Обучающие и валидационные данные. Вы можете предоставить собственные данные обучения, состоящие из пар запрос-ответ для точной настройки модели.

Как Foundry обрабатывает данные для предоставления моделей, продаваемых Azure?

На схеме ниже показано, как обрабатываются данные. На этой схеме рассматривается несколько типов обработки:

1. Как Foundry обрабатывает ваши запросы в процессе инференса с использованием моделей, предоставляемых через Azure, для создания контента (в том числе когда дополнительные данные из указанного источника данных добавляются в запрос с помощью Azure OpenAI on your data, Assistants или пакетной обработки).
2. Как функция Помощников сохраняет данные в связи с сообщениями, потоками и запусками.
3. Как функция API ответов хранит данные для сохранения журнала сообщений.
4. Как функция пакетной обработки обрабатывает загруженные вами данные.
5. Как Foundry создает специально настроенную модель с вашими загруженными данными.
6. Как персонал Foundry и Microsoft анализирует вопросы и ответы (текст и изображение) на наличие вредного содержимого и шаблонов, указывающие на использование службы таким образом, которое нарушает Кодекс поведения или другие применимые условия продукта.

Как показано на схеме выше, управляемые клиенты могут подавать заявку на изменение мониторинга злоупотреблений.

Создание завершений, изображений или встраиваний посредством инференции

Модели, предоставляемые Azure (базовые или доработанные), развернутые в вашем ресурсе Foundry, обрабатывают ваши входные запросы и создают ответы в виде текста, изображений или эмбеддингов. Запросы и завершения оцениваются в реальном времени для вредных типов контента, а порождаемый контент фильтруется на основе настроенных пороговых значений. Дополнительные сведения см. в обзоре Guardrails (ранее фильтры содержимого).

Запросы и ответы обрабатываются в пределах указанного клиентом географического региона (если вы не используете глобальный или тип развертывания DataZone), но могут обрабатываться между регионами в географическом регионе для операционных целей (включая управление производительностью и емкостью). Дополнительные сведения о расположении обработки при использовании типа развертывания Global или DataZone см. ниже.

Модели без отслеживания состояния: в модели не хранятся запросы или завершения. Кроме того, запросы и завершения не используются для обучения, переобучения или улучшения базовых моделей.

Общие сведения о расположении обработки для типов развертывания "Глобальный" и "Зона данных"

Помимо стандартных развертываний, Foundry предлагает модели с вариантами развертывания Azure, обозначенными как 'Global' и 'DataZone.' Для любого типа deployment с меткой "Глобальный", запросы и ответы могут обрабатываться в любом географическом регионе, где развернута соответствующая модель, проданная Azure (дополнительные сведения о доступности моделей регион). Для любого типа развертывания, помеченного как DataZone, запросы и ответы могут обрабатываться в любой географической области в пределах указанной зоны данных, как определено Microsoft. Если вы создаете развертывание DataZone в ресурсе Foundry, расположенном в Соединенных Штатах, запросы и ответы могут обрабатываться в любом месте внутри страны. Если вы создаете развертывание DataZone в ресурсе Foundry, расположенном в стране-члене Европейского союза, запросы и ответы могут обрабатываться в этой или любой другой стране-члене Европейского союза. Для типов развертывания Global и DataZone все данные, хранящиеся в статическом состоянии, такие как загруженные данные, включая хранилище данных мониторинга злоупотреблений, созданное для развертываний Global и DataZone, хранятся в географическом регионе, назначенном клиентом. Изменяется только место обработки данных, если клиент использует тип развертывания Global или тип развертывания DataZone в моделях, продаваемых Azure; обязательства Azure в отношении обработки данных и соблюдения требований остаются в силе.

Дополнение запросов для закрепления созданных результатов на основе ваших данных

Функция Azure OpenAI "на ваших данных" позволяет подключать источники данных, чтобы подкрепить созданные результаты вашими данными. Данные сохраняются в источнике данных и указанном расположении; Azure OpenAI не создает дубликат хранилища данных. При получении запроса пользователя служба извлекает соответствующие данные из подключенного источника данных и расширяет запрос. Модель обрабатывает этот расширенный запрос и возвращает созданное содержимое, как описано выше. Узнайте больше о том, как безопасно использовать функцию On Your Data.

Хранилище данных для моделей, продаваемых через функции Azure

Некоторые модели, продаваемые через Azure, хранят данные в сервисе. Эти данные загружаются клиентом с помощью API файлов или векторного хранилища данных или автоматически хранятся в связи с определенными состояние-отслеживаемыми сущностями, например, API ответов, функция потоков API помощников и сохраненные завершения. Данные, хранящиеся для таких функций:

• Хранится в состоянии покоя в ресурсе Foundry в клиенте Azure в том же географическом регионе, в котором хранится ресурс.
• Всегда шифруется в состоянии покоя с помощью шифрования AES-256 от Microsoft по умолчанию, с возможностью использования ключа, управляемого клиентом (некоторые функции предварительной версии могут не поддерживать ключи, управляемые клиентом). ключи, управляемые Microsoft, всегда используются для обеспечения базового шифрования для всех сохраненных данных.
• Может быть удален клиентом в любое время.

Сохраненные данные могут использоваться со следующими функциями и возможностями службы:

• Создание настраиваемой (точно настроенной) модели. Узнайте больше о работе тонкой настройки. Точно настроенные модели доступны исключительно тому клиенту, чьи данные использовались для создания этих моделей, зашифрованы в состоянии покоя (если не развернуты для инференса) и могут быть удалены клиентом в любое время. Обучающие данные, загруженные для дообучения, не используются для обучения базовых моделей генерирующего ИИ без вашего разрешения или указания.
• Пакетная обработка. Узнайте больше о том, как работает пакетная обработка. Пакетная обработка — это тип глобального развертывания; данные, хранящиеся в состоянии покоя, остаются в указанной географии Azure до тех пор, пока не станут доступны вычислительные мощности для обработки; обработка может выполняться в любой географии, где развернута соответствующая модель, предлагаемая Azure (подробнее см. в разделе доступность моделей по регионам).
• API ответов. Узнайте больше о том, как работает API ответов . Этот API хранит журнал сообщений и другое содержимое, связанное с журналом сообщений. Это необходимо для многоэтапных бесед и рабочих процессов.
• API помощников (предварительная версия). Узнайте больше о том, как работает API Помощников. Некоторые функции помощников, такие как потоки, хранят журнал сообщений и другое содержимое.
• Сохраненные завершения (предварительная версия). Stored completions сохраняет пары входных и выходных данных из развернутых клиентом моделей Azure OpenAI, например GPT-4o, через API завершений чата и отображает эти пары на портале Foundry portal. Это позволяет клиентам создавать наборы данных с их производственными данными, которые затем можно использовать для оценки или точной настройки моделей (как разрешено в применимых условиях продукта).

Предотвращение злоупотреблений

Чтобы снизить риск жестокого или вредного использования, модели, проданные Azure включают функции мониторинга злоупотреблений. Дополнительные сведения о мониторинге злоупотреблений см. в разделе мониторинга злоупотреблений.

Оценка безопасности донастроенных моделей позволяет оценить донастроенную модель на предмет потенциально вредоносных ответов с помощью метрик риска и безопасности Azure. Только результирующая оценка (подлежащая развертыванию или неподлежащая развертыванию) регистрируется службой.

Система мониторинга злоупотреблений для моделей, продаваемых Azure, предназначена для обнаружения и предотвращения случаев повторяющегося контента и/или поведения, которые указывают на использование службы таким образом, который может нарушать кодекс поведения или другие применимые условия использования продукта. Как описано здесь, система использует алгоритмы и эвристики для обнаружения индикаторов потенциальных злоупотреблений. При обнаружении этих индикаторов для проверки можно выбрать пример запросов и завершения клиента. Проверка проводится автоматизированными средствами, включая модели ИИ, такие как LLM по умолчанию, с дополнительными проверками со стороны рецензентов по мере необходимости. Подробные сведения об автоматизированной проверке и проверке человека доступны в мониторинге злоупотреблений.

Для автоматической проверки запросы и завершения клиента не хранятся системой или используются для обучения моделей ИИ или других систем. Хранилище данных для мониторинга злоупотреблений, в котором запросы и ответы модели сохраняются для проверки человеком, логически разделено по ресурсам клиентов (каждый запрос включает идентификатор ресурса Foundry, принадлежащего клиенту). Отдельное хранилище данных находится в каждом географическом регионе, где доступна модель, предлагаемая Azure, а запросы клиента и созданный контент хранятся в географическом регионе Azure, где развернут ресурс Foundry клиента, в пределах границы службы «Модели, предлагаемые Azure». Рецензенты, оценивая потенциальные злоупотребления, могут получить доступ к данным о запросах и ответах только в том случае, если эти данные уже были помечены системой мониторинга злоупотреблений, или когда запросы и ответы являются частью потенциально злоупотребляющего шаблона использования. Человеческие рецензенты являются авторизованными сотрудниками Microsoft, которые получают доступ к данным по точечным запросам, используя идентификаторы запросов, защищенные рабочие станции (SAWs) и одобрение запросов по принципу Just-In-Time (JIT), предоставляемое менеджерами команд. Для моделей, продаваемых Azure и развернутых в Европейской экономической зоне, уполномоченные сотрудники Microsoft находятся в Европейской экономической зоне.

Если клиент был одобрен для измененного мониторинга злоупотреблений (дополнительные сведения о мониторинге злоупотреблений), хранение данных и проверка человеком, описанная выше, не выполняются. Однако автоматическая проверка по-прежнему может выполняться с использованием алгоритмов, включая модели искусственного интеллекта, которые просматривают запросы и завершения в момент их предоставления или создания, если это применимо. Если такая автоматическая проверка обнаруживает содержимое, потенциально указывающее на серьезные или повторяющиеся злоупотребления в подписке клиента, клиент может быть подвержен ограничениям доступа, как указано в условиях продукта для ответственного использования служб ИИ Microsoft. Клиенту также может быть предложено согласиться на мониторинг злоупотреблений с рассмотрением человеком, чтобы снизить риск будущих ограничений на доступ (например, замедление или приостановка учетной записи или подписки при обнаружении злоупотреблений).

Предотвращение создания вредного содержимого

Модели, продаваемые Azure, включают систему, предназначенную для обнаружения и предотвращения вывода вредоносного контента. Дополнительные сведения о Guardrails (ранее фильтры содержимого) см. в разделе Guardrails.

Контрольные меры выполняются синхронно, поскольку служба обрабатывает запросы на создание содержимого, как описано выше и здесь. Запросы или созданные содержимое не хранятся в моделях классификатора содержимого, а запросы и выходные данные не используются для обучения моделей создания ИИ без вашего разрешения или инструкции.

Как клиент может проверить, отключено ли хранилище данных для мониторинга злоупотреблений?

Существует два способа для клиентов после утверждения отключить мониторинг злоупотреблений, чтобы убедиться, что хранилище данных для мониторинга злоупотреблений было отключено в утвержденной подписке Azure:

• Использование портала Azure или
• Azure CLI (или любой API управления).

Необходимые условия

1. Вход в Azure
2. Выберите Azure подписку, на которой размещен ресурс Foundry.
3. Перейдите на страницу обзора ресурса Foundry.

{ 
    "name":"ContentLogging",
    "value":"false"
}

az cognitiveservices account show -n resource\_name -g resource \_group

Дополнительные сведения о обязательствах по конфиденциальности и безопасности Microsoft см. в разделе Microsoft Центр управления безопасностью.

Журнал изменений

См. также

• Код поведения для интеграции Служба Azure OpenAI
• Обзор ответственных практик ИИ для моделей Azure OpenAI
• Примечание о прозрачности и случаи использования для Служба Azure OpenAI
• Хранение данных в Azure
• Сравните модели Foundry, предлагаемые Azure в Azure для государственных организаций
• Ограниченный доступ к Служба Azure OpenAI
• Сообщите о злоупотреблении Служба Azure OpenAI через портал Report Abuse Portal
• Сообщите о проблеме с безопасностью или безопасностью: Исследователи безопасности и клиенты играют важную роль в защите ИИ. Чтобы сообщить об уязвимостях системы безопасности или проблемах безопасности в модели Foundry, проданных Azure, перейдите к Центр Майкрософт по реагированию на угрозы (MSRC). Примеры уязвимостей включают внедрение запросов, небезопасные выходные данные и воздействие данных. При создании отчетов о проблеме включите имя и версию модели, шаги, которые привели к проблеме, и потенциальное влияние.