Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Это важно
Функция обнаружения личной информации и ее анонимизации (синтетическая замена) в инструменте Foundry Tools Text для языка Azure в настоящее время доступна в preview и лицензирована вам в рамках подписки Azure. Использование этой функции распространяется на условия, применимые к предварительным версиям , как описано в дополнительных условиях использования для предварительных версий Microsoft Azure и надстройке защиты данных (DPA) продуктов и служб Майкрософт.
Функция распознавания личных сведений (PII) в инструментах Foundry от Azure Language представлена как возможность языка Azure. Служба обнаружения piI — это облачный API, который использует алгоритмы машинного обучения и искусственного интеллекта для разработки интеллектуальных приложений с помощью расширенного распознавания естественного языка. Обнаружение персональных данных в Azure Language использует распознавание именованных сущностей (NER) для идентификации и редактирования конфиденциальной информации из входящих данных. Служба классифицирует конфиденциальные персональные данные в предопределенные категории. К этим категориям относятся номера телефонов, адреса электронной почты и идентификационные документы. Эта классификация помогает эффективно обнаруживать и устранять такие сведения.
Совет
Попробуйте функцию обнаружения ПИИ в портале Microsoft Foundry. Там можно использовать существующий ресурс Language Studio или создать новый ресурс Foundry.
Новые возможности
Версия 2025-11-15-preview содержит следующие новые параметры задачи PII:
Несколько политик redaction предлагают возможность применять различные подходы к редактированию в одном запросе:
Настраиваемое пороговое значение достоверности позволяет задать минимальную оценку достоверности. Сущности включаются в выходные данные только в том случае, если их оценка достоверности соответствует указанному пороговому значению или превышает его.
Отключение принудительного применения проверки типов позволяет обойти проверку типа сущности. По умолчанию служба применяет проверку нескольких типов сущностей для обеспечения целостности данных и минимизации ложных срабатываний. Отключение этого принудительного применения может повысить эффективность работы в тех случаях, когда строгая проверка не требуется.
Следующие сущности доступны в предварительной версии:
- Аэропорт
- DateOfBirth
- BankAccountNumber
- CASocialIdentificationNumber
- CVV (значение проверки карты)
- City
- PassportNumber
- НомерВодительскогоУдостоверения
- ExpirationDate
- Геополитическая сущность
- KRDriversLicenseNumber
- KRPassportNumber
- KRSocialSecurityNumber
- LicensePlate
- Местоположение
- Пароль
- SortCode
- State
- USMedicareBeneficiaryId
- VIN (идентификационный номер транспортного средства)
- Почтовый индекс
Модели для обнаружения личных данных в разговорной речи (как версия
2024-11-01-preview, так иGA) обновляются, чтобы обеспечить улучшенное качество и точность ИИ. Теперь тип сущности числового идентификатора также включает в себя водительские права и идентификатор участника программы Medicare.- По состоянию на июнь 2024 г. теперь мы предоставляем поддержку версии с полной доступностью для службы обработки PII в диалогах (доступно только на английском языке).
- Теперь клиенты могут редактировать расшифровки, чаты и другие тексты, написанные в стиле общения.
- Эти возможности обеспечивают более высокую уверенность в качестве искусственного интеллекта. Они также предлагают поддержку обслуживания Azure, поддержку рабочей среды и безопасность корпоративного уровня.
Возможности
В настоящее время поддержка PII доступна для следующих возможностей:
- Обнаружение PII в общем тексте для обработки конфиденциальной информации (PII) и информации о здоровье (PHI) в неструктурированном тексте в нескольких предопределенных категориях.
- Обнаружение PII в разговорах — это специализированная модель, предназначенная для обработки транскрипций речи и неформального, разговорного тона, характерного для расшифровок собраний и звонков.
- Родная система обнаружения персональных данных для обработки структурированных файлов документов.
Язык — это облачная служба, которая применяет функции обработки естественного языка (NLP) для обнаружения категорий персональных данных (PII) в текстовых данных. Эта документация содержит следующие типы:
- Краткие руководства — инструкции по началу работы и отправке запросов в службу.
- Руководства — содержат инструкции для более специфического или специализированного использования службы.
Стандартный рабочий процесс
Чтобы использовать эту возможность, нужно в приложении передать данные для анализа и обработать полученный от API результат. Анализ выполняется как есть, без добавления настройки модели, используемой для данных.
Создайте ресурс Azure Language in Foundry Tools, который предоставляет доступ к функциям, предлагаемым языком. Он создает пароль (называемый ключом) и URL-адрес конечной точки, используемый для проверки подлинности запросов API.
Создайте запрос, используя REST API или клиентскую библиотеку для C#, Java, JavaScript или Python. Также можно отправить асинхронные вызовы с пакетным запросом, чтобы объединить в один вызов несколько запросов к разным функциям API.
Отправьте запрос, содержащий текстовые данные. Ключ и конечная точка используются для проверки подлинности.
Выполните потоковую передачу ответа или сохраните его локально.
Ключевые особенности для текстовой PII
Язык предлагает распознавание именованных сущностей для идентификации и классификации информации в тексте. Эта функция обнаруживает категории piI, включая имена, организации, адреса, номера телефонов, номера финансовых счетов или коды, а также идентификационные номера правительства. Подмножество этой персональной информации представляет собой защищенную медицинскую информацию (PHI). Указав domain=phi в запросе, возвращаются только сущности PHI.
Приступите к обнаружению PII
Чтобы использовать обнаружение piI, вы отправляете текст для анализа и обрабатываете выходные данные API в приложении. Анализ выполняется как есть, без настройки модели, используемой в данных. Существует два способа использования обнаружения лично идентифицируемой информации:
| Вариант разработки | Описание |
|---|---|
| Портал Microsoft Foundry (новый) | Foundry (новое) — это облачная платформа искусственного интеллекта, которая обеспечивает упрощенный доступ к моделям, агентам и инструментам Foundry через проекты Foundry. |
| Портал Foundry (классический) | Foundry (классическая) — это облачная платформа, которая поддерживает проекты на основе концентраторов и другие типы ресурсов. При регистрации вы можете использовать собственные данные для обнаружения личных сведений в текстовых примерах. |
| REST API или клиентская библиотека (Azure SDK) | Интеграция обнаружения PII в приложения с помощью REST API или клиентской библиотеки, доступной на различных языках. |
Справочная документация и примеры кода
При использовании этой функции в ваших приложениях ознакомьтесь со следующей справочной документацией и примерами для службы Azure Language в инструменте Foundry.
| Вариант разработки и язык | Справочная документация | Примеры |
|---|---|---|
| REST API | Документация по REST API | |
| C# | Документация по C# | Примеры C# |
| Ява | Документация по Java | Примеры для Java |
| JavaScript | Документация по работе с JavaScript. | Примеры JavaScript |
| Питон | Документация по Python. | Примеры для Python |
Требования к входным данным и ограничения службы
- Text PII принимает текст для анализа. Для получения дополнительной информации см. Ограничения данных и служб в руководстве пользователя.
- PiI работает с различными письменными языками. Дополнительные сведения см. в разделе Поддержка языков. Можно указать, на каких поддерживаемых языках написан исходный текст. Если язык не указан, извлечение по умолчанию используется на английском языке. API может возвращать смещения в ответе для поддержки различных многоязычных кодировок и эмодзи.
Ответственное применение ИИ
Система ИИ включает не только технологию, но и людей, которые используют ее, людей, пострадавших от нее, и среды развертывания. Ознакомьтесь с примечанием о прозрачности для персональных данных, чтобы узнать больше об ответственном использовании и развертывании искусственного интеллекта в своих системах. Дополнительные сведения см. в следующих статьях:
- Примечание о прозрачности для языка Azure в средствах Foundry
- Интеграция и ответственное использование
- Данные, конфиденциальность и безопасность
Пример сценариев
- Применяйте метки конфиденциальности. Например, на основе результатов службы по обнаружению персональных данных публичная метка конфиденциальности может применяться к документам, в которых персональные данные не выявлены. Для документов, в которых распознаются адреса и номера телефонов США, может применяться метка "конфиденциально". Метка высокого уровня конфиденциальности может использоваться для документов, в которых распознаются номера маршрутизации банка.
- Отредактировать некоторые категории персональных данных из документов, которые получают более широкий оборот . Например, если записи контактов клиентов доступны сотрудникам службы поддержки первого уровня, компания может удалить личную информацию клиента, помимо их имени, из версии журнала клиентов для сохранения конфиденциальности клиента.
- Отредактируйте личную информацию, чтобы уменьшить бессознательную предвзятость. Например, во время процесса рассмотрения резюме в компании, они могут скрывать имя, адрес и номер телефона, чтобы помочь уменьшить бессознательные гендерные или другие предвзятости.
- Замена персональных данных в исходных данных машинного обучения, чтобы снизить несправедливость. Например, если вы хотите удалить имена, которые могут выявить пол при обучении модели машинного обучения, можно использовать службу для их идентификации и заменить их универсальными заполнителями для обучения моделей.
- Удалите персональные данные из транскрипции центра обработки вызовов. Например, если вы хотите удалить имена или другие персональные данные, которые упоминаются в разговоре агента и клиента в сценарии центра обработки вызовов. Служба позволяет выявлять и удалять эти данные.
- Очистка данных для науки о данных - Персонально идентифицируемая информация (PII) может использоваться для подготовки данных, чтобы специалисты и инженеры по данным могли использовать эти данные для обучения своих моделей машинного обучения. Исправление данных, чтобы избежать раскрытия данных клиента.
Следующие шаги
Приступить к использованию функции связывания сущностей можно одним из двух путей:
- Foundry — это веб-платформа, которая позволяет использовать несколько функций языка без необходимости писать код.
- Для получения инструкций по выполнению запросов к службе с использованием REST API и SDK клиентской библиотеки, см. это краткое руководство.