Быстрый старт: Обнаружение персонально идентифицируемой информации (PII)

Справочная документация | Больше примеров | |

В этом кратком руководстве описано, как создать приложение для обнаружения личных сведений с использованием клиентской библиотеки для .NET. В следующем примере создается приложение C#, которое может определять распознанные конфиденциальные данные в тексте.

Требования

• Подписка Azure — создайте бесплатную учетную запись.
• После получения подписки Azure создайте ресурс Foundry.
• Интегрированная среда разработки Visual Studio.

Настройка

Создание переменной среды

Приложение должно пройти проверку подлинности для отправки запросов API. Для рабочей среды используйте безопасный способ хранения и доступа к учетным данным. В этом примере учетные данные записываются в переменные среды на локальном компьютере, на котором запущено приложение.

Чтобы задать переменную среды для ключа ресурса языка, откройте окно консоли и следуйте инструкциям в вашей операционной системе и среде разработки.

• Чтобы задать LANGUAGE_KEY переменную среды, замените your-key одним из ключей ресурса.
• Для задания переменной среды замените LANGUAGE_ENDPOINT на конечную точку для вашего ресурса.

setx LANGUAGE_KEY your-key

setx LANGUAGE_ENDPOINT your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

Создание приложения .NET Core

С помощью интегрированной среды разработки Visual Studio создайте консольное приложение .NET Core. При этом создается проект Hello World с одним исходным файлом C#: program.cs.

Установите клиентную библиотеку, щелкнув решение правой кнопкой мыши в обозревателе решений и выбрав пункт "Управление пакетами NuGet". В открывшемся диспетчере пакетов выберите Просмотр и выполните поиск по запросу Azure.AI.TextAnalytics. Выберите версию 5.2.0, а затем Установить. Вы также можете использовать консоль диспетчера пакетов.

Пример кода

Скопируйте следующий код в файл program.cs и запустите код.

using Azure;
using System;
using Azure.AI.TextAnalytics;

namespace Example
{
    class Program
    {
        // This example requires environment variables named "LANGUAGE_KEY" and "LANGUAGE_ENDPOINT"
        static string languageKey = Environment.GetEnvironmentVariable("LANGUAGE_KEY");
        static string languageEndpoint = Environment.GetEnvironmentVariable("LANGUAGE_ENDPOINT");

        private static readonly AzureKeyCredential credentials = new AzureKeyCredential(languageKey);
        private static readonly Uri endpoint = new Uri(languageEndpoint);

        // Example method for detecting sensitive information (PII) from text 
        static void RecognizePIIExample(TextAnalyticsClient client)
        {
            string document = "Call our office at 312-555-1234, or send an email to [email protected].";
        
            PiiEntityCollection entities = client.RecognizePiiEntities(document).Value;
        
            Console.WriteLine($"Redacted Text: {entities.RedactedText}");
            if (entities.Count > 0)
            {
                Console.WriteLine($"Recognized {entities.Count} PII entit{(entities.Count > 1 ? "ies" : "y")}:");
                foreach (PiiEntity entity in entities)
                {
                    Console.WriteLine($"Text: {entity.Text}, Category: {entity.Category}, SubCategory: {entity.SubCategory}, Confidence score: {entity.ConfidenceScore}");
                }
            }
            else
            {
                Console.WriteLine("No entities were found.");
            }
        }

        static void Main(string[] args)
        {
            var client = new TextAnalyticsClient(endpoint, credentials);
            RecognizePIIExample(client);

            Console.Write("Press any key to exit.");
            Console.ReadKey();
        }

    }
}

Выходные данные

Redacted Text: Call our office at ************, or send an email to *******************.
Recognized 2 PII entities:
Text: 312-555-1234, Category: PhoneNumber, SubCategory: , Confidence score: 0.8
Text: [email protected], Category: Email, SubCategory: , Confidence score: 0.8

Справочная документация | Дополнительные примеры | Пакет (Maven) | Исходный код библиотеки

В этом кратком руководстве описано, как создать приложение для обнаружения личных сведений с использованием клиентской библиотеки для Java. В следующем примере вы создадите приложение Java, которое может определять распознанные конфиденциальные данные в тексте.

Требования

• Подписка Azure — создайте бесплатную учетную запись.
• После получения подписки Azure создайте ресурс Foundry.
• Пакет разработчиков Java (JDK) версии 8 или более поздней.

Настройка

Создание переменной среды

Приложение должно пройти проверку подлинности для отправки запросов API. Для рабочей среды используйте безопасный способ хранения и доступа к учетным данным. В этом примере учетные данные записываются в переменные среды на локальном компьютере, на котором запущено приложение.

Чтобы задать переменную среды для ключа ресурса языка, откройте окно консоли и следуйте инструкциям в вашей операционной системе и среде разработки.

• Чтобы задать LANGUAGE_KEY переменную среды, замените your-key одним из ключей ресурса.
• Для задания переменной среды замените LANGUAGE_ENDPOINT на конечную точку для вашего ресурса.

setx LANGUAGE_KEY your-key

setx LANGUAGE_ENDPOINT your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

Добавление клиентской библиотеки

Создайте проект Maven в предпочтительной среде разработки или IDE. Потом добавьте следующую зависимость в файл pom.xml проекта. Синтаксис реализации для других средств сборки можно найти в Интернете.

<dependencies>
     <dependency>
        <groupId>com.azure</groupId>
        <artifactId>azure-ai-textanalytics</artifactId>
        <version>5.2.0</version>
    </dependency>
</dependencies>

Пример кода

Создайте файл Java с именем Example.java. Откройте файл и скопируйте приведенный ниже код. Теперь выполните код.

import com.azure.core.credential.AzureKeyCredential;
import com.azure.ai.textanalytics.models.*;
import com.azure.ai.textanalytics.TextAnalyticsClientBuilder;
import com.azure.ai.textanalytics.TextAnalyticsClient;

public class Example {

    // This example requires environment variables named "LANGUAGE_KEY" and "LANGUAGE_ENDPOINT"
    private static String languageKey = System.getenv("LANGUAGE_KEY");
    private static String languageEndpoint = System.getenv("LANGUAGE_ENDPOINT");

    public static void main(String[] args) {
        TextAnalyticsClient client = authenticateClient(languageKey, languageEndpoint);
        recognizePiiEntitiesExample(client);
    }
    // Method to authenticate the client object with your key and endpoint
    static TextAnalyticsClient authenticateClient(String key, String endpoint) {
        return new TextAnalyticsClientBuilder()
                .credential(new AzureKeyCredential(key))
                .endpoint(endpoint)
                .buildClient();
    }

    // Example method for detecting sensitive information (PII) from text 
    static void recognizePiiEntitiesExample(TextAnalyticsClient client)
    {
        // The text that need be analyzed.
        String document = "My SSN is 859-98-0987";
        PiiEntityCollection piiEntityCollection = client.recognizePiiEntities(document);
        System.out.printf("Redacted Text: %s%n", piiEntityCollection.getRedactedText());
        piiEntityCollection.forEach(entity -> System.out.printf(
            "Recognized Personally Identifiable Information entity: %s, entity category: %s, entity subcategory: %s,"
                + " confidence score: %f.%n",
            entity.getText(), entity.getCategory(), entity.getSubcategory(), entity.getConfidenceScore()));
    }
}

Выходные данные

Redacted Text: My SSN is ***********
Recognized Personally Identifiable Information entity: 859-98-0987, entity category: USSocialSecurityNumber, entity subcategory: null, confidence score: 0.650000.

Справочная документация | Больше примеров | Пакет (npm) | Исходный код библиотеки

В этом кратком руководстве описано, как создать приложение для обнаружения личных сведений с использованием клиентской библиотеки для Node.js. В следующем примере создается приложение JavaScript, которое может определять распознанные конфиденциальные данные в тексте.

Требования

• Подписка Azure — создайте бесплатную учетную запись.
• После получения подписки Azure создайте ресурс Foundry.
• Node.js версии 14 LTS или выше

Настройка

Создание переменной среды

Приложение должно пройти проверку подлинности для отправки запросов API. Для рабочей среды используйте безопасный способ хранения и доступа к учетным данным. В этом примере учетные данные записываются в переменные среды на локальном компьютере, на котором запущено приложение.

Чтобы задать переменную среды для ключа ресурса языка, откройте окно консоли и следуйте инструкциям в вашей операционной системе и среде разработки.

• Чтобы задать LANGUAGE_KEY переменную среды, замените your-key одним из ключей ресурса.
• Для задания переменной среды замените LANGUAGE_ENDPOINT на конечную точку для вашего ресурса.

setx LANGUAGE_KEY your-key

setx LANGUAGE_ENDPOINT your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

Создание нового приложения Node.js

В окне консоли (например, cmd, PowerShell или Bash) создайте новый каталог для приложения и перейдите в него.

mkdir myapp 

cd myapp

Выполните команду npm init, чтобы создать приложение узла с помощью файла package.json.

npm init

Установка клиентской библиотеки

Установите пакет npm:

npm install @azure/ai-text-analytics

Пример кода

Откройте файл и скопируйте приведенный ниже код. Теперь выполните код.

"use strict";

const { TextAnalyticsClient, AzureKeyCredential } = require("@azure/ai-text-analytics");

// This example requires environment variables named "LANGUAGE_KEY" and "LANGUAGE_ENDPOINT"
const key = process.env.LANGUAGE_KEY;
const endpoint = process.env.LANGUAGE_ENDPOINT;

//an example document for pii recognition
const documents = [ "The employee's phone number is (555) 555-5555." ];

async function main() {
    console.log(`PII recognition sample`);
  
    const client = new TextAnalyticsClient(endpoint, new AzureKeyCredential(key));
  
    const documents = ["My phone number is 555-555-5555"];
  
    const [result] = await client.analyze("PiiEntityRecognition", documents, "en");
  
    if (!result.error) {
      console.log(`Redacted text: "${result.redactedText}"`);
      console.log("Pii Entities: ");
      for (const entity of result.entities) {
        console.log(`\t- "${entity.text}" of type ${entity.category}`);
      }
    }
}

main().catch((err) => {
console.error("The sample encountered an error:", err);
});

Выходные данные

PII recognition sample
Redacted text: "My phone number is ************"
Pii Entities:
        - "555-555-5555" of type PhoneNumber

Справочная документация | Больше примеров | Пакет (PyPi) | Исходный код библиотеки

В этом кратком руководстве описано, как создать приложение для обнаружения личных сведений с использованием клиентской библиотеки для Python. В следующем примере показано, как создать приложение Python, которое может определять распознанную конфиденциальную информацию в тексте.

Требования

• Подписка Azure — создайте бесплатную учетную запись.
• После получения подписки Azure создайте ресурс Foundry.
• Python 3.8 или более поздней версии

Настройка

Создание переменной среды

Приложение должно пройти проверку подлинности для отправки запросов API. Для рабочей среды используйте безопасный способ хранения и доступа к учетным данным. В этом примере учетные данные записываются в переменные среды на локальном компьютере, на котором запущено приложение.

Чтобы задать переменную среды для ключа ресурса языка, откройте окно консоли и следуйте инструкциям в вашей операционной системе и среде разработки.

• Чтобы задать LANGUAGE_KEY переменную среды, замените your-key одним из ключей ресурса.
• Для задания переменной среды замените LANGUAGE_ENDPOINT на конечную точку для вашего ресурса.

setx LANGUAGE_KEY your-key

setx LANGUAGE_ENDPOINT your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

Установка клиентской библиотеки

После установки Python вы можете установить клиентскую библиотеку с помощью следующей команды:

pip install azure-ai-textanalytics==5.2.0

Пример кода

Создайте файл Python и скопируйте код ниже. Теперь выполните код.

# This example requires environment variables named "LANGUAGE_KEY" and "LANGUAGE_ENDPOINT"
language_key = os.environ.get('LANGUAGE_KEY')
language_endpoint = os.environ.get('LANGUAGE_ENDPOINT')

from azure.ai.textanalytics import TextAnalyticsClient
from azure.core.credentials import AzureKeyCredential

# Authenticate the client using your key and endpoint 
def authenticate_client():
    ta_credential = AzureKeyCredential(language_key)
    text_analytics_client = TextAnalyticsClient(
            endpoint=language_endpoint, 
            credential=ta_credential)
    return text_analytics_client

client = authenticate_client()

# Example method for detecting sensitive information (PII) from text 
def pii_recognition_example(client):
    documents = [
        "The employee's SSN is 859-98-0987.",
        "The employee's phone number is 555-555-5555."
    ]
    response = client.recognize_pii_entities(documents, language="en")
    result = [doc for doc in response if not doc.is_error]
    for doc in result:
        print("Redacted Text: {}".format(doc.redacted_text))
        for entity in doc.entities:
            print("Entity: {}".format(entity.text))
            print("\tCategory: {}".format(entity.category))
            print("\tConfidence Score: {}".format(entity.confidence_score))
            print("\tOffset: {}".format(entity.offset))
            print("\tLength: {}".format(entity.length))
pii_recognition_example(client)

Выходные данные

Redacted Text: The ********'s SSN is ***********.
Entity: employee
        Category: PersonType
        Confidence Score: 0.97
        Offset: 4
        Length: 8
Entity: 859-98-0987
        Category: USSocialSecurityNumber
        Confidence Score: 0.65
        Offset: 22
        Length: 11
Redacted Text: The ********'s phone number is ************.
Entity: employee
        Category: PersonType
        Confidence Score: 0.96
        Offset: 4
        Length: 8
Entity: 555-555-5555
        Category: PhoneNumber
        Confidence Score: 0.8
        Offset: 31
        Length: 12

Справочная документация

В этом кратком руководстве представлено, как быстро начать отправку запросов на обнаружение персональной информации (PII) с использованием REST API. В следующем примере показано, как использовать cURL для идентификации распознанной конфиденциальной информации в тексте.

Требования

• Подписка Azure — создайте бесплатную учетную запись.
• После получения подписки Azure создайте ресурс Foundry.

Настройка

Создание переменной среды

Приложение должно пройти проверку подлинности для отправки запросов API. Для рабочей среды используйте безопасный способ хранения и доступа к учетным данным. В этом примере учетные данные записываются в переменные среды на локальном компьютере, на котором запущено приложение.

Чтобы задать переменную среды для ключа ресурса языка, откройте окно консоли и следуйте инструкциям в вашей операционной системе и среде разработки.

• Чтобы задать LANGUAGE_KEY переменную среды, замените your-key одним из ключей ресурса.
• Для задания переменной среды замените LANGUAGE_ENDPOINT на конечную точку для вашего ресурса.

setx LANGUAGE_KEY your-key

setx LANGUAGE_ENDPOINT your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

export LANGUAGE_KEY=your-key

export LANGUAGE_ENDPOINT=your-endpoint

Создание JSON-файла с примером текста запроса

В редакторе кода создайте файл с именем test_pii_payload.json и скопируйте следующий пример JSON. Этот пример запроса будет отправлен в API на следующем шаге.

{
    "kind": "PiiEntityRecognition",
    "parameters": {
        "modelVersion": "latest"
    },
    "analysisInput":{
        "documents":[
            {
                "id":"1",
                "language": "en",
                "text": "Call our office at 312-555-1234, or send an email to [email protected]"
            }
        ]
    }
}
'

Сохраните test_pii_payload.json где-то на компьютере. Например, рабочий стол.

Отправьте запрос API для определения личной информации (PII)

Используйте следующие команды, чтобы отправить запрос API с помощью используемой программы. Скопируйте команду в терминал и запустите ее.

curl -X POST "%LANGUAGE_ENDPOINT%/language/:analyze-text?api-version=2022-05-01" ^
-H "Content-Type: application/json" ^
-H "Ocp-Apim-Subscription-Key: %LANGUAGE_KEY%" ^
-d "@C:\Users\<myaccount>\Desktop\test_pii_payload.json"

curl.exe -X POST $env:LANGUAGE_ENDPOINT/language/:analyze-text?api-version=2022-05-01 `
-H "Content-Type: application/json" `
-H "Ocp-Apim-Subscription-Key: $env:LANGUAGE_KEY" `
-d "@C:\Users\<myaccount>\Desktop\test_pii_payload.json"

curl -X POST $LANGUAGE_ENDPOINT/language/:analyze-text?api-version=2022-05-01 \
-H "Content-Type: application/json" \
-H "Ocp-Apim-Subscription-Key: $LANGUAGE_KEY" \
-d "@/home/mydir/test_pii_payload.json"

curl -X POST $LANGUAGE_ENDPOINT/language/:analyze-text?api-version=2022-05-01 \
-H "Content-Type: application/json" \
-H "Ocp-Apim-Subscription-Key: $LANGUAGE_KEY" \
-d "@/home/mydir/test_pii_payload.json"

Ответ JSON

{
	"kind": "PiiEntityRecognitionResults",
	"results": {
		"documents": [{
			"redactedText": "Call our office at ************, or send an email to *******************",
			"id": "1",
			"entities": [{
				"text": "312-555-1234",
				"category": "PhoneNumber",
				"offset": 19,
				"length": 12,
				"confidenceScore": 0.8
			}, {
				"text": "[email protected]",
				"category": "Email",
				"offset": 53,
				"length": 19,
				"confidenceScore": 0.8
			}],
			"warnings": []
		}],
		"errors": [],
		"modelVersion": "2021-01-15"
	}
}

Требования

• Подписка Azure. Если у вас нет учетной записи, вы можете создать ее бесплатно.
• Необходимые разрешения. Убедитесь, что пользователь, устанавливающий учетную запись и проект, назначен в качестве роли владельца учетной записи ИИ Azure на уровне подписки. Кроме того, роль Участника или Участника Cognitive Services в области подписки также соответствует этому требованию. Дополнительные сведения см. в разделе"Управление доступом на основе ролей" (RBAC).
• Ресурс Foundry. Дополнительные сведения см. в разделе"Настройка ресурса Foundry". Кроме того, можно использовать ресурс языка.
• Проект Foundry, созданный в Foundry. Дополнительные сведения см. в разделе"Создание проекта Foundry".