Использование пользовательского API категорий (быстрая версия) (предварительная версия)

Статья
2025-04-10

API настраиваемых категорий (быстрых) позволяет быстро реагировать на возникающие инциденты с вредоносным контентом. Можно определить инцидент с несколькими примерами в определенном разделе, и служба начнет обнаруживать аналогичное содержимое.

Выполните следующие действия, чтобы определить инцидент с несколькими примерами текстового содержимого, а затем проанализировать новое текстовое содержимое, чтобы узнать, соответствует ли инцидент.

Внимание

Эта новая функция доступна только в выборе регионов Azure. Смотрите сведения о доступности региона.

Внимание

Примеры данных в этом руководстве могут содержать оскорбительные материалы. Рекомендуется использовать усмотрение пользователя.

Требуемые условия

подписка Azure — создайте бесплатную учетную запись.
После получения подписки Azure в портале Azure, чтобы получить ключ и конечную точку. Введите уникальное имя ресурса, выберите подписку и выберите группу ресурсов, поддерживаемый регион (см . доступность региона) и поддерживаемую ценовую категорию. Затем выберите Создать.
- Развертывание ресурса занимает несколько минут. После завершения выберите перейти к ресурсу. В области слева в разделе "Управление ресурсами" выберите "Ключ подписки" и "Конечная точка". Конечная точка и любой из ключей используются для вызова API.
Также создайте контейнер хранилища объектов BLOB, если вы хотите отправить изображения туда. Вы также можете кодировать изображения как строки Base64 и использовать их непосредственно в вызовах API.
Одна из следующих установленных программ:
- cURL для вызовов REST API.
- Установлен Python 3.x

Тестирование API пользовательских категорий текста (быстрый)

Используйте пример кода в этом разделе для создания текстового инцидента, добавления примеров в инцидент, развертывания инцидента и обнаружения текстовых инцидентов.

В приведенных ниже командах замените <your_api_key>и <your_endpoint>другие необходимые параметры собственными значениями.

Следующая команда создает инцидент с именем и определением.

curl --location --request PATCH 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{ \"incidentName\": \"<test-incident>\", \"incidentDefinition\": \"<string>\"}'

Сначала необходимо установить необходимую библиотеку Python:

pip install requests

Затем определите необходимые переменные с собственными сведениями о ресурсе Azure:

import requests

API_KEY = '<your_api_key>'
ENDPOINT = '<your_endpoint>'

headers = {
    'Ocp-Apim-Subscription-Key': API_KEY,
    'Content-Type': 'application/json'
}

Следующая команда создает инцидент с именем и определением.

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview"

payload = json.dumps({
  "incidentName": "<text-incident-name>",
  "incidentDefinition": "string"
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("PATCH", url, headers=headers, data=payload)

print(response.text)

Добавьте примеры к инциденту

Используйте следующую команду, чтобы добавить в инцидент примеры текста.

cURL
Python

curl --location 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:addIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data-raw '{
  \"IncidentSamples\": [
    { \"text\":    \"<text-example-1>\"},
    { \"text\":    \"<text-example-2>\"},
    ...
  ]
}'

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:addIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSamples": [
    {
      "text": "<text-example-1>"
    },
    {
      "text": "<text-example-1>"
    },
    ...
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Развертывание инцидента

Используйте следующую команду для развертывания инцидента, что делает его доступным для анализа нового содержимого.

cURL
Python

curl --location 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:deploy?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json'

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:deploy?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Обнаружьте текстовые инциденты

Выполните следующую команду, чтобы проанализировать пример текстового содержимого только что развернутого инцидента.

cURL
Python

curl --location 'https://<endpoint>/contentsafety/text:detectIncidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"text\":  \"<test-text>\",
  \"incidentNames\": [
    \"<text-incident-name>\"
  ]
}'

import requests
import json

url = "https://<endpoint>/contentsafety/text:detectIncidents?api-version=2024-02-15-preview"

payload = json.dumps({
  "text": "<test-text>",
  "incidentNames": [
    "<text-incident-name>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Тестирование API пользовательских категорий изображений (быстрый)

Используйте пример кода в этом разделе для создания инцидента изображения, добавления образцов в инцидент, развертывания инцидента и обнаружения инцидентов изображений.

Создать инцидент

cURL
Python

Следующая команда создает изображение.

curl --location --request PATCH 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"incidentName\": \"<image-incident-name>\"
}'

Убедитесь, что установлены необходимые библиотеки Python:

pip install requests

Определите необходимые переменные с собственными сведениями о ресурсе Azure:

import requests

API_KEY = '<your_api_key>'
ENDPOINT = '<your_endpoint>'

headers = {
    'Ocp-Apim-Subscription-Key': API_KEY,
    'Content-Type': 'application/json'
}

Следующая команда создает инцидент образа:

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview"

payload = json.dumps({
  "incidentName": "<image-incident-name>"
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("PATCH", url, headers=headers, data=payload)

print(response.text)

Добавьте примеры к инциденту

Используйте следующую команду, чтобы добавить примеры изображений в инцидент. Примеры изображений могут быть URL-адресами, указывающими на изображения в контейнере хранилища BLOB-объектов Azure или строками Base64.

cURL
Python

curl --location 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:addIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"IncidentSamples\": [
    {
      \"image\": {
        \"content\": \"<base64-data>\",
        \"bloburl\": \"<your-blob-storage-url>.png\"
      }
    }
  ]
}'

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:addIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSamples": [
    {
      "image": {
        "content": "<base64-data>",
        "bloburl": "<your-blob-storage-url>/image.png"
      }
    }
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Развертывание инцидента

cURL
Python

curl --location 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:deploy?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json'

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:deploy?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Обнаружение инцидентов изображений

Используйте следующую команду, чтобы отправить образец и протестировать его в отношении развернутого инцидента. Можно использовать URL-адрес, указывающий на изображение в контейнере хранилища BLOB-объектов Azure, или добавить данные изображения в виде строки Base64.

cURL
Python

curl --location 'https://<endpoint>/contentsafety/image:detectIncidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
    \"image\": {
      \"url\": \"<your-blob-storage-url>/image.png\",
      "content": "<base64-data>"
    },
    \"incidentNames\": [
      \"<image-incident-name>\"
    ]
  }
}'

import requests
import json

url = "https://<endpoint>/contentsafety/image:detectIncidents?api-version=2024-02-15-preview"

payload = json.dumps({
  "image": {
    "url": "<your-blob-storage-url>/image.png",
    "content": "<base64-data>"
  },
  "incidentNames": [
    "<image-incident-name>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Другие мероприятия, связанные с инцидентами

Следующие операции полезны для управления инцидентами и примерами инцидентов.

API текстовых инцидентов

Перечисление всех инцидентов

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/text/incidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/text/incidents?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Получение сведений об инциденте

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Удаление инцидента

cURL
Python

curl --location --request DELETE 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("DELETE", url, headers=headers, data=payload)

print(response.text)

Список всех примеров под инцидентом

Эта команда извлекает уникальные идентификаторы всех примеров, связанных с заданным объектом инцидента.

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Получение сведений о примере инцидента

Используйте идентификатор образца инцидента для поиска сведений об этом образце.

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Удаление примера инцидента

Используйте идентификатор образца инцидента, чтобы извлечь и удалить этот образец.

cURL
Python

curl --location 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"IncidentSampleIds\": [
    \"<your-incident-sample-id>\"
  ]
}'

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSampleIds": [
    "<your-incident-sample-id>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

API инцидентов с изображениями

Получение списка инцидентов

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/image/incidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/image/incidents?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Получение сведений об инциденте

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Удалить инцидент

cURL
Python

curl --location --request DELETE 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("DELETE", url, headers=headers, data=payload)

print(response.text)

Перечислите все образцы в рамках инцидента

Эта команда извлекает уникальные идентификаторы всех примеров, связанных с заданным объектом инцидента.

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Получение образцов сведений об инциденте

Используйте идентификатор образца инцидента для поиска сведений об образце.

cURL
Python

curl --location GET 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

Удаление примера инцидента

Используйте образец идентификатора инцидента для извлечения и удаления этого образца.

cURL
Python

curl --location 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"IncidentSampleIds\": [
    \"<your-incident-sample-id>\"
  ]
}'

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSampleIds": [
    "<your-incident-sample-id>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

Поделиться через

Использование пользовательского API категорий (быстрая версия) (предварительная версия)

Требуемые условия

Тестирование API пользовательских категорий текста (быстрый)

Создание объекта инцидента

Добавьте примеры к инциденту

Развертывание инцидента

Обнаружьте текстовые инциденты

Тестирование API пользовательских категорий изображений (быстрый)

Создать инцидент

Добавьте примеры к инциденту

Развертывание инцидента

Обнаружение инцидентов изображений

Другие мероприятия, связанные с инцидентами

API текстовых инцидентов

Перечисление всех инцидентов

Получение сведений об инциденте

Удаление инцидента

Список всех примеров под инцидентом

Получение сведений о примере инцидента

Удаление примера инцидента

API инцидентов с изображениями

Получение списка инцидентов

Получение сведений об инциденте

Удалить инцидент

Перечислите все образцы в рамках инцидента

Получение образцов сведений об инциденте

Удаление примера инцидента

Связанный контент

Обратная связь

Дополнительные ресурсы