Что такое безопасность содержимого ИИ Azure?

Безопасность содержимого ИИ Azure — это служба искусственного интеллекта, которая обнаруживает вредное содержимое, созданное пользователем и ИИ, в приложениях и службах. Безопасность содержимого ИИ Azure включает API текста и изображения, которые позволяют обнаруживать материалы, которые являются вредными. Интерактивная среда Content Safety Studio позволяет просматривать, изучать и пробовать пример кода для обнаружения вредного содержимого в разных модальности.

Программное обеспечение фильтрации содержимого может помочь вашему приложению соответствовать нормативным требованиям или поддерживать предназначенную среду для пользователей.

Эта документация включает статьи следующих типов:

• Статьи с основными понятиями — здесь подробно описываются функциональность и возможности службы.
• Краткие руководства — инструкции по началу работы и отправке запросов в службу.
• Руководства — содержат инструкции для более специфического или специализированного использования службы.

Где используется

Ниже приведены несколько сценариев, в которых разработчику программного обеспечения или команде требуется служба модерации контента:

• Запросы пользователей, отправленные в сервис генеративного искусственного интеллекта.
• Содержимое, созданное с помощью моделей генерированных ИИ.
• интернет-магазины с модерацией каталогов продукции и создаваемого пользователями содержимого;
• компании-разработчики игр, которые модерируют создаваемые пользователями игровые артефакты и чаты;
• Социальные платформы обмена сообщениями, которые модерируют изображения и текст, добавленные пользователями.
• корпоративные медиакомпании, внедряющие централизованную модерацию своего содержимого;
• поставщики образовательных решений K-12, фильтрующие неуместное содержимое для учащихся и преподавателей.

Возможности продукта

Эта служба предоставляет несколько различных типов анализа. В следующей таблице описаны доступные в настоящее время API.

Студия безопасности содержимого

Azure AI Content Safety Studio — это онлайн-средство, предназначенное для обработки потенциально оскорбительного, рискованного или нежелательного контента с помощью передовых моделей машинного обучения. Он предоставляет шаблоны и настраиваемые рабочие процессы, позволяя пользователям выбирать и создавать собственную систему модерации контента. Пользователи могут отправить собственное содержимое или попробовать его с предоставленным примером содержимого.

Content Safety Studio не только содержит стандартные модели ИИ, но и встроенные списки терминов Майкрософт, чтобы пометить ненормативность и оставаться в курсе новых тенденций контента. Вы также можете отправить собственные блок-списки, чтобы повысить охват вредного содержимого, относящееся к вашему варианту использования.

Studio также позволяет настроить порядок действий модерации, благодаря которому можно непрерывно отслеживать и улучшать производительность модерации контента. Это поможет вам удовлетворить требования к контенту от всех видов отраслей, таких как игры, медиа, образование, электронная коммерция и многое другое. Предприятия могут легко подключать свои услуги к Студии и модерировать их контент в режиме реального времени, будь то созданный пользователем или ИИ.

Все эти возможности обрабатываются студией и серверной частью; клиентам не нужно беспокоиться о разработке моделей. Вы можете подключить данные для быстрой проверки и отслеживать ключевые показатели эффективности соответствующим образом, такие как технические метрики (задержка, точность, отзыв) или бизнес-метрики (скорость блокировки, объем блоков, пропорции категорий, языковые пропорции и многое другое). С помощью простых операций и конфигураций клиенты могут быстро тестировать различные решения и находить оптимальные варианты, а не тратить время на эксперименты с пользовательскими моделями или выполнять модерацию вручную.

Функции Content Safety Studio

В Студии безопасности содержимого доступны следующие функции безопасности содержимого ИИ Azure:

• Умеренное текстовое содержимое. С помощью средства модерации текста можно легко выполнять тесты на текстовом содержимом. Независимо от того, хотите ли вы протестировать одно предложение или весь набор данных, наше средство предлагает удобный пользовательский интерфейс, который позволяет оценить результаты теста непосредственно на портале. Вы можете поэкспериментировать с различными уровнями конфиденциальности для настройки фильтров содержимого и управления блок-списками, гарантируя, что содержимое всегда модерировано до точных спецификаций. Кроме того, с возможностью экспорта кода вы можете реализовать средство непосредственно в приложении, оптимизируя рабочий процесс и экономя время.

• Умеренное содержимое изображения. С помощью средства модерации изображений можно легко выполнять тесты на изображениях, чтобы обеспечить соответствие стандартам содержимого. Наш пользовательский интерфейс позволяет оценить результаты теста непосредственно на портале, и вы можете экспериментировать с различными уровнями конфиденциальности для настройки фильтров содержимого. После настройки параметров можно легко экспортировать код для реализации средства в приложении.

• Мониторинг активности в Интернете: мощная страница мониторинга позволяет легко отслеживать использование и тенденции использования API модерации в различных модальности. С помощью этой функции вы можете получить доступ к подробным сведениям об ответе, включая распределение категорий и серьезности, задержку, ошибку и обнаружение списка блокировок. Эта информация предоставляет вам полный обзор производительности модерации контента, позволяя оптимизировать ваш рабочий процесс и гарантировать, что ваше содержимое всегда модерируется в соответствии с вашими точными спецификациями. С помощью нашего удобного интерфейса вы можете быстро и легко начать навигацию по странице мониторинга, чтобы получить доступ к информации, необходимой для принятия обоснованных решений о стратегии модерации контента. У вас есть инструменты, необходимые для того, чтобы оставаться на вершине вашей режим палатки производительности и достичь целей содержимого.

Безопасность

Идентификатор Microsoft Entra или Управляемое удостоверение

Для повышения безопасности можно использовать идентификатор Microsoft Entra или Управляемое удостоверение (MI) для управления доступом к ресурсам.

• Управляемое удостоверение включается автоматически при создании ресурса безопасности контента.
• Идентификатор Microsoft Entra поддерживается как в сценариях API, так и в пакетах SDK. Ознакомьтесь с общим руководством по службам искусственного интеллекта в разделе Аутентификация с помощью Microsoft Entra ID. Вы также можете предоставить доступ другим пользователям в организации, назначив им роли пользователей и читателей Cognitive Services. Дополнительные сведения о предоставлении пользователям доступа к ресурсам Azure с помощью портал Azure см. в руководстве по управлению доступом на основе ролей.

Шифрование неактивных данных

Шифрование

Узнайте, как безопасность содержимого ИИ Azure обрабатывает шифрование и расшифровку данных. Управляемые клиентом ключи (CMK), также известные как "Принести собственный ключ" (BYOK), обеспечивают большую гибкость для создания, поворота, отключения и отзыва элементов управления доступом. Они также дают возможность выполнять аудит ключей шифрования, используемых для защиты ваших данных.

Цены

Безопасность содержимого ИИ Azure имеет ценовую категорию F0 и S0 . Дополнительные сведения см. на странице цен Azure.

Лимиты услуг

Требования к входным данным

См. следующий список для требований к входным данным для каждой функции.

• API анализа текста
  • Максимальная длина по умолчанию: 10K символов (при необходимости разбивайте более длинные тексты).
• Анализ API изображений:
  • Максимальный размер файла изображения: 4 МБ
  • Размеры от 50 x 50 до 7200 x 7200 пикселей.
  • Изображения могут быть в форматах JPEG, PNG, GIF, BMP, TIFF или WEBP.
• Анализ мультимодального API (предварительная версия):
  • Максимальная длина текста по умолчанию: 1K символов.
  • Максимальный размер файла изображения: 4 МБ
  • Размеры от 50 x 50 до 7200 x 7200 пикселей.
  • Изображения могут быть в форматах JPEG, PNG, GIF, BMP, TIFF или WEBP.
• Prompt Shields API:
  • Максимальная длина запроса: 10K символов.
  • До пяти документов с общей сложности 10K символов.
• API обнаружения релевантности (предварительная версия)
  • Максимальная длина источников заземления: 55 000 символов (на вызов API).
  • Максимальная длина текста и запроса: 7500 символов.
  • Минимальная длина запроса: 3 слова.
• Api обнаружения защищенных материалов:
  • Максимальная длина по умолчанию: 10K символов.
  • Минимальная длина по умолчанию: 110 символов (для сканирования завершения LLM, а не запросов пользователей).
• API пользовательских категорий (стандартные) (предварительный просмотр):
  • Максимальная длина входных данных вывода: 1K символов.

Поддержка языков

Модели безопасности содержимого ИИ Azure для защищенного материала, обнаружения заземления и пользовательских категорий (стандартные) работают только с английским языком.

Другие модели безопасности содержимого ИИ Azure специально обучены и протестированы на следующих языках: китайский, английский, французский, немецкий, испанский, итальянский, японский, португальский. Однако эти функции могут работать на многих других языках, но качество может отличаться. В любом случае вам следует провести собственное тестирование, чтобы убедиться, что она работает для вашего приложения.

Дополнительные сведения см. в разделе "Поддержка языков".

Доступность по регионам

Чтобы использовать API безопасности содержимого, необходимо создать ресурс безопасности содержимого Azure в поддерживаемом регионе. В настоящее время функции безопасности содержимого доступны в следующих регионах Azure с различными версиями API:

Вы можете связываться с нами, если вашему бизнесу нужно, чтобы другие регионы были доступны.

Скорость запросов

Функции безопасности содержимого имеют ограничения на частоту запросов в запросах в секунду (RPS) или запросах на 10 секунд (RP10S). В следующей таблице приведены значения ограничения скорости для каждой функции.

Если вам нужна более быстрая ставка, обратитесь к нам , чтобы запросить его.

Свяжитесь с нами

Если вы застряли, отправьте нам сообщение или используйте мини-приложение обратной связи в нижней части любой страницы Microsoft Learn.

Следующие шаги

Следуйте краткому руководству, чтобы приступить к работе с безопасностью содержимого ИИ Azure в приложении.