Агент для красных команд по искусственному интеллекту

Агент Red Teaming для искусственного интеллекта — это мощный инструмент, предназначенный для упреждающего поиска рисков безопасности, связанных с генеративными системами ИИ во время их проектирования и разработки моделей и приложений генеративного ИИ.

Традиционное проведение "красных команд" включает эксплуатацию цепочки кибер-атак и процесс проверки системы на уязвимости. Тем не менее, с ростом генеративного ИИ был введен термин AI red teaming для обозначения выявления новых рисков (как связанных с содержанием, так и с безопасностью), которые эти системы представляют, и обозначает имитацию поведения враждебного пользователя, который пытается спровоцировать неправильное поведение вашей системы искусственного интеллекта.

Агент редтиминга ИИ использует платформу с открытым исходным кодом Microsoft для средств идентификации рисков для Python (PyRIT) и инструменты оценки рисков и безопасности Microsoft Foundry, чтобы помочь вам автоматически оценить проблемы безопасности тремя способами:

• Автоматическое сканирование рисков содержимого: Во-первых, вы можете автоматически сканировать модель и конечные точки приложений для рисков безопасности, имитируя состязательный анализ.
• Оцените успешность зондирования: Затем вы можете оценить и присвоить оценку каждой паре атака-ответ, чтобы создать аналитические метрики, такие как показатель успешности атак (ASR).
• Отчеты и ведение журнала Наконец, вы можете создать карту оценки методов анализа атак и категорий рисков, чтобы помочь вам решить, готова ли система к развертыванию. Результаты можно регистрировать, отслеживать и отслеживать с течением времени непосредственно в Foundry, обеспечивая соответствие требованиям и непрерывное устранение рисков.

Вместе эти компоненты (сканирование, оценка и отчеты) помогают командам понять, как системы ИИ реагируют на распространенные атаки, в конечном итоге управляя комплексной стратегией управления рисками.

Когда следует использовать агент ИИ Red Teaming

При рассмотрении связанных с ИИ рисков безопасности и разработке надежных систем ИИ Microsoft использует структуру NIST для эффективного снижения риска: Управление, Картирование, Оценка, Управление процессами. В следующих разделах основное внимание уделяется последним трем частям в контексте жизненного цикла разработки генеративного ИИ.

• Карта: определение соответствующих рисков и определение варианта использования.
• Мера. Оценка рисков в масштабе.
• Управление. Устранение рисков в рабочей среде и мониторинг с помощью плана реагирования на инциденты.

Агент Red Teaming для искусственного интеллекта можно использовать для запуска автоматизированных проверок и имитации состязательной проверки, чтобы ускорить идентификацию и оценку известных рисков в масштабе. Это помогает командам "перейти влево" от дорогостоящих реактивных инцидентов к более упреждающим платформам тестирования, которые могут перехватывать проблемы перед развертыванием. Процесс мануальной красной команды для систем искусственного интеллекта требует значительных времени и ресурсов. Он полагается на творчество специалистов по безопасности и защите для имитации враждебного тестирования. Этот процесс может создать узкие места для многих организаций для ускорения внедрения искусственного интеллекта. С помощью агента Red Teaming ai организации теперь могут использовать глубокий опыт Microsoft для масштабирования и ускорения разработки ИИ с помощью надежного ИИ на переднем крае.

Используйте агент искусственного интеллекта для Red Teaming для запуска автоматизированного сканирования на протяжении всего этапа проектирования, разработки и предварительного развертывания.

• Проектирование. Выбор самой безопасной базовой модели в вашем варианте использования.
• Разработка: обновление моделей в приложении или создание точно настроенных моделей для конкретного приложения.
• Перед развертыванием приложений и агентов GenAI в рабочей среде.
• Отслеживайте ваши приложения и агентов генеративного ИИ после развертывания, используя запланированные непрерывные запуски тестирования красной командой на искусственных состязательных данных.

В рабочей среде рекомендуется реализовать фильтры safety guardrail например фильтры Безопасность содержимого ИИ Azure или реализацию системных сообщений безопасности с помощью наших templates. Для агентских рабочих процессов мы рекомендуем использовать управляющую плоскость Foundry для применения направляющих и управления группой агентов.

Как работает красная команда ИИ

Агент Red Teaming для искусственного интеллекта помогает автоматизировать имитацию состязательной проверки целевой системы ИИ. Он предоставляет отобранный набор данных начальных запросов или целей атаки по поддерживаемым категориям рисков. Их можно использовать для автоматизации прямого атакующего проверки. Однако прямое исследование уязвимостей может легко выявляться существующими мерами безопасности при развертывании модели. Применение стратегий атак из PyRIT обеспечивает дополнительное преобразование, которое может помочь обойти или подорвать систему ИИ и вынудить ее создать нежелательное содержимое.

На схеме показано, что прямой запрос к системе ИИ о том, как разграбить банк активирует ответ на отказ. Однако применение стратегии атаки, например перевернуть все символы, может помочь обмануть модель в ответ на вопрос.

Кроме того, агент Red Teaming для искусственного интеллекта предоставляет пользователям тонко настроенную состязательную модель большого языка, предназначенную для проведения моделирования состязательных атак и оценки ответов с возможным вредным содержимым с помощью средств оценки рисков и безопасности. Ключевая метрика для оценки состояния риска системы ИИ — это частота успешного выполнения атак (ASR), которая вычисляет процент успешных атак по количеству общих атак.

Поддерживаемые категории рисков

Следующие категории рисков поддерживаются в агенте ИИ Red Teaming из оценки рисков и безопасности. Поддерживаются только текстовые сценарии.

Агентические риски

Для категорий рисков, связанных с определёнными агентами, таких как запрещённые действия, утечка конфиденциальных данных и соблюдение задач, требуется подход к автоматизированной red team, который отличается от подхода исключительно к категориям рисков модели. В частности, агент ИИ Red Teaming больше не ограничивается проверкой созданных выходных данных, но также проверяет выходные данные инструмента для выявления небезопасного или рискованного поведения. Категории агентских рисков доступны только в облачных операциях red-teaming для создания минимально изолированной среды.

Для запуска облачной красной команды мы редактируем вредоносные или состязательные входные данные, отправленные в модель или агент из результирующих результатов красной команды. Это предотвращает разработчиков и нетехнических заинтересованных лиц от воздействия потенциально вредоносных атак, созданных в ходе операций команды ИИ Red Teaming Agent.

Для категорий рисков агента в моделировании красной команды мы убеждаемся, что при маневре моделирования красной команды, направленном на агента, размещенного в Foundry, это транзитный процесс, чтобы вредоносные данные не регистрировались службой агента Foundry и завершения чатов также не сохранялись. Выполните упражнения красной команды в фиолетовой среде — нерабочей среде, настроенной с помощью рабочих ресурсов, чтобы узнать, как агенты выполняются в реалистичных условиях.

Утечка конфиденциальных данных

Тесты red teaming на утечку конфиденциальных данных ориентированы на выявление утечки финансовых, медицинских и персональных данных из внутренних баз знаний и вызовов инструментов. Агент Red Teaming для искусственного интеллекта использует синтетический набор данных конфиденциальной информации и имитационные инструменты для создания сценариев, побуждающих агента к разглашению информации. Уровень успешности атак (ASR) определяет, сможет ли команда тестирования безопасности обнаружить утечки на уровне формата с помощью сопоставления шаблонов.

Ограничения: Однократная, только на английском языке; синтетические данные; не учитывает утечки памяти и обучающего набора.

Запрещенные действия

Проверка действий агентов в условиях красных командных тестов на их выполнение запрещенных, рискованных или необратимых действий происходит путем создания динамических антагонистических запросов, основанных на предоставленных пользователем политиках и таксономии запрещенных действий, а также наборе поддерживаемых инструментов, используемых агентом, и описаниях инструментов, предоставленных пользователем. Частота успешности атак (ASR) определяет нарушения политики, отображаемые агентом на основе предоставленных пользователем политик.

Ограничения: Один оборот, только на английском языке; Фокусировка на уровне инструмента; отсутствие живых рабочих данных.

Соблюдение задач

Проверка соблюдения задач в рамках тестирования красной команды оценивает, точно ли агенты выполняют назначенные задачи, достигая цели пользователя, соблюдая все правила и ограничения и следуя необходимым процедурам. Агент Red Teaming для искусственного интеллекта проверяет три измерения: достижение цели (удалось ли агенту достичь заданной цели), соблюдение правил (включая политические рамки и представительские контракты), а также дисциплина в процедурах (правильное использование инструментов, рабочий процесс и обоснование). Запрашивающий набор данных учитывает поддерживаемые и доступные средства для создания разнообразных траекторий агента, включая репрезентативные и состязательные случаи, для тестирования как обычных, так и пограничных сценариев.

Непрямые атаки на внедрение команд (XPIA)

Непрямые атаки с внедренными запросами (также известные как атаки внедрения междоменных запросов, XPIA) проверяют, может ли агент управляться вредоносными инструкциями, скрытыми во внешних источниках данных, таких как сообщения электронной почты или документы, полученные с использованием вызова инструментов. Агент Red Teaming для искусственного интеллекта использует синтетический набор данных доброкачественных пользовательских запросов и симулированные выходные данные инструмента, содержащие заполнители атак. Во время тестирования агент Red Teaming ИИ внедряет в эти контексты специфические для риска атаки, чтобы оценить, выполняет ли целевой агент возможные непреднамеренные или небезопасные действия. Уровень успешности атак (ASR) измеряет, как часто агент скомпрометирован путём косвенной инъекции запроса, используя специфические для агента категории риска, такие как запрещенные действия, утечка конфиденциальных данных или соответствие задачам.

Полный список стратегий атак см. в следующем разделе.

Поддерживаемые агенты и средства

В настоящее время агент AI Red Teaming поддерживает проведение упражнений по тестированию уязвимостей на агентах Foundry с использованием вызовов инструментов Azure в соответствии со следующей матрицей поддержки:

Полный список инструментов см. в разделе "Сервис".

Поддерживаемые стратегии атак

Следующие стратегии атаки поддерживаются в AI Red Teaming агенте от PyRIT:

Известные ограничения агента ИИ Red Teaming

Агент AI Red Teaming имеет несколько важных ограничений, которые важно учитывать при проведении и интерпретации результатов Red Teaming.

• Кросс-функциональные команды проводят имитации сценариев, в которых агент Foundry непосредственно подвергается конфиденциальным данным или данным об атакующих транспортных средствах. Так как эти данные являются искусственными, это не является представителем реальных распределений данных.
• Инструменты для моделирования в настоящее время активированы только для получения синтетических данных и проведения оценок команд по тестированию безопасности. В настоящее время они не поддерживают имитацию поведения, что позволило бы проводить тестирование в условиях, ближе к реальной песочнице, чем те, которые поддерживаются в настоящее время.
• Из-за отсутствия полностью изолированной поддержки песочницы, состязательный характер наших оценок red teaming контролируется, чтобы избежать отрицательного воздействия в реальном мире.
• Запуски в рамках красного тиминга представляют собой деятельность противника и не включают наблюдательное население.
• Красные команды запуска используют генеривные модели для оценки частоты успешности атак (ASR) и могут быть недетерминированными, не прогнозируемыми. Поэтому всегда есть вероятность ложных положительных результатов, и мы всегда рекомендуем просматривать результаты перед принятием мер по минимизации рисков.

Подробнее

Начните с нашей документации, где описывается запуск автоматического сканирования рисков безопасности с помощью агента AI Red Teaming

• Запустите агент Red Teaming AI в облаке.
• Запустите AI Red Teaming Agent локально.

Узнайте больше о средствах, используемых Агентом ИИ Red Teaming.

• Оценки рисков и безопасности Azure ИИ
• PyRIT: средство идентификации рисков Python

Наиболее эффективные стратегии оценки рисков объединяют автоматизированные средства, которые выявляют потенциальные риски, с экспертным анализом человека для более глубокого понимания. Если ваша организация только начинает работу с красной командой ИИ, изучите ресурсы, созданные командой красной команды ИИ компании Microsoft.

• Планирование красной команды для больших языковых моделей (LLM) и их приложений
• Три вывода из редтиминга 100 генеративных продуктов ИИ
• Microsoft создает Red Team для будущего более безопасного ИИ