Модель совместной ответственности агентов ИИ

Агенты ИИ расширяют генеративный ИИ за рамки шаблона запрос/ответ, который описывает модель совместной ответственности ИИ . В отличие от большой языковой модели, агент не просто выдаёт контент, на основе которого человек должен действовать. Вместо этого агент:

  • Действует автономно. Он вызывает инструменты, вызывает API, записывает данные и запускает рабочие процессы без одобрения человека на каждом этапе.
  • Планы и циклы. Он разбивает цели на подзадачи, анализирует промежуточные результаты и многократно переформулирует запрос к самому себе, прежде чем выдать ответ.
  • Хранит состояние и данные в памяти. Краткосрочный контекст плюс постоянная память влияют на будущее поведение и могут пересекать границы сессий или пользователя.
  • Имеет свою идентичность. Он проходит аутентификацию в подчинённых системах, используя управляемые удостоверения, токены «от имени» или отдельное удостоверение агента, и имеет собственные привилегии.
  • Работает с другими агентами. В многоагентной оркестрации результат работы одного агента становится инструкцией для другого агента, что создаёт новую границу доверия.

Каждое из этих действий вводит обязанности, которых нет в модели запроса/ответа ИИ.

Примечание.

В этой статье используется термин «ответственность» в смысле управления: кто должен настраивать, управлять и контролировать каждый контроль. Это иллюстративное руководство и не предназначено для передачи юридических выводов или изменения или противоречия условиям любого соглашения между вами и Microsoft.

Чем агенты ИИ отличаются от облачных и ИИ рабочих нагрузок

В следующей таблице показано, чем модель агента ИИ отличается от стандартной облачной модели и модели генеративного ИИ (LLM).

Беспокойство Стандартная модель облака Модель ИИ (LLM) Модель агента ИИ
Первичное взаимодействие API или графический интерфейс Оперативный ответ Цель автономного многошагового действия
Реальные побочные эффекты Код приложения, явный Человек действует на результат Агент действует напрямую через инструменты
Государство Прикладной и информационный уровень Запрос без статуса Сохраняющаяся память и контекст агента
Identity Идентификация пользователя или приложения Идентификация пользователя или приложения Отдельная идентичность агента плюс делегированные токены
Граница доверия Пользователь в приложении Пользователь → модель Пользователь — агент, затем инструменты — другие агенты
Максимальный риск Неправильная конфигурация, экспозиция данных Инъекция подсказки (content) Инъекция промпта, побуждающая к действиям; чрезмерная автономность; запутавшийся заместитель

Разделение ответственности

Как и в облаках и моделях общей ответственности ИИ , разделение ответственности меняется в зависимости от выбранной вами модели развертывания. Для агентов важные варианты:

  • SaaS-агент. Готовый агент, такой как агенты Microsoft 365 Copilot, Microsoft Security Copilot или опубликованные агенты Microsoft Copilot Studio. Microsoft обеспечивает работу оркестратора, модели, систем безопасности и большинства коннекторов к инструментам. У вас есть конфигурация, сфера доступа к данным, идентификация и использование.
  • Агент PaaS. Вы создаёте агент на управляемой платформе агентов, такой как Microsoft Foundry Agent Service, Azure SRE Agent, кастомные агенты Microsoft Copilot Studio или Microsoft Agent Framework на управляемом Azure runtime. Microsoft обеспечивает систему выполнения процесса, хостинг моделей и управление безопасностью платформы. Вы владеете инструкциями агента, выбором инструментов и плагинов, правами инструментов, логикой оркестрации, дизайном памяти, а также идентичностью и авторизацией агента.
  • Агент IaaS. Вы создаёте и размещаете весь стек агентов самостоятельно: кастомный оркестратор на виртуальных машинах или контейнерах, самоуправляемый фреймворк и, возможно, самостоятельные модели. Вы владеете почти всем, кроме физической инфраструктуры (и базовой модели, если вы используете её как хостированный API).

Ответственность смещается влево, то есть вы берёте больше ответственности, переходя от SaaS к PaaS, а затем к IaaS агентам.

Следующая схема иллюстрирует зоны ответственности между вами и Microsoft в зависимости от типа развертывания агентов.

Диаграмма уровней ответственности агентов ИИ в развертываниях агентов IaaS, PaaS и SaaS, с добавлением тремя новыми слоями (память и состояние агента, инструменты и действия, а также оркестрация агента), добавленными поверх модели совместной ответственности ИИ.

Обзор слоя ИИ-агентов

Агентная система добавляет три новых слоя поверх и вокруг существующей платформы ИИ, приложений и уровней использования. Ответственность за безопасность лежит на том, кто выполняет задачу, но провайдер может предоставить вам управление как конфигурацию.

Унаследованный уровень платформы ИИ

Уровень платформы ИИ обеспечивает размещение и защиту модели, обучающих данных, весов и API инференса, а также предоставляет встроенные системы безопасности для входных и выходных данных. Ответственность на этом уровне наследуется от модели совместной ответственности ИИ.

Слой оркестрации агентов

Слой оркестрации — это «мозговой цикл»: планирование, рассуждение, выбор инструмента, системный запрос и инструкции агента, а также координация между мультиагентами. Именно в этом слое присутствуют чрезмерная свобода действий и риски быстрого внедрения действий .

Вопросы безопасности:

  • Ограничить инструкции и область действия агента (наименьшая функциональность).
  • Проверяйте и дезинфицируйте любой ненадёжный контент, попадающий в цикл, включая полученные документы, выходные данные инструментов и сообщения других агентов. Воспринимайте всё это как ненадёжный ввод, а не как надёжные инструкции.
  • Задайте ограничения планирования: лимиты на количество шагов и итераций, обнаружение циклов, лимиты бюджета и затрат, а также списки разрешённых инструментов, которые можно объединять в цепочки.
  • Для многоагентных систем рассматривайте каждое межагентное сообщение как границу доверия и повторно применяйте входную безопасность.

Слой инструментов и действий

Слой инструментов и действий содержит соединители, плагины, функции, серверы протокола контекста модели (MCP) и API, которые агент может вызывать для чтения и изменения состояния в реальном мире. Этот слой — самое большое отличие от модели LLM.

Вопросы безопасности:

  • Принцип наименьших привилегий для каждого инструмента. Каждый инструмент или разъём должен содержать только необходимые разрешения. Не предоставляйте агенту постоянную учетную запись с широкими правами.
  • Авторизация на каждое действие, не только при начале сессии. Проверьте, разрешено ли это действие на этом ресурсе. Эта проверка снижает риски путаницы заместителей и чрезмерно широкой делегации.
  • Врата человека в цикле. Требуйте их для действий с высоким уровнем воздействия, необратимых или чувствительных действий, таких как записи, удаление, платежи, изменения в производстве и внешние отправки.
  • Аудит действий. Записывайте каждое вызов инструмента с помощью входов, выходов, используемой идентичности и обоснования решения.
  • Песочница и контроль выхода. Применяйте их к инструментам выполнения кода и просмотра.

Память и уровень состояния агента

Слой памяти агента охватывает краткосрочный контекст разговоров, а также постоянную память, векторные хранилища и скретч-пады, влияющие на дальнейшее поведение.

Вопросы безопасности:

  • Разграничивайте и изолируйте память по пользователям и арендаторам. Предотвратить утечка памяти между пользователями или между сессиями.
  • Защита от отравления памятью. Внедрённый контент может сохраняться и повторно активироваться.
  • Классифицировать, сохранять и удалять сохранённую память. Применяйте классификацию данных, хранение и право на удаление.
  • Шифруйте хранилища памяти и обеспечивайте контроль доступа. Воспринимайте память как конфиденциальные данные.

Слой приложений искусственного интеллекта (унаследованный)

Уровень применения ИИ — это приложение или интерфейс, который пользователь использует вместе с заземлением, плагинами и системой безопасности приложений.

Слой использования ИИ (унаследованный, расширенный)

Уровень использования ИИ описывает, как пользователи и приложения потребляют агент. С агентами ключевым становится ответственность за автономные действия : политики допустимого использования, обучение пользователей о рисках, специфичных для агента, и чёткая ответственность за действия, которые агент предпринимает от имени пользователя.

Матрица ответственности

Следующая матрица суммирует ответственность по моделям развертывания. C = Клиент, M = Microsoft, S = Общее. Матрица является общим ориентиром; Конкретные обязанности по конкретной службе могут различаться в зависимости от её условий и конфигурации.

Унаследованные обязанности в облаке и ИИ

Область ответственности Агент IaaS Агент PaaS SaaS-агент
Данные клиента (включая заземление и содержимое памяти) C C C
Идентификаторы и пользователи C C C
Управление доступом (RBAC, MFA, условный доступ) C C C
Клиентские устройства и конечные точки C C S
Хостинг базовой модели и весовые коэффициенты C/M1 M M
Безопасность ввода/вывода содержимого модели C/M1 S M
Физическая инфраструктура (хосты, сеть, дата-центры) M M M

Обязанности, специфичные для агента

Область ответственности Агент IaaS Агент PaaS SaaS-агент
Инструкции агента, системный запрос и область действия C C S
Выбор инструмента, плагина и разъёма C C S
Разрешения для каждого инструмента (наименьшие привилегии) C C S
Идентификация агента и управление делегированными токенами C S S
Проверки авторизации за каждое действие C S S
Одобрение с участием человека в цикле для действий с высоким воздействием C C C
Ограничения оркестрации (ограничения по циклам, шагам и стоимости) C S M
Многоагентные контроли границ доверия C S S
Проектирование памяти, изоляция и защита от отравления C S M
Песочница с инструментами и действием и управление выходом C S M
Журналирование и мониторинг аудита действий C S S
Среда выполнения агентов и платформа оркестрации C M M
Политика допустимого использования и ответственность за действия C C C

1 Клиент, если вы самостоятельно размещаете модель на IaaS; Microsoft — если вы пользуетесь API размещённой модели из вашего агента, размещённого на IaaS.

Обязанности, которые вы всегда сохраняете

Независимо от модели развертывания, вы всегда отвечаете за:

  • Данные, включая всё, что записывалось в память агента и передавалось инструментам.
  • Идентичность и наименьшая привилегия: собственная идентичность агента и область действия каждого учетного данных или токена, который он может использовать.
  • Авторизация действий: что агенту разрешено, особенно необратимые или чувствительные операции.
  • Человеческий контроль: какие действия требуют одобрения и кто несёт ответственность за поведение агента.
  • Допустимое использование и управление: политики, обучение пользователей и соблюдение требований автономного поведения.

Основные риски, характерные для конкретного агента, которые необходимо учитывать при проектировании

Эти риски соотносятся с OWASP Top 10 для LLM-приложений, OWASP Top 10 for Agentic AI, MITRE ATLAS и классификацией серьёзности уязвимостей Центр Майкрософт по реагированию на угрозы (MSRC) для систем ИИ. Они подчёркивают уникальное для агентов измерение действия .

Риск Смягчение последствий
Мгновенное введение в действие. Ненадёжный контент, такой как веб-страница, документ, электронная почта или другой агент, злонамеренно заставляет агента использовать инструменты. Считайте все результаты инструментов, извлечения данных и агентов не заслуживающими доверия. Изолировать инструкции от данных. Ограничьте выполнение действий с высоким уровнем влияния.
Чрезмерная воля. У агента больше инструментов, разрешений или автономии, чем требуется задаче. Применяйте к каждому инструменту и инструкциям минимально необходимую функциональность и минимально необходимые привилегии, чётко ограничивая область действия инструкций.
Запутанный заместитель или слишком широкая делегация. Агент использует свою привилегированную личность для того, что не может запрашивающий пользователь. Используйте токены делегирования и авторизацию для каждого действия. Избегайте использования постоянного широкого идентификатора.
Отравление памяти. Внедрённый контент сохраняется и повторно срабатывает позже или в последующих сеансах. Изолировать и проверять память, отслеживать происхождение и обеспечивать её удержание.
Бесконечные циклы, затраты и исчерпание ресурсов. Бегство, планирование. Устанавливайте ограничения по шагам, итерациям и бюджету, а также обнаруживайте циклы.
Сбой доверия между несколькими агентами. Скомпрометированный агент или агент, подверженный галлюцинациям, компрометирует взаимодействующих с ним агентов. Повторите защиту входа на каждой межагентной границе. Проверяйте, не доверяйте.
Отступники или выдаваемые за себя агенты. Несанкционированный агент действует в окружающей среде, или его личность будет фальсифицирована. Обеспечивать чёткую идентификацию агента, аттестацию, а также обнаружение и мониторинг.

Настройте перед тем, как настраивать

Тот же принцип, который Microsoft рекомендует для ИИ, применяется и к агентам, и он сильнее для агентов, потому что автономия умножает стоимость ошибок.

  1. Начните с SaaS-агентов (Microsoft 365 Copilot, Microsoft Security Copilot или опубликованные агенты Microsoft Copilot Studio). Microsoft отвечает за оркестрацию, безопасность и безопасность большинства инструментов. Вы настраиваете область действия и идентичность данных.
  2. Переходите к PaaS-агентам (Microsoft Foundry Agent Service, Azure SRE Agent, настраиваемым агентам Microsoft Copilot Studio или Microsoft Agent Framework в управляемой среде выполнения) только если готовые решения не подходят. Вы берёте на себя логику агента, инструменты, права, память и идентичность.
  3. Создайте агентов IaaS только с глубоким опытом в области безопасности ИИ, идентификации и риска автономных систем. Вы владеете почти всем стеком.

Общее правило: чем больше автономии и чем шире инструмент и разрешения, которые вы предоставляете агенту, тем больше матрица ответственности переходит на вас, независимо от модели развертывания. Автономия никогда не снижает ответственность.

Дальнейшие действия

  • Last updated on