Столп 3: управление и безопасность ИИ

Агенты ИИ, созданные с помощью Agent Builder в Microsoft 365 Copilot, Copilot Studio и Microsoft Foundry должны работать в рамках корпоративных уровней безопасности, управления и соответствия. Они также должны управляться с помощью последовательных и масштабируемых операционных практик на протяжении всего жизненного цикла.

По мере того как агенты получают автономию, получают доступ к бизнес-данным и принимают меры в разных системах, организации должны гарантировать, что они остаются заранее защищёнными, регулируются на протяжении всего жизненного цикла и соответствуют требованиям корпоративных рисков и комплаенса. Кроме того, по мере перехода агентов от пилотов к повседневным бизнес-процессам, операционное совершенство становится критически важным для поддержания ценности и доверия.

Этот столп сосредоточен на том, как организации устанавливают ограничения, контроль, операционные практики и управление жизненным циклом, необходимые для обеспечения безопасной, согласованной и надёжной работы агентов в масштабах без замедления инноваций.

Почему управление, безопасность и эксплуатация важны для агентов ИИ

Агенты усиливают человеческие намерения, действуя в контексте идентичности, данных и разрешений. Без сильных практик управления, безопасности и операций такая же возможность может создавать риски из-за непреднамеренного раскрытия данных, непоследовательного поведения, неясной ответственности, разрастания агентов или роста затрат.

Сильное управление, безопасность и операционная деятельность создают основу, позволяющую безопасно и устойчиво масштабировать внедрение агентов. Они обеспечивают наблюдаемое, контролируемое и аудитируемое поведение агентов, а также чтобы растущая автономия сочеталась с чёткими правами на принятие решений, контролем жизненного цикла, проактивным мониторингом и управлением рисками.

Такой интегрированный подход способствует развитию инноваций без ущерба для безопасности, надёжности или операционной эффективности.

Как выглядит высокая зрелость

При высокой зрелости управление, безопасность и эксплуатация интегрируются, масштабируются и позволяют, а не ограничивают.

Характеристики управления и безопасности:

Организации управляют агентами, используя последовательные корпоративные стандарты.
Контроль идентификации, доступа к данным и соблюдения требований осуществляется по умолчанию.
Организации делают поведение агентов наблюдаемым с помощью логов, телеметрии и механизмов проверки.
Пути человеческого контроля и эскалации чётко определены для каждого класса агентов.
Управление способствует более быстрому внедрению, а не замедляет его.

Характеристики эксплуатации и жизненного цикла:

Команды регулярно применяют стандартизированные схемы развертывания, мониторинга и обслуживания.
Команды определяют операционную телеметрию, мониторинг состояния и ответственность за жизненный цикл, чтобы оценивать, оптимизировать или выводить агентов из эксплуатации на основе их фактического использования и пользы.
Команды внедряют управление изменениями, обучение и коммуникацию в операционной деятельности, чтобы обеспечить устойчивое внедрение и доверие.
Агенты плавно переходят от экспериментов к надёжным производственным ресурсам, с чёткой ответственностью между ИТ, безопасностью и бизнес-заинтересованными сторонами.

Характеристики ответственного ИИ:

Организации задокументировали стандарты ответственного ИИ, которые превращают принципы в конкретные ожидания и практики.
Кросс-функциональный Совет по ИИ обеспечивает активный контроль, руководство и эскалацию по случаям с высоким воздействием или неоднозначностью.
Доверие, риски и этика интегрированы в стратегические и эффективные обсуждения, а не только в реагировании на инциденты.
Команды постоянно отслеживают справедливость, безопасность, злоупотребление и сигналы доверия на протяжении всего жизненного цикла агента.
Практики ответственного использования ИИ изначально встроены во все процессы предоставления услуг и эксплуатации.
Руководство обеспечивает видимый контроль и рассматривает ответственный ИИ как стратегический дифференциатор и источник доверия.

Операции, управление и безопасность становятся факторами инноваций, а не реактивными функциями поддержки или ограничениями по соблюдению требований.

Как читать таблицу зрелости

Таблица описывает, как возможности управления, безопасности и операций ИИ развиваются на пяти уровнях зрелости.

Для каждого уровня обратите внимание:

Состояние управления и безопасности ИИ: наблюдаемые характеристики на этом уровне
Возможность для прогресса: Практические действия, позволяющие перейти на следующий этап зрелости

Организации часто работают на разных уровнях в зависимости от критичности агента. Например, внутренние агенты по производительности могут требовать более лёгкого контроля, чем агенты, работающие с клиентами или принимающие решения.

Управление ИИ и зрелость безопасности

Level	Состояние управления и безопасности ИИ	Возможность для прогресса
100: начальное	Управление и безопасность: Нет специфических стандартов управления или безопасности, связанных с ИИ. Агенты работают без формального контроля, оценки рисков или проверок соответствия. Инициативы в области ИИ могут обходить стандартное управление IT, создавая невидимые риски безопасности, конфиденциальности или регулирования. Все агенты рассматривались одинаково, независимо от цели или риска. Нет формальных сред, политик данных или контрольных точек одобрения. Агенты могут получать доступ к корпоративным данным с минимальным контролем. Нет ясности в вопросах владения, подотчётности или прав принимать решения. Эксплуатация и жизненный цикл: Нет официальной оперативной поддержки агентов ИИ. После развертывания агенты работают без выделенного мониторинга, владения или процессов улучшения. Пользователи или разработчики обнаруживают проблемы неформально. Все агенты получали одинаковое лечение, независимо от критичности. Нет структурированной обратной связи или цикла улучшения. Ответственный ИИ: Нет формальной осведомлённости и практик в области ответственного ИИ.	Установите минимальные ограничения. Определите, кто может создавать, публиковать и делиться агентами. Обеспечить базовую осведомлённость об ИИ и агентах в ИТ, безопасности и комплаенсе. Повышайте осведомлённость о концепциях ответственного ИИ и поощряйте команды выявлять потенциальные риски. Установите основные правила (утверждённые источники данных, контроль доступа, разделение окружающей среды) и начните рассматривать агентов ИИ как управляемые решения, а не эксперименты. Назначьте чёткое право собственности для каждого агента. Реализуйте базовое ведение журнала и отслеживание использования. Создайте каналы обратной связи, чтобы пользователи могли сообщать о проблемах. Создайте процедуры реагирования на инциденты.
200: повторяемый	Управление и безопасность: Базовые контроли и политики на уровне арендаторов документированы, но применяются непоследовательно. Существуют некоторые рекомендации и шаги одобрения, например, проверки безопасности перед развертыванием производства. Некоторые агенты используют среды разработки, тестирования и производства. Раннее различие между личными или продуктивными агентами и общими агентами, но управление осуществляется вручную. Управление в значительной степени является реактивным и зависит от индивидуальной тщательности, а не от установленных стандартов. Эксплуатация и жизненный цикл: Базовый мониторинг существует; нередко используются готовые отчёты платформы. Поддержка реактивна и зависит от нескольких знающих людей. Существуют неформальные инструкции по поддержке или регламенты действий. Раннее осознание того, что разным агентам нужен разный уровень поддержки. Неясная подотчетность между командами. Ответственный ИИ: Появляются базовые контрольные списки рисков и ручные проверки на соответствие принципам ответственного ИИ, но эти практики применяются непоследовательно.	Опубликуйте базовый уровень организации по ожиданиям идентичности и доступа, контролю за управлением данными и соблюдению нормативных требований, а также для аудита и мониторинга ожиданий агентов. Разработать базовые рекомендации и обучение ответственному ИИ. Назначайте ранних сторонников ответственного ИИ или управления ИИ. Формализуйте структуру управления, определяющую роли, проверяющую контрольные точки и требования к соответствию. Документируйте политики и обеспечивайте обучение команд по ним. Переходите от неформального руководства к последовательным, повторяемым практикам управления. Начните классификацию агентов по назначению и радиусу взрыва. Согласовать между службами безопасности, ИТ и бизнесом базовые ожидания в отношении соблюдения требований. Определите концепцию уровней и минимальные ограничения: агенты для личной продуктивности, агенты команд/подразделений и критически важные агенты не должны иметь одинаковую модель управления. Определите уровни поддержки агентов (производительность, департамент, критичный для миссии). Определите базовые пути управления инцидентами и эскалации. Интегрировать задачи агентов в существующие процессы управления ИТ-сервисами (ITSM), где это возможно. Начните регулярно пересматривать модели использования и отказов.
300: определено	Управление и безопасность: Практики безопасности, управления, соблюдения требований и управления рисками в области ИИ документируются и контролируются за соблюдением. Существуют возможности аудита и мониторинга. Агенты явно классифицированы по цели, критичности и уровню автономии. Модель управления с зонированием , принятая с использованием сред (безопасные, поддерживаемые, управляемые ИТ). Требования к стандартному одобрению, оценке рисков и управлению жизненным циклом заявок (ALM), определяемые по классу агентов. Центр передового опыта или Совет по искусственному интеллекту начинает формальный надзор за случаями использования с повышенным риском. Установлен центральный реестр агентов и журнал аудита. Эксплуатация и жизненный цикл: Формальная модель операций для агентов создана. Агенты явно классифицированы по критической степени, с дифференцированными ожиданиями поддержки. Критично важные агенты имеют определённые соглашения об уровне обслуживания (SLA), мониторинг и эскалацию. Агенты отслеживались по таким заданным метрикам, как время безотказной работы, уровень ошибок и уровень использования. Процессы управления инцидентами и эскалации документированы и соблюдаются. Непрерывные циклы улучшения, возникающие на основе телеметрии и обратной связи. Ответственный ИИ: Стандарты ответственного ИИ документируются и доводятся до сведения. Агенты высокого риска или критически важные для миссии требуют ответственной оценки воздействия ИИ.	Автоматизировать управление, где это возможно (обеспечение среды, соблюдение политик). Встраивайте проверки ответственного ИИ на более ранних этапах жизненного цикла агента (проектирование, разработка, развертывание). Формализуйте роль Совета по ИИ, права на принятие решений и пути эскалации. Масштабировать управление через федерацию. Делегируйте согласование решений с низким уровнем риска командам в рамках установленных ограничений. Интегрировать наблюдаемость и логирование во все производственные агенты. Согласовать обзоры управления с циклами портфеля и планирования. Развивать возможности проактивного обнаружения угроз. Автоматизируйте мониторинг и оповещение производственных агентов. Стандартизируйте инструкции и операционные регламенты в соответствии с классификацией агентов. Установите пороги и оповещения для ключевых метрик. Планируйте регулярные оценки эффективности и качества каждого агента.
400: способны	Управление и безопасность: Управление основано на рисках и частично автоматизировано. Кросс-функциональный совет по искусственному интеллекту активно проверяет, консультирует и контролирует поведение агентов. Агенты повышения продуктивности быстро работают благодаря простым средствам управления. Критически важные агенты соблюдают требования корпоративного ALM, безопасности и соответствия требованиям. Федеративное управление: центральные стандарты с делегированными одобрениями для агентов с низким риском. Непрерывный мониторинг и соблюдение политики, интегрированные в операционную деятельность. Эксплуатация и жизненный цикл: Операции проактивны и всё более автоматизированы. Агенты производительности работают с лёгким мониторингом; Критически важные агенты обладают надёжностью и поддержкой корпоративного уровня. Системы мониторинга обнарушают аномалии и запускают оповещения или автоматизированную рекультивацию. Настройка и оптимизация производительности продолжаются. Заинтересованные стороны регулярно получают оперативную отчетность. Планы реагирования на инциденты включают специфические риски, связанные с ИИ. Ответственный ИИ: Принципы ответственного ИИ изначально заложены во всех инициативах по разработке агентов.	Расширите автоматизацию до одобрения, мониторинга и отчетности по соблюдению требований. Расширить непрерывный мониторинг, аудит и прозрачность. Используйте аналитику для выявления новых рисков и постоянного обновления политики управления по мере развития нормативных актов и возможностей агентов. Внедрить управление на основе KPI (инциденты, надёжность, сигналы доверия). Уточнить полномочия по принятию решений человеком и агентом, а также пути эскалации для каждого класса агентов. Используйте уроки, извлечённые из происшествий и предотвращённых инцидентов, для совершенствования стандартов и рекомендаций. Расширите автоматизацию до предиктивного обслуживания и самовосстановления. Уточните SLA и цели уровня обслуживания (SLO) на основе реального использования и влияния на бизнес. Используйте продвинутую аналитику для предположения проблем и оптимизации поведения агентов до того, как пользователи пострадают. Усильте циклы обратной связи от пользователей в процессе приоритизации бэклога.
500: Эффективный	Управление и безопасность: Агенты рассматриваются как многоуровневые цифровые сервисы с дифференцированными SLA, контролем и уровнями автономии. Управление постоянно адаптируется в зависимости от использования, рисков и регулирования. Прогнозная аналитика рисков и постоянное соблюдение требований. Управление ускоряет инновации и может влиять на лучшие практики отрасли. Практики постоянно развиваются с появлением новых возможностей агентов и нормативных актов. Эксплуатация и жизненный цикл: Агенты работали как многоуровневые цифровые сервисы с дифференцированными SLA, моделями поддержки и автономией. Операции предсказательны и самооптимизируются. Многие проблемы обнаруживаются и решаются автоматически. Обратная связь пользователей глубоко интегрирована. Высокая степень уверенности в эксплуатации агентов в масштабе. Самовосстанавливающиеся системы с уверенными возможностями масштабирования. Ответственный ИИ: Ответственный ИИ интегрируется во всей организации, а исполнительное руководство обеспечивает видимый контроль. Доверие, риски и этика являются частью стратегических и эффективных обсуждений. Полное внедрение принципов ответственного ИИ во все направления деятельности.	Сохраняйте зрелость через постоянную адаптацию. Будьте на шаг впереди новых угроз, изменений в регулировании и новых моделях агентов, инвестируя в возможности управления, инструменты и внешнее взаимодействие. Постоянно пересматривайте классификацию и контроль агентов. Относитесь к ответственному ИИ как к стратегическому отличию и источнику доверия. Делитесь практиками на внешнем уровне и влияйте на отраслевые стандарты. Внедрить новые модели управления и операционной деятельности. Делитесь лучшими практиками между отраслью и партнёрами. Инвестируйте в безопасность и операционные возможности следующего поколения.

Распространённые антипаттерны

По мере совершенствования практик управления и безопасности ИИ организации сталкиваются как с универсальными вызовами, которые могут возникнуть на любом уровне, так и с конкретными трудностями, связанными с каждым этапом зрелости. Понимание этих закономерностей помогает командам предугадывать и избегать распространённых ошибок.

Проблемы универсального управления

Эти фундаментальные проблемы могут подрывать эффективность управления на любом уровне зрелости:

Нет учёта и ответственного владельца: Команды создают агентов и обмениваются ими без надёжного реестра, статуса жизненного цикла или назначенного ответственного владельца, из-за чего аудит и реагирование на инциденты происходят медленно и непоследовательно.
Средства контроля носят лишь рекомендательный характер, а не являются обязательными для технического применения: Команды документируют политики, но не реализуют их в виде обязательных технических средств контроля (например, для управления данными, политик данных и ограничений по уровню чувствительности), поэтому соблюдение требований зависит от действий отдельных сотрудников.
Отсутствующая или игнорированная стратегия окружающей среды: Создатели создают и публикуют в одной и той же среде без чёткого разделения или ограничителей, что увеличивает риск случайного воздействия и ослабляет контроль над изменениями.
Отношение ко всем агентам как одинаково (без многоуровневого подхода по риску и критической важности): Организации применяют один набор контроля к каждому агенту. Такой подход либо излишне ограничивает низкорисковые агенты для личной продуктивности (что приводит к появлению теневого ИИ), либо недостаточно регулирует агенты подразделений и критически важные агенты (создавая пробелы в безопасности и соблюдении требований). Нужен многоуровневый подход, потому что требования к рискам и управлению растут по мере перехода от личной продуктивности к сотрудничеству в отделах и командах, а затем к корпоративным и критически важным нагрузкам.
Политика данных и управление коннекторами не считаются «границей безопасности агента»: команды предоставляют агентам широкие возможности подключения (коннекторы, действия, HTTP) без единообразных политик и ограничений, что повышает риск утечки данных и непреднамеренных действий.
Аудит и мониторинг — это второстепенное дело: команды не централизируют журналы, не создают дашборды и не связывают рабочие процессы центра операций безопасности (SOC) с данными агента. Команды узнают о рискованном поведении только после эскалации инцидентов.
Состояние безопасности не всегда проверяется: команды не полагаются на статус защиты во время выполнения, автоматические сканирования безопасности (где это возможно) или систематические ожидания от состязательного тестирования перед релизом и крупными обновлениями.
Управление затратами и использованием неконтролируемо: команды не распределяют и не отслеживают затраты на токены, использование и мощности, поэтому расходы растут без видимости, а управление не может расставить приоритеты, что масштабировать или вывести из эксплуатации.

Специфические для зрелости антипаттерны

По мере продвижения организаций к зрелости возникают различные вызовы:

Уровень 100 – Начальный: «Распространение теневой ИИ»

Схема: Команды направляют агентов без центрального контроля, контроля безопасности или операционной поддержки.

Почему это происходит: отсутствие чёткой системы управления. Команды действуют быстро, чтобы получить ценность, не дожидаясь корпоративных стандартов.

Риски: уязвимости в безопасности, нарушения нормативных требований, нерегулируемый доступ к данным и операционный хаос.

Как избежать: Установите базовые стандарты управления и безопасности до широкого внедрения. Обеспечьте чёткие пути эскалации.

Уровень 200 – Повторяется: «Театр управления»

Шаблон: создание формальных процессов управления, которые увеличивают накладные расходы без существенного улучшения безопасности или операционных результатов.

Почему это происходит: формальный подход к соблюдению требований. Сосредоточьтесь на документации, а не на практическом управлении рисками.

Риск: Замедление инноваций без реального улучшения безопасности и операционной надёжности.

Как этого избежать: Сосредоточьте управление на реальном снижении рисков и операционной эффективности. Измеряйте ценность управления.

Уровень 300 — Определение: «Разобщённость операционной деятельности»

Шаблон: Четко определённое управление и безопасность, но фрагментированные операционные практики между командами.

Почему это происходит: разные команды разрабатывают разные операционные подходы. Отсутствие общих операционных стандартов.

Риск: нестабильная работа агентов, дублирование усилий, снижение операционной эффективности, ослабленный контроль изменений.

Как этого избежать: Внедряйте общие операционные рамки и инструменты. Создайте межкомандные сообщества по обмену опытом в операционной деятельности.

Уровень 400 – Способности: «Сложность автоматизации»

Шаблон: чрезмерная автоматизация управления, безопасности и операций до такой степени, что системы становятся труднодоступными для понимания или модификации.

Почему это происходит: Успех автоматизации создаёт давление автоматизировать всё. Потеря оперативной интуиции.

Риск: хрупкие системы, которые сложно диагностировать или адаптировать. Снижение способности работать с крайними случаями.

Как этого избежать: Балансируйте между автоматизацией и человеческим контролем и пониманием. Поддерживайте операционную экспертизу наряду с автоматизированными возможностями.

Уровень 500 – Эффективность: «Застой инноваций»

Паттерн: отличные текущие возможности, но сниженные инвестиции в подходы следующего поколения к управлению, безопасности или эксплуатации.

Почему это происходит: Успех создаёт комфорт в современных подходах. Распределение ресурсов сосредоточено на поддержании, а не на развитии.

Риск: Конкуренты могут разработать более эффективные подходы. Вы можете упустить новые угрозы или оперативные возможности.

Как избежать: Постоянно инвестируйте в возможности следующего поколения. Отслеживайте новые тенденции и технологии.

Внедрение ответственного ИИ

Внедрить ответственный ИИ на практике с помощью четырёх ключевых действий: устанавливать стандарты, устанавливать управление, внедрять гарантии в доставку и эксплуатацию, а также формировать командные привычки и культуру.

Определите стандарт ответственного ИИ

Используйте устоявшиеся рамки, такие как Microsoft принципы ответственного ИИ или NIST AI Risk Management Framework, в качестве базы, а затем адаптируйте их под ваш организационный контекст. Переведите принципы в:

Чёткие цели, такие как снижение предвзятости и обеспечение объяснимости.
Конкретные требования, такие как этапы согласования, правила эскалации и границы использования данных.
Практические инструменты и практики, включая оценку воздействия, тестирование предвзятости и мониторинг.

Создание Совета по искусственному интеллекту

Создайте межфункциональный междисциплинарный Совет по ИИ, который будет контролировать и направлять внедрение ИИ. Типичные роли включают:

Исполнительный спонсор (стратегическое направление и приоритеты)
ИТ и обеспечение готовности платформы (техническая готовность и корпоративное управление)
Управление изменениями (внедрение, коммуникация, обратная связь)
Риски, законодательство и соответствие (ответственный ИИ, конфиденциальность, регулирование)

Совет согласует использование ИИ с организационными ценностями, анализирует сценарии высокого эффекта, снижает риски и формирует доверие между заинтересованными сторонами.

Внедрить ответственный ИИ в доставку и эксплуатацию

Начинайте каждый проект с ответственного ИИ: спрашивайте, как система может причинить вред или несправедливость, и планируйте меры по снижению рисков заранее.
Убедитесь, что пользователи знают, когда взаимодействуют с ИИ и как принимаются решения.
Постоянно контролируйте агентов на предмет справедливости, безопасности, злоупотребления и сигналов доверия.
Относитесь к ответственному ИИ как к постоянной оперативной ответственности, а не как к галочке для развертывания.

Формируйте ответственные привычки и культуру ИИ

Ответственный ИИ достигает успеха, когда он становится частью работы команд:

Поощряйте команды документировать решения и предположения.
Сделайте поднятие этических вопросов ожидаемым и безопасным.
Используйте сценарии, упражнения по радарированию рисков и ретроспективы для практики реакции.
Подкрепляйте, что ответственный ИИ — это работа каждого, а не только управления.

Избегание ловушек ответственного ИИ

Организации, которым сложно безопасно масштабировать агентов ИИ, часто сталкиваются со следующими трудностями при внедрении ответственного ИИ. Такие подходы создают скрытые риски, которые проявляются только после задержки или инцидентов с внедрением.

Сведение ответственного искусственного интеллекта лишь к вопросам безопасности и соблюдения нормативных требований

Закономерность: Рассматривать ответственный ИИ как синоним безопасности данных или соблюдения нормативных требований.