Ответственный ИИ в рабочих нагрузках Azure

Цель ответственного ИИ в проектировании рабочей нагрузки заключается в том, чтобы обеспечить использование алгоритмов ИИ справедливой, прозрачнойи инклюзивной. Принципы безопасности Microsoft Azure Well-Architected Framework взаимосвязаны и сосредоточены на конфиденциальности и целостности. Меры безопасности должны применяться для поддержания конфиденциальности пользователей, защиты данных и обеспечения целостности структуры. Дизайн не должен быть неправильно использован для непреднамеренных целей.

В рабочих нагрузках искусственного интеллекта модели часто используют непрозрачную логику для принятия решений. Пользователи должны доверять функциональным возможностям системы и чувствовать себя уверенными в том, что модели отвечают этим решениям. Неприемлемое поведение, например манипуляция, токсикация содержимого, нарушение IP-адресов и сложенные ответы, должны быть запрещены.

Рассмотрим вариант использования, в котором компания медиа-развлечений хочет предоставить рекомендации с помощью моделей ИИ. Если компания не реализует ответственные протоколы ИИ и надлежащие протоколы безопасности, плохой субъект может взять под контроль модели. Модель может рекомендовать содержимое, которое причиняет вред. Для организации это поведение может привести к повреждению бренда, небезопасным средам и юридическим проблемам. Таким образом, поддержание надлежащей бдительности в течение жизненного цикла системы является важным и неизменяемым.

При принятии решений по проектированию следует учитывать приоритеты управления безопасностью и рабочей нагрузкой и учитывать результаты человеческой нагрузки. Ознакомьтесь с фреймворком Майкрософт для ответственного ИИ и убедитесь, что вы измеряете и реализуете принципы фреймворка в своей разработке. На следующем рисунке показаны основные понятия платформы.

В этой статье приводятся рекомендации по ответственному принятию решений, проверке входных данных пользователей и обеспечению безопасного взаимодействия с пользователем. Он также предоставляет рекомендации по обеспечению безопасности данных для защиты данных пользователей.

Рекомендации

В следующей таблице приведены рекомендации в этой статье.

Разработка политик ответственного искусственного интеллекта

Задокументируйте подход к ответственному использованию ИИ. Четко сформулируйте политики, применяемые на каждом этапе жизненного цикла, чтобы команда, ответственная за рабочие нагрузки, понимала свои обязанности. Стандарты Майкрософт для ответственного ИИ предоставляют рекомендации, но необходимо определить, что эти рекомендации означают специально для вашего контекста.

Например, политики должны включать контрольный список элементов для механизмов, поддерживающих прозрачность пользовательских данных и конфигурацию согласия. В идеале эти механизмы должны позволить пользователям отказаться от включения данных. Конвейеры данных, анализ, обучение модели и другие этапы должны уважать этот выбор. Еще одним примером являются процедуры обработки RTBF. Обратитесь к отделу этики вашей организации и юридической группе, чтобы принять обоснованные решения.

Создайте прозрачные политики для использования данных и принятия алгоритмических решений, чтобы помочь пользователям понять и доверять процессу. Задокументируйте эти решения, чтобы сохранить четкую историю потенциальных будущих судебных процессов.

Реализация ответственного искусственного интеллекта включает три ключевые роли: исследовательскую группу, группу политики и инженерную команду. Совместная работа этих команд должна быть налажена. Если у вашей организации есть существующая команда, используйте их работу. В противном случае создайте эти методики самостоятельно.

Каждая команда должна иметь свои обязанности. Например:

• Исследовательская группа проводит обнаружение рисков путем консультаций по организационным рекомендациям, отраслевым стандартам, законам, нормативным требованиям и известной тактике красной команды.

• Команда разработчиков политик разрабатывает политики, относящиеся к рабочей нагрузке. Они включают в себя руководящие принципы родительской организации и нормативных актов правительства.

• инженерная команда внедряет политики в свои процессы и результаты. Команда проверяет и проводит тестирование на соответствие.

Каждая команда формализирует свои рекомендации, но команда рабочей нагрузки должна отвечать за свои собственные документированные методики. Команда должна четко документировать любые дополнительные шаги или преднамеренные отклонения, чтобы убедиться, что не существует неоднозначности о том, что разрешено. Команда также должна быть прозрачной в отношении любых потенциальных недостатков или непредвиденных результатов в решении.

Обеспечение соблюдения политик ответственного искусственного интеллекта

Разработайте рабочую нагрузку, чтобы обеспечить соответствие организационным и нормативным требованиям. Например, если прозрачность является требованием организации, определите, как она применяется к рабочей нагрузке. Определите области в проектировании, жизненном цикле, коде или других компонентах, в которых необходимо внедрить функции прозрачности для удовлетворения этого стандарта.

Ознакомьтесь с необходимыми требованиями к управлению, подотчетности, советам по обзору и мандатам отчетности. Убедитесь, что ваш совет по управлению утверждает и заверяет проекты рабочих нагрузок, чтобы избежать их переработки и уменьшить риски, касающиеся безопасности или конфиденциальности. Возможно, потребуется пройти несколько уровней утверждения. На следующей схеме описана типичная структура управления в организации.

Дополнительные сведения о политиках организации и утверждающих см. в статье Определение ответственной стратегии ИИ.

Безопасное взаимодействие с пользователем

Взаимодействие с пользователями должно основываться на отраслевых рекомендациях. Используйте Библиотеку дизайна взаимодействий Microsoft Human-AI, в которой изложены принципы и предоставлены рекомендации по реализации. Он также содержит примеры из продуктов Майкрософт и других отраслевых источников.

На протяжении всего жизненного цикла взаимодействия с пользователем существуют обязанности, связанные с управлением рабочей нагрузкой. Они начинают с намерения пользователя использовать систему, и они продолжаются на протяжении сеанса и во время каких-либо нарушений, вызванных системными ошибками. Рассмотрим следующие методики.

• Создайте прозрачность. Узнайте, как система создает ответы на запрос.

  Включите ссылки на источники данных, к которым модель обращается для прогнозирования. Эта практика повышает доверие пользователей, показывая им источники информации. Проектирование данных должно включать эти источники в метаданные. Например, когда оркестратор в приложении с дополнением для извлечения информации выполняет поиск, он извлекает 20 блоков документов и отправляет первые 10 блоков в модель в качестве контекста. Первые 10 блоков принадлежат трем разным документам. Затем пользовательский интерфейс может ссылаться на эти три исходных документа при отображении ответа модели. Эта прозрачность повышает доверие пользователей.

  Прозрачность становится более важной при использовании агентов, которые служат посредниками между интерфейсными интерфейсами и внутренними системами. Например, в системе оформления заявок код оркестрации интерпретирует намерение пользователя и вызывает интерфейсы программирования приложений (API) агентов для получения необходимых сведений. Предоставление этих взаимодействий помогает пользователю знать о действиях системы.

  Для автоматизированных рабочих процессов, включающих несколько агентов, создайте файлы журналов, которые записывают каждый шаг. Файлы журналов помогают выявлять и исправлять ошибки. Они также предоставляют пользователям объяснение решений, что способствует прозрачности.

  Внимание

  При реализации рекомендаций по прозрачности избегайте перегруженности пользователя информацией. Берите постепенный подход с помощью минимально разрушительных методов пользовательского интерфейса.

  Например, отображайте всплывающую подсказку, которая показывает оценку уверенности модели. Вы можете включить ссылки, такие как ссылки на исходные документы, которые пользователи могут выбрать для получения дополнительных сведений. Этот метод, инициированный пользователем, сохраняет неразверчивый пользовательский интерфейс и позволяет пользователям искать дополнительные сведения только в том случае, если они решили.

• Сбор отзывов. Реализуйте механизмы обратной связи.

  Избегайте нагружать пользователей обширными анкетами после каждого ответа. Вместо этого используйте быстрые и простые механизмы обратной связи, такие как пальцы вверх или пальцы вниз, или система оценки для конкретных аспектов ответа в масштабе от 1 до 5. Эти методы помогают улучшать систему с течением времени и позволяют обеспечить детализированную обратную связь без навязчивого вмешательства. Помните о возможных вопросах справедливости в обратной связи, поскольку за ответами пользователей могут стоять вторичные мотивы.

  Реализация механизма обратной связи влияет на архитектуру из-за необходимости хранения данных. При необходимости обработайте отзывы, такие как данные пользователей и применяйте уровни контроля конфиденциальности.

  Помимо обратной связи, соберите отзывы об эффективности взаимодействия с пользователем. Сбор метрик взаимодействия с помощью стека мониторинга системы.

  Убедитесь, что механизм обратной связи предоставляет функциональные возможности, позволяющие пользователям оспаривать решения искусственного интеллекта. Например, финансовое учреждение может использовать ИИ для автоматического утверждения или отклонения кредитных приложений, и пользователи должны иметь возможность оспаривать отказы. Определите четкие процедуры для команды, занимающейся рабочей нагрузкой, для пересмотра и обжалования спорных решений.

• Примените этические гарантии для генерируемых с помощью искусственного интеллекта аудио и видео. Пользователи имеют право знать, когда они взаимодействуют с созданными ИИ средствами массовой информации, а не с контентом, созданным человеком. Реализуйте четкие механизмы раскрытия информации, которые информируют пользователей о том, что содержимое создается ИИ, не нарушая взаимодействие с пользователем, и предоставляют варианты взаимодействия с пользователем, когда пользователи предпочитают или требуют контроля над конфиденциальными сценариями.

  Рассмотрите возможность реализации введения водяных знаков в контент или тегов метаданных для носителей, созданных ИИ, для поддержки прозрачности и трассировки. Задокументируйте подход к обработке запросов на проверку содержимого и установите четкие политики для раскрытия подлинности содержимого.

Реализация защиты агентического искусственного интеллекта

Для агентов, обращающихся к общедоступным и частным данным, выполняя задачи во внутренних и внешних системах, а также автономно управляя решениями, реализуйте аудит действий агента, управление доступом на основе ролей и функции разбиения цепи, чтобы предотвратить катастрофические результаты.

Для систем агентического ИИ требуются специализированные методы ответственного ИИ, помимо традиционных моделей машинного обучения, основанные на трех базовых аспектах:

• Надежное управление входящими и исходящими данными. Обеспечение комплексного управления потоками данных в и вне агентических систем. Это включает проверку качества данных и безопасности на системных границах, обеспечение надлежащей авторизации для доступа к данным и поддержку четкого разделения между различными контекстами агента и внешними системами.

• Проверка данных и обеспечение целостности данных. Обеспечение качества и согласованности данных во всех взаимодействиях с несколькими агентами. Это включает непрерывный мониторинг преобразований данных, комплексные аудиторские следы процессов принятия решений и механизмы проверки, чтобы предотвратить повреждение данных или манипуляцию в агентских рабочих процессах.

• Автономное агентное выполнение с независимыми ограничителями. Развертывание механизмов надзора, которые работают независимо от самих агентов. К ним относятся системы мониторинга, которые могут обнаруживать аномальное поведение, автоматические элементы управления, которые могут остановить проблемные выполнения и возможности вмешательства человека, которые позволяют операторам переопределить решения агента в любой момент.

Рекомендации по сложности агента

Для различных типов агентов требуются различные уровни этих гарантий, так как потенциальные риски и последствия их действий увеличиваются с их возможностями и автономией. Поскольку агенты переходят от простых задач извлечения к сложным автономным решениям, необходимость всеобъемлющего надзора и контроля механизмов становится более критической.

Кроме того, уровень сложности значительно увеличивается, что затрудняет реализацию ответственных принципов искусственного интеллекта, таких как справедливость и прозрачность:

• Агенты извлечения (только для чтения): Сосредоточьтесь на элементах управления доступом к данным и ведения журнала аудита.

• Агенты на основе задач (чтение и запись): Требуется комплексная авторизация и мониторинг транзакций.

• Полностью автономные агенты (многошаговые взаимодействия): Требуются все три аспекта с наивысшим уровнем надзора.

Внедрение мер безопасности содержимого

Интеграция безопасности содержимого в каждый этап жизненного цикла ИИ с помощью пользовательского кода решения, соответствующих инструментов и эффективных методик безопасности. Рассмотрим следующие стратегии.

• Анонимизировать данные. При переходе данных от приема к обучению или оценке реализуйте проверки таким образом, чтобы свести к минимуму риск утечки персональных данных и избежать воздействия необработанных пользовательских данных. Используйте интеллектуальные инструменты, такие как функция обнаружения и редактирования персональных данных в Azure Language в составе средств Foundry для обнаружения и редактирования информации, позволяющей установить личность (PII), таких как телефоны, адреса электронной почты и иные виды личных данных.

• Умеренное содержимое. Используйте API безопасности содержимого, который оценивает запросы и ответы в режиме реального времени. Убедитесь, что эти API доступны.

• Выявление и устранение угроз. Применяйте известные методики безопасности к сценариям искусственного интеллекта. Например, выполните моделирование угроз, а затем задокументируйте угрозы и способы их устранения. Типичные методики безопасности, такие как упражнения красной команды, применяются к рабочим нагрузкам ИИ. Красные команды могут проверить, могут ли модели управляться для создания вредного содержимого. Эти действия должны быть интегрированы в операции искусственного интеллекта.

  Дополнительные сведения см. в разделе Планирование красной команды для больших языковых моделей и приложений.

• Используйте правильные метрики. Используйте метрики, которые эффективно измеряют поведение модели. Метрики зависят от типа модели ИИ. В некоторых случаях измерение генерируемых моделей может не применяться к моделям регрессии. Например, модель прогнозирует продолжительность жизни, а результаты влияют на страховые ставки. Проблемы справедливости в этой модели могут привести к вреду, связанному с справедливостью. Эта проблема возникает из-за отклонений в проверке основных метрик, так как метрики справедливости и точности обычно связаны друг с другом. Повышение точности для снижения вреда, связанного с справедливостью.

• Добавьте соответствующую инструментовку. Результаты модели ИИ должны быть объяснимыми. Необходимо обосновывать и отслеживать, как делаются выводы, включая обучающие данные, вычисляемые признаки и опорные данные. В дискриминативном ИИ вы можете обосновать решения шаг за шагом. Однако для генеривных моделей объяснение результатов может быть сложным. Задокументируйте процесс принятия решений для решения потенциальных юридических последствий и обеспечения прозрачности.

  Этот аспект объясняемости следует реализовать на протяжении всего жизненного цикла ИИ. Очистка данных, происхождение, критерии выбора и обработка являются критическими этапами, в которых следует отслеживать решения.

• Создайте аварийные выходы в ваши агентские конструкции. Для агентических решений реализуйте механизмы, позволяющие вмешательство человека или переопределение на критически важных точках принятия решений. Этот подход гарантирует, что рискованное поведение можно избежать или исправить в начале процесса выполнения. Аварийные люки особенно важны в сложных агентивных рабочих процессах, где несколько агентов взаимодействуют и принимают автономные решения, которые могут привести к значительным последствиям для бизнеса или безопасности.

  Разработайте архитектуру, чтобы обеспечить непрерывную трассировку и мониторинг взаимодействия агентов в цифровой экосистеме. Реализуйте агенты управления, работающие в разных системных компонентах, чтобы определить и пометить проблемы перед их эскалацией. Рассмотрим следующие основные шаблоны:

  • Агенты-координаторы, которые отслеживают выполнение задач и передают информацию о нарушениях в работу человеческим операторам при превышении предопределенных пороговых значений или обнаружении необычных шаблонов.
  • Контрольные точки с участием человека, где агенты приостанавливают выполнение для проверки перед выполнением действий с высоким риском или значительными последствиями.

  Создание точек перехвата на всех критически важных точках в пути выполнения, включая решения о маршрутизации, выбор выделения ресурсов и интеграцию внешней системы. Этот многоуровневый подход предоставляет несколько возможностей для предотвращения непредвиденных последствий при поддержании эффективности системы.

• Обеспечьте, чтобы технические решения по системе ИИ были проверяемыми. Убедитесь, что решения, принятые о технологиях искусственного интеллекта, записываются и проверяются. Вы можете включить запись этих решений в более крупный журнал аудита для рабочей нагрузки, но убедитесь, что включены необходимые сведения, чтобы соблюсти стандарты управления и требования к соответствию. Решения по технологиям ИИ могут включать:

  • Выбор модели
  • Обновления модели
  • Корректировки алгоритма и гиперпараметров
  • Изменения в структуре обработки данных

Инструменты

Интеграция средств для обеспечения безопасности содержимого и отслеживания данных, таких как Microsoft Purview. API безопасности содержимого Azure можно вызывать из тестирования, чтобы облегчить проверку безопасности содержимого.

Microsoft Foundry предоставляет метрики, которые оценивают поведение модели. Дополнительные сведения см. в разделе "Метрики оценки и мониторинга" для создания искусственного интеллекта.

См. метрики , которые предоставляет платформа машинного обучения Azureдля обучения моделей.

Проверка входящих и исходящих данных

Атаки внедрения запроса, такие как джейлбрейк, являются распространенной проблемой для вычислительных нагрузок ИИ. В этом случае некоторые пользователи могут попытаться использовать модель в непреднамеренных целях. Чтобы обеспечить безопасность, проверять данные, чтобы предотвратить атаки и отфильтровывать неуместное содержимое. Примените этот анализ как к входным данным пользователя, так и к ответам системы, чтобы обеспечить тщательную модерацию содержимого в входящих потоках и исходящих потоках.

В некоторых случаях необходимо выполнить несколько вызовов модели, например с помощью Azure OpenAI в Foundry Models, для обслуживания одного клиентского запроса. В этих сценариях применение проверок безопасности содержимого к каждому вызову может быть дорогостоящим и ненужным. Рассмотрите возможность централизованной работы в архитектуре при сохранении безопасности на стороне сервера. Предположим, что архитектура имеет шлюз перед конечной точкой вывода модели, чтобы выгрузить определенные внутренние возможности. Этот шлюз можно разработать для обработки проверок безопасности содержимого для запросов и ответов, которые серверная часть может не поддерживать нативно. Хотя шлюз является обычным решением, уровень оркестрации может эффективно обрабатывать эти задачи в простых архитектурах. В обоих случаях можно выборочно применять эти проверки при необходимости, что оптимизирует производительность и затраты.

проверки должны быть многомодальными и охватывать различные форматы. При использовании многомодальных входных данных, таких как изображения, важно проанализировать их для скрытых сообщений, которые могут быть вредными или насильственными. Эти сообщения могут быть не сразу видимыми, поэтому им требуется тщательная проверка. Используйте такие средства, как API безопасности содержимого для этой цели.

Чтобы обеспечить соблюдение политик конфиденциальности и безопасности данных, проверьте данные пользователей и данные о соответствии нормативным требованиям о конфиденциальности. Убедитесь, что данные санируются или фильтруются по мере его прохождения через систему. Например, данные из предыдущих бесед в службе поддержки клиентов могут служить основными данными. Перед повторной использованием эти данные следует дезинфисировать.

Обработка пользовательских данных соответствующим образом

Ответственные практики включают в себя тщательную обработку управления данными пользователей. Это управление включает в себя знание того, когда следует использовать данные и когда избежать использования пользовательских данных.

• Практика рассуждений без обмена данными пользователя. Для безопасного совместного использования данных пользователей с другими организациями для получения аналитических сведений используйте модель распределительного хранилища. В этом сценарии организации предоставляют данные доверенному партнеру, который обучает модель с помощью агрегированных данных. Затем все учреждения могут использовать эту модель и предоставлять аналитические сведения без предоставления отдельных наборов данных. Цель состоит в том, чтобы использовать возможности вывода модели без предоставления общего доступа к подробным данным обучения.

• Повышение разнообразия и инклюзивности. Если необходимо использовать данные пользователей, используйте разнообразие данных, включая жанры и создателей, которые недопредставлены, с целью снижения несправедливости. Реализуйте функции, которые поощряют пользователей изучать новое и разнообразное содержимое. Отслеживайте использование на постоянной основе и корректируйте рекомендации, чтобы избежать чрезмерного использования любого одного типа контента.

• Уважайте RTBF. Избегайте использования пользовательских данных, когда это возможно. Помогите обеспечить соответствие RTBF, выполнив необходимые меры, чтобы убедиться, что пользовательские данные удаляются старательно.

  Чтобы обеспечить соответствие требованиям, могут возникнуть запросы на удаление пользовательских данных из системы. Для небольших моделей можно удалить пользовательские данные, повторно обучив модель с помощью данных, которые исключают личную информацию. Для более крупных моделей, которые могут состоять из нескольких небольших, независимо обученных моделей, процесс более сложный, а затраты и усилия являются значительными. Ищите юридические и этические рекомендации по обработке этих ситуаций и убедитесь, что они включены в ваши политики ответственного искусственного интеллекта.

• Сохраняйте данные ответственно. Если удаление данных невозможно, получите явное согласие пользователя для сбора данных и предоставьте четкие политики конфиденциальности. Сбор и хранение данных только при абсолютной необходимости. Выполняйте операции для агрессивного удаления данных, когда они больше не нужны. Например, очистите журнал чата сразу после практического использования и анонимизируйте конфиденциальные данные перед хранением. Используйте расширенные методы шифрования для неактивных данных.

• Поддержка объяснимости. Отслеживайте решения в системе для поддержки требований к объяснительности. Разработка четких объяснений того, как работают алгоритмы рекомендаций. Предоставьте пользователям аналитические сведения о том, почему для них рекомендуется определенное содержимое. Цель заключается в том, чтобы рабочие нагрузки ИИ и их результаты были прозрачными и оправданными, детализовав, как они принимаются решения, какие данные они используют, и как были обучены модели.

• Шифрование данных пользователя. Входные данные должны быть зашифрованы на каждом этапе конвейера обработки данных с момента ввода пользователем данных. Эти этапы включают данные, которые перемещаются с одной точки на другую, данные, которые хранятся, и данные, которые обрабатываются при необходимости. Балансируйте безопасность и функциональные возможности и стремитесь обеспечивать конфиденциальность данных на протяжении всего жизненного цикла.

• Предоставление надежных элементов управления доступом. Несколько типов идентичностей могут потенциально получить доступ к данным пользователя. Реализуйте управление доступом на основе ролей для плоскости управления и плоскости данных, чтобы он охватывал взаимодействие между пользователями и системой.

  Обеспечение надлежащей сегментации пользователей для защиты конфиденциальности. Например, Microsoft 365 Copilot может выполнять поиск и предоставлять ответы на основе определенных документов и сообщений электронной почты пользователя, обеспечивая доступ только к содержимому, соответствующему этому пользователю.

• Уменьшите область поверхности. Основная стратегия столпа безопасности фреймворка Well-Architected — уменьшить поверхность атаки и укрепить ресурсы. Эту стратегию следует применять к стандартным методам безопасности конечных точек, жестко контролируя конечные точки API, предоставляя только важные данные и избегая дополнительных сведений в ответах. Сбалансируйте выбор дизайна между гибкостью и контролем.

  Убедитесь, что нет анонимных конечных точек. Как правило, не предоставляйте пользователям больше контроля, чем необходимо. В большинстве случаев пользователям не нужно настраивать гиперпараметры, за исключением экспериментальных сред. В типичных случаях использования, таких как взаимодействие с виртуальным агентом, пользователи должны контролировать только важные аспекты, чтобы обеспечить безопасность путем ограничения ненужных элементов управления.

Дополнительные сведения см. в статье Проектирование приложений для рабочих нагрузок ИИ в Azure.

Следующий шаг