Обзор ответственной практики ИИ для моделей OpenAI Azure

Многие из моделей OpenAI Azure — это модели создания искусственного интеллекта, демонстрирующие улучшения расширенных возможностей, таких как создание содержимого и код, сводка и поиск. С увеличением этих улучшений также возрастают ответственные задачи в области искусственного интеллекта, связанные с вредоносным контентом, манипуляцией, человекоподобным поведением, конфиденциальностью и другими аспектами. Дополнительные сведения о возможностях, ограничениях и подходящих вариантах использования для этих моделей см. в заметке о прозрачности.

Помимо примечание о прозрачности, мы предоставляем технические рекомендации и ресурсы, помогающие клиентам разрабатывать, развертывать и использовать системы искусственного интеллекта, которые реализуют модели OpenAI Azure ответственно. Наши рекомендации основаны на Microsoft Responsible AI Standard, который устанавливает требования к политике, которым следуют наши собственные инженерные команды. Большая часть содержимого стандарта соответствует шаблону, запрашивая команды определять, измерять и устранять потенциальные вреды, а также планировать работу системы ИИ. В соответствии с этими рекомендациями эти рекомендации организованы на четыре этапа:

1. Определите : определите и расставьте приоритеты потенциальных рисков, которые могут возникнуть при использовании вашей системы искусственного интеллекта посредством итеративного red-teaming, стресс-тестирования и анализа.
2. Мера : измеряйте частоту и серьезность этих причин, устанавливая четкие метрики, создавая наборы тестов измерений и выполняя итеративное, систематическое тестирование (как вручную, так и автоматизированное).
3. Смягчение рисков путем реализации инструментов и стратегий, таких как проектирование запросов и использование наших ограждений (ранее фильтры содержимого). Повторите измерение для проверки эффективности после реализации мер по устранению рисков.
4. Эксплуатация : определение и выполнение плана развертывания и оперативной готовности.

Помимо их соответствия стандарту Microsoft Ответственного ИИ, эти этапы тесно соответствуют функциям в NIST AI Risk Management Framework.

Определить

Первый этап жизненного цикла ответственного искусственного интеллекта — выявление потенциальных причинений вреда, которые могут возникнуть в системе ИИ или могут быть вызваны ими. Чем раньше вы начинаете выявлять потенциальные повреждения, тем эффективнее вы можете быть в их устранении. При оценке потенциального вреда важно выяснить, какие типы вреда могут возникнуть при использовании Служба Azure OpenAI в ваших конкретных контекстах. В этом разделе приведены рекомендации и ресурсы, которые можно использовать для выявления вреда с помощью оценки влияния, итеративного красного командного тестирования, стресс-тестирования и анализа. Редтиминг и стресс-тестирование — это подходы, при которых группа тестировщиков намеренно проверяет систему для выявления ее ограничений, поверхности риска и уязвимостей.

Эти шаги создают приоритетный список потенциальных причинений вреда для каждого конкретного сценария.

1. Определите вред, соответствующий определенной модели, приложению и сценарию развертывания.
   1. Определите потенциальные риски, связанные с возможностями модели и самой модели (например, сравните модели GPT-3 и GPT-4), которые используются в вашей системе. Каждая модель имеет различные возможности, ограничения и риски.
   2. Определите любой другой вред или увеличение масштаба вреда, представленного предполагаемым использованием системы, которую вы разрабатываете. Рассмотрите возможность использования оценки влияния ответственного искусственного интеллекта для выявления потенциального вреда.
      1. Например, рассмотрим систему ИИ, которая суммирует текст. Некоторые виды генерации текста имеют меньший риск, чем другие. Если система используется в области здравоохранения для суммирования заметок врача, риск ущерба, возникающего из-за неточностей, выше, чем если система суммирует онлайн-статьи.
2. Определите приоритеты вреда на основе таких элементов риска, как частота и серьезность. Оцените уровень риска для каждого вреда и вероятность каждого риска, возникающего для определения приоритета списка вреда, который вы определили. При необходимости рекомендуется работать с экспертами и руководителями по рискам в организации и с соответствующими внешними заинтересованными лицами.
3. Проводите тестирование красной команды и стресс-тестирование, начиная с угроз самого высокого приоритета. Разработайте более глубокое понимание того, происходит ли и каким образом выявленный вред может возникнуть в вашем сценарии. Определите новые повреждения, которые вы изначально не ожидали.
4. Поделитесь этой информацией с соответствующими заинтересованными лицами с помощью внутренних процессов соответствия вашей организации.

В конце этого этапа идентификации у вас есть документированный, приоритетный список вреда. Когда выявляются новые вреды и новые случаи причинения вреда в ходе дальнейшего тестирования и использования системы, обновляйте и улучшайте этот список.

Измерения

После определения приоритетного списка вреда разработайте подход для систематического измерения каждого вреда и проведения оценки системы искусственного интеллекта. Вы можете использовать ручной и автоматизированный подходы к измерению. Мы рекомендуем использовать оба подхода, начиная с ручного измерения.

Ручное измерение полезно для:

• Измерение хода выполнения по небольшому набору приоритетных вопросов. При устранении конкретных последствий наиболее продуктивно вручную отслеживать прогресс с помощью небольшого набора данных до тех пор, пока вред не исчезнет, до начала автоматизированного измерения.
• Определение и отчетность по метрикам до тех пор, пока автоматическое измерение не станет достаточно надежным для самостоятельного использования.
• Периодически проводите выборочную проверку для измерения качества автоматического измерения.

Автоматическое измерение полезно для:

• Измерение в большом масштабе с увеличением охвата, чтобы обеспечить более полные результаты.
• Текущее измерение для отслеживания любой регрессии по мере развития системы, использования и устранения рисков.

Приведенные ниже рекомендации помогут оценить систему искусственного интеллекта на предмет потенциального вреда. Рекомендуется сначала выполнить этот процесс вручную, а затем разработать план для автоматизации процесса:

1. Создайте входные данные, которые, скорее всего, будут производить каждый приоритетный вред: Создайте наборы измерений, создав множество разнообразных примеров целевых входных данных, которые, скорее всего, будут создавать каждый приоритетный вред.

2. Создание выходных данных системы: Передайте примеры из наборов измерений в качестве входных данных в систему для создания выходных данных системы. Задокументируйте выходные данные.

3. Оцените выходные данные системы и сообщите результаты соответствующим заинтересованным сторонам

   1. Определите четкие метрики. Для каждого предполагаемого использования системы установите метрики, которые измеряют частоту и степень серьезности каждого потенциально вредного вывода. Создайте четкие определения для классификации выходных данных, которые вы считаете вредными или проблемными в контексте системы и сценария, для каждого типа определяемого вами вреда.
   2. Оцените выходные данные по четким определениям метрик. Запишите и количественно оцените вхождения вредных выходных данных. Периодически повторяйте измерения, чтобы оценить способы устранения рисков и отслеживать любые регрессии.
   3. Поделитесь этой информацией с соответствующими заинтересованными лицами с помощью внутренних процессов соответствия вашей организации.

К концу этого этапа измерения у вас должен быть определенный подход к оценке того, как ваша система справляется с каждым потенциальным вредом, а также изначальный набор документированных результатов. При дальнейшем внедрении и тестировании мер по снижению риска уточняйте метрики и наборы показателей. Например, добавьте метрики для новых причин вреда, которые вы изначально не ожидали. Обновите результаты.

Смягчить

Устранение вреда, представленного большими языковыми моделями, такими как Azure модели OpenAI, требует итеративного, многоуровневого подхода, включающего экспериментирование и постоянное измерение. Мы рекомендуем разработать план устранения рисков, охватывающий четыре уровня устранения рисков, которые вы определили на предыдущих этапах этого процесса:

1. На уровне модели вы понимаете используемые модели и какие действия по настройке разработчики моделей принимают для выравнивания модели по отношению к его предполагаемому использованию и уменьшению риска потенциально вредных использования и результатов.
   1. Например, разработчики используют методы обучения с подкреплением в качестве инструмента ответственного ИИ для лучшего соответствия GPT-4 целям, задуманным разработчиками.
2. На уровне системы безопасности понять меры по смягчению, которые внедряют разработчики на уровне платформы, такие как Azure OpenAI Guardrails (ранее фильтры содержимого), которые помогают блокировать выход вредного содержимого.
3. На уровне приложения разработчики могут реализовывать метапромпты, а также пользовательско-ориентированный дизайн и улучшения пользовательского опыта. Метаподсказки — это инструкции, предоставляемые модели для руководства её поведением. Их использование может существенно изменить поведение системы в соответствии с вашими ожиданиями. Действия по проектированию и взаимодействию с пользователем (UX) также являются ключевыми средствами устранения рисков, чтобы предотвратить неправильное использование и чрезмерное использование искусственного интеллекта.
4. На уровне позиционирования обучите людей, использующих или пострадавших от вашей системы о его возможностях и ограничениях.

В следующих разделах приведены конкретные рекомендации по реализации мер по устранению рисков на разных уровнях. Не все эти способы устранения рисков подходят для каждого сценария. И наоборот, эти способы устранения рисков могут оказаться недостаточными для некоторых сценариев. Внимательно изучите ваш сценарий и определите приоритетный вред. При реализации мер по устранению рисков необходимо разработать процесс , чтобы оценить и задокументировать их эффективность в системе и сценарии.

1. Уровень моделей и смягчение последствий: Проанализируйте и определите, какая базовая модель Azure OpenAI лучше всего подходит для системы, которую вы создаете. Узнайте о своих возможностях, ограничениях и любых мерах, принятых для снижения риска потенциальных причинений вреда, которые вы определили. Например, если вы используете GPT-4, помимо чтения этой заметки прозрачности, просмотрите системную карточку OpenAI GPT-4 , которая объясняет проблемы безопасности, представленные моделью, и процессы безопасности, принятые OpenAI для подготовки GPT-4 к развертыванию. Поэкспериментируйте с различными версиями моделей (включая проверку на безопасность и оценку), чтобы увидеть, как вреды проявляются по-разному.

2. Safety System Level Mitigations: Определите и оцените эффективность решений на уровне платформы, таких как Azure OpenAI Guardrails (ранее фильтры содержимого) для устранения потенциальных рисков, которые вы определили.

3. Устранение рисков на уровне приложения: Проектирование запросов, включая настройку метапроимптов, может быть эффективным устранением различных видов вреда. Просмотрите и реализуйте руководство по метаподсказкам (также называемым "системным сообщением" или "системной подсказкой") и лучшие практики, описанные здесь.

   Реализуйте следующие пользовательский интерфейс и рекомендации по проектированию и пользовательскому интерфейсу, которые помогут пользователям использовать систему в соответствии с целью и предотвратить чрезмерное использование системы ИИ:

   1. Просмотрите и отредактируйте вмешательства: Спроектируйте опыт пользователя (UX), чтобы поощрять тех, кто использует систему, просматривать и редактировать результаты, генерируемые ИИ, прежде чем принимать их (см. HAX G9: поддержка эффективной коррекции).
   2. Выделите потенциальные неточности в выходных данных, созданных ИИ (см. HAX G2: чтобы четко понять, насколько хорошо система может выполнять свои функции), как при первом использовании системы пользователями, так и в соответствующие моменты в ходе ее текущего использования. В первом интерфейсе запуска (FRE) уведомляйте пользователей о том, что выходные данные, созданные ИИ, могут содержать неточности и что они должны проверять информацию. На протяжении всего опыта добавляются напоминания о необходимости проверки выходных данных, созданных ИИ, на предмет потенциальных неточностей, как в общем, так и по отношению к конкретным типам контента, которые система может создать неправильно. Например, если процесс измерения определяет, что система имеет меньшую точность с числами, пометьте числа в созданных выходных данных, чтобы предупредить пользователя и поощрять их проверять числа или искать внешние источники для проверки.
   3. Ответственность пользователя. Напомните людям, что они отвечают за окончательное содержимое при просмотре содержимого, созданного ИИ. Например, при предложении предложений кода напомните разработчику о проверке и тестировании предложений перед принятием.
   4. Раскрытие роли ИИ в взаимодействии. Сделать людей осведомленными о том, что они взаимодействуют с системой искусственного интеллекта (в отличие от другого человека). При необходимости сообщите потребителям контента, что содержимое частично или полностью создается моделью ИИ. Такие уведомления могут потребоваться законом или применимыми рекомендациями. Они могут снизить неуместную зависимость от выходных данных, созданных ИИ, и могут помочь потребителям использовать собственное решение о том, как интерпретировать и действовать на таком контенте.
   5. Предотвратить антропоморфизацию системы. Модели искусственного интеллекта могут выводить содержимое, содержащее мнения, эмоциональные заявления или другие формулировки, которые могут означать, что они похожи на человека. Такое содержимое может быть ошибочно принято за человеческую идентичность. Такое содержимое может заставить людей думать, что система имеет определенные возможности, когда это не так. Реализуйте механизмы, которые снижают риск таких выходных данных или включают раскрытие информации, чтобы предотвратить неправильное понимание выходных данных.
   6. Указывайте ссылки и источники информации. Если ваша система создает содержимое на основе ссылок, отправленных в модель, четко ссылаясь на источники информации, помогает людям понять, откуда поступает содержимое, созданное ИИ.
   7. При необходимости ограничьте длину входных и выходных данных. Ограничение длины входных данных и выходных данных может снизить вероятность производства нежелательного содержимого, неправильного использования системы за пределами его предполагаемого использования или других вредных или непреднамеренных применений.
   8. Структура входных данных и (или) системных выходных данных. Используйте методы проектирования запросов в приложении, чтобы структурировать входные данные в систему, чтобы предотвратить открытые ответы. Кроме того, можно ограничить структуру выходных данных в определенных форматах или шаблонах. Например, если система создает диалоговое окно для вымышленного символа в ответ на запросы, ограничьте входные данные, чтобы пользователи могли запрашивать только предопределенный набор понятий.
   9. Подготовка предварительно определенных ответов. Существуют определенные запросы, к которым модель может создавать оскорбительные, неуместные или другие вредоносные ответы. При обнаружении вредоносных или оскорбительных запросов или ответов можно разработать систему для доставки предопределенного ответа пользователю. Предопределенные ответы должны создаваться вдумчиво. Например, приложение может предоставить готовые ответы на такие вопросы, как "кто/что вы?", чтобы избежать реагирования системы с антропоморфными ответами. Вы также можете использовать предопределенные ответы на такие вопросы, как "Каковы ваши условия использования?", чтобы направить людей в правильную политику.
   10. Ограничение автоматической публикации в социальных сетях. Ограничение того, как пользователи могут автоматизировать свой продукт или службу. Например, можно запретить автоматическое размещение содержимого, созданного ИИ, на внешние сайты (включая социальные сети), или запретить автоматическое выполнение созданного кода.
   11. Обнаружение бота. Разработайте и реализуйте механизм, чтобы запретить пользователям создавать API на основе вашего продукта.

4. Устранение рисков уровня размещения:

   1. Быть надлежаще прозрачным. Обеспечить правильный уровень прозрачности для людей, использующих систему, чтобы они могли принимать обоснованные решения по использованию системы.
   2. Укажите системную документацию. Создайте и предоставьте учебные материалы для вашей системы, включая объяснения его возможностей и ограничений. Например, это содержимое может быть в виде страницы "подробнее", доступной через систему.
   3. Публикация руководств для пользователей и лучших практик. Помогите пользователям и заинтересованным лицам правильно использовать систему, публикуя лучшие практики, например, по созданию запросов, проверять результаты перед их принятием и т. д. Такие рекомендации помогут людям понять, как работает система. По возможности включайте рекомендации и лучшие практики непосредственно в UX.

При реализации мер по устранению потенциальных причинений вреда необходимо разработать процесс для постоянного измерения эффективности таких мер. Зафиксируйте результаты измерений. Просмотрите эти результаты измерения, чтобы постоянно улучшить систему.

Эксплуатировать

После размещения систем измерения и устранения рисков определите и выполните план развертывания и готовности к работе. Этот этап включает в себя выполнение соответствующих проверок системы и планов по устранению рисков с соответствующими заинтересованными лицами, создание конвейеров для сбора данных телеметрии и обратной связи, а также разработки плана реагирования на инциденты и отката.

Рассмотрим следующие рекомендации по развертыванию и работе системы, которая использует службу Azure OpenAI с соответствующими мерами по снижению рисков:

1. Обратитесь к группам соответствия требованиям в организации, чтобы понять, какие типы проверок требуются для вашей системы и когда их завершить. Проверки могут включать юридическую проверку, проверку конфиденциальности, проверку безопасности, проверку специальных возможностей и другие.

2. Разработка и реализация следующих компонентов:

   1. План поэтапной доставки. Запуск систем, которые постепенно используют службу Azure OpenAI, с поэтапной реализацией. Этот подход дает ограниченной группе людей возможность попробовать систему, предоставить отзывы, сообщить о проблемах и опасениях, а также предложить улучшения перед широким выпуском системы. Он также помогает управлять риском непреднамеренных режимов сбоя, непредвиденных системных действий и непредвиденных проблем, сообщаемых.
   2. План реагирования на инциденты. Разработайте план реагирования на инциденты и оцените время, необходимое для реагирования на инцидент.
   3. План отката. Убедитесь, что вы можете быстро и эффективно откатить систему, если возникает непредвиденный инцидент.
   4. Немедленные действия при непредвиденных вредах. Создайте необходимые функции и процессы, чтобы блокировать проблемные запросы и ответы по мере их обнаружения и как можно ближе к реальному времени. При возникновении непреднамеренного ущерба блокируйте проблемные запросы и ответы как можно быстрее. Разработка и развертывание соответствующих мер устранения рисков. Изучите инцидент и реализуйте долгосрочное решение.
   5. Механизм блокировки людей, которые неправильно используют вашу систему. Создайте механизм для выявления пользователей, которые нарушают политики содержимого (например, путем создания речи о ненависти) или используют систему для непреднамеренных или вредных целей. Примите меры против дальнейшего злоупотребления. Например, если пользователь часто использует систему для создания содержимого, заблокированного или помеченного системами безопасности содержимого, рассмотрите возможность блокировки их дальнейшего использования системы. Реализуйте механизм апелляции, если это необходимо.
   6. Эффективные каналы отзывов пользователей. Реализуйте каналы обратной связи, через которые заинтересованные лица (и общедоступная общественность, если применимо), могут отправлять отзывы или сообщать о проблемах с созданным содержимым или которые в противном случае возникают во время их использования системы. Документируйте, как вы обрабатываете, рассматриваете и обрабатываете такие отзывы. Оцените отзывы и работаем над улучшением системы на основе отзывов пользователей. Одним из подходов может быть включение кнопок с созданным содержимым, позволяющим пользователям определять содержимое как "неточное", "вредное" или "неполное". Этот подход может обеспечить более широко используемый, структурированный и обратный сигнал для анализа.
   7. Данные телеметрии. Идентификация и запись сигналов (в соответствии с применимыми законами о конфиденциальности, политиками и обязательствами), которые указывают на удовлетворенность пользователей или их способность использовать систему в предполагаемом режиме. Используйте данные телеметрии для выявления пробелов и улучшения системы.

Этот документ не предназначен для того, чтобы быть и не должен рассматриваться как предоставление юридических консультаций. Юрисдикция, в которой вы работаете, может иметь различные нормативные или юридические требования, применимые к вашей системе ИИ. Обратитесь к юридическому специалисту, если вы не уверены в законах или правилах, которые могут применяться к вашей системе, особенно если вы считаете, что эти рекомендации могут повлиять на эти рекомендации. Помните, что не все эти рекомендации и ресурсы подходят для каждого сценария, и наоборот, эти рекомендации и ресурсы могут быть недостаточно для некоторых сценариев.

Дополнительные сведения об ответственном ИИ

• Принципы Microsoft ИИ
• Ресурсы Microsoft по ответственному использованию ИИ
• Microsoft Azure учебные курсы по ответственному ИИ

Дополнительные сведения о Azure OpenAI

• Ограниченный доступ к Служба Azure OpenAI — Средства Foundry | Microsoft Learn
• Код поведения для Служба Azure OpenAI | Microsoft Learn
• Данные, конфиденциальность и безопасность для Служба Azure OpenAI — средства Foundry | Microsoft Learn