Часто задаваемые вопросы по инструменту для использования компьютера

Эти часто задаваемые вопросы (FAQ) дают информацию о возможностях, использовании, ограничениях и мерах предосторожности, о которых следует знать, добавляя инструмент использования компьютера для ваших агентов Copilot Studio.

Что такое инструмент для использования компьютера?

Computer use — это инструмент, который можно добавить в Copilot Studio агентов, предназначенный для автоматизации задач на сайтах и в приложениях. Вы предоставляете описания задач на естественном языке, а инструмент автоматизирует клики мышью и действия клавиатуры соответственно. Например, вы можете поручить инструменту открыть PDF и использовать его содержимое для заполнения веб-формы. Инструмент визуально интерпретирует экран и выполняет необходимые клики и нажатия клавиш, имитируя человеческое взаимодействие.

Что может делать инструмент для использования компьютера?

Этот инструмент обрабатывает пиксельные данные экрана для понимания контента на экране и выполняет задачи с помощью виртуальных кликов мыши и клавиатуры. Инструмент может управлять многоступенчатыми рабочими процессами, работать с неожиданными сценариями и динамически адаптироваться к изменениям экрана, что позволяет выполнять различные цифровые задачи, такие как навигация по сайтам и заполнение форм без использования специализированных API.

Инструмент использования компьютера следует итеративному циклу, состоящему из трёх шагов:

• Восприятие: Он делает скриншоты для визуального понимания текущего состояния экрана компьютера.

• Рассуждение: Он оценивает текущее состояние, предыдущие действия и скриншоты с помощью подхода цепочки мыслей, что позволяет эффективно адаптировать свои действия.

• Действие: выполняет такие действия, как клик, печать или прокрутка, пока задача не будет выполнена или не потребуется дополнительное участие пользователя.

Каковы назначения инструмента для использования компьютера?

Инструмент использования компьютера предназначен для автоматизации взаимодействия пользователя с веб-сайтами и приложениями с помощью виртуальной мыши и клавиатуры, особенно полезно в ситуациях, когда API недоступны.

Как оценивался инструмент использования компьютера? Какие метрики используются для измерения производительности?

Инструмент использования компьютера был тщательно оценён на основе реальных сценариев на этапах проектирования, разработки и внедрения. Методы оценки включали исследования, исследования воздействия и тестирование в различных сценариях для измерения точности, доверия пользователей и полезности. Как качественные, так и количественные показатели регулярно отслеживаются для поддержания высокой производительности и положительного пользовательского опыта. Доступность инструмента также обеспечивается соблюдением установленных SLA.

Каковы ограничения инструмента для использования компьютера? Как пользователи могут минимизировать влияние ограничений использования инструмента компьютера при использовании системы?

Использование компьютеров — это новая технология с известными рисками безопасности и функциональными ограничениями. Мы даём вам возможность экспериментировать с ним. Эта возможность на ранних стадиях позволяет автоматизировать определённые компьютерные задачи, хотя её производительность сильно варьируется в зависимости от конкретного случая использования. Чтобы использовать его эффективно и ответственно, понимайте его текущие ограничения.

Известные ограничения

• Процент успеха варьируется в зависимости от задачи: инструмент лучше всего справляется с веб-задачами (около 80% успеха), но значительно снижается в десктопных приложениях (около 35% успеха).
• Непоследовательная производительность: Одна и та же задача может дать разные результаты в зависимости от визуальных или временных изменений.
• Трудности с некоторыми элементами управления интерфейсом: Использование компьютера может испытывать трудности с взаимодействием с нестандартными или динамическими элементами интерфейса, такими как выпадающие списки, выбор дат или пользовательские виджеты.
• Циклы и состояния «застряли»: В некоторых случаях агент входит в цикл или застревает, когда экран не соответствует ожиданиям или изменяется непредсказуемо.
• Трудности со сложными задачами: Хотя инструмент эффективен для простых действий, он может испытывать трудности с детализированными графическими интерфейсами или задачами, связанными с сложной обработкой текста.
• Не для чувствительных или рискованных случаев: инструмент не предназначен для:
  • Рекомендации или оценка в чувствительных сферах, таких как найм, здравоохранение или финансы
  • Совершение финансовых операций
  • Вредные действия, такие как спам или дезинформация
  • Обмен данными вне вашей организации без надлежащего разрешения

Как минимизировать ограничения

Для повышения надёжности следует предоставлять чёткие и подробные инструкции при настройке задач, чтобы снизить количество ошибок и повысить их успех.

Что такое функция человеческого надзора?

Компьютерные запуски могут столкнуться с неоднозначностью или отсутствующей информацией, например, отсутствует необходимое значение или возможны несколько интерпретаций. В таких случаях функция человеческого надзора позволяет агенту, использующему компьютер, приостановить выполнение и отправить запрос на разъяснение уполномоченному и настроенному человеческому рецензенту. Рецензенты могут отвечать по электронной почте или в Copilot Studio, используя карту активности агента. После того как агент, использующий компьютер, получает ответ, он продолжает свой запуск с паузированного шага на карте.

Надёжность и ограничения

Оценки, основанные на продукте, показывают, что функция человеческого надзора в целом работает как следует, но она может сработать или вести себя неожиданно. Поскольку запросы на разъяснение вызываются поведением вероятностной модели, они могут не срабатывать во всех ситуациях, когда человек хочет сделать паузу, а также могут срабатывать, когда пауза не нужна. Не стоит полагаться на запросы на разъяснения как на гарантию безопасности или гарантию того, что система всегда будет запрашивать человеческое мнение перед продолжением.

Это не механизм обеспечения соблюдения таможенных правил

Запросы на человеческий надзор не гарантируют соблюдения ваших установленных правил, политик или ограничений. Вам следует применять больше контролей, подходящих для каждого возможного сценария (например: чистые инструкции, ограниченные среды, учетные записи с наименьшими привилегиями, списки разрешений и другие операционные меры защиты), а не полагаться на запросы на разъяснения для предоставления информации или предотвращения нежелательных действий.

Какие операционные факторы и настройки позволяют эффективно и ответственно использовать инструмент для использования компьютера?

Инструмент использования компьютера работает лучше всего при предоставлении чётких и подробных инструкций пользователя. Пользователи должны давать точные подсказки о взаимодействии с сайтом или приложением, чтобы повысить надёжность и точность при выполнении задач. Для большей видимости и контроля включите человеческий надзор, назначив одного или нескольких авторизованных рецензентов на странице настройки инструментов. Когда модель обнаруживает потенциально вредоносные инструкции, эти рецензенты получают уведомления для проверки и принятия решения, продолжать или останавливать запуск.

Как дать обратную связь по инструменту для использования компьютера?

Есть отзывы по инструменту использования компьютера? Электронная почта computeruse-feedback@microsoft.com.