Автоматизация веб- и десктопных приложений с помощью компьютера (предварительный просмотр)

[Данная статья является предварительной версией документации и может быть изменена.]

Использование компьютера — это инструмент в Copilot Studio, который позволяет вашему агенту взаимодействовать с задачами и автоматизировать задачи на компьютере Windows. Он работает с сайтами и десктопными приложениями, выбирая кнопки, выбирая меню и вводя текст в поля на экране. Опишите на естественном языке, что вы хотите, чтобы компьютер делал, и он выполняет эту задачу на компьютере, который вы настроили, используя виртуальную мышь и клавиатуру. Используя компьютер, агенты могут выполнять задачи даже тогда, когда нет API для прямого подключения к системе. Если человек может пользоваться приложением или сайтом, то и компьютер тоже. Вы можете использовать компьютер для таких задач, как автоматизированный ввод данных, обработка счетов и извлечение данных.

Использование компьютера обеспечивается Computer-Using Agents (CUA) — моделью ИИ, которая сочетает возможности зрения с продвинутым рассуждением для взаимодействия с графическими интерфейсами пользователя (GUI). Поскольку он работает на базе искусственного интеллекта, он адаптируется к изменениям интерфейса. Например, когда меняются кнопки или экраны, инструмент продолжает работать, не нарушая ваш поток. Им просто пользоваться. Просто опишите, что хотите, на естественном языке. Вам не нужно писать код.

Посмотрите это видео, чтобы узнать, как инструмент использования компьютера позволяет агенту взаимодействовать с веб-приложением.

Требования

• Эта функция доступна для сред, где регион установлен на United States.

• Убедитесь, что у вашего агента включён генеративный оркестратор для использования компьютера.

Добавьте использование компьютера к вашему агенту

Для нового или существующего агента в Copilot Studio добавьте использование компьютера как инструмент, следуя следующим шагам:

1. Перейдите в раздел «Инструменты » в вашем агенте и выберите «Добавить» инструмент.

2. В диалоге «Добавить» инструмент выберите « Новый инструмент».

3. Выберите «Использование компьютера».

4. Предоставьте инструкции, описывающие задачу, которую инструмент должен выполнять на компьютере. Вы видите несколько шаблонов инструкций для начала. Чтобы узнать больше о том, как лучше всего писать инструкции для использования на компьютере, ознакомьтесь с лучшими практиками по инструкциям для компьютерного использования.

5. Выберите Добавить и настроить. На странице конфигурации настройте эти четыре поля:

   • Название: Введите отображаемое имя инструмента для использования компьютера. Это название помогает выделить его среди других инструментов, которые вы добавляете в агента.

   • Описание: Введите краткое описание того, что делает этот инструмент и когда его использовать. Этот текст сообщает агенту, когда использовать этот инструмент.

   • Модель: Выберите модель, используемую для выполнения инструмента использования компьютера. В настоящее время поддерживаемые модели включают Computer-Using Agent от OpenAI и Claude Sonnet 4.5 от Anthropic.

     Замечание

     Claude Sonnet 4.5 от Anthropic сейчас распространяется в поддерживаемых регионах и, возможно, ещё не будет доступен в вашем регионе. Убедитесь, что администратор включил внешние модели.

   • Инструкции: Перечислите шаги, которые инструмент должен выполнить, включая URL и имена приложений. Для советов смотрите раздел «Лучшие практики» для инструкций по работе с компьютером.

6. Ознакомьтесь с этими и другими полями и настройками на странице конфигурации, которые могут быть актуальны:

   • Входы: используйте входы для определения динамических значений, которые меняются при каждом запуске компьютера. Например, если вы хотите заполнить форму с разным значением при каждом запуске, создайте ввод для этого поля. Во время выполнения компьютер объединяет ваши инструкции с входными значениями для выполнения задачи.

   • Машина: Выберите целевую машину, которую агент использует для работы с компьютером. Для получения дополнительной информации о выборе подходящего типа машины с учётом ваших требований обратитесь к разделу «Конфигурировать, где используется использование компьютера ».

     • Используйте Refresh для обновления списка машин.
     • Выберите Manage machines чтобы открыть страницу управления машинами в Power Automate портале.
     • Выберите См. детали машины чтобы открыть страницу данных машины в Power Automate портале.

   • Соединение: Соединение, используемое для этого инструмента. Обновите или создайте новое соединение, чтобы изменить используемые учетные данные.

   • Учетные данные для использования: Укажите, как компьютер использует аутентификации при выполнении:

     • Учетные данные, предоставленные создателем (по умолчанию): Эта опция использует учетные данные создателя и подходит для автономных агентов.

       Предупреждение

       Если вы делите агент с этой настановкой, любой, кто его использует, может действовать с доступом оригинального автора на настроенном компьютере.

     • Учетные данные конечного пользователя: Этот вариант использует учетные данные лица, взаимодействующего с агентом. Каждый пользователь должен иметь учетные данные доступа к машине.

   • Человеческий надзор: Уточните, с кем следует связаться по электронной почте (Outlook), если агент компьютерного использования обнаруживает потенциально вредные инструкции, способные изменить поведение модели. Каждый агент запускается, и его активность связана с пользователем, который его инициировал. Если вы выберете рецензента, кроме того, кто управляет компьютерным агентом, он, скорее всего, не увидит активность, потому что не инициировал запуск. Поэтому они не могут должным образом проверить или выполнить запрос. Также убедитесь, что получатель уполномочен и имеет необходимый контекст для обработки таких запросов. Ограничение времени ответа определяет, как долго запрос остаётся активным. После этого срока запрос истекает, и компьютерное использование запуска прекращается, если не поступает ответ. См. статью «Надзор за людьми » для получения дополнительной информации.

   • Сохранённые учетные данные: Определите учетные данные, которые компьютер использует для входа в веб-сайты и приложения. Во время выполнения, если появляется запрос на вход, компьютерное использование безопасно использует любые учётные данные, которые вы определили в этом разделе для этого сайта или приложения. Значения паролей этих учетных данных либо хранятся во внутреннем хранилище Power Platform (конфигурация не требуется), либо в Azure Key Vault, который вы предоставляете. Чтобы узнать, как создавать Azure Key Vault, см. Создать хранилище ключей с помощью портала Azure.

     • Опция внутреннего хранилища: Используя эту опцию, вы можете настроить учетные данные в инструменте без предварительной настройки. Секреты шифруются и хранятся внутри Power Platform. Для каждого удостоверения укажите следующие данные:

       • Тип: выберите между Веб-сайтом и Десктопным приложением в зависимости от того, на каком Surface вы планируете использовать этот аккаунт
       • Имя пользователя: имя пользователя, которое вы используете для входа на целевой сайт или приложение.
       • Пароль: значение пароля, используемое для входа на целевой сайт или приложение.

       Замечание

       Поля паролей поддерживаются на всех сайтах и большинстве приложений Windows (WinForms, WPF, UWP, WinUI, Win32), что охватывает большинство сценариев для клиентов. Некоторые типы приложений, такие как Electron, Java, Unity, игры, командные интерфейсы, Citrix или другие виртуализированные среды, могут не поддерживаться.

       • Домен входа (сайты) или имя десктопного приложения (десктопные приложения):
         • Веб-сайты: Введите основной адрес сайта (например, example.com). Вы автоматически включаете все страницы на этом сайте. Вы также можете использовать джокеры (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
         • Десктопные приложения: Введите название продукта или процесса приложения. Чтобы найти его, нажмите Ctrl+Shift+Esc , чтобы открыть Диспетчер задач. Затем проверьте вкладку Processes. Примеры: Microsoft Edge, msedge, Notepad.

     • Azure Key Vault опция: С помощью этой опции вы можете настроить учетные данные инструмента, сначала введя ID подписки, название группы ресурса и имя Key Vault. Всю эту информацию вы можете найти на странице Обзор вашего Key Vault.

       • To use Azure Key Vault secrets with Power Platform:

         • Подписка Azure с хранилищем должна иметь зарегистрированный PowerPlatform resource provider.
         • Пользователь, создающий переменную среды, должен иметь соответствующие права на доступ к ресурсу Azure Key Vault.

       • Если вы ещё не сделали этого, следуйте шагам в Configure Azure Key Vault и затем укажите следующие детали:

         • Имя пользователя: имя пользователя, которое вы используете для входа на целевой сайт или приложение.
         • Azure секретное имя: название секрета в хранилище ключей, где хранится пароль от сайта или приложения
         • Домен входа (сайты) или имя десктопного приложения (десктопные приложения):
           • Веб-сайты: Введите основной адрес сайта (например, example.com). Вы автоматически включаете все страницы на этом сайте. Вы также можете использовать джокеры (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
           • Десктопные приложения: Введите название продукта или процесса приложения. Чтобы найти его, нажмите Ctrl+Shift+Esc , чтобы открыть Диспетчер задач. Затем проверьте вкладку Processes. Примеры: Microsoft Edge, msedge, Notepad.

   • Контроль доступа: по умолчанию компьютер может работать на любом сайте или приложении. Если вы хотите ограничить этот доступ, включите контроль доступа, чтобы определить конкретные URL и десктопные приложения, которыми должен пользоваться компьютер. Вы можете настроить как веб-сайты, так и приложения:

     • Веб-сайты: Введите основной адрес сайта (например, example.com). Вы автоматически включаете все страницы на этом сайте. Вы также можете использовать джокеры (*) для поддоменов. Примеры: www.contoso.com, *.contoso.comcontoso.com
     • Десктопные приложения: Введите название продукта или процесса приложения. Чтобы найти его, нажмите Ctrl+Shift+Esc , чтобы открыть Диспетчер задач. Затем проверьте вкладку Processes. Примеры: Microsoft Edge, msedge, Notepad.

     Замечание

     Контроль доступа лишь предотвращает действия модели на сайтах или приложениях, не входящих в список разрешений. Это не мешает модели открывать их. Например, если в списке разрешений находятся только microsoft.com и Microsoft Edge, модель всё равно может использовать строку поиска Edge для открытия Bing. Однако, как только Bing открывается, любая попытка взаимодействовать с ним терпит неудачу, потому что он не входит в список разрешений.

7. Нажмите Сохранить.

Использование тестового компьютера

Тестирование использования компьютера — ключевой этап в процессе написания. После того как вы введете имя, описание и инструкции, а также сохраните инструмент, выберите Тест , чтобы начать процесс тестирования.

После короткого периода загрузки появляется опыт тестирования:

• Левая панель показывает ваши инструкции и пошаговый журнал рассуждений и действий инструмента.
• Правая панель показывает предварительный просмотр действий на машине, которую вы настроили для компьютера.

Когда задание заканчивается, вы видите сообщение «Тест завершён ». Пока тест идёт, вы можете выбрать «Остановить тестирование », чтобы немедленно остановить все действия на машине.

Если результат не соответствует вашим ожиданиям, перейдите на страницу конфигурации и уточните инструкции. Добавьте больше деталей для повышения точности. Для получения рекомендаций ознакомьтесь с лучшими практиками написания эффективных инструкций.

Публикуйте агент с использованием компьютера

Настройте использование на компьютере, а затем опубликуйте своего агента. То, как работает ваш агент, зависит от ситуации. Он может быть автономным или разговорным:

• Автономные агенты работают автоматически и выполняют задачи в фоновом режиме.
• Разговорные агенты позволяют пользователям взаимодействовать через такие каналы, как Microsoft Teams.

Использование компьютера лучше всего работает для автономных агентов, выполняющих задачи в фоновом режиме без взаимодействия пользователя.

Вы также можете применять использование компьютера в разговорном опыте, но имейте в виду следующие моменты:

• Если выбрать аутентификацию пользователя в качестве настройки аутентификации, каждому пользователю, взаимодействующему с агентом в разговоре, необходимы действительные учетные данные для машины, используемой компьютером.
• Когда инструмент работает, он делится рассуждающими сообщениями и скриншотами активности машины в чате.

Лучшие практики

Чтобы оставаться продуктивными и безопасными в современных цифровых условиях, следуйте лучшим практикам использования компьютера, особенно при написании чётких инструкций и обеспечении безопасности машин.

Лучшие практики по обеспечению безопасности машин

При настройке машин для компьютерного использования, позволяющего ИИ выполнять задачи с использованием естественного языка, учитывайте следующие рекомендации по безопасности:

Лучшие практики по инструкциям для компьютерного использования

Инструкции, которые вы пишете, определяют, насколько хорошо работает работа с компьютером. Конкретные, подробные инструкции помогают компьютеру точно выполнять зачётные задачи. Думайте об этом как о объяснении задачи коллеге. Чёткие, пошаговые рекомендации помогают добиться успеха.

Советы по написанию эффективных инструкций:

• Будьте конкретны в выборе сайтов и приложений. Всегда указывайте полный URL любого сайта и точное название приложения, которое должен использовать инструмент. Пример: откройте https://www.microsoft.com и перейдите в раздел «Новости компании».

• Чётко указывайте соответствующие действия. Если хочешь что-то сделать, скажи это прямо и, сделай это прямо, особенно когда речь идёт о подаче формы или отправке письма. Пример: после заполнения формы выберите «Отправить». Не нужно спрашивать разрешения.

• Разберите сложные взаимодействия. В тех областях, где интерфейс может быть сложнее для навигации, подробно объясните каждый шаг. Пример: выберите значок «Больше » в правом верхнем углу. Появляется выпадающее меню. После открытия выберите последний элемент в списке.

• Используйте пошаговое форматирование для более длинных задач. Длинные инструкции легче выполнять, если оформить их в виде списка.

Примеры инструкций

Ознакомьтесь с этими примерами инструкций, чтобы попробовать компьютерное использование или использовать их в качестве справочника для написания собственного письма.

Лучшие практики извлечения данных

Вы можете использовать компьютер для извлечения данных с сайтов или приложений, а затем передавать их своему агенту или другим инструментам в агенте. Для этого опишите, какую информацию вы хотите извлечь напрямую в инструкции для использования на компьютере.

Если вы хотите использовать извлеченные данные с другим инструментом (например, отправить их по электронной почте), укажите эту необходимость в инструкциях агента и обязательно добавьте оба инструмента в агент. Пример: используйте компьютер, чтобы извлечь информацию о клиенте из панели финансового портфеля и отправьте их по электронной почте. В этом случае ваш агент должен включать и инструмент использования компьютера, и инструмент электронной почты.

Извлечение значений в виде текста

Вы можете инструктировать компьютер извлечь определённые значения и вернуть их в виде обычного текста. Например, следующий запрос извлекает портфельный менеджер и стоимость портфеля для клиента, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

Агент возвращает только два запрошенных значения в виде текста.

Извлечение значений в формате JSON

Вы также можете попросить компьютер вернуть извлеченную информацию в формате JSON. Этот формат полезен, когда вы хотите передать структурированные данные другому инструменту. Следующий пример извлекает все строки портфеля, связанные с Contoso, и возвращает их как правильно отформатированный JSON:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Такой подход обеспечивает структуру результата.

Лицензирование

Пока использование компьютера находится в предварительном просмотре, сервис выставляет счета за использование с помощью функции действия агента с оплатой в пять кредитов Copilot. Для получения дополнительной информации см. Microsoft Copilot Studio ставка и управление счетами.

Каждый компьютер, используемый для запуска, основан на модели ИИ, которая выполняет последовательность шагов. Шаг может включать одно или несколько низкоуровневых действий, таких как клики, набор текста или навигация. Каждый шаг требует 5 Copilot кредитов.

Например, если вы настроите использование компьютера для заполнения веб-формы табеля рабочего времени, запуск может выполнять следующие шаги:

1. Запустите браузер и перейдите к порталу табеля рабочего времени.

2. Выберите «Создать новый табель рабочего времени».

3. Заполните поля Время начала, End Time и Project Code.

4. Нажмите кнопку Отправить.

В этом примере компьютерный run выполняет четыре шага, расходуя в общей сложности 20 кредитов Copilot.

Поделитесь своим мнением

Есть ли у вас отзывы о работе с компьютером? Дайте знать по адресу computeruse-feedback@microsoft.com.

Связанная информация

Часто задаваемые вопросы по инструменту для использования компьютера