Автоматизация с использованием элементов пользовательского интерфейса

Классические потоки используют элементы пользовательского интерфейса для взаимодействия с приложениями и веб-страницами, не прибегая к распознаванию изображений и абсолютным координатам. Элементы пользовательского интерфейса используются в качестве входных данных в большинстве действий автоматизации пользовательского интерфейса и браузера и определяют определенные элементы в окнах и на веб-страницах.

Элементы пользовательского интерфейса

При развертывании действия автоматизации пользовательского интерфейса или браузера может потребоваться предоставить элемент пользовательского интерфейса в качестве входных данных. Чтобы добавить новый элемент пользовательского интерфейса, вы можете сделать это непосредственно из свойств действия или через панель элементов пользовательского интерфейса конструктора потоков.

Каждая из этих групп действий принимает различные типы элементов пользовательского интерфейса. Действия автоматизации пользовательского интерфейса принимают элементы пользовательского интерфейса, захваченные из классических приложений, а действия браузерной автоматизации принимают элементы пользовательского интерфейса, захваченные с веб-страниц.

Чтобы добавить новый элемент пользовательского интерфейса в поток, добавьте новый элемент пользовательского интерфейса с помощью действия или панели элементов пользовательского интерфейса, выделите соответствующий элемент и нажмите Ctrl + щелчок левой кнопкой мыши. По завершении выбора выберите Готово.

Любые захваченные элементы пользовательского интерфейса будут добавлены на панель элементов пользовательского интерфейса. Чтобы получить доступ к панели элементов пользовательского интерфейса, выберите вкладку элементов пользовательского интерфейса в правой части конструктора потоков.

Элементы могут быть отсортированы в алфавитном порядке через параметр Сортировать вкладки элементов пользовательского интерфейса. Чтобы удалить все элементы пользовательского интерфейса, которые не используются ни в одном действии, щелкните значок точек рядом с параметром Сортировать, затем Удалить неиспользуемые элементы пользовательского интерфейса.

Чтобы переименовать или удалить элемент пользовательского интерфейса, щелкните правой кнопкой мыши соответствующий элемент и выберите соответствующую функцию.

Чтобы узнать, где в потоке используется определенный элемент пользовательского интерфейса, щелкните его правой кнопкой мыши и выберите Найти использования. В результатах будут отображаться все действия, использующие этот элемент пользовательского интерфейса. Дважды щелкните результат, чтобы выделить действие в рабочей области.

Типы элементов пользовательского интерфейса

Классические потоки поддерживают два типа элементов пользовательского интерфейса в зависимости от их источника: классические элементы пользовательского интерфейса и элементы пользовательского интерфейса для веб-страниц.

Элементы пользовательского интерфейса рабочего стола можно захватывать из любого приложения Windows, включая часть браузеров, не связанную с веб-страницами, например адресную строку.

Вы можете использовать эти элементы пользовательского интерфейса в качестве входных данных в действиях автоматизации пользовательского интерфейса, чтобы обозначить компонент, с которым вы хотите взаимодействовать. Средство выбора элементов пользовательского интерфейса для действий автоматизации пользовательского интерфейса отображает и позволяет захватывать только классические элементы пользовательского интерфейса.

Элементы пользовательского интерфейса для веб-странниц, можно захватывать на веб-страницах и использовать только в действиях по автоматизации браузеров.

Действия по автоматизации браузеров принимают исключительно элементы пользовательского интерфейса, захваченные с веб-страниц. Поэтому существующие элементы пользовательского интерфейса, захваченные из классических приложений, не отображаются в средстве выбора элементов пользовательского интерфейса этих действий.

Для получения дополнительной информации об автоматизации рабочего стола и веб-автоматизация см. раздел Автоматизация классических потоков и Автоматизация веб-потоков.

Элементы пользовательского интерфейса для веб-страниц

Чтобы захватить элемент пользовательского интерфейса с веб-страницы, вам необходимо установить соответствующее расширение для браузера. Дополнительную информацию о поддерживаемых браузерах и необходимом расширении можно найти в разделе Использование браузеров и управление расширениями.

Отличие классических элементов пользовательского интерфейса от элементов пользовательского интерфейса для веб-страниц

На панели элементов пользовательского интерфейса отображаются характерные визуальные обозначения, помогающие пользователям быстро распознавать классические элементы пользовательского интерфейса и элементы пользовательского интерфейса для веб-страниц.

Те же значки также отображаются во время захвата, поэтому вы можете узнать тип элемента еще до его сохранения.

Другой способ проверить тип элемента пользовательского интерфейса — просмотреть его селекторы. Элементы пользовательского интерфейса для классических приложений обычно имеют рабочий стол в качестве родительского элемента, в то время как элементы пользовательского интерфейса для веб-страниц имеют веб-страницу в качестве корневого элемента.

Элементы пользовательского интерфейса в окнах браузера

Прикладную часть браузера (1) следует автоматизировать с использованием элементов пользовательского интерфейса для классических приложений. Например, вы можете использовать действия автоматизации пользовательского интерфейса для взаимодействия с адресной строкой или вкладками.

С другой стороны загруженные веб-страницы внутри браузера (2) следует автоматизировать с использованием элементов пользовательского интерфейса для веб-страниц и действий браузерной автоматизации.

Во время записи средство записи автоматически отличает прикладную часть браузера от веб-страниц и генерирует соответствующие элементы пользовательского интерфейса и действия.

Взаимодействие с элементами веб-интерфейса перетаскивания может работать не так, как ожидалось, из-за присущих им ограничений. В качестве обходного пути захватите элементы пользовательского интерфейса рабочего стола на веб-странице, открыв средство выбора элементов пользовательского интерфейса с помощью действия группы автоматизации пользовательского интерфейса, выбрав Добавить элемент пользовательского интерфейса в параметре UI element. Захваченный элемент пользовательского интерфейса относится к типу рабочего стола и может использоваться в действии Drag and drop UI element in window. Имейте в виду, что элементы пользовательского интерфейса рабочего стола можно использовать только в действиях группы действий автоматизации пользовательского интерфейса Power Automate для компьютеров. Важно отметить, что элементы пользовательского интерфейса рабочего стола на веб-страницах не так надежны, как их веб-аналоги, и зависят от деталей приложения браузера, таких как версия браузера.

Свойства элементов пользовательского интерфейса

Все элементы пользовательского интерфейса состоят из одного или нескольких селекторов, определяющих пользовательский интерфейс или веб-компонент, с которыми взаимодействует Power Automate.

Чтобы управлять селекторами элемента пользовательского интерфейса, щелкните элемент правой кнопкой мыши и выберите Изменить. Этот параметр вызывает конструктор селекторов, где селекторы можно редактировать с помощью визуального или текстового редактора.

Каждый селектор состоит из нескольких элементов, представляющих иерархическую структуру элемента пользовательского интерфейса в приложении или веб-странице. Атрибуты каждого элемента однозначно описывают его и отличают от других элементов.

Все селекторы отображаются с понятным именем по умолчанию, что делает их легко доступными. Чтобы переименовать селектор, щелкните его имя правой кнопкой мыши и выберите Переименовать.

Когда вы редактируете элемент пользовательского интерфейса с несколькими селекторами, вы можете отключить селектор, щелкнув его правой кнопкой мыши и выбрав Отключить. Эта функция может быть полезна во время тестирования.

После редактирования селекторов нажмите Сохранить, чтобы применить изменения. Сохранение применяет изменения во всех селекторах за один шаг.

Дополнительную информацию о селекторах и о том, как создавать их вручную, см. в разделе Создание собственного селектора.

Элементы пользовательского интерфейса с селекторами на основе текста

Помимо способа создания селекторов элементов пользовательского интерфейса по умолчанию, Power Automate поддерживает создание селекторов на основе текстового значения элемента.

Эта функция полезна для сценариев автоматизации, которые обрабатывают элементы в классических приложениях или веб-страницах, которые всегда содержат определенный текст. Селекторы, основанные на этих текстах, более надежны и устойчивы к возможным будущим изменениям в структуре приложения или веб-страницы.

Создание текстовых селекторов доступно только при захвате элементов пользовательского интерфейса с помощью средства выбора элементов пользовательского интерфейса (панель элементов пользовательского интерфейса или действия автоматизации браузера/пользовательского интерфейса). Оно недоступно во время записи.

Чтобы захватить элемент пользовательского интерфейса с помощью текстового селектора, откройте средство выбора элементов пользовательского интерфейса, щелкните нужный элемент правой кнопкой мыши и выберите Захват на основе текста.

Затем на вашем экране появится новое окно с двумя полями:

• Поле Текстовое значение содержит текст элемента в качестве предлагаемого значения. Вы можете изменить это значение на жестко закодированное значение или переменную.
• Вы можете установить в поле Оператор различные операторы, чтобы настроить функциональность селектора.

При выборе Сбор элемент пользовательского интерфейса будет добавлен с соответствующим текстовым селектором в репозиторий элементов пользовательского интерфейса.

Селекторы на основе текста используют атрибут Имя захваченного элемента для автоматизации рабочего стола и атрибут Текст для автоматизации браузера. Они доступны только для элементов пользовательского интерфейса, которые сами содержат текстовое значение.

Другими словами, они доступны для элементов пользовательского интерфейса с атрибутом Name или Text, который включает значение. Они недоступны для элементов, которые не содержат такого текстового значения, даже если в их структуре есть дочерние элементы с текстом.

Известные проблемы и ограничения

• Если выбрать Добавить элемент пользовательского интерфейса, навести указатель мыши на все окно и выбрать захват элемента пользовательского интерфейса на основе текста, будет сгенерирован селектор по умолчанию. Этот селектор включает атрибут Процесс помимо атрибута Имя.

• Комбинация переменной и оператора, отличного от Равно, создает селектор, отображаемый в редакторе пользовательского текста, а не в визуальном конструкторе. Эта функциональность позволяет избежать существующего ограничения, которое делает вышеуказанную комбинацию нефункциональной в визуальном конструкторе.