Режимы тестирования

TAEF предоставляет несколько режимов тестирования, которые изменяют поведение выполнения теста различными способами. Убедитесь, что вы знакомы с базовым выполнением TAEF, см. статью "Создание тестов и выполнение тестов", прежде чем продолжить работу с этим разделом.

Заметка: Режимы тестирования несовместимы друг с другом; во время выполнения теста может быть включен только один тестовый режим.

В настоящее время в TAEF предоставляются следующие режимы тестирования:

• цикл
• Ударение

Режим тестирования цикла

Режим тестирования цикла предоставляет простые функции для итерации отдельных тестов или выполнения всего теста. Режим тестирования циклов отлично подходит для проверки надежности автоматизации тестирования или простого стресса или длительной автоматизации.

Режим теста цикла включен, указав параметр команды /testmode:loop. Существуют два других параметра — необязательные — параметры, которые управляют конкретным поведением:

/Loop:<loopNum>
Определяет, сколько раз выполняется весь запуск (по умолчанию:1).

/LoopTest:<loopTestNum>
Определяет, сколько раз выполняется каждый тест в выполнении (по умолчанию:10).

На схеме ниже показано, как TAEF представляет тестовое выполнение, состоящее из одного тестового файла, содержащего один класс теста, который содержит два метода тестирования:

Стрелки на схеме демонстрируют поток выполнения в TAEF, показывая, как TAEF выполняет подготовительные шаги, затем сами тесты, а соответствующие шаги очистки выполняются после завершения тестов. Значение "looptest" приводит к тому, что TAEF выполняет итерацию вокруг самих методов тестирования — наименьшую возможную область. Обратите внимание, что настройка и очистка теста не выполняются . Такое же поведение выполняется для тестов на основе данных. Значение "looptest" управляет циклированием на уровне "Метод тестирования".

Существуют случаи, когда невозможно обойти только тестовый метод, и в этом случае можно использовать параметр «цикл». На схеме ниже показано, как TAEF представляет тестовый запуск, состоящий из двух тестовых файлов, каждый файл, содержащий один тестовый класс и каждый тестовый класс, содержащий один метод теста:

Параметр "цикличность" управляет повторением на максимально возможном уровне; на протяжении всего выполнения. Если вы указываете один тестовый файл для Te.exeили у вас несколько тестовых файлов, запуск будет повторяться указанное количество раз.

Режим стресс-теста

Режим тестирования "Стресс" для TAEF помогает пользователям выполнять тесты в среде "стресс". Включив режим стресс-теста с помощью параметра команды "/testmode:stress", включено следующее поведение:

1. Te.exe выполняется неограниченное время — Te.exe требуется нажать Ctrl+C в командной строке или отправить сообщение WM_CLOSE в его скрытое окно для завершения.

2. Te.exe выполняет итерацию в первой "группе" тестов, которые она выполняет . Чтобы избежать загрузки последующих файлов во время выполнения, Te.exe будет выполнять итерацию в первой "группе" тестов, которые он выполняет. Обратите внимание, что:

   1. Если указать несколько тестовых файлов в командной строке без выбора, будет выполнен только первый тестовый файл.
   2. Если в командной строке указано несколько тестовых файлов вместе с запросом на выбор, будут выполнены только тесты в первом тестовом файле, где будут выполнены критерии выбора.
   3. Если тестовый файл указан, управляемый данными на уровне модуля, первый набор параметров, управляемых данными, будет цикличен.

3. Включен "средство ведения журнала стрессов" — чтобы свести к минимуму объем ресурсов, которые будут потреблять ведение журнала, Te.exe переключается на минимальный выходной журнал:

   • Только ошибки записываются в консоль. Другие записи журнала не записываются.
   • Каждые 60 секунд логгер будет выводить текущее количество успешных и неуспешных операций в консоль.
   • Каждую секунду логгер выводит одну "." чтобы показать, что Te.exe по-прежнему работает.

При выполнении в режиме стресс-теста также необходимо указать переключатель "/inproc", что означает, что все выполнение стресса выполняется в процессе Te.exe. Это ограничение устраняет необходимость запуска и поддержания отдельного процесса песочницы для выполнения тестов, тем самым минимизируя тестовые сбои из-за неудачных выделений памяти.