Просмотр результатов теста

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Автоматические тесты можно настроить для запуска в рамках сборки или выпуска для различных языков. Тестовые отчеты предоставляют эффективный и согласованный способ просмотра результатов тестов, выполняемых с помощью различных платформ тестирования, для измерения качества конвейера, проверки трассировки, устранения неполадок и владения сбоем диска. Кроме того, он предоставляет множество расширенных возможностей создания отчетов, рассмотренных в следующих разделах.

Ознакомьтесь с глоссарием, чтобы понять терминологию тестового отчета.

Опубликованные результаты теста можно просмотреть на вкладке "Тесты" в сводке по сборке или выпуску.

Результаты теста Surface на вкладке "Тесты"

Результаты теста можно просмотреть на вкладке "Тесты " с помощью одного из следующих параметров:

• Автоматически выводить результаты теста. По умолчанию конвейер может автоматически выводить выходные данные теста для нескольких популярных тестовых модулей. Анализ журналов ошибок, созданных во время операции сборки, а затем проверьте наличие подписей тестовых сбоев. В настоящее время Azure DevOps поддерживает следующие языки и тестовые средства выполнения для автоматического вывода результатов теста:

  • JavaScript — Mocha, Jest и Jasmine

  • Python— Unittest

    Примечание.

    Этот вывод тестового отчета является ограниченным опытом. Некоторые функции, доступные в полностью сформированных тестах, отсутствуют здесь (дополнительные сведения). Рекомендуется опубликовать полностью сформированный тестовый отчет, чтобы получить полный опыт тестирования и аналитики в конвейерах. См. также:

  • Публикация полностью сформированных отчетов о тестах JavaScript для тестовых модулей JavaScript

  • Публикация полностью сформированных отчетов о тестах для тестов Python

• Тестовые задачи выполнения. Встроенные задачи выполнения тестов, такие как Visual Studio Test, которые автоматически публикуют результаты теста в конвейере или другие, такие как Ant, Maven, Gulp, Grunt и Xcode, которые предоставляют эту возможность в качестве варианта в задаче.

• Публикация задачи "Результаты теста". Задача, которая публикует результаты тестирования в Azure Pipelines или TFS при выполнении тестов с помощью выбранного средства выполнения, а результаты доступны в любом из поддерживаемых форматов результатов теста.

• API-интерфейсы. Результаты теста, опубликованные непосредственно с помощью API управления тестами.

Сведения о тестировании Surface за пределами вкладки "Тесты"

На вкладке " Тесты " представлена подробная сводка по выполнению теста. Это полезно для отслеживания качества конвейера и устранения неполадок. Azure DevOps также предоставляет другие способы получения сведений о тестировании:

• Панель мониторинга обеспечивает видимость хода выполнения вашей команды. Добавьте одно или несколько мини-приложений, связанных с проверкой поверхности:

  • Качество требований
  • Тенденция результатов теста
  • Состояние развертывания

• Аналитика тестирования предоставляет подробные сведения о результатах теста, измеряемых за период времени. Это может помочь определить проблемные области в тесте, предоставив данные, такие как лучшие неудачные тесты, и многое другое.

Просмотр результатов теста в сборке

Сводка по сборке предоставляет представление временной шкалы ключевых шагов, выполняемых в сборке. Если тесты выполнялись и сообщались в рамках сборки, в представлении временной шкалы отображается веха теста. Веха теста содержит сводку результатов теста в качестве меры процента прохождения вместе с индикаторами сбоев и прерываний , если они существуют.

Просмотр результатов теста в выпуске

В представлении конвейера можно просмотреть все этапы и связанные тесты. Представление содержит сводку результатов теста в качестве меры процента передачи вместе с индикаторами сбоев и прерываний, если они существуют. Эти индикаторы совпадают с представлением временной шкалы сборки, обеспечивая согласованный интерфейс для сборки и выпуска.

Вкладка "Тесты"

Сводки сборки и выпуска содержат сведения о выполнении теста. Выберите "Сводка теста", чтобы просмотреть сведения на вкладке "Тесты ". Эта страница содержит следующие разделы

• Сводка. Предоставляет ключевые количественные метрики для выполнения теста, например общее количество тестов, неудачные тесты, процент передачи и многое другое. Он также предоставляет разностные индикаторы изменений по сравнению с предыдущим выполнением.

• Результаты: перечисляет все выполненные и сообщаемые тесты в рамках текущей сборки или выпуска. В представлении по умолчанию показаны только неудачные и прерванные тесты, чтобы сосредоточиться на тестах, требующих внимания. Однако вы можете выбрать другие результаты с помощью предоставленных фильтров.

• Сведения: список тестов, которые можно сортировать, группировать, искать и фильтровать, чтобы найти нужные результаты теста.

Выберите любой тестовый запуск или результат, чтобы просмотреть область сведений, которая отображает дополнительные сведения, необходимые для устранения неполадок, таких как сообщение об ошибке, трассировка стека, вложения, рабочие элементы, исторические тенденции и многое другое.

Следующие возможности вкладки "Тесты" помогают повысить производительность и устранить неполадки.

Фильтрация результатов теста большого объема

С течением времени тесты начисляются и могут легко увеличиваться до десятков тысяч тестов. Для этих приложений с большим количеством тестов может быть трудно перейти к результатам для выявления сбоев тестов, связывания первопричин или получения владения проблемами. Фильтры упрощают быстрый переход к результатам теста, интересующим вас. Вы можете фильтровать по имени теста, результату (сбою, передаче и многому другому), файлам тестирования (в файлах с тестами ) и владельцу (для тестовых файлов). Все критерии фильтрации являются накопительными по природе.

Кроме того, с несколькими параметрами группирования, такими как тестовое выполнение, файл тестирования, приоритет, требование и многое другое, можно упорядочить представление результатов точно так же, как требуется.

Тестирование управления долгами с помощью ошибок

Чтобы управлять тестовой задолженностью за неудачные или длительные тесты, можно создать ошибку или добавить данные в существующую ошибку и просмотреть все связанные рабочие элементы на вкладке рабочего элемента.

Иммерсивный интерфейс устранения неполадок

Сообщения об ошибках и трассировки стека являются длительными в природе и нуждаются в достаточном объеме недвижимости для просмотра сведений во время устранения неполадок. Чтобы обеспечить иммерсивное взаимодействие по устранению неполадок, представление сведений можно развернуть до полного представления страницы, пока не сможет выполнять необходимые операции в контексте, например создание ошибок или сопоставление требований для выбранного результата теста.

Устранение неполадок данных для сбоя теста

Для тестовых сбоев сообщения об ошибках и трассировки стека доступны для устранения неполадок. Вы также можете просмотреть все вложения, связанные с сбоем теста на вкладке "Вложения ".

Тестирование управления долгами

Вы можете создать или добавить в существующую ошибку для управления проверкой задолженности за сбои или длительные тесты. Вкладка "Рабочие элементы" содержит сведения обо всех ошибках и требованиях, связанных с тестом, чтобы проанализировать влияние на требования, а также знать состояние и кто работает над ошибкой.

Тестирование тенденций с использованием исторических данных

Журнал выполнения теста может обеспечить значимые аналитические сведения о надежности или производительности тестов. При устранении неполадок важно знать, как тест выполнялся в прошлом. Вкладка "Тесты" предоставляет журнал тестов в контексте результатов теста. Сведения журнала тестов предоставляются постепенно, начиная с текущего конвейера сборки в другие ветви или текущей стадии на другие этапы, для сборки и выпуска соответственно.

Просмотр выполнения выполняемых тестов

Тесты, такие как интеграция и функциональные тесты, могут выполняться в течение длительного времени. Поэтому важно видеть текущее или почти текущее состояние выполнения теста в режиме реального времени в любое время. Даже в случаях, когда тесты выполняются быстро, полезно знать состояние соответствующих результатов теста как можно раньше; особенно при возникновении сбоев. Во время выполнения представление устраняет необходимость ждать завершения выполнения теста. Результаты доступны почти в режиме реального времени по мере выполнения, помогая выполнять действия быстрее. Вы можете отлаживать сбой, файлить ошибку или прервать конвейер.

В следующем примере показана сводка по тесту во время выполнения в выпуске, сообщая общее количество тестов и количество сбоев тестов в определенный момент времени. Тестовые сбои доступны для устранения неполадок, создания ошибок или принятия других соответствующих действий.

Просмотр сводных результатов теста

Во время выполнения теста тест может привести к возникновению нескольких экземпляров или тестов, которые способствуют общему результату. Ниже приведены некоторые примеры: тесты, которые выполняются повторно, тесты, состоящие из упорядоченного сочетания других тестов (упорядоченных тестов) или тестов с различными экземплярами на основе входного параметра (управляемые данными тесты).

Так как эти тесты связаны, они должны сообщаться вместе с общим результатом, производным от отдельных экземпляров или тестов. Эти результаты теста отображаются в виде сводного результата теста на вкладке "Тесты ":

• Повторный запуск неудачных тестов: возможность повторного запуска неудачных тестов доступна в последней версии задачи Тестирования Visual Studio. Во время повторного запуска можно выполнить несколько попыток для неудачного теста, и каждая ошибка может иметь другую первопричину из-за недетерминированного поведения теста. Тестовые отчеты предоставляют объединенное представление для всех попыток повторного выполнения, а также общий результат теста в виде сводной единицы. Api управления тестами теперь поддерживают возможность публикации и запроса результатов теста.

  

• Тесты на основе данных: аналогично повторному запуску неудачных тестов, все итерации тестов на основе данных передаются в этом тесте в сводном представлении. Сводное представление также доступно для упорядоченных тестов (.orderedtest в Visual Studio).

  

Просмотр прерванных тестов

Выполнение теста может прерываться из-за нескольких причин, таких как неправильный код теста, ошибки в исходном тесте или проблемы с окружающей средой. Независимо от причины прерывания, важно иметь возможность диагностировать поведение и определить первопричину. Прерванные тесты и тестовые запуски можно просмотреть вместе с завершенными запусками на вкладке "Тесты ".

Автоматически выведенные результаты теста

Azure DevOps может автоматически выводить выходные данные тестов, выполняемых в конвейерах для нескольких поддерживаемых платформ тестирования. Эти автоматически выведенные тестовые отчеты не требуют определенной конфигурации конвейеров и являются нулевым способом начать работу с помощью отчетов о тестах.

См. список средств выполнения, для которых результаты теста автоматически выводятся.

Поскольку в таких выводимых отчетах присутствуют только ограниченные метаданные теста, они ограничены функциями и возможностями. Следующие функции недоступны для выводимых тестовых отчетов:

• Группируйте результаты теста по файлу теста, владельцу, приоритету и другим полям
• Поиск и фильтрация результатов теста
• Проверка сведений о переданных тестах
• Предварительный просмотр всех вложений, созданных во время тестов в самом веб-пользовательском интерфейсе
• Связывание тестового сбоя с новой ошибкой или список связанных рабочих элементов для этого сбоя
• См. аналитику сборки для тестирования в Конвейерах

Связанные статьи

• Анализ результатов тестирования
• Требования к тесту трассировки
• Проверка результатов по объемам протестированного кода

Справка и поддержка

• См. нашу страницу по устранению неполадок
• Получите советы по Stack Overflow и получите поддержку через Сообщество разработчиков