Аналитика тестов

Azure DevOps Services | Azure DevOps Server 2022 — Azure DevOps Server 2019

Отслеживание качества теста с течением времени и улучшение тестового обеспечения является ключом к поддержанию работоспособного конвейера DevOps. Аналитика тестирования обеспечивает почти в реальном времени отображение данных тестирования для построек и релизов. Это помогает повысить эффективность вашей системы, выявляя повторяющиеся проблемы с качеством, оказывающие значительное влияние.

Ознакомьтесь с глоссарием, чтобы понять терминологию тестовых отчетов.

При необходимости установите расширение Analytics

Для получения дополнительной информации см. расширение Analytics Marketplace.

Просмотр тестовой аналитики для сборок

Чтобы помочь командам найти и исправить тесты, которые часто или периодически завершаются сбоем, используйте лучший отчет о неудачных тестах . Сводка по сборке содержит страницу аналитики , в которую размещается этот отчет. Представление верхнего уровня содержит сводку по частоте прохождения теста и результатам выбранного конвейера сборки в течение указанного периода. Диапазон по умолчанию — 14 дней.

Просмотр тестовой аналитики для выпусков

Для тестов, выполняемых в рамках выпуска, доступ к тестовой аналитике осуществляется из ссылки «Аналитика» в правом верхнем углу. Как и при сборке, сводка предоставляет агрегированное представление скорости прохождения теста и результатов за указанный период.

Сбои при тестировании

Откройте сводку по сборке или выпуску, чтобы просмотреть отчет о самых значимых неудачных тестах. Этот отчет предоставляет детализированное представление основных неудачных тестов в конвейере, а также сведения о сбое.

Подробное представление содержит два раздела:

• Сводка. Предоставляет ключевые количественные метрики для тестов, выполняемых в сборке или выпуске за указанный период. В представлении по умолчанию отображаются данные в течение 14 дней.

  • Уровень сдачи и результаты: показывает процент сдачи, а также распределение тестов по различным результатам.

    

  • Неудачные тесты: предоставляет определенное количество тестов, которые завершились сбоем в течение указанного периода. В предыдущем примере 986 сбоев тестов возникли из 124 тестов.

    

  • Представление диаграммы: тенденция общего числа сбоев тестов и средний уровень успешности в каждый день указанного периода.

    

• Результаты: список самых неудачных тестов на основе общего количества сбоев. Помогает определить проблемные тесты и углубиться в подробные сводки результатов.

  

Сбои группового теста

Представление отчета можно упорядочить несколькими различными способами, используя опцию «группировка по». Сгруппирование результатов теста может предоставить подробные сведения о различных аспектах основных неудачных тестов. В следующем примере результаты теста группируются на основе файлов тестов, к которому они относятся. В нем показаны тестовые файлы и их соответствующие вклады в общую сумму сбоев тестов в течение указанного периода, которые помогут вам легко определить и определить приоритеты дальнейших шагов. Кроме того, для каждого тестового файла отображаются тесты, которые способствуют этим сбоям.

Перейти к индивидуальным тестам

После идентификации одного или нескольких тестов в разделе "Сведения" выберите отдельный тест, который необходимо проанализировать. Это действие предоставляет детализированное представление выбранного теста с помощью столбчатой диаграммы с накоплением различных результатов, таких как успешные или неуспешные экземпляры теста, за каждый день в указанный период. Это представление помогает определить скрытые шаблоны и выполнить соответствующие действия.

В соответствующем представлении сетки перечислены все экземпляры выполнения выбранного теста в течение этого периода.

Анализ отказов

Чтобы выполнить анализ первопричин сбоев, выберите один или несколько случаев выполнения теста в подробном представлении, чтобы просмотреть сведения о сбоях в контексте.

Выявление скрытых шаблонов

При просмотре тестовых сбоев для одного экземпляра выполнения часто сложно определить любой шаблон. В следующем примере тестовые сбои произошли в течение определенного периода, что помогает сузить область исследования.

Еще одним примером являются тесты, которые демонстрируют недетерминированное поведение (часто называются ненадежными тестами). Просмотр отдельного экземпляра тестового выполнения может не дать никаких значимых сведений о поведении. Однако наблюдение за тенденциями выполнения тестов в течение определенного периода может помочь определить скрытые шаблоны и помочь устранить сбои.

Источник сведений отчета

Источником информации для аналитики тестов является набор опубликованных результатов теста для конвейера сборки или выпуска. Эти результаты накапливаются в течение определенного периода времени и формируют основу глубокой аналитики, которую предоставляет тестовая аналитика.

Справка и поддержка

• См. нашу страницу по устранению неполадок
• Получите советы по Stack Overflow и получите поддержку через Сообщество разработчиков