Что именно вы хотите знать о тестировании на вашем проекте? Качество продукта, эффективность тестирования, статус QA или процесс исправления багов? Эта серия статей даст вам ответы. Приступим! 

Эффективность тестирования

Какими метриками измерить эффективность тестирования? 

СДЕРЖИВАНИЕ ДЕФЕКТОВ (DEFECT CONTAINMENT) 

Эта метрика оценивает эффективность процесса тестирования в выявлении и предотвращении дефектов до того, как они попадут к конечным пользователям. Она показывает процент дефектов, обнаруженных и устраненных на этапе тестирования, по сравнению с общим количеством выявленных дефектов (включая дефекты, найденные после релиза). 

Как это может помочь: 

• Показатель качества тестирования 

  Эта метрика позволяет командам оценить, насколько эффективно процесс тестирования выявляет и обрабатывает дефекты. Она также демонстрирует результативность выбранной стратегии в предотвращении пропуска дефектов. Более высекий процент сдерживания дефектов (Defect Containment) указывает на более полноценно проведенное и эффективное тестирование. 

• Идентификация проблемных зон в процессе тестирования 

  Разделяя дефекты по компонентам, стримам или другим признакам, можно легко выявить проблемные зоны, где стратегия предотвращения дефектов требует повышенного внимания. 

• Повышение удовлетворенности клиентов 

  Достижение высокого уровня сдерживания дефектов позволяет командам поставлять продукт более высокого качества. В результате повышается удовлетворенность клиента и доверие к команде, поскольку конечные пользователи сталкиваются с меньшим количеством дефектов. 

ПРОЦЕНТ ОТКЛОНЕННЫХ ДЕФЕКТОВ  (DEFECT DECLINE RATE)

Доля некорректных дефектов демонстрирует качество процесса репортинга дефектов. Он отражает процент некорректных дефектов по отношению ко всем закрытым дефектам. Некорректные дефекты ведут к напрасной трате ценных человеко-часов, поэтому эта метрика может быть полезной для оценки эффективности процесса тестирования 

 Как это может помочь: 

• Показатель качества регистрации дефектов 

  Отслеживая темп снижения дефектов, команды могут оценить, насколько эффективно выявляются и регистрируются дефекты. Нисходящий тренд этой метрики может указывать на улучшение качества регистрации дефектов, что свидетельствует о более точном и обоснованном процессе заведения, а также о лучшей идентификации и устранении проблем. 

• Отражение уровня профессионализма тестовой команды 

  Низкое значение этой метрики указывает на то, что команда QA обладает хорошо выстроенными процессами, достаточным покрытием тестами и высоким уровнем навыков в выявлении дефектов. Это демонстрирует способность команды находить и фиксировать критически важные проблемы, что напрямую способствует повышению общего качества продукта. 

• Идентификация дефектов в требованиях 

  Метрика "Процент некорректных дефектов" также может указывать на потенциальные пробелы или проблемы в процессе сбора и уточнения требований. Если метрика стабильно остаётся на высоком уровне, это может свидетельствовать о недостатках или недопонимании в требованиях, что приводит к регистрации некорректных дефектов. Такое понимание побуждает команды пересматривать и совершенствовать процесс работы с требованиями, налаживать коммуникацию и устранять неоднозначности — с целью снижения количества невалидных дефектов. 

ПЛОТНОСТЬ ДЕФЕКТОВ (DEFECTS DENSITY) 

Эта метрика позволяет оценить уровень дефектов в конкретной области и помогает выявить участки, требующие дополнительного внимания или улучшения. Она также подтверждает, что команда QA способна обнаруживать дефекты в широком спектре различных компонентов или функциональных зон продукта. 

Как это может помочь: 

• Демонстрация вовлеченности тестовой команды и ее результатов в тестировании различных компонентов, модулей и пользовательских историй. Это простой и наглядный способ показать, что команда QA охватывает широкий спектр функциональных областей и приносит результат в каждой из них. 

• Выявление проблемных областей 

  Данная метрика помогает определить компоненты или модули с повышенной плотностью дефектов. Это указывает на участки, которые могут потребовать дополнительного внимания, углубленного тестирования или рефакторинга кода с целью повышения их качества и стабильности. 

• Оценка покрытия тестированием 

  Метрика отражает концентрацию дефектов в отдельных компонентах или единицах кода. Слишком высокая или слишком низкая плотность дефектов в определенных зонах может указывать на недостаточное покрытие тестами. Выявление таких участков помогает определить, где необходимо провести дополнительное или более тщательное тестирование, что в свою очередь способствует улучшению покрытия и эффективности QA-процесса. 

Эффективность тестов  

Насколько эффективны наши тесты? 

ПОКРЫТИЕ ТЕСТАМИ (TEST DESIGN COVERAGE)

Метрика показывает процент требований, покрытых тест-кейсами. Она помогает выявить возможные пробелы в тестовом покрытии и убедиться, что все критически важные области системы проверяются с помощью тестов. 

Покрытие тест-дизайном = (Количество требований, покрытых тест-кейсами / Общее количество требований) × 100 % 

Как это может помочь: 

• Обеспечение прослеживаемости требований 

  Данная метрика помогает убедиться в том, что каждому требованию соответствует как минимум один тест-кейс, проверяющий его реализацию. Такая трассируемость позволяет гарантировать, что все требования проекта проходят тестирование, что снижает риск упущенной критической функциональности и повышает уверенность в качестве продукта. 

• Оценка эффективности тестирования 

  Показатель покрытия тест-дизайном отражает эффективность проводимого тестирования. Чем выше процент покрытия, тем больше требований и функциональности проекта охвачено тестами. Эта метрика помогает оценить полноту и глубину тестового процесса. 

ДЕФЕКТЫ, НАЙДЕННЫЕ ПРИ ПРОЕКТИРОВАНИИ ТЕСТОВ, РУЧНОМ ВЫПОЛНЕНЕНИИ И АВТОТЕСТИРОВАНИИ

Отслеживает количество дефектов, выявленных на различных этапах тестирования, и позволяет оценить эффективность каждого этапа в обнаружении потенциальных ошибок, несоответствий и неоднозначностей в тестируемой системе. 

Как это может помочь: 

• Эффективность тест-дизайна 

  Дефекты, выявленные на этапе проектирования тестов, позволяют обнаружить потенциальные проблемы и пробелы на более ранней стадии, что значительно снижает стоимость их устранения. Это способствует минимизации переделок, оптимизации покрытия тестами и повышению эффективности всего процесса тестирования. 

• Обратная связь и непрерывное улучшение 

  Дефекты, выявленные на этапах тест-дизайна, выполнения тестов (ручных или автоматизированных), а также на других стадиях, предоставляют ценную обратную связь для непрерывного улучшения. Анализ этих дефектов помогает командам выявлять повторяющиеся ошибки, типовые проблемы и области, требующие оптимизации в процессе тестирования. На основе полученной обратной связи можно совершенствовать тест-кейсы, улучшать тестовые окружения, оптимизировать выполнение тестов и постоянно повышать эффективность QA-процесса. 

Метрики эффективности тестирования и эффективности тестов являются незаменимыми инструментами для оптимизации тестовых процессов и повышения ценности, предоставляемой пользователям. Постоянный мониторинг этих метрик позволяет выявлять узкие места, оптимизировать рабочие процессы в тестировании и при этом сохранять или улучшать качество продукта.