В проектах разработки программного обеспечения очень важно измерять качество, стоимость и эффективность проекта и сопутствующих ему процессов. Без этих измерений проект не может быть успешно завершен.
В сегодняшней статье на примерах и графиках мы рассмотрим метрики, используемые в тестировании программного обеспечения, и их правильное применение.
Есть известное высказывание: “Мы не можем контролировать то, что не можем измерить”.
В данном случае контроль над проектами означает то, может ли менеджер/руководитель проекта определить отклонения от плана тестирования как можно скорее и вовремя отреагировать на них. Создание метрик тестирования на основе потребностей проекта очень важно для достижения качества тестируемого программного обеспечения.
БЕСПЛАТНО СКАЧАТЬ КНИГИ в телеграм канале "Библиотека тестировщика"
Содержание:
Что такое метрика тестирования программного обеспечения?
Что такое измерение тестирования программного обеспечения?
Зачем нужны метрики тестирования?
Типы метрик в ручном тестировании
Примеры метрик тестирования программного обеспечения
Что такое метрика тестирования программного обеспечения?
Метрика – это количественная мера степени, в которой система, компонент системы или процесс обладают заданным атрибутом.
Метрики можно определить как “СТАНДАРТЫ ИЗМЕРЕНИЯ”.
Метрики программного обеспечения используются для измерения качества проекта. Проще говоря, метрика – это единица, используемая для описания атрибута или своего рода шкала для измерения.
Например, “килограмм” – это метрика для измерения атрибута “вес”. Аналогично, в программном обеспечении. В “Сколько проблем найдено в тысяче строк кода?” количество проблем – это одно измерение, а количество строк кода – другое. Метрика определяется из этих двух измерений.
Примеры метрик в тестировании:
- Сколько дефектов существует в модуле?
- Сколько тестовых случаев выполняется на одного человека?
- Что такое процент покрытия тестов?
Что такое измерение тестирования программного обеспечения?
Измерение – это количественный показатель степени, количества, размера, емкости или величины какого-либо атрибута продукта или процесса.
Пример тестового измерения: Общее количество дефектов.
Различия между измерениями и метриками приведены на схеме.
Зачем нужны метрики тестирования?
Формирование метрик тестирования программного обеспечения является наиболее важной обязанностью руководителя/менеджера по тестированию программного обеспечения.
Метрики тестирования используются для того, чтобы:
- Принять решение для перехода на следующий этап, например, оценить стоимость и график будущих проектов.
- Понять, какие улучшения необходимы для успеха проекта.
- Принять решение об изменении процесса или технологии и т.д.
Как объяснялось выше, метрики тестирования являются наиболее важными для измерения качества программного обеспечения.
Итак, как же их использовать?
Допустим, если в проекте отсутствуют утвержденные метрики, то как измерить качество работы, проделанной аналитиком по тестированию?
Аналитик по тестированию должен:
- Разработать тест-кейсы для 5 требований.
- Выполнить эти тест-кейсы.
- Зарегистрировать дефекты в соответствующих тест-кейсах.
- После устранения дефектов необходимо повторно провести тестирование, выполнив соответствующий неудачный тест-кейс.
В приведенном выше сценарии, при отсутствии на проекте метрик, работа, выполненная тестовым аналитиком, будет субъективной. Тестовый отчет не будет иметь надлежащей информации, позволяющей узнать статус проекта..
Если в проекте задействованы метрики, то точный статус работы над продуктом с соответствующими цифрами/данными будет опубликован и доступен для дальнейшей аналитики.
В отчете о тестировании можно опубликовать следующую информацию:
- Сколько тестовых случаев было разработано в соответствии с требованиями.
- Сколько тестовых случаев еще предстоит разработать.
- Сколько тестовых примеров выполнено.
- Сколько тестовых примеров пройдено/не пройдено/заблокировано.
- Сколько тестовых примеров еще не выполнено.
- Сколько дефектов выявлено, и какова степень их серьезности.
- Сколько тестовых случаев провалено из-за одного конкретного дефекта.
Количество метрик зависит от потребностей проекта.
Основываясь на вышеприведенных метриках, руководитель/менеджер отдела тестирования получит представление о следующих ключевых моментах:
- процент выполненной работы;
- процент работы, которая еще не завершена;
- время на выполнение оставшейся работы;
- совпадает ли проект с установленным графиком или отстает от него.
Если проект не будет завершен в соответствии с графиком, менеджер предоставит все метрики клиентам и другими заинтересованными сторонами. Полученные данные помогут объяснить причины отставания и избежать неожиданностей в последнюю минуту.
Типы метрик в ручном тестировании
Метрики тестирования в основном делятся на 2 категории.
- Базовые метрики
- Расчетные метрики
Базовые – это метрики, полученные на основе данных, собранных аналитиком тестирования во время разработки и выполнения тест-кейса.
Эти данные будут отслеживаться на протяжении всего жизненного цикла тестирования. К ним относятся такие показатели, как общее количество тестовых случаев, разработанных для проекта (или) количество тестовых случаев, которые должны быть выполнены (или) количество тестовых случаев, прошедших/не прошедших/заблокированных и т.д.
Расчетные метрики получаются из данных, собранных в базовых метриках. Эти метрики обычно отслеживаются руководителем/менеджером тестирования для составления отчетов о тестировании.
Примеры метрик тестирования программного обеспечения
Рассмотрим пример расчета различных метрик тестирования, используемых в отчетах о тестировании программного обеспечения:
Ниже приведен формат таблицы для данных, полученных от аналитика, который фактически участвует в тестировании:
Определения и формулы для расчета метрик:
1. % выполненных тестовых заданий: Эта метрика используется для получения статуса выполнения тестовых заданий в %.
% Выполненных тестовых заданий = (Количество выполненных тестовых заданий / Общее количество написанных тестовых заданий) * 100.
Следуя таблице: % Выполненных тестовые случаев = (65 / 100) * 100 = 65%.
2. % невыполненных тестовых заданий: Эта метрика используется для получения статуса невыполненных тестовых заданий в %ge.
% невыполненных тестовых заданий = (Количество невыполненных тестовых заданий / Общее количество написанных тестовых заданий) * 100.
Следуя таблице: % невыполненных тестовых заданий = (35 / 100) * 100 = 35%.
3. % пройденных тестовых случаев: Эта метрика используется для получения % пройденных тестовых заданий.
% пройденных тестовых случаев = (Количество пройденных тестовых случаев / Общее количество выполненных тестовых случаев) * 100.
Следуя таблице: % Пройденных тестов = (30 / 65) * 100 = 46%.
4. % неудачных тестовых случаев: Эта метрика используется для получения % неудачных случаев выполнения тестов.
% неудачных тестовых случаев = (Количество неудачных тестовых случаев / Общее количество выполненных тестов) * 100.
Следуя таблице: % Пройденных тестов = (26 / 65) * 100 = 40%
5. % заблокированных тестовых случаев: Эта метрика используется для получения % заблокированных выполненных тестовых примеров. Подробный отчет может быть представлен с указанием фактической причины блокировки тестовых примеров.
% заблокированных тестовых случаев = (Количество заблокированных тестовых случаев / Общее количество выполненных тестовых случаев) * 100.
Следуя таблице: % Заблокированных тестовых случаев = (9 / 65) * 100 = 14%
6. Плотность дефектов = Количество выявленных дефектов / размер
В данном примере “Размер” рассматривается как требование. Следовательно, плотность дефектов здесь рассчитывается как количество выявленных дефектов на одно требование. Аналогично, плотность дефектов может быть рассчитана как количество дефектов, выявленных на 100 строк кода [ИЛИ] количество дефектов, выявленных на модуль и т.д.
Итак, следуя таблице:
Плотность дефектов = (30 / 5) = 6
7. Эффективность устранения дефектов (DRE – defect removal efficiency) = (Количество дефектов, обнаруженных во время тестирования / (Количество дефектов, обнаруженных во время тестирования + Количество дефектов, обнаруженных конечным пользователем)) * 100
DRE используется для определения эффективности тестирования системы.
Предположим, в ходе разработки и тестирования было выявлено 100 дефектов.
Во время альфа- и бета-тестирования, конечный пользователь / клиент выявил 40 дефектов, которые были пропущены на предыдущих этапах тестирования.
Значит DRE будет рассчитываться как,
DRE = [100 / (100 + 40)] * 100 = [100 /140] * 100 = 71%
8. Утечка дефектов: Метрика, которая показывает, сколько дефектов было пропущено во время тестирования.
Утечка дефектов = (Количество дефектов, найденных в UAT / Количество дефектов, найденных в тестировании) * 100
Предположим, в ходе разработки и тестирования мы выявили 100 дефектов.
Во время альфа- и бета-тестирования, конечный пользователь / клиент выявил 40 дефектов, которые могли быть выявлены на предыдущих этапах проверки ПО.
Утечка дефектов = (40 /100) * 100 = 40%.
9.Приоритетность дефекта: Эта метрика используется для определения количества выявленных дефектов на основе приоритетности их устранения.
% критических дефектов = Количество выявленных критических дефектов / Общее количество выявленных дефектов * 100
Исходя из данных, представленных в таблице выше,
% критических дефектов = 6/ 30 * 100 = 20%
По аналогичной формуле вычисляется процент дефектов с высоким, низким и средним приоритетом устранения.
Заключение
Метрики, рассмотренные в этой статье, в основном используются для создания отчета о состоянии тестирования продукта с указанием точных данных на этапе разработки/прогона тестовых примеров. Они также полезны для отслеживания статуса проекта и повышения уровня качества программного обеспечения.
Перевод статьи Anuradha K. «Important Software Test Metrics and Measurements – Explained with Examples and Graphs».