Преимущества ручного или автоматизирования тестирования всё ещё остаются актуальной темой для споров. Автоматизация повышает эффективность и увеличивает скорость тестирования. Однако не все тест-кейсы подходят для автоматизированных инструментов. В этой статье мы рассмотрим, какие тест-кейсы не могут быть автоматизированы и должны быть протестированы вручную.
БЕСПЛАТНО СКАЧАТЬ КНИГИ в телеграм канале "Библиотека тестировщика"
Базовые отличия
Прежде чем углубиться в детали, следует определиться с понятиями ручного и автоматизированного тестирования.
Ручное тестирование — это подход, который предполагает непосредственное участие тестировщика в выполнении тест-кейсов. А именно – наблюдение и оценку поведения приложения для выявления несоответствий.
Автоматизированное тестирование использует специализированные инструменты для выполнения заранее определённых действий, сравнивая фактические результаты с ожидаемыми, тем самым ускоряя процесс тестирования.
Когда отдать предпочтение ручному тестированию
Исследовательское тестирование
Некоторые сценарии требуют человеческой интуиции для выявления непредвиденных проблем. Исследовательское тестирование отличается динамичностью и непредсказуемостью, поэтому его лучше всего выполнять вручную. Тестировщики могут адаптироваться, нестандартно мыслить и изучать неизвестные темы, которые автоматизированные сценарии могут пропустить.
Исследовательское тестирование целесообразно применять на ранних этапах разработки для выявления скрытых ошибок и улучшения общего охвата тестирования.
Тестирование юзабилити
Пользовательский опыт — это критически важный аспект, который превосходит возможности автоматизированных инструментов. Оценка внешнего вида, функциональности и интуитивности приложения требует субъективного мнения тестировщика. Ручное тестирование юзабилити обеспечивает соответствие ПО ожиданиям пользователей, выявляя те аспекты, которые автоматизация может упустить.
Проводите тестирование юзабилити вручную, чтобы убедиться, что ПО не только функционально, но и удобно для пользователя.
Ad-hoc тестирование
В реальном мире пользователи взаимодействуют с ПО различными способами, которые автоматизированные сценарии не могут воспроизвести в точности. Ad-hoc тестирование выполняется спонтанно, без заранее подготовленных тест-кейсов, и требует от тестировщиков нестандартного мышления.
Интегрируйте ad-hoc тестирование в процесс проверки ПО для имитации реальных сценариев использования и взаимодействия пользователей с этим ПО.
One-Time тестирование
Некоторые сценарии тестирования, такие как установка, настройка или проверка совместимости с конкретными средами, могут не оправдать времени и усилий, необходимых для автоматизации. Такие тест-кейсы выполняются всего один раз, что эффективней сделать вручную.
Документируйте и поддерживайте чек-лист для таких тест-кейсов, чтобы обеспечить полное покрытие без использования автоматизации.
Тестирование по сценариям использования (use case)
Автоматизированные тесты могут давать ложноположительные или ложноотрицательные результаты, что приводит к неточным оценкам качества продукции. Юзкейсы, особенно в таких областях, как медицинское оборудование, могут потребовать ручных проверок, чтобы снизить риск упустить важные нюансы.
Для осуществления комплексного тестирования необходим поиск баланса между ручными и автоматизированными тестами. Особенно в сценариях, где цена ошибки слишком высока.
Технические ограничения
Помимо отдельных видов тестирования, которые не стоит автоматизировать, можно столкнуться с ситуациями, когда нецелесообразно или даже невозможно автоматизировать определенные задачи.
Технические ограничения, такие как проведение реальных платежей с использованием банковских карт в непроизводственной среде, создают трудности для автоматизации, подчёркивая необходимость ручного вмешательства.
Экономический аспект
Иногда автоматизация может быть экономически нецелесообразной. Например, анализ звука для оценки плавности перехода между треками. Начальные затраты и постоянное обслуживание, необходимые для достижения точности, могут перевесить преимущества автоматизации.
Также не стоит автоматизировать задачи, требующие физического вмешательства. Например, извлечение штекеров питания или SIM-карт во время тестирования, создают сложности, которые делают ручное тестирование более подходящим, несмотря на широкие возможности автоматизации.
Заключение
Некоторые тесты однозначно выигрывают от автоматизации, в первую очередь из-за сложности и трудности ручного выполнения. Например, стресс-тестирование требует моделирования сценариев, в которых система доходит до пределов своих возможностей. Это сложно и долго выполнять вручную. Возможность симуляции большого количества пользователей делает автоматизацию бесценной в ситуациях, где масштаб задачи непосилен для людей.
В динамичной среде тестирования ПО сочетание ручного и автоматизированного тестирования является ключом к успеху. Умение определить сценарии, в которых лучше использовать ручное тестирование, позволяет тестировщикам принимать стратегические решения, обеспечивая высокое качество программного обеспечения.
Перевод статьи «When Manual Testing Triumphs Over Automation».