Как правило, перед покупкой смартфона мы проверяем его на соответствие своим потребностям. Пробная эксплуатация всегда является удачной идеей, если вы хотите, чтобы в процессе использования продукта не возникало никаких проблем. Аналогичным образом, перед запуском любого мобильного приложения (или веб-сайта) важно провести полевое тестирование. Оно проверяет способность приложения функционировать в реальных условиях до того, как оно будет представлено конечным пользователям.
Рассмотрим, почему полевое тестирование сегодня является критически важным для проверки любого мобильного приложения.
БЕСПЛАТНО СКАЧАТЬ КНИГИ в телеграм канале "Библиотека тестировщика"
Содержание:
- Что такое полевое тестирование?
- Почему оно так важно?
- Кто его проводит?
- Когда проводится полевое тестирование?
- Полевое тестирование и автоматизация
- Как провести полевое тестирование?
- Ограничения
- Примеры тестов
- Лучшие практики
- Резюме
- Часто задаваемые вопросы
Что такое полевое тестирование?
Под полевым тестированием понимается процесс проверки и оценки приложения в реальных условиях вне контролируемой среды разработки. Тестировщики применяют этот подход как для веб, так и для мобильных приложений с целью сбора отзывов реальных пользователей и выявления проблем и потенциальных улучшений до официального релиза.
В случае с мобильными приложениями оно предполагает развертывание приложения на реальных устройствах и взаимодействие пользователей с ним в повседневной обстановке. Как правило, полевое тестирование проводится только в мобильных сетях. Это разновидность мобильного тестирования.
В ходе полевого тестирования приложение проверяется на разных устройствах, операционных системах и в различных сетевых условиях для оценки его производительности, функциональности, удобства использования и общего пользовательского опыта. Цель – выявить проблемы и собрать отзывы, которые остались незамеченными на этапах разработки и тестирования.
Одним из интересных аспектов полевого тестирования является обнаружение неожиданных моделей поведения и вариантов использования системы пользователями. Несмотря на всестороннее тестирование в ходе разработки, эта проверка часто позволяет выявить уникальные сценарии, которые разработчики могли не предусмотреть. К таким сценариям можно отнести различные сетевые условия, разнообразные конфигурации устройств или взаимодействие пользователей, которое не было воспроизведено в тестовой среде. Проводя полевое тестирование, разработчики получают ценные сведения о том, как работает их приложение в руках реальных пользователей, что позволяет выявить и устранить любые проблемы и оптимизировать работу приложения для лучшего взаимодействия с пользователем.
Почему оно так важно?
Полевое тестирование – это идеальный способ поэкспериментировать с продуктом, прежде чем выпустить его на рынок. Оно проводится в короткий промежуток времени между окончательным тестированием и датой релиза. Этот процесс позволяет:
- Получить доступ к к неоднозначным отзывам от небольшой части пользователей, взаимодействующих с приложением.
- Разработать продукт, который не содержит ошибок и готов к релизу.
- Собрать критически важные данные, необходимые для улучшения приложения и его функций.
- Проводить работу над новыми функциями и обновлениями на будущее.
- Использовать полученные от пользователей тестовые данные для других целей, например, для продаж и маркетинга.
Кто его проводит?
Поскольку полевое тестирование проводится на последнем этапе разработки, этим процессом занимаются продакт-менеджеры, маркетологи и служба поддержки. Они предоставляют доступ к приложению пользователям и получают максимум информации от их отзывов.
Когда проводится полевое тестирование?
Полевое тестирование проводится на самой поздней стадии разработки приложения, даже после альфа- и бета-тестирования. А поскольку приложение становится доступным лишь небольшому числу пользователей, полевое тестирование также называют ограниченным выпуском или программным запуском. Ниже приведена правильная иерархия тестирования:
Альфа-тестирование -> Бета-тестирование -> Полевое тестирование -> Запуск приложения -> Поддержка
Полевое тестирование и автоматизация
Полевое тестирование включает в себя проверку приложения несколькими пользователями перед итоговым массовым релизом. Это как “игра на поле” перед началом основной игры. И поскольку пользователи взаимодействуют с приложением самостоятельно, в этом сценарии нет места для автоматизации.
Однако после завершения полевого тестирования могут возникнуть ситуации, когда автоматизация будет необходима. Обычно это происходит при получении обратной связи от пользователей, в результате чего возникает необходимость устранения ошибок или функций, которые оставались незамеченными. После такого анализа появляются новые тестовые случаи, которые можно автоматизировать, используя соответствующие инструменты для экономии времени и средств.
Рассмотрим простое мобильное приложение, в котором есть функция поиска и сортировки товаров по категориям. Одежда попадает в раздел одежды, ноутбуки и мобильные телефоны – в раздел электроники, лекарства и бытовые товары – в раздел товаров первой необходимости и т.д. После получения обратной связи от ограниченной базы пользователей с помощью инструментов можно автоматизировать полевые испытания этого приложения. Например, разработать тестовые сценарии для запуска регрессионных тестов и проверить правильность сортировки с учетом их стоимости и использования.
Как провести полевое тестирование?
Как и другие пользовательские тесты, полевое тестирование предполагает многоэтапный подход, включающий планирование, проектирование, сам процесс тестирования и анализ отчетов. Давайте рассмотрим эти этапы по отдельности.
- Планирование: Очевидно, что любой процесс начинается с этапа планирования. Он состоит из простого и краткого документа, в котором излагаются цели, задачи, сроки, полномочия и результаты проекта. На этом этапе происходит общение с заинтересованными сторонами, менеджерами проекта, разработчиками – все принимают участие в процессе создания документа.
- Проектирование: На этапе проектирования документ передается ответственным лицам команд, которые будут работать над проектом. Они вникают в задачу и начинают разработку приложения с привлечением всех необходимых ресурсов.
- Тестирование: Этот этап наступает после проектирования/разработки, когда к проекту подключаются тестировщики, проверяющие приложение на подлинность и соответствие спецификациям. Они проводят собственный набор тестов, ручных или автоматизированных, и предоставляют готовый продукт, который проходит полевое тестирование с участием небольшого количества пользователей.
- Анализ: На последнем этапе анализируются результаты, полученные тестировщиками после выполнения предыдущего шага. Анализ включает в себя оценку успешности тестирования и его последствий, а также разработку рекомендаций по улучшению, дальнейшему тестированию или следующим шагам.
Ограничения
У полевого тестирования имеется ряд ограничений, которые необходимо учитывать при планировании и интерпретации результатов. Ниже приведены примеры некоторых из них:
- Полевое тестирование может оказаться трудным процессом, поскольку оно проводится в реальных условиях, которые могут быть весьма изменчивыми.
- Полевое тестирование требует значительных ресурсов и времени, а также наличия специальной группы специалистов по контролю качества для выполнения всех этапов, включающих реальные сценарии.
- Иногда бывает рискованно предоставлять мобильное приложение конечным пользователям, пусть даже небольшую часть, не дав им первоначальных рекомендаций относительно возможностей и функций приложения.
- Для большинства тестировщиков и компаний приобретение нескольких устройств различных размеров и характеристик программного обеспечения для проведения полевого тестирования бывает сложной задачей.
Однако все эти проблемы можно решить. Необходимо с самого начала тщательно всё спланировать и грамотно расставить приоритеты.
Примеры тестов
Предположим, что вы создаете приложение, которое отслеживает цены на акции и позволяет пользователям покупать/продавать их в режиме реального времени. Функции приложения включают:
- предоставление информации об акциях;
- пополнение виртуального кошелька приложения;
- включение опции покупки/продажи в течение нескольких секунд;
- проведение всех платежей без перебоев, поскольку цены на акции весьма изменчивы.
Не говоря уже о том, что все это одновременно будут делать сотни тысяч пользователей. Двумя видами полевых испытаний для такого типа приложений являются проверка сети и подключение к ней, а также тестирование производительности.
Очень важно провести тестирование производительности и поведения приложения для проверки сети и возможности подключения в различных сетевых условиях, таких как 3G, 4G, Wi-Fi или в зонах с низким уровнем сигнала. Убедитесь, что приложение работает корректно и эффективно справляется с перебоями в работе сети.
Что касается производительности, то необходимо проверить, выдерживает ли приложение определенные лимиты нагрузки/посещаемости. Для этого тестировщики нагружают приложение огромным трафиком. При полевом тестировании это можно сделать, попросив пользователей постоянно открывать приложение и выполнять некоторые действия, чтобы проверить, все ли действия приложение выполняет правильно и без сбоев.
Среди других полевых испытаний, которые можно провести для данного приложения, – проверка его влияния на заряд батареи и уровень энергопотребления мобильного телефона, а также проверка корректности отображения пользовательского интерфейса на различных устройствах с разными размерами экранов.
Лучшие практики
Рассмотрим наилучшие практики проведения полевого тестирования, которые позволяют получить исключительно качественное мобильное приложение для своих пользователей:
- Выберите разнообразный набор устройств, представляющих целевую аудиторию пользователей.
- Протестируйте приложение в различных сетевых условиях, включая разный уровень сигнала, скорость сети (3G, 4G, Wi-Fi) и провайдеров. Это поможет оценить производительность и надежность приложения при различных вариантах подключения.
- Определите конкретные тестовые сценарии и сценарии использования, охватывающие широкий спектр пользовательских взаимодействий и рабочих процессов.
- Проведите полевое тестирование после завершения всех регрессионных тестов и получения списка тест-кейсов для поддержки процесса тестирования ПО.
- Будьте подробны и понятны при регистрации обратной связи, чтобы избежать коммуникационных разрывов или путаницы в отношении того, как работает приложение.
- Обращайте внимание на влияние приложения на ресурсы устройства, такие как время работы батареи, загрузка процессора, память и потребление данных.
- И наконец, доработайте и улучшите приложение, используя результаты тестирования.
Подведение итогов
Любой продукт становится хитом, если он нравится пользователям и принимается ими. Это касается и мобильных приложений. Но как убедиться в том, что пользователи полюбят конечный продукт, не выпуская его на рынок? Вы просто запускаете приложение для своих пользователей.
Полевое тестирование позволяет проверить мобильное приложение в реальных условиях, сделав его доступным для небольшого количества потенциальных клиентов. Это помогает продакт-менеджерам и заинтересованным сторонам получить критически важные сведения о работе приложения, прежде чем оно станет доступным для всех желающих.
Часто задаваемые вопросы
Какое тестирование также называется полевым?
Полевым также называют бета-тестированием, целью которого является отбор группы пользователей, называемых бета-тестерами, для оценки программного обеспечения в реальных условиях до его официального выпуска. В ходе бета-тестирования продукт становится доступным ограниченному числу внешних пользователей, представляющих целевую аудиторию или определенную группу пользователей, что аналогично полевому тестированию.
Основные преимущества полевого тестирования
Основными преимуществами полевого тестирования при тестировании программного обеспечения являются обратная связь с пользователями в реальных условиях, выявление проблем с удобством использования, проверка работоспособности программного обеспечения в различных условиях, выявление непредвиденных ошибок, улучшение пользовательского опыта и получение информации о предпочтениях пользователей.
Перевод статьи «What is Field Testing? Explained With Examples».