Бета-тестирование (Beta Testing) – это один из видов приемочного тестирования, результаты проведения которого позволяют повысить ценность продукта, поскольку конечные пользователи проверяют функциональность этого продукта, а также удобство его использования, надежность и совместимость.
Данные, предоставленные конечными пользователями, помогают в дальнейшем повысить качество продукта и тем самым приводят его к успешному релизу. Это также помогает в принятии решений о дальнейших инвестициях в будущие продукты или в уже существующий продукт для его усовершенствования.
Поскольку бета-тестирование происходит на стороне конечного пользователя, оно не может быть полностью контролируемым мероприятием.
В статье приводится полный обзор бета-тестирования: его смысл, цель, необходимость, связанные с ним проблемы и т.д.
БЕСПЛАТНО СКАЧАТЬ QA КНИГИ можно в нашем телеграм канале "Библиотека тестировщика"
Содержание:
Когда проводится бета-тестирование?
Заинтересованные стороны и участники
Управление этапами бета-тестирования
Как компании могут сделать бета-тестирование успешным
Как начать работу в качестве бета-тестировщика
Добавление опыта бета-тестирования в резюме
Что такое бета-тестирование
Бета-тестирование – это одна из методологий, позволяющая оценить уровень удовлетворенности клиентов продуктом путем предоставления им возможности быть конечными пользователями, которые фактически используют его в течение определенного периода времени.
От конечных пользователей получают отзывы о дизайне, функциональности и удобстве использования продукта, и это помогает оценить качество продукта.
Реальные люди, реальная среда и реальный продукт – вот три “Р” бета-тестирования, при этом главный вопрос, который ставит перед собой бета-тестирование это “Нравится ли продукт клиентам?”.
Рекомендации к прочтению:
Цели бета-тестирования
Нижеприведенные пункты являются целями бета-тестирования, которые необходимы для улучшения тестируемого продукта.
1. Бета-тестирование дает полное представление о реальных впечатлениях конечных пользователей от продукта.
2. В нем участвует широкий круг пользователей, и цели использования продукта у каждой группы свои. Маркетологи фокусируются на мнении целевого рынка о каждой функциональности, в то время как UI-дизайнеры и обычные пользователи обращают внимание на комфорт в использовании продукта и его простоте, технические эксперты исследуют удобство его установки и удаления и т.д.
Опыт конечных пользователей четко показывает, для каких целей им нужен этот продукт и как они собираются его использовать.
3. Этот вид тестирования наиболее эффективно проверяет совместимость продукта, так как при этом используется большое количество реальных платформ для тестирования на широком диапазоне устройств, ОС, браузеров и т.д.
4. Поскольку то количество платформ, которые на самом деле используют конечные пользователи, может быть недоступно для внутренней QA-команды, такое тестирование также помогает обнаружить скрытые дефекты в конечном продукте.
5. Тестирование на различных платформах также помогает найти критичные и блокирующие дефекты, которые не были выявлены во время системного тестирования. Это помогает в улучшении совместимости продукта со всеми возможными платформами.
6. Дефекты, известные команде управления продуктом, и допущенные до реальных пользователей могут иметь гораздо большее влияние на восприятие продукта, чем это было запланировано изначально. В таких случаях бета-тестирование помогает проанализировать влияние таких дефектов на весь продукт: насколько этот неисправленный дефект влияет на UX/UI, и как это отражается на бизнес-показателях.
Когда проводится бета-тестирование?
Бета-тестирование проводится сразу после завершения альфа-тестирования, но перед выпуском продукта в эксплуатацию. На этом этапе ожидается, что продукт будет завершен как минимум на 90%-95% (он должен быть достаточно стабилен на любой из платформ, все функциональности почти или полностью готовы).
Любой продукт, проходящий бета-тестирование, перед его началом должен быть проверен на соответствие определенному контрольному списку готовности.
Вот некоторые обязательные пункты:
- Все компоненты продукта готовы к началу тестирования.
- Документация для конечных пользователей должна быть готова – процессы настройки, установки, использования и удаления должны быть подробно описаны и проверены на правильность.
- Команда управления продуктом должна проверить, все ли ключевые функциональности находятся в рабочем состоянии.
- Процедура сбора дефектов, отзывов и т.д. должна быть определена и утверждена.
Обычно продолжительность бета-тестирования составляет один или два цикла тестирования по 4-6 недель на цикл. Оно может продлеваться в случае добавления новой функции или изменения основных компонентов.
Заинтересованные стороны и участники
Заинтересованными сторонами в бета-тестировании являются команды управления продуктом, QA команда и UX/UI специалисты, которые внимательно следят за каждым шагом на этом этапе.
Конечные пользователи, которые представляют целевую аудиторию продукта, являются участниками.
Стратегия
Стратегия бета-тестирования:
- Зафиксировать бизнес-цели продукта.
- Составить план – циклы тестирования, продолжительность каждого цикла и т.д.
- Составить план бета-тестирования.
- Определить подходы к тестированию, которых будут придерживаться участники.
- Выбрать инструменты, используемые для баг-репортинга, измерения производительности и сбора обратной связи.
- Предусмотреть вознаграждения и поощрения для участников.
- Определить критерии остановки бета-тестирования.
План бета-тестирования
Здесь перечислены общие пункты, которые должен включать в себя любой план бета-тестирования:
- Цель: Определите цель проекта, причины, почему он подвергается бета-тестированию, это необходимо даже после проведения тщательных внутренних тестов.
- Сфера применения: Четко установите, какие компоненты подлежат тестированию, а какие нет. Также зафиксируйте любые конкретные данные, которые будут использоваться для тестирования определенной функциональности (например, использование тестовой кредитной карты для проверки платежа – номер карты, CVV, дата истечения срока действия и т.д.).
- Подходы к тестированию: Четко пропишите, будет ли тестирование исследовательским или строго формализованным, на чем сфокусироваться участникам – функциональность, пользовательский интерфейс, восприятие продукта и т.д. Упомяните о процедуре баг-репортинга, а также о том, какие артефакты необходимо предоставить (скриншоты/видео).
- Расписание: Четко укажите даты начала и окончания с указанием времени, количества циклов и продолжительности каждого цикла тестирования.
- Инструменты: Инструмент для репортинга дефектов и инструкция по его использованию.
- Бюджет: Поощрения за ошибки в зависимости от их серьезности.
- Обратная связь: Сбор отзывов и методы оценки.
- Определите и рассмотрите критерии входа и выхода.
Критерии входа
- Альфа-тестирование должно быть завершено.
- Бета-версия продукта должна быть готова и выпущена в эксплуатацию.
- Руководства пользователя и список известных проблем должны быть задокументированы.
- Инструменты для репортинга дефектов и обратной связи и документация к ним должны быть готовы.
Критерии выхода
- Отсутствие блокирующих дефектов на всех платформах.
- Все основные дефекты, обнаруженные на этапе бета-тестирования, должны быть исправлены.
- Готов отчет о бета-тестировании.
- Определены результаты бета-тестирования.
Как проводится бета-тестирование
Этот тип тестирования может проводиться несколькими способами, но в целом существует пять различных этапов.
1. Планирование
Заранее определите цели. Это поможет в планировании количества пользователей, необходимых для участия в тестировании, и промежутков времени, необходимых для завершения и достижения целей тестирования.
2. Набор участников
В идеале в тестировании может участвовать любое количество пользователей, но из-за бюджетных ограничений проект должен установить минимальное и максимальное ограничение на количество участвующих пользователей. Обычно для продуктов средней сложности в тестировании принимают участие 50-250 пользователей.
3. Запуск продукта
- Участники тестирования должны знать как использовать продукт – в идеале, поделитесь ссылкой, откуда они могут скачать и установить его.
- Поделитесь с участниками мануалами, гайдами и уже известными проблемами продукта, целями тестирования и т.д.
- Поделитесь с участниками способами регистрации найденных дефектов.
4. Сбор и оценка отзывов
- Дефекты, найденные участниками, обрабатываются согласно процессам, установленным QA-командой.
- От участников тестирования собираются отзывы и предложения на основе их опыта работы с продуктом.
- Отзывы обрабатываются: их необходимо проанализировать и на их основе внести изменения, чтобы клиент был удовлетворен продуктом.
- Предложения для улучшения продукта рассматриваются и планируются для релиза в следующих версиях.
5. Завершение
- По достижении определенного момента, когда все функции работают, дефектов не возникает, а критерии выхода выполнены, принимается решение о завершении этапа бета-тестирования.
- Поощрите участников в соответствии с планом и официально поблагодарите их для поддержания хороших отношений (это помогает в дальнейшем бета-тестировании продукта, получении большего количества отзывов, предложений и т.д.).
Управление этапами бета-тестирования
Управление всеми этапами бета-тестирования – довольно сложная задача, поскольку его невозможно контролировать с самого начала. Поэтому хорошей практикой является организация форумов, чатов для обсуждения хода тестирования и приглашение в них всех участников. Ограничьте темы обсуждения задачами тестирования бета-версии продукта, а затем следуйте намеченному плану.
Проведите опросы о впечатлениях после использования продукта и предложите участникам написать отзывы.
Определите ответственных, которые будут следить за ходом бета-тестирования, пусть они общаются с участниками и помогают, если это необходимо.
Проблемы бета-тестирования
Поиск и привлечение подходящих участников является зачастую ключевой задачей. Участники могут обладать или не обладать необходимыми навыками требуемого уровня. Они могут не быть техническими экспертами и качество тестирования некоторых компонентов продукта может пострадать.
В некоторых случаях скрытые дефекты может быть очень трудно обнаружить. Еще одной проблемой является сбор обратной связи. Не все отзывы можно считать ценными и не из всех из них можно извлечь объективную оценку. Для оценки уровня удовлетворенности клиентов необходимо отобрать только релевантные отзывы.
Отзывы должны быть переданы соответствующим командам, что опять же может являть проблемой для команды управления продуктом. Кроме того, бета-тестирование не всегда имеет четко определенные планы. В случае нехватки времени его приходится проводить в спешке. Это приводит к тому, что цели не достигаются, а продукт не испытывается участниками в полной мере.
Когда бета-тестирование можно считать неэффективным:
- Отсутствие надлежащего плана выполнения.
- Плохое управление тестированием.
- Сжатые сроки из-за задержек на предыдущих этапах.
- Выпущенный нестабильный продукт.
- Неправильное количество участников – слишком мало или слишком много.
- Слишком короткие или слишком длинные периоды тестирования.
- Неэффективные инструменты.
- Отсутствие эффективного управления обратной связью.
- Плохие вознаграждения для участников.
Справка по терминам:
Бета-версия программного обеспечения – это предварительная версия программного обеспечения, доступная для использования перед окончательным релизом.
Бета-версия – это версия программного обеспечения, доступная для юзеров, которая может включать в себя функциональности, разработка которых еще не завершена или имеет некоторые дефекты.
Бета-тестировщики – это те, кто работает над тестированием бета-версии программного обеспечения.
Как компании могут сделать бета-тестирование успешным
Ниже приведены несколько советов для успешного бета-тестирования.
- Сначала решите, сколько дней бета-версия будет доступна для тестировщиков.
- Определите подходящие группы пользователей для проведения тестирования – это может быть ограниченная группа пользователей или продукт будет общедоступен.
- Предоставьте четкие инструкции по тестированию (руководство пользователя).
- Сделайте бета-версию программного обеспечения доступной для выбранных групп участников. Соберите отзывы и дефекты.
- На основе анализа отзывов решите, какие проблемы необходимо устранить до выхода финального релиза.
- После устранения дефектов и внесения правок по предложениям снова выпустите измененную версию для проверки теми же группами.
- После тестирования реализация всех функциональностей должна быть заморожена (т.е. нельзя добавлять никакие дополнительные функции, изменять или убирать существующие функции).
- Снимите пометку “бета” и выпустите окончательную версию программного обеспечения.
Как начать работу в качестве бета-тестировщика
После того как компания примет вашу заявку на участие в качестве бета-тестера, выполните следующие действия:
- Изучите спецификации требований к программному обеспечению, известные дефекты и модули для тестирования.
- Загрузите и установите бета-версию программного обеспечения.
- Начните тестирование.
- Подготовьте отчет о дефектах, выявленных в приложении.
- Запишите свои предложения/отзывы о продукте, чтобы улучшить его UX.
- Отправьте отчет о дефектах и отзывы в компанию.
Добавление опыта бета-тестирования в резюме
Многие кандидаты начального уровня жалуются на отсутствие опыта тестирования в коммерческих программных проектах. Тестирование бета-версий – это лучшая возможность для новичков продемонстрировать свои навыки, а также получить практический опыт работы в реальных проектах.
Вы даже можете включить этот опыт в свое резюме с подробной информацией (например, проект, описание проекта, тестовое окружение и т.д.) о бета-версии приложения, которое вы тестировали. Это определенно привлечет внимание работодателя, особенно если вы новичок, ищущий работу в области QA.
Плюсы работы в качестве бета-тестировщика
Плюс №1: Получить опыт тестирования программного обеспечения
Рассмотрим пример компании Microsoft. Вы можете подать заявку на то, чтобы стать бета-тестером в Microsoft. В настоящее время для тестирования доступно более 40 бета-версий программного обеспечения. Корпорация Microsoft готова рассмотреть предложения по своим продуктам и исправить найденные дефекты.
Это огромная возможность для вас. Просмотрите этот список, выберите продукт и проведите его тестирование. Используйте все свои навыки, чтобы найти и зарегистрировать дефекты. Кто знает – возможно, это даже поможет вам получить работу вашей мечты в любой из таких компаний, предлагающих бета-версии для тестирования.
Вы также можете найти еще несколько возможностей бета-тестирования приложений по ссылке, приведенной здесь.
Плюс №2: Заработать дополнительные деньги
Некоторые компании платят пользователям деньги за бета-тестирование своих приложений. Индустрия тестирования видеоигр – одна из лучших отправных точек для возможностей платного бета-тестирования. Большинство компаний, занимающихся видеоиграми, платят приличные суммы бета-тестировщикам за тестирование бета-версий своих видеоигр.
Но будьте осторожны, так как существует множество мошеннических сайтов, предлагающих деньги за участие в качестве тестировщика игр. Прежде чем брать на себя какие-либо обязательства, убедитесь, что вы тщательно изучили сайт. Вы также можете найти настоящую работу бета-тестировщиком на некоторых HR сайтах, таких как Careers.org и Simplyhired.
Заключение
Пока продукт не нравится своим пользователям, его нельзя считать успешным.
Бета-тестирование – это одна методик, которая позволяет пользователям испытать продукт до его выхода на рынок. Тщательное тестирование на различных платформах и отзывы реальных пользователей в конечном итоге приводят к успешному бета-тестированию продукта и гарантируют, что клиент будет доволен его использованием.
Эта практика является лучшим способом проанализировать качество любого продукта до его окончательного релиза.
Остались вопросы? Задавайте их в комментариях.
Перевод статьи «What is Beta Testing? A Complete Guide».
Пингбэк: Большой учебник по тестированию