A/B-тестирование

Тестирование – это опробование чего-то с целью проверки, работает ли это. В разработке программного обеспечения тестирование занимает центральное место и играет важную роль в создании продуктов, ориентированных на пользователя. Если задуматься, любое тестирование попадает в одну из трех категорий в зависимости от цели:

1. Выяснить, работает ли продукт в соответствии с требованиями. Такое тестирование продукта проводится QA-командой до того, как он будет выпущен для пользователей и клиентов. Соответствие продукта требованиям проверяют все компании. Количество усилий, которые они при этом прилагают, сильно варьируется.
2. Убедиться, что продукт соответствует ожидаемому пользовательскому опыту. Такое тестирование продукта осуществляется внешними пользователями.
3. Выяснить, дает ли обновление или изменение продукта ожидаемые результаты.

Первый и второй варианты – это типы приемочного тестирования. Они в некотором смысле похожи. А вот третий вид тестирования – это как раз A/B-тестирование. Оно имеет совершенно другую цель.

БЕСПЛАТНО СКАЧАТЬ КНИГИ в телеграм канале "Библиотека тестировщика"

Что собой представляет A/B-тест

A/B-тест состоит из трех частей:

1. A – текущее состояние продукта
2. B – состояние продукта после выпуска обновления
3. Тест – измерение влияния изменений.

Зачем нужно A/B-тестирование

Компании тратят много времени и ресурсов на создание новых возможностей и внесение существенных изменений в свой продукт. Изменения – это здорово, но если их влияние невозможно измерить, они бессмысленны. Существуют причины, по которым внезапные масштабные изменения не приносят пользы:

1. Они требуют много ресурсов. Ваши ресурсы ограничены. Если потратить их на одно большое обновление, это может привести к тому, что другие области продукта окажутся без внимания.
2. Они более рискованны. Когда вы вносите много изменений в код, риск того, что что-то не сработает, возрастает.
3. На внедрение масштабных изменений требуется больше времени. Сегодня клиенты ожидают, что компании будут постоянно развиваться. Если вы не будете регулярно улучшать пользовательский опыт, вы рискуете устареть. Но крупные обновления требуют дополнительного тестирования, а это дополнительная трата времени и ресурсов.
4. Сложности измерения и оценки. При выпуске большого обновления трудно определить вклад каждого изменения в общий эффект. В таких обновлениях много переменных, поэтому их результативность трудно измерить.

Именно здесь на помощь приходят A/B-тесты. Они позволяют менеджерам по продукту точно измерить воздействие, оценивая небольшие постепенные изменения.

Примеры того, что можно проверить A/B-тестами

A/B-тестирование полезно для принятия решений на основе данных. Например, оно может помочь вам сделать обоснованный выбор относительно следующих вещей:

1. Кнопки призыва к действию. Можно определить, какой дизайн, текст и расположение кнопки конвертирует больше пользователей на ваших веб-страницах.
2. Баннеры на сайте. В ходе A/B тестирования можно оценить различные типы баннеров для рекламных предложений.
3. Макет сайта/карточки. Сравните, как изменение расположения элементов вашего сайта влияет на конверсию.
4. Маршрут пользователя. Изменения в потоке действий, совершаемых пользователями на сайте, могут снизить количество отказов. А при помощи A/B тестирования можно проверить результативность каждого изменения.
5. Email-рассылки. Можно протестировать язык, дизайн и время отправки рекламных писем, чтобы увеличить количество открытий и переходов по ссылкам.
6. Лендинги. При помощи A/B тестирования можно выяснить, какая целевая страница лучше конвертирует посетителей сайта в лиды.

Ключевые аспекты A/B-тестирования

Цель и мотивация

Чем вы руководствуетесь при проведении A/B-тестирования? Вашей основной целью может быть улучшение пользовательского опыта или повышение дохода. Четкое указание этого в A/B-тесте поможет команде ориентироваться на поставленную цель.

Гипотеза

Вы не сможете провести A/B-тестирование, не сформировав и не сформулировав гипотезу. Ваша гипотеза должна быть краткой, четкой и точной. Она не должна занимать несколько страниц. Для написания гипотезы A/B-теста можно использовать следующий формат: “Внеся изменение “X”, мы ожидаем результат “Y””.

Группы тестирования

A/B тестирование предполагает наличие двух групп:

1. Контрольная группа. Пользователи этой группы не видят новых изменений. Они продолжают использовать продукт в его первоначальном виде.
2. Тестовая группа. Пользователи в этой группе видят продукт в его новой обновленной версии.

Пользователи должны быть распределены в контрольную и тестовую группы случайным образом, без каких-либо определенных правил. Это позволит провести эксперимент без неосознанной предвзятости, которая может исказить результаты.

В большинстве случаев у вас будет две группы: контрольная и тестовая. Но вы можете захотеть протестировать более одного варианта. В таких случаях вы можете провести A/B/C-тест, где B и C – тестовые группы. В таком случае результаты будут сравниваться с результатами контрольной группы, а кроме того результаты тестовых групп будут сравниваться между собой.

Разделение трафика

Настраивая эксперимент, нужно указать разделение трафика между контрольной и тестовой группами.

Продолжительность

A/B-тестирование должно иметь дату начала и окончания. При выборе временных рамок нужно учесть сезонность.

Платформы и устройства

Пользователи ведут себя по-разному на разных платформах и устройствах. То, что работает для настольных компьютеров, может не работать для мобильных устройств. А то, что работает для пользователей Android, может не работать для пользователей iOS. Вы не можете экстраполировать результаты одной платформы на другую. Чтобы доказать свою гипотезу, вам придется провести отдельные тесты для каждой.

Статистическая значимость

Это хорошо объясняет Survey Monkey:

В контексте A/B-тестирования статистическая значимость – это то, насколько вероятно, что разница между контрольной и тестовой версиями вашего эксперимента не обусловлена ошибкой или случайностью.

Для расчета статистической значимости можно воспользоваться онлайн-инструментами.

Отслеживаемые метрики

Это показатели, которые вы отслеживаете для своего продукта на регулярной основе. Например, количество посетителей сайта, количество покупок, средний чек и т.п. Изменения, которые вы вносите в продукт, могут сказаться на разных показателях, поэтому важно заранее определить, на какие именно показатели вы будете ориентироваться.

Как настроить A/B-тестирование

Предложение по тестированию

Первым шагом является написание предложения по тестированию, в котором кратко описывается все, что мы изложили в предыдущем разделе.

Спросите себя:

1. Что вы хотите улучшить на своем сайте?
2. Как бы вы оценили это улучшение количественно?
3. Стоит ли изменение затраченных усилий?

Получение поддержки заинтересованных сторон

Вы должны убедить всех в важности проведения A/B-тестирования. Выделите время для обсуждения предложения по тестированию со всеми ключевыми стейкхолдерами. Выслушайте их мнение и при необходимости внесите изменения в тест.

Отслеживание прогресса

По крайней мере раз в неделю просматривайте результаты теста вместе с ключевыми стейкхолдерами. В конце тестирования обязательно сообщите окончательные результаты и дальнейшие шаги. Иногда одновременно проводится так много тестов, что легко потерять информацию об изменениях.

Подбор инструментария

A/B-тестирование не обязательно настраивать с нуля. Есть несколько замечательных инструментов, которые вам помогут. Например:

• Optimizely
• Google Optimize
• Survey Monkey
• Unbounce

Выбор инструмента зависит от конкретного случая использования.

Трудности A/B-тестирования

Хотя A/B-тестирование является отличным инструментом сравнения, его проведение связано с рядом проблем. Давайте рассмотрим некоторые из них:

1. Объем трафика. Статистически значимые результаты требуют хорошего количества трафика на вашем сайте.
2. Продолжительность тестирования. Если у вас мало пользователей в тестовой группе, вам придется проводить тесты в течение более длительного времени. Это означает, что вам придется подождать дольше, чтобы выяснить, все ли ваши пользователи смогут извлечь пользу из изменений. Но если тестирование длится слишком долго, есть риск, что другие переменные, такие как сезонность бизнеса, могут повлиять на результаты.
3. Количество тестов. Если вы запустите слишком много тестов в один момент времени, вы быстро исчерпаете трафик. В таких случаях ваше обновление может быть готово, но вы не сможете его выпустить. В результате вашим пользователям придется ждать дольше, чтобы воспользоваться изменениями.

Заключение

Итак, после прочтения всего этого на ум приходит один вопрос. Имеет ли смысл проводить A/B-тестирование? Это зависит от многих обстоятельств. В некоторых случаях проведение A/B-тестирования может оказаться практически невозможным.

Часто команды приобретают плохую привычку тестировать без цели. Постарайтесь этого избежать. Создайте централизованную команду по утверждению и запуску тестов. Да, именно централизованную! В данном сценарии это действительно помогает. Это обеспечивает единый взгляд на все A/B тесты, проводимые в компании, и новые тесты, которые хотят запустить разные команды.

Перевод статьи “A/B testing | A Practical Approach”