В этой статье мы расскажем, как тестировщики тестируют приложения виртуальной реальности с реальными пользователями и чем это может быть полезными QA-инженерам, не связанным с VR.
Оглавление
- Что такое виртуальная реальность?
- Что такое VR-тестирование?
- Методология тестирования удобства использования VR
- Почему нужно тестировать с потенциальными пользователями
- Чему могут научиться тестировщики у практик тестирования VR?
Что такое виртуальная реальность?
VR – это искусственная среда, созданная с помощью программного обеспечения. Такой способ восприятия окружающей среды создает эффект полного присутствия и поддерживается двумя основными физическими устройствами: гарнитурами и компьютером/консолью/мобильным телефоном.
БЕСПЛАТНО СКАЧАТЬ КНИГИ в телеграм канале "Библиотека тестировщика"
Что такое VR-тестирование?
VR-тестирование – это процесс тестирования приложения виртуальной реальности. Юзабилити – важная часть тестирования виртуальной реальности.
Технологии постоянно движутся вперед, и приложения виртуальной реальности занимают свое место на мировом рынке и в нашей жизни. И для того чтобы лучше понять основную идею этой статьи, важно ответить на два фундаментальных вопроса:
- Что такое юзабилити?
- Что такое юзабилити-тесты с обычными пользователями?
Что такое юзабилити?
Юзабилити – это атрибут качества, который указывает на простоту использования определенного приложения.
Что такое юзабилити-тесты с обычными пользователями?
Лучший способ проверить функциональность приложения – это использовать его. Поэтому юзабилити-тесты состоят из коротких сессий, в ходе которых потенциальные пользователи взаимодействуют с приложением в определенных условиях, а команда экспертов наблюдает, записывает и измеряет ход этого взаимодействия.
В VR суть этого заключается в сеансах исследовательского тестирования, например, в исследовании приложения с целью найти и достичь того, что было задано, за определенное время.
Тесты на удобство использования должны проводиться в нужное время: когда прототипы и приложение уже готовы. Настоятельно рекомендуется, чтобы тестировщики провели эвристическую оценку продукта до того, как пользователи получат устройства.
Причина в том, что многие проблемы можно обнаружить и устранить до начала юзабилити-теста. Таким образом, пользователь получает лучшее приложение, которое смогла создать команда, а сессия тестирования пользователями будет максимально полезна для поиска проблем, которые не смогла заметить команда QA.
Теперь давайте узнаем, как проводить юзабилити-тесты для VR-приложений.
Методология тестирования удобства использования VR
В этом разделе мы познакомимся с некоторыми аспектами методологии юзабилити-тестирования VR-приложений с участием обычных пользователей. Стандартного способа проведения такого тестирования не существует, поэтому данное руководство основано на практических знаниях и опыте применения традиционных методов к тестированию VR-приложений.
1. Набрать участников
Разумное количество участников – не менее пяти. Такое количество человек позволит собрать разные мнения, но при этом профиль пользователя должен соответствовать целевой аудитории приложения. Также важно знать навыки, VR-опыт и интересы потенциального участника. Чтобы сделать сессию более интересной и эффективной, вам потребуются разные уровни знаний и опыта у пользователей.
2. Организуйте место и устройства
Для создания виртуальной реальности совершенно необходимо техническое оборудование, такое как гарнитуры и устройства. Кроме того, необходим доступ к тому, что видит пользователь в каждый момент времени, и достаточное количество свободного физического пространства поскольку предполагается, что пользователи будут двигаться во время исследования.
Существуют различные типы гарнитур, отличающиеся качеством и ценой. Для использования VR не обязательно покупать самое дорогое устройство, но по мере роста цен впечатления становятся все лучше. Конечно, необходимое качество VR-устройства зависит от того, какое приложение должно поддерживаться, и от требований к компьютеру/консоли/смартфону для его запуска.
Следующая диаграмма посвящена аппаратному обеспечению: несколько примеров аксессуаров и аспекты, на которые следует обратить внимание: например, удобство, рекомендации по требованиям к ПК и гарнитурам разных производителей.
3. Планируйте испытания
Сформулируйте цель теста, что будет делать пользователь, и составьте инструкции, объясняющие, как он будет это делать. Этот план является своеобразной “траекторией” исследования, поэтому важно следовать ему, но не обязательно на 100 %
На этом этапе команда должна подумать о полезных метриках для измерения процесса, например:
- Количество ошибок по степени серьезности
- О возможных проблемах со здоровьем и возникших побочных эффектах (да/нет, сколько, какие?)
- Время обучения ориентированию в VR-среде в различных ситуациях
- Время, когда пользователю потребовалась помощь в работе с устройствами (а не с приложением)
Со стороны приложения есть несколько общих аспектов, на которые следует обратить внимание при тестировании. Важно тестировать по одной функциональности за раз, чтобы результаты тестирования стали полезным материалом для команды разработчиков. Вот несколько идей для планирования и написания правильных тестовых примеров.
Что исследовать во время VR-тестирования?
- Взаимодействие пользователя с VR-интерфейсом:
- Перемещение по различным пространствам внутри приложения.
- Прохождение пути пользователя (флоу):
- Протестируйте приложение на предмет того, что оно не должно делать (подумайте о пограничных случаях, чтобы обеспечить максимальный охват).
- Убедитесь, что все требования учтены.
- Функциональные возможности работают так, как ожидалось:
- Изоляция от реального мира.
- Реальный мир не прерывает впечатления.
- Погружение достигается полностью:
- Обзор на 360 градусов.
- Пользователь испытывает ожидаемые ощущения.
4. Сделайте так, чтобы участники чувствовали себя комфортно
Перед началом сессии помещение должна быть подготовлена к испытаниям, а команде экспертов требуется провести беседу с участниками. В этой беседе команда должна объяснить, как будет проходить сессия.
Необходимо уточнить для пользователя, что любые неудобства, которые он может испытывать при проведение испытания, являются исключительно проблемой приложения и что целью тестирования является только оценка качества программного обеспечения и ничего более.
Кроме того, стоит объяснить как работают устройства, потому что пользователь может не знать, как ими пользоваться.
5. Запишите первоначальную реакцию участников
Когда тест начнется, спросите у пользователя про его первое впечатление от новой обстановки: что он видит и чувствует? Важно учитывать, что участник, скорее всего, будет испытывать некоторый физический дискомфорт. Если ему вдруг станет слишком страшно или он почувствует, что не может продолжать, испытание нужно немедленно прекратить (и вызвать нового участника). Разумеется, эту ситуацию необходимо должным образом задокументировать.
6. Предоставьте участникам возможность исследовать самостоятельно
Помимо следования плану, у пользователя должно быть свободное время для самостоятельного исследования, без инструкций. Особенно интересно было бы провести эту часть в начале сессии, во время первого взаимодействия с функционалом и приложением. Основным аспектом оценки здесь будет то, как пользователи реагируют на VR-среду и ее возможности.
7. Запись использования приложений
Эксперт обязан обращать внимание на то, что пользователь говорит вербально и выражает невербально. В соответствии с вашим планом, попросите пользователя выполнить действия в приложении и перемещаться определенным образом. Но не давайте никаких дополнительных деталей. Помните: никакой помощи!
Если пользователь заблокирован и не может выполнить то или иное требование, дайте ему следующую задачу, чтобы сессия шла по намеченному пути. Опять же, важно объяснить пользователю, что это не его вина, а ошибка в разработке приложения. Со стороны экспертов записывайте все, что происходит: реакции и эмоции, количество времени, необходимое для выполнения действия, проблемы, обнаруженные пользователем, и т. д.
Рекомендуется также снимать сессию на видео, чтобы не упустить важные детали. Кроме того, наблюдение через камеру снижает чувство опасности, которое может возникнуть у участников, когда эксперт находится физически близко к нему.
8. Оцените сессию и создайте документацию
Ваша документация должна включать:
- Резюме, в котором обобщаются результаты сессии и сделанные выводы.
- Пользователь и его профиль.
- Физические симптомы пользователя во время сеанса.
- Опыт пользователя в виртуальной среде.
- Результаты метрик (отличным вариант будет представить это в виде диаграммы)
- Перечень выявленных проблем и их возможные решения
Почему вы должны тестировать с потенциальными пользователями
Преимущества тестирования приложения с потенциальными пользователями, а не с тестировщиками:
- Узнать мнение потенциального пользователя.
- Узнать физическую реакцию потенциального пользователя.
- Дополнительные испытания для приложения.
Мнение потенциальных пользователей
Хотя предложения и ошибки, о которых сообщает команда QA, очень важны, важно знать, как пользователь реагирует на приложение и что он о нем думает. Если группа пользователей указывает на какую-то конкретную проблему или испытывает трудности с одной и той же функциональностью (с точки зрения доступности и юзабилити), то, вероятно, у вашего приложения есть проблемы.
Получив такие отзывы и мнения потенциальных пользователей перед выпуском продукта, вы также приобретете такие преимущества, как экономия времени, денег или предотвращение несчастных случаев с пользователями. Все, о чем сообщается в ходе этой сессии, является обратной связью для команды, позволяющей вносить улучшения в нужное время.
Подумайте о том, чтобы провести такую сессию с функциональным прототипом: проблемы, о которых сообщат участники испытаний, станут мощным инструментом для команды разработчиков, чтобы исправить нежелательное поведение. И поверьте, это сэкономит вам много времени!
Понимание потенциального опыта пользователя
Потенциальные пользователи – это целевая аудитория приложения, поэтому понимание их опыта позволяет узнать, как реальные пользователи будут реагировать на продукт. Разработчики и тестировщики могут сравнить и посмотреть, совпадает ли реальный опыт с их ожиданиями от того, что они планировали получить от пользователя. Если нет, они могут исправить продукт еще до его выпуска.
В VR-приложениях важно следить за физическими ощущениями. Если пользователь – новичок в VR-приложениях, его тело (вероятно) отреагирует физическими симптомами на новый опыт, например головокружением. Если же приложение тестирует опытный тестировщик, то у него не возникнет подобных проблем, поскольку он привык к виртуальной реальности. Полезно знать, какие физические проблемы приложение вызывает у обычного пользователя, чтобы убедиться, что они не слишком серьезные, или попытаться разработать приложение таким образом, чтобы их можно было избежать. В приложениях виртуальной реальности важно следить за навигацией пользователя по всему приложению.
Обнаружение новых способов использования приложения и ошибок
Потенциальные пользователи не знакомы с планом и дизайном приложения. Благодаря свежему взгляду они могут обнаружить то, что разработчики не заметили, например, неожиданные пути пользователя или ошибки. Эти новые данные затем могут быть переданы разработчикам, командам управления продуктом, маркетинга или продаж.
Чему могут научиться тестировщики при тестировании VR?
- Большинство из приведенных выше методик можно адаптировать к тестированию кода и программного обеспечения:
- Протестируйте свой продукт на реальных пользователях.
- Документируйте и отслеживайте реакцию и опыт пользователей.
- Планируйте тесты в соответствии с дизайном кода, но оставляйте место для исследований.
- Чем раньше будет проведено тестирование, тем быстрее будут обнаружены и исправлены ошибки.
- Всегда важно быть в курсе новейших технологий.
- Протестируйте свой код/функцию/продукт от начала до конца.
- Протестируйте производительность вашего продукта/приложения.
Перевод статьи «What Is VR Testing?».