Руководство по тестированию приложений виртуальной реальности

Виртуальная реальность: современная технология

Виртуальная реальность – это мощная развивающаяся среда, которая обещает изменить взаимодействие пользователей с цифровыми технологиями. Теперь люди могут взаимодействовать в любой среде виртуальной реальности с помощью очков VR или мобильных устройств. Различные формы неиммерсивных, полуиммерсивных и полностью иммерсивных технологий моделирования трансформируют многие отрасли B2B и B2C.

В самом начале своего существования виртуальная реальность задумывалась исключительно для потребительского использования, например, в игровой и развлекательной индустрии. Однако в последние годы она также оказалась удивительно полезной для медицины, обороны и промышленности. По мере того как VR получает широкое распространение, число таких случаев использования будет только расти.

Быстрый рост популярности VR и зарождение технологии ставят перед компаниями уникальные задачи с точки зрения разработчиков. Появились дисплеи, устанавливаемые на голову, с камерами, распознающими глаза, и высокоточными датчиками обнаружения объектов. Люди хотят попробовать эти функции, особенно игровое сообщество. Разработчикам и стартапам необходимо постоянно адаптироваться и внедрять инновации, чтобы оставаться актуальными. В результате за несколько лет VR-приложения сильно эволюционировали и в обозримом будущем будут продолжать стремительно развиваться.

Наиболее распространенной проблемой VR-приложений является обеспечение их качества. Старые традиционные методы 2D-тестирования уже не годятся для трехмерного VR-тестирования. Из-за постоянной текучки в индустрии не удалось создать стандартную систему тестирования и технологию тестирования. Мы рассмотрим различные инструменты, доступные для тестирования VR-приложений, и способы эффективного тестирования ваших VR-приложений.

БЕСПЛАТНО СКАЧАТЬ КНИГИ в телеграм канале "Библиотека тестировщика"

Инструменты для функционального тестирования приложений виртуальной реальности

Существуют специальные инструменты, которые необходимы для тестирования VR-приложений. К ним относятся:

SteamVR Performance Tool

Это фундаментальный инструмент для оценки совместимости. Он показывает совместимость вашего ПК с VR-приложением.

3600 Программное решение EYETRACKERTM.

Это программное обеспечение отслеживает движение глаз и позволяет пользователю видеть любую точку в окружающей среде. Оно также позволяет зрителям видеть точку зрения пользователя и направление, в котором он смотрит. Оно экстраполирует поле зрения пользователя.

Инструмент тестирования Unity

Unity – отличный инструмент для начала работы. Он предназначен для модульного тестирования, чтобы сосредоточиться на определенном объекте в среде виртуальной реальности. Также можно использовать плагин Google под названием Google Instant Preview with Unity. Он позволяет увидеть сборку Unity в редакторе. Вы можете напрямую запустить свою игру, и она будет видна всем окружающим.

Желаемые форматы выходных данных

Подробная тепловая карта с интерактивными элементами управления.
Видео в 2D-среде из 360-контента.
Переживание личного опыта зрителя через гарнитуру VR.

Как протестировать ваше VR-приложение

1. Определите цели

Необходимо четко определить цель функционального тестирования VR-приложений. Тестирование должно обеспечить выполнение входных и выходных параметров. Вот некоторые из наиболее распространенных целей:

Обеспечение ожидаемого поведения: Тестирование VR-приложения должно гарантировать, что приложение работает в соответствии с требованиями. То есть оно функционирует так, как ожидается. Однако VR-приложения часто бывают сложными, с множеством скрытых ошибок. Кроме того, выполнение поставленной задачи зависит от человеко-машинного интерфейса.
Ручное тестирование: Обеспечивает взаимодействие с человеком и позволяет оценить, насколько хорошо пользователь адаптируется, использует и погружается в VR-приложение.
Влияние окружающей среды: Цель также должна обеспечивать эффективность реального окружения в виртуальном мире. Пользователь должен почувствовать разницу между реальностью и виртуальностью. Он также должен оценить, насколько виртуальная среда близка к реальной. Цель должна быть способна отобразить эту разницу.
Автоматизация специфических тестов: Для обработки высокой степени взаимодействия, оценки входных данных, а затем сортировки и оценки выходных данных автоматизация определенной части теста становится необходимой.
Создайте список желаемых пользовательских впечатлений, которые мы хотим получить от приложения и которые издатель получит от приложения.

2. Методы тестирования VR

Метод проб и ошибок

Приложения виртуальной реальности основаны на реальности. Таким образом, оно полагается на человеческое восприятие. Это означает, что обнаружение ошибок, глюков и проблем с приложением; аспект “реальности” является субъективным для данного человека. Это также означает, что результаты тестирования будут отличаться от человека к человеку. Лучший способ – проверить поведение приложения с помощью инструментов тестирования.

Специальные инструменты тестирования, такие как SteamVR performance tool, облегчают процесс тестирования.

Сессии записи

Сессии записи позволяют лучше понять вид и взаимодействие человека с реальностью. Это дает глубокое понимание отладки. Ее можно показать сторонним людям, чтобы получить необходимую помощь. Иногда это баги или глюки. Если дать возможность другим тестировщикам посмотреть сеансы записи, это позволит вам выявить ошибки на более поздних этапах.

Автоматизированные инструменты тестирования

В приложениях виртуальной реальности есть аспекты, в которых инструменты тестирования дают лучшие результаты. Инструменты автоматизированного тестирования помогают при тестировании пользовательского интерфейса и производительности. Существующие на рынке инструменты облегчают этап тестирования и гарантируют качество вашего VR-приложения.

Тестирование укачивания в VR-приложениях

Укачивание в реальности – одна из серьезных проблем в среде виртуальной реальности. Человеческий мозг не может полностью погрузиться в другую реальность. Перемещение в реальности напрямую приводит к укачиванию; крайне важно убедиться, что даже самый простой мозг может выдержать воздействие VR-приложений.

Отзывы пользователей

Инструменты для сбора отзывов облегчают работу. Предположим, вы выпускаете приложение на рынок. Эти инструменты обратной связи помогут вам обнаружить больше ошибок и глюков в приложении. Это также поможет повысить качество приложения.

UI фреймворк для автоматизации тестирования

Для автоматизации VR мы рекомендуем AirTest. Это один из лучших фреймворков с открытым исходным кодом, созданный для игровых приложений VR, где вы получаете фреймворк для автоматизированного тестирования. Он кроссплатформенный и поддерживает Windows, нативные приложения, iOS и Android. AirTest включает в себя установку приложения, утверждение, симуляцию ввода и так далее. Вы можете использовать технологию распознавания изображений, чтобы находить и идентифицировать элементы пользовательского интерфейса. Автоматизируйте тесты в играх без инъекций кода. Результаты можно увидеть в HTML-отчетах. Легче быстро найти неудачные тесты.

Интеграционный тест

Этот тест требует больше навыков, чем автоматизация модульных тестов. Два или более объекта объединяются и тестируются в симулируемом окружении или по определенному сценарию. Такие тесты создаются и интегрируются в тестовый движок. Этот механизм требует наличия нескольких систем, большего количества навыков и ресурсов.

Конечное тестирование / QA-тестирование

Это означает полное воспроизведение VR-приложения, которое необходимо протестировать. Это делается как вручную, так и автоматически. Но автоматизированная версия QA все еще нуждается в значительном вкладе, чтобы стать более пригодной для использования.

Что нужно учесть перед автоматизацией VR-тестов .

Некоторые тестовые сценарии уже доступны. Процесс обеспечения качества может использовать эти существующие тестовые сценарии. Это эвристический метод, позволяющий найти повторяющиеся участки сборки. Эти области можно автоматизировать с оптимальными усилиями.
Полностью разработанное VR-приложение можно протестировать с помощью контроля исходных кодов и непрерывной интеграции. Прежде чем использовать контроль исходных кодов и непрерывную интеграцию, подумайте о масштабе вашей системы, размере команды и типе приложения. Вы можете взять за основу Git и Mercurial.
Всегда тестируйте 2D-версию своего приложения. Это экономит время и ускоряет процесс отладки.
Используйте данные телеметрии – они помогают в долгосрочной работе. Особенно когда вы анализируете конкретную ошибку, данные телеметрии должны быть релевантны пользовательскому прохождению приложения и пользовательским потокам успешного прохождения игры.
Всякий раз, когда происходит новое изменение, компиляция кода и запуск сборки активов на CI-системах выявляют эти проблемы. Усердный метод заключается в том, чтобы заранее сообщить команде об этих ошибках и заранее избежать конфликтов. Таким образом, команда может двигаться вперед, избегая потенциальных препятствий для тестирования.
Контролируйте производительность с помощью автоматизации на устройстве. Мониторинг подскажет вам первопричину любой проблемы. Новые изменения также могут нанести вред производительности компьютера; автоматизация на устройстве поможет нам в мониторинге долгосрочной производительности и обнаружении ошибок.
Имитируйте срабатывание триггера, отдавая команды. Проще говоря, скажите персонажу добраться до определенной точки “A” из другой точки “Y”. Следите за характеристиками производительности на ADB, а также ведите контрольный список для запуска и проверки необходимых событий на протяжении всего приложения.

Инструменты для производительности и анализа ваших VR-приложений

Инструменты OVR Metrics

Анализирует мобильное приложение с помощью графического наложения в режиме реального времени. Он предоставляет данные о нагреве, частоте кадров, значениях дросселирования GPU/CPU.

Logcat

Он собирает журналы VrApi. Можно собирать системные журналы с помощью командной строки. Команда контроля качества может внимательно изучить производительность приложения и настройки устройства.

Ovrgupprofiler

Он получает доступ к данным о метриках GPU-конвейера в реальном времени и обеспечивает трассировку этапов с помощью инструмента CLI.

GPUsystrace

Он включает в себя информацию о временных данных этапов конвейера рендеринга, а также информацию о рендеринге.

RenderDoc

Это инструмент, который является лучшим решением для захвата кадров и их анализа. Это графический отладчик. Он совместим со многими графическими API и платформами разработки.

Unity Profiler

Он записывает различные аспекты работы приложения. Он может хранить 300 кадров любого приложения и показывает подробную информацию о каждом кадре. Также можно изучить код скрипта.

Последние слова

Выбор лучших инструментов для тестирования остается за командой обеспечения качества. Однако некоторые инструменты тестирования могут ускорить процесс тестирования и отладки. Необходимо научиться запускать несколько сценариев автоматизации на доступном для тестирования устройстве. Как только тестирование будет завершено, можно приступать к обоснованию необходимости приобретения дополнительного оборудования. После тестирования учитывайте пропускную способность; ваша команда должна провести анализ и составить отчет на основе полученных результатов. Начните с модульного тестирования, поскольку оно является основополагающим методом, а затем рассмотрите дальнейшие этапы тестирования программного обеспечения. Поскольку VR-приложения и их тестирование находятся на начальной стадии, мы надеемся, что будет разработано больше инструментов для автоматизации и ускорения всего процесса.

Перевод статьи «A Guide to Virtual Reality Application Testing».