Как проводить тестирование стримов. Примеры тест-кейсов.

🔥 Важное для QA-специалистов! 🔥
В QaRocks ты найдешь туториалы, задачи и полезные книги, которых нет в открытом доступе. Уже более 14.000 подписчиков – будь среди нас! Заходи к нам в телеграм канал QaRocks

Прямые трансляции сегодня популярны как никогда: футбольные матчи, онлайн-встречи со звездами, игровые стримы, влоги блогеров — люди транслируют контент на самые разные темы. Сейчас в прямом эфире можно увидеть что угодно — от онлайн-распродаж и судебных заседаний до премьер новых сериалов, которые можно смотреть вместе с любимыми блогерами.

Вы когда-нибудь задумывались, как эти приложения обеспечивают высокое качество трансляций для зрителей?

В этой статье мы познакомим вас с тестированием трансляций, расскажем, с чего начать и какие функции в стриминговых приложениях играют важную роль в создании положительного пользовательского опыта.

Содержание:

Что такое прямая трансляция?
Что такое тестирование трансляции?
Примеры популярных приложений для проведения трансляций
Процесс тестирования стриминговых приложений
Основные цели тестирования стриминговых приложений
Какие проблемы возникают при тестировании стриминговых сервисов
Главные функции и показатели стриминговых приложений
Виды тестирования стриминговых сервисов
Чек-лист для тестирования стриминговых приложений
Заключение

Что такое прямая трансляция?

Прямая трансляция — это процесс передачи видео в реальном времени для большого количества пользователей интернета. Это похоже на прямой эфир новостей, но происходит он в интернете.

Видео передается зрителям через разные стриминговые устройства, подключенные к сети. Так как файлы большие, для их передачи нужна специализированная мощная техника.

Что такое тестирование трансляции?

Тестирование трансляции — это процесс проверки качества работы платформы для стриминга с точки зрения как ведущего трансляции (стримера), так и зрителей. Для этого нужно учитывать множество функций внутри самого приложения.

Приложения для стриминга дают возможность создателям контента транслировать свои видео в реальном времени на широкую аудиторию (конечных пользователей).

Примеры популярных приложений для проведения трансляций

Twitch: приложение для потокового вещания, которое обычно используется для трансляции видеоигр. Оно позволяет общаться с зрителями и другими стримерами в любое время. Интерфейс приложения прост и интуитивно понятен для поиска контента.

Instagram: соцсеть, которая также имеет функцию стриминга. Стримеры могут транслировать видео и общаться со своими подписчиками (аудиторией). Есть функция чата, где подписчики могут отправлять сообщения создателю контента (стримеру).

Facebook: соцсеть с множеством функций, и стриминг — одна из самых популярных. Есть также новый режим, где создатель может выбирать, какие события, группы и пользователи будут участвовать в трансляции.

Zoom: платформа для общения, где можно отправлять сообщения, звонить и устраивать виртуальные встречи. В Zoom можно добавить до 100 человек для трансляции видео в прямом эфире. Эти облачные встречи в Zoom — настоящее революционное решение и одни из лучших для стриминга.

YouTube: платформа для обмена видео, которая поддерживает прямые трансляции игр, музыки, спортивных событий и новостей. Она позволяет другим пользователям YouTube смотреть трансляции в реальном времени.

Процесс тестирования стриминговых приложений

Чтобы процесс тестирования стримов был быстрее и эффективнее, важно действовать организованно. Далее разберем структурированный подход, который поможет добиться наилучших результатов:

Разработайте детальный тест-план, который поможет организовать процесс тестирования.
Используйте проверенный подход к тестированию стриминговых сервисов.
Работайте с удобными инструментами для управления тестированием.
Внедряйте полезные шаблоны для тестов, чтобы ускорить процесс.
Убедитесь, что шаблоны тестовых отчетов соответствуют отраслевым стандартам.
Расставляйте приоритеты для найденных багов правильно.
Обучайте команду: передавайте знания, создавайте документацию и полезные шпаргалки.
Тестируйте на разных устройствах, чтобы моделировать реальные сценарии.

Основные цели тестирования стриминговых приложений

Чтобы протестировать стриминговое приложение и сделать его качественным, важно следовать определённым стандартам. Вот ключевые цели тестирования:

Обеспечить бесперебойную трансляцию.
Гарантировать стабильную работу приложения при высокой нагрузке на интернет-трафик.
Гарантировать качественный стрим даже при слабом интернете.
Обеспечить стабильную работу приложения на всех устройствах без проблем с адаптивностью.
Проверить, что приложение корректно работает в разных браузерах.

При тестировании стриминговых сервисов важно учитывать множество факторов: устройства, браузеры, железо, а также внешние условия вроде скорости интернета и нагрузки на сеть. Рассмотрим, с какими сложностями чаще всего сталкиваются тестировщики.

1. Время отклика в разных сетях

Лучший способ проверить, насколько быстро работает приложение, — протестировать его на разных скоростях интернета. Но у большинства тестировщиков просто нет доступа ко всем возможным вариантам сетей. Дополнительная сложность возникает, когда пользователь смотрит стрим во время путешествия, а мобильная сеть переключается между вышками. Такие ситуации довольно частые, но протестировать их на 100% почти невозможно.

2. Недостаток устройств для кроссплатформенного тестирования

Пользователи просматривают и транслируют видео на самых разных устройствах — от смартфона до огромного 4K-телевизора. Однако у тестировщиков редко есть бюджет для проверки приложения на всех возможных устройствах. Тем не менее, кроссплатформенное тестирование крайне важно для обеспечения стабильного качества стриминга и производительности приложения на разных платформах.

3. Проблемы, возникающие из-за действий пользователей

Пользователи иногда ведут себя совершенно непредсказуемо. Кто-то пытается смотреть видео в 4K при слабом интернете, кто-то засыпает чат десятками сообщений, а кто-то подключается через нестабильный мобильный хотспот. Существует множество сценариев, которые невозможно полностью охватить в процессе тестирования.

Главные функции и показатели стриминговых приложений

Ниже приведён список ключевых метрик, используемых для функционального тестирования стриминговых приложений. Он не является исчерпывающим, но охватывает основные функции.

1. Качество видео

Здесь мы проверяем качество видео в стриминговых приложениях.
С технической точки зрения, видео — это совокупность вертикальных и горизонтальных линий, состоящих из пикселей.
Чем выше чёткость изображения, тем лучше качество видео.
При этом восприятие качества может быть субъективным — оно зависит от зрителя, самого приложения и даже конкретного видео.

2. Разрешение видео

Каждое качество видео связано с определённым разрешением.
Возьмём пример с ручным выбором качества видео: 1080 пикселей для экрана с соотношением сторон 16:9 будет иметь разрешение 1920×1080.
Для 720 пикселей разрешение составит 1280×720.
Это означает, что изображение будет содержать 720 горизонтальных линий и 1280 вертикальных пикселей.
Таким образом, чем меньше разрешение, тем меньше четкость изображения.

3. Битрейт видео и адаптивный битрейт (ABR)

Битрейт видео определяет его качество и размер.
Чем выше битрейт видео, тем выше качество изображения.
Адаптивный битрейт (ABR) — это метрика, используемая для регулирования битрейта видео.
Адаптивный битрейт (ABR) регулирует качество видео в зависимости от пропускной способности сети.
Фиксированный битрейт не меняется, даже если сеть становится быстрее или медленнее.

4. Пропускная способность сети

Пропускная способность сети — это способность передавать данные из одной точки в другую через Интернет за определённое время.
Пропускная способность сети — это просто ёмкость, с которой данные передаются.
Пропускная способность измеряется в битах в секунду (bps).
Пропускная способность отличается от скорости сети: пропускная способность относится к ёмкости передачи данных, а скорость — это скорость передачи данных.

5. Задержка видео

Задержка видео (Video Latency) — это время между тем, как контент выходит в эфир и тем, как его видят зрители.
Она показывает задержку между трансляцией и фактическим просмотром.
Если в приложении используется ABR, качество видео подстраивается в зависимости от скорости интернета.
Если используется фиксированный битрейт, то качество будет хуже, а задержка — выше.

6. Буферизация видео

Когда скорость сети низкая, мы не можем скачивать данные во время прямого эфира, что вызывает буферизацию.
Когда происходит буферизация видео, некоторое количество данных скачивается заранее, чтобы видео продолжало воспроизводиться без пауз или зависаний.
Проводное подключение, например, через Ethernet-кабель, может обеспечить более стабильную сеть по сравнению с беспроводным.
Беспроводная сеть может быть нестабильной по разным причинам: например, из-за расстояния между роутером и устройством, помех от других устройств, общей загрузки сети и других факторов.

7. Управление видеоплеером

Большинство стримеров используют разные устройства для трансляции, и у них есть пульт для управления видео.
Эти пульты позволяют ставить видео на паузу, воспроизводить его и регулировать громкость.
Более продвинутые пульты могут иметь кнопки отключения звука, регулировки качества видео, скорости воспроизведения и так далее.
Все эти функции должны быть включены в процесс тестирования.

Виды тестирования стриминговых сервисов

1. Тестирование сети

Перед тем как протестировать прямой эфир, важно понять, что переменные, возникающие при трансляции видео, не могут быть зафиксированы обычным тестированием сети. Нужно провести тестирование готовности сети Kollective, которое оценивает такие параметры как качество восприятия (QoE), пропускную способность, экономию, эффективность пировки, охват и продолжительность.

2. Тестирование производительности

Когда прямой эфир смотрит большая аудитория, возникают многочисленные проблемы, связанные с большими объемами данных, высокой одновременностью, более реалистичными сценариями входа пользователей и более низкой задержкой. Непредсказуемое поведение пользователей, их взаимодействие с видео-трафиком потребуют большой частоты и пропускной способности, что приведет к скачкам в показателях производительности.

Во время тестирования производительности необходимо смоделировать реальные действия пользователей, чтобы результаты теста были как можно более точными. Нужно проверить качество видео как с стороны стримера, так и с стороны зрителей.

3. Тестирование задержки

В тестировании прямых трансляций задержка — это ключевой фактор: чем меньше задержка, тем комфортнее пользователю. Вот несколько причин, почему в приложении может возникать проблема с задержкой: время кодирования видео, время захвата и упаковки данных, задержки сети и буферизация CDN.

4. Тестирование удобства использования

В процессе тестирования проверяется, что пользовательский интерфейс приложения предоставляет правильный доступ к его функциям. Оценивается макет, стиль, шрифт и цвет текста, а также проверяется, комфортно ли читать текст и смотреть изображения на странице.

Проводится тестирование навигации, согласованности между страницами, меню, ссылок и общей структуры. Интерфейс стримера значительно отличается от интерфейса зрителя, поэтому должно быть проведено тестирование удобства использования для обеих сторон.

Также стоит отметить, что функции со стороны зрителя и ведущего в одном и том же приложении для прямых трансляций разные, и тестирование для этих сторон проводится по-разному.

5. Тестирование совместимости

В тестировании прямых трансляций выполняются те же проверки, что и в случае с другими мобильными приложениями, включая проверку совместимости с различными мобильными устройствами, операционными системами и размерами экрана.

Кроме того, приложение для трансляций позволяет пользователю просматривать видео через веб-браузеры по ссылке, поэтому кроссбраузерное тестирование также является важной частью проверки прямых трансляций.

Чек-лист для тестирования стриминговых приложений

Общие пункты для проверки

При тестировании приложения для ведения прямых трансляций следует проверить следующие моменты:

Проверьте учетную запись пользователя: обычный вход с использованием электронной почты и пароля, номера телефона и одноразового пароля (OTP), а также вход через сторонние сервисы. Кроме того, проверьте функцию восстановления пароля, регистрацию нового пользователя, поиск, проверку и изменение личной информации, а также другие настройки учетной записи, такие как безопасность, конфиденциальность, резервное копирование и т. д.
Проверьте функцию прямой трансляции, убедитесь в правильности отображения количества лайков и подписчиков, а также функциональности кнопок “подписаться” и “отписаться”. Проверьте, отображаются ли такие данные, как личный доход, рейтинг, сумма депозита и снятия средств, и могут ли они быть использованы стримером.
Некоторые приложения для прямых трансляций позволяют пользователям просматривать новый контент через фильтры “популярное”, “рядом” и “новое”. Это позволяет стримерам привлекать новую аудиторию, поэтому необходимо проверить, что эти фильтры работают корректно. Также убедитесь, что поиск ведет к правильным аккаунтам, а баннеры в приложении перенаправляют к нужному контенту.
Проверьте, может ли стример создать комнату для прямой трансляции, могут ли зрители войти в неё, выйти из неё, переключаться между комнатами, смотреть других пользователей в комнате и так далее.
Убедитесь, что стример может проводить прямую трансляцию, записывать её, транслировать, воспроизводить и так далее. В большинстве приложений для стриминга есть фильтры и анимации, чтобы улучшить видео.
Проверьте, отображаются ли чаты в трансляции, и можно ли их прокручивать. В некоторых приложениях есть функции отправки подарков, просмотра списка подарков и так далее. Также есть различные рейтинги в сообществе. К тому же, есть такие функции, как пополнение через сторонние сервисы, бизнес-статистика, статистика сторонних сервисов и другие. Для таких функций нужно проводить тестирование API.
Проверьте, как работают приватные и публичные чаты, отдельные чат-комнаты, а также белые и черные списки пользователей в сообществе.
Проверьте, подходит ли оборудование стримера для работы с приложением, в том числе функции включения камеры, изменения освещения, начала записи, переключения между передней и задней камерами и так далее. Все действия с внешним оборудованием должны показываться в прямом эфире.

Чек-лист для функционального тестирования

Функциональное тестирование – это ключевая часть при тестировании приложений для прямых трансляций, и к нему стоит подойти с должным вниманием:

Проверьте, открывается ли экран загрузки сразу после того, как вы открываете приложение.
Проверьте стабильность соединения при длительном использовании и убедитесь, что качество видео, изображений и звука остаётся на уровне во время трансляции.
Проверьте, как воспроизводятся статичные и динамичные видео: соответствует ли их чёткость ожиданиям и есть ли ошибки или задержки.
Проверьте синхронизацию аудио и изображения в реальном времени.
Проверьте, как качество аудио и видео меняется в разных сетевых условиях.
Проверьте, воспроизводится ли видео после восстановления соединения.
Проверьте, чтобы переключение между передней и задней камерами проходило без сбоев: при разблокировке экрана видео не должно зависать, и оно должно продолжать воспроизводиться при возвращении в комнату. Также видеопоток не должен зависать, если его прерывает стороннее приложение.
Проверьте, чтобы переключение между Wi-Fi и мобильной сетью не прерывает стрим. Когда Wi-Fi на телефоне нестабилен, трафик должен плавно переходить на мобильную сеть.
Убедитесь, что стрим поддерживает и корректно реагирует на изменения углов камеры, а также на переключение между горизонтальным и вертикальным режимами экрана.

Чек-лист для тестирования производительности

Проверьте производительность приложения, добавляя по 5-10 пользователей каждые две минуты трансляции, и позволяйте 5-8 пользователям покидать комнату стрима.
Оцените, как приложение выдерживает нагрузку, увеличив количество пользователей, например, добавьте 5-8 пользователей в первые 5 минут трансляции, а через 10 минут добавьте 50-70 пользователей.
Оцените стабильность приложения, вводя различные условия для проверки доступа.

Заключение

С ростом популярности стриминговых платформ требования к их качеству становятся все выше. Чтобы соответствовать ожиданиям пользователей, необходимо постоянно совершенствовать процессы тестирования и применять современные инструменты.

Перевод статьи «What is Live Stream Testing | How To Perform It».