Заказчик – компания-разработчик технологий для монетизации онлайн-контента. Решения заказчика широко используются компаниями в сфере медиа и развлечений, включая поставщиков онлайн-контента. 

Заказчик предоставляет решения для линейного просмотра телевидения и просмотра по требованию. Пользователи могут воспользоваться услугами с помощью следующих бизнес-моделей: аренда, продажа, подписка. 

Ежемесячно через решения заказчика проходит более 28 000 часов контента от 460 контент-провайдеров. Общее число потребителей превышает 100 миллионов домохозяйств. 

Продукты компании – системы предоставления видеосервисов по запросу (VOD), мультиплатформы, услуги по анонсированию фильмов и сериалов, системы аналитики данных – доступны в 37 странах и на 15 языках. 

Заказчик был в поиске компании, предоставляющей полный спектр услуг по тестированию мобильных и веб-приложений. 

После тщательного отбора для выполнения работ по обеспечению качества были приглашены специалисты a1qa. 

Заказчику требовалось провести функциональное тестирование веб- и мобильных приложений для просмотра видео онлайн. При этом важно было учитывать, что на некоторые видео были наложены возрастные и/или географические ограничения. 

Во время тестирования функциональности QA-специалисты оценили качество приложения и проверили, работает ли приложение в соответствии с требованиями. Также QA-инженеры описали выявленные дефекты, классифицировали их в зависимости от степени воздействия на функционирование программного решения и предоставили рекомендации по их устранению.  

Учитывая все особенности продукта, команда a1qa также выполнила следующие работы: 

• Провела тестирование совместимости приложения с 12 браузерами. Данный тип проверок помогает убедиться, что программное решение выполняет свои задачи во всех популярных браузерах и все элементы отображаются должным образом.  
• Провела полный цикл тестирования приложений на 22 устройствах (7 из которых поддерживали операционную систему iOS, 15 – Android). 

В основе любого успешного аутсорс-проекта лежит эффективная коммуникация и оперативное решение всех вопросов. 

QA-менеджер со стороны a1qa ежедневно общался с командой заказчика, оговаривая объем работ и обсуждая задачи, которые требовалось решить к будущему релизу. 

Задокументированные результаты работ 

Инженеры по тестированию создали подробную документацию, в которой изложили всю информацию по качеству продуктов. Команде заказчика были переданы: 

• Отчеты по качеству, в которых содержалась информация по обнаруженным дефектам, качеству протестированных модулей, наиболее критичных багах и рекомендации по улучшению функциональности. 
• Детальное описание дефектов в баг-трекинговой системе с приложенными скриншотами и файлами видеозаписи. 

Повторно заказчик обратился к команде a1qa уже для тестирования производительности. 

Было необходимо провести тестирование производительности продуктов на промежуточном окружении (staging environment), которое имитировало функциональность производственного окружения. В основе тестирования должны были лежать типичные сценарии использования продуктов конечными потребителями. 

К выполнению этой задачи были привлечены три специалиста по тестированию производительности. 

Для проведения тестирования специалисты использовали: Chrome DevTools, Fiddler, MS Visual Studio, Zabbix, Amazon WS. 

Перед командой были поставлены следующие задачи: 

• Определить, как продукт будет реагировать на действия пользователей при заданной нагрузке. 
• Определить время отклика приложения при работе 30 тысяч пользователей одновременно. 
• Измерить параметры производительности системы (сколько пользователей могут одновременно использовать продукт, время отклика продукта, число запросов в секунду, которые могут быть обработаны правильно, число операций в секунду, которые могут быть выполнены). 
• Установить максимальную нагрузку, которую может выдержать система, и измерить уровень стабильности работы приложения при пиковой нагрузке. 

Командой a1qa были определены подходящие инструменты и разработаны скрипты, которые помогли измерить производительность продукта и ответить на поставленные вопросы. 

Выполненные работы: 

• Изучение и анализ системы; 
• Разработка скриптов; 
• Настройка генераторов нагрузки; 
• Предварительный запуск тестов; 
• Проведение трех итераций стресс-тестирования; 
• Анализ результатов; 
• Подготовка отчетов. 

По завершении работ заказчику был передан подробный отчет с результатами тестирования производительности.  

В нем содержалась следующая информация: 

• Статистические данные о времени отклика сервера при проведении самых важных операций; 
• Диаграммы, которые демонстрировали зависимость производительности системы от числа одновременных пользователей; 
• Данные о максимально допустимом числе пользователей; 
• Статистика по ошибкам; 
• Заключение о производительности системы в целом с указанием проблемных мест. 

Заказчиком были разработаны мобильные и веб-приложения для доставки видео абонентам по запросу в рамках подписки (SVOD). В данных приложениях также существовала возможность оплаты каждого отдельно просмотренного видеофайла (TVOD). 

Тестируемый продукт предоставляет пользователям возможности просматривать онлайн видеоролики, фильмы и телешоу, а также скачивать видео.  

Пользователи могут продолжить просмотр своих видео или загруженного материала на любом зарегистрированном устройстве (система позволяет одному пользователю зарегистрировать до 5 устройств). 

Перед выпуском продуктов на рынок их нужно было протестировать на соответствие всем требованиям. 

Команда a1qa успешно провела тестирование продукта в 5 браузерах и на 4 типах мобильных устройств.