Комплексное тестирование ПО для ведения здорового образа жизни
ОПИСАНИЕ ПРОДУКТА
Портал предназначен для приобщения сотрудников различных компаний к здоровому образу жизни. Все зарегистрированные сотрудники получают общую оценку здоровья на основе их образа жизни и клинических показателей (рост, вес, возраст, кровяное давление и т. д.).
После ввода нужных данных система проводит их оценку и рассчитывает биологический возраст пользователя. Далее пользователь получает индивидуальный план по соблюдению здорового образа жизни.
План состоит из целей, которые необходимо достичь и подтвердить к определенному сроку. Руководство компании поощряет пользователей за успешное выполнение всех задач.
ОПИСАНИЕ ПРОЕКТА
Для работы на проекте в a1qa было сформировано четыре выделенные команды: три из них обеспечивали качество веб-сервиса, одна проводила тестирование мобильных приложений.
Клиент стремился как можно скорее подготовить продукт к релизу.
В самом начале проекта портал представлял собой единственный веб-сервис с ограниченным количеством функций. По прошествии времени и с увеличением базы пользователей продукт включал в себя целый набор различных компонентов.
Сегодня функционирует комплексный продукт, состоящий из:
- пользовательской анкеты;
- учебных курсов и вебинаров, пропагандирующих здоровый образ жизни;
- интернет-магазина, поставляющего товары для здоровья;
- игры для укрепления здоровья;
- мобильного приложения.
Каждый из компонентов должен был пройти тщательную проверку.
Портал предназначен для пользователей по всему миру, поэтому его содержимое и объекты пользовательского интерфейса были переведены на несколько языков. a1qa выполнила тестирование локализации для проверки всех локализованных версий.
Кроме того, команда QA должна была выполнить тестирование пользовательского интерфейса.
Внедрение кастомизированной системы управления контентом позволило партнерам портала по программе «White Label» использовать сервис.
Впоследствии, благодаря масштабной рекламной кампании одного из партнеров, популярность веб-сервиса выросла, а объемы тестирования увеличились.
СООТВЕТСТВИЕ СТАНДАРТАМ HIPAA
Закон о передаче и защите данных учреждений здравоохранения (HIPAA) устанавливает стандарты, обеспечивающие защиту и сохранение конфиденциальности медицинской информации. Закон также регулирует подход к разработке и тестированию ПО, использующего данные пациентов.
Все специалисты a1qa на проекте были HIPAA-сертифицированными и в полном объеме учли требования данного закона при подготовке плана и стратегии тестирования.
ТЕСТОВОЕ ОКРУЖЕНИЕ
Для обеспечения максимальной полноты покрытия QA-специалисты построили 27 стабильных тестовых окружений. Тестирование проводилось на различных мобильных платформах и операционных системах.
Подготовка тестовых данных, моделирование возможных сценариев использования приложений осуществлялись с использованием специально разработанных инструментов.
ТЕСТИРОВАНИЕ ПРИЛОЖЕНИЙ ДЛЯ МОБИЛЬНЫХ И НОСИМЫХ УСТРОЙСТВ
По мере развития проекта заказчик привлек команду a1qa к обеспечению качества мобильных приложений.
Изначально специалисты по мобильному тестированию начинали работать с двумя мобильными приложениями (одно для Android, одно для iOS).
Сегодня команда a1qa ежемесячно обеспечивает качество релизов восьми приложений, разработанных для различных партнеров сервиса. Тестирование проводится исключительно на реальных устройствах, что позволяет получить информативные результаты и смоделировать реальный опыт конечных пользователей.
Для выбора устройств специалисты a1qa анализировали статистику использования устройств (Google Analytics) среди целевой аудитории и составляли гибкую матрицу подходящих моделей.
АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ
Командой автоматизаторов a1qa было разработано гибкое решение, которое позволило автоматизировать 95% регрессионных тестов. Решение легко адаптировалось под любые изменения в продукте.
ТЕСТИРОВАНИЕ ИНТЕГРАЦИИ
Мобильные приложения поддерживают интеграцию с Google/AppleMaps, Foursquare, HealthKit, Google Fit, Apple Watch, сторонними приложениями Calm и Headspace.
Веб-портал интегрирован с различными сторонними сервисами:
- Google Analytics,
- Map My Fitness,
- Salesforce,
- Amazon,
- Hyatt,
- Gyft,
- Vindicia.
Специалисты a1qa также отвечали за обеспечение качества интеграции.
QA-КОНСАЛТИНГ
Консультанты a1qa в области качества ПО:
- определили стратегию тестирования, обработки инцидентов и дефектов пользователей, управления тестовой моделью;
- разработали показатели эффективности процесса тестирования;
- определили ключевые области ответственности, роли и обязанности членов команды;
- построили релизный цикл, процесс работы со сборкой;
- организовали процесс работы с ошибками реализации проекта;
- разработали корректирующие и превентивные мероприятия.
ПРЕДОСТАВЛЕННЫЕ СЕРВИСЫ
- Тестирование совместимости
- Автоматизация тестирования
- QA-консалтинг
- Тестирование локализации
- Мобильное тестирование
- Интеграционное тестирование
- Функциональное тестирование
ТЕХНОЛОГИИ И ИНСТРУМЕНТЫ
- HTML5
- CSS3
- Java
- JavaScript
- jQuery
- Apache
- Atlassian JIRA
- Atlassian Confluence
- Oracle Database
- VMware Workstation
- VirtualBox
- Paradigm
- TestRail
- Fiddler
- SoapUI
- MS Internet Explorer
- Mozilla Firefox
- Google Chrome
- Apple Safari
- EDGE
- Apple iOS
- Android
- Microsoft Windows
ТРУДНОСТИ И РЕШЕНИЯ
В течение 5 лет разработкой продукта занимались распределенные команды из разных стран. Процесс взаимодействия был плохо организован, а значимость контроля качества недооценивалась.
Во время тестирования команда a1qa нашла решения нижеперечисленным трудностям.
Команда разработки закладывала недостаточно времени на тестирование:
- точная оценка времени, затраченного для любых активностей;
- планирование работы с участием всех команд;
- управление качеством по циклу PDCA;
- реализация стратегии управления рисками.
Изначально низкое качество продукта:
- определение критериев окончания работы над User Story;
- определение ожидаемого качества продукта;
- прозрачный процесс развертывания;
- управление процессом тестирования на основе количественных характеристик.
Специфические характеристики Production-среды:
- конфигурация тестовой среды в соответствии с настройками Production, что помогло обнаруживать специфические дефекты на этапе развертывания до выхода продукта в релиз.
Стремительный рост команды по тестированию:
- гибкое и оперативное масштабирование команды было налажено благодаря обучению новых сотрудников опытными инженерами и созданию базы знаний о проекте.
Необходимость выработки принципов контроля качества:
- сбор и анализ статистики;
- разработка метрик контроля качества.
Управление большим количеством тест-кейсов:
- использование TestRail вместо отдельных документов Google Docs для управления наборами тест-кейсов.
Отсутствие некоторых мобильных устройств, необходимых для тестирования:
- для проведения комплексного тестирования мобильных приложений и получения информативных результатов с учетом целевой аудитории были приобретены необходимые устройства.
РЕЗУЛЬТАТЫ
В ЦИФРАХ
-
25QA-инженеров на проекте (команда была увеличена в 6 раз)
-
27тестовых окружений построено
-
3000000конечных пользователей продукта
-
400человеко-месяцев продолжительность проекта
-
17000тест-кейсов выполнено