Заказчик является одним из ведущих мировых поставщиков услуг в сфере корпоративного аутсорсинга для фармацевтики. Компания активно содействует разработке медицинских препаратов, проводит консультации по их созданию, а также применяет новейшие технологии, которые помогают поддерживать здоровье людей в различных регионах мира. 

Анализируя обширные объемы данных о коммерческих операциях, клиент собирает и трансформирует их в базы данных, а затем предоставляет их своим клиентам. 

Было необходимо обеспечить полноту и целостность информации, а также убедиться, что она соответствует установленным стандартам и бизнес-логике. Заказчик обратился к специалистам a1qa для проведения тестирования big data. 

Организация процессов

Для обработки большого объема данных на проекте была создана специальная инфраструктура. Так как заказчик работает с огромным количеством конечных пользователей, требовалось сгруппировать данные из источников в соответствии с требованиями бизнес-процессов. Заказчик отправляет эти данные БД своим клиентам и обновляет их в определенный промежуток времени (раз в неделю, раз в месяц, раз в квартал и т. д.).

Под запрос клиента была подобрана команда из двух высококвалифицированных специалистов по обеспечению качества с нужным отраслевым опытом. После подготовки базы данных команда приступила к тестированию big data.

Жизненный цикл данных

Этап подготовки базы данных включал следующие шаги:

• Получение от клиента файлов, содержащих полуструктурированные и структурированные данные и их первичный анализ.
• Включение данных в промежуточные БД с помощью облачной файловой системы S3 Bucket. Количество исходных файлов при этом соотносится с количеством промежуточных баз данных.
• Объединение всех баз данных в одну общую базу с информацией, систематизированной в соответствии с бизнес-логикой и потребностями клиента.
• Объединенная база данных преобразуется в базу с выходными структурированными данными, полученными из других файлов. Эти файлы включают в себя различные данные, например список 50 компаний с наибольшими объемами продаж, метрики, основанные на средних показателях продаж, а также другие метрики, нужные клиенту.

Далее QA-специалисты провели тестирование. Они проверили логику бизнес-процессов из промежуточной и общей баз данных, соответствие данных из исходных файлов базе выходных данных после трансформации, структурную организацию БД, а также выполнили ряд специфических проверок: представление информации в виде списков, правильный подсчет дополнительных показателей на основе исходных данных, группировка данных и многие другие.

В ходе работы специалисты по обеспечению качества проводили тестирование большого объема исходных файлов, используя SQL-запросы, однако на это уходило значительное количество времени.

Автоматизация тестирования big data

Чтобы ускорить процесс, было решено автоматизировать тесты big data с помощью инструментов Excel (Power Query, Macros, Pivot tables). Для более наглядного представления данных был использован Power BI.

Алгоритм выполнения автоматизации тестирования выглядел следующим образом:

• Чтобы загрузить данные из различных источников (.CSV-файлы, Excel, базы данных), QA-инженеры использовали запросы на языке программирования VBA.
• Чтобы получить необходимую информацию, команда по тестированию использовала SQL-запросы в файлах базы данных и проверила каждый запрос вручную в самой БД.
• Чтобы своевременно обнаружить несоответствие данных с определенными требованиями, специалисты применили формулы к каждой группе данных.
• Чтобы оценить качество БД и отследить статус проверок, команда a1qa создала отдельные страницы в файлах.

Автоматизация тестирования была проведена для каждого файла с помощью Macros. При обновлении базы данных вся загруженная информация, SQL-запросы и формулы также изменялись автоматически.

В процессе стабилизации все выявленные узкие места базы данных передавались разработчикам для их устранения (в случаях, когда БД содержали непредвиденные символы, происходила потеря данных, данные не загружались должным образом, формат считывался некорректно и другие).

Только после проверки и при отсутствии дефектов в новой версии продукта она отправлялась в продуктовую среду.

Улучшение процессов

Для оптимизации QA-процессов специалисты a1qa предложили заказчику использовать методологию Agile. Это позволило структурировать огромное количество задач, выполнение которых каждый участник проекта мог отслеживать самостоятельно.

Кроме того, заказчик начал проводить agile-ретроспективы, чтобы изучить процессы и разработать стратегию для их улучшения. Это позволило повысить эффективность всех команд, задействованных на проекте.

Команда a1qa выявила узкие места баз данных и помогла заказчику повысить качество программного продукта. Сотрудничество с компанией заказчика продолжается в рамках других проектов.