CC BY
8
УДК 004.05
Бессонов О.Е. студент магистратуры 2 курса
УГАТУ
Российская Федерация, г. Уфа СРАВНИТЕЛЬНЫЙ АНАЛИЗ ИНСТРУМЕНТОВ ДЛЯ УПРАВЛЕНИЯ ТЕСТИРОВАНИЕМ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Аннотация
В данной статье рассмотрены основные проблемы при выборе инструмента для управления тестированием и процесс выбора определенного инструмента для определенной команды.
Ключевые слова
Тестирование, инструменты для управления тестированием ПО.
Bessonov O.E.
Master of 2years of USATU, Russian Federation, Ufa COMPARATIVE ANALYSIS OF SOFTWARE TESTING MANAGEMENT TOOLS
Annotation
This article describes the main problems of choosing a software management tools and the process of choosing a specific tool for a particular team.
Key words
Testing, tools for software management.
Введение
Тестирование во время процесса создания программного обеспечения связано с большим количеством трудностей. Одна из них - появление огромных объемов сопутствующей проектной документации. В большинстве своем - это спецификации для разработки модулей, документация по тестированию, различные отчеты. Для команды из 50 человек, это по пять тысяч заданий в год, без учета спецификаций.
Чем больше появляется задач с развитием проекта, тем сложнее становится организовать процесс, ничего не потеряв. Это оказывает существенное влияние на тестировщиков, замедляя процессы и деорганизуя их.
Заранее правильно выбранное приложение для управления тестированием и организации документации по проекту может ощутимо облегчить работу в дальнейшем, избавив от таких проблем частично или полностью.
Жизненный цикл тестирования и документирование его этапов
Жизненный цикл тестирования состоит из пяти этапов:
• создание задачи;
• планирование тестирования;
• выполнение тестирования;
• поиск ошибок;
• создание отчетов.
1. Создание задачи происходит с помощью двух путей: вводится новый функционал, где аналитики описывают все в новых спецификациях, или при тестировании того или иного модуля, касающегося текущего функционала. Для этих целей используется инструменты для управления тестированием, включающие багтрекер. В качестве примера багтрекера рассмотрим Jira.
2. Планирование тестирования включает в себя создание чек-листов и тест-кейсов [1]. В небольших командах, где нет тест-аналитиков, их заменяют тестировщики. Перед тестированием они пишут чек-листы и тест-кейсы с применением специальных инструментов.
Есть три пути ведения такой документации:
• использовать классические электронные документы, а затем отправлять на облачное хранилище;
• заведение задач в Jira;
• использование инструментов для организации документации.
3. Выполнение тестирования подразумевает прохождение полного чек-листа или тест-кейса. Прогресс выполнения заносится в специальный инструмент, где потом формируется отчет по прохождению всех шагов.
Чек-лист - набор необходимых проверок, которые необходимы для той или иной задачи. Такие проверки проще написать, с их помощью можно покрыть большее количество функционала.
Тест-кейс - пошаговая инструкция, подразумевающая выполнение определенных шагов с определенным результатом [2]. Написание таких проверок занимает много времени из-за описания каждого кейса, но тест-кейс гораздо точнее и легче для восприятия новых сотрудников.
Как правило, используются оба сценария - тест-кейс для регрессионного и проверочного тестирования. Чек-лист для остальных крупных проверок функционала.
4. Поиск ошибок подразумевает сопоставление текущих задач в багтрекере с новыми, найденными при выполнении тестирования. Это позволяет избавиться от дубликатов, на тот случай, если такая ошибка уже присутствует в системе.
5. Создание отчетов - оформление новых задач с типом ошибка в багтрекер.
Сравнительный анализ инструментов для управления тестированием
Правильный выбор подходящего инструмента - залог быстрой и качественной работы для команды [3].
Проведем сравнительный анализ инструментов для управления тестированием для проекта разработки ПО, создаваемого командой с общим
количеством участников около пятидесяти. В этот список входят разработчики, аналитики, тестировщики, техподдержка и т.д. Возраст проекта - пять лет, примерное количество задач - 17000, часть из них - тест кейсы.
Были отобраны наиболее популярные инструменты на рынке, имеющие ряд преимуществ, а также добавлен "аутсайдер", менее известный, однако предлагающий свои решения:
• Zephyr (плагин для Jira)
• TestRail
• TestLink
• ALM HP
Выделены шесть основных критериев, на основании основных требований/пожеланий тестировщиков и их руководителей (табл. 1):
1. стоимость - цена за лицензию продукта. Лицензия на продукты длится год, за ее счет происходит сопровождение и поддержка;
2. интеграция - возможность взаимодействия инструмента с багтрекером Jira. Подразумевает собой автоматическое проставление результатов прохождения тест-кейса в багтрекер (рис. 1).
Dashboards - Projects - Issues - TestRail
Datahub I DH-1
Conditional formatting not applied with invalid range order
¿/Edit Comment Assign Mone - Start Progress Resolve Issue Close Issue
Details
Type: Priority:
Affects Version/s:
Gomponent/s:
Labels:
□ Bug 1" Major None
User Interface None
Status: Resolution: Fix Vereion/s:
I (View Workflow) Unresolved None
Description
TFie conditional formatting option doesn't work as expected if a larger value is entered for the "lower range' option than the entered value for the 'higher range' option. The application doesn't apply the conditional formatting correctly in this case, as only values above the 'higher range" option are considered, Please see the attached screenshots that Illustrate the problem,
TestRail: Results
Tuesday, August 04, 2015
T660 Verily conditional formatting range for entered values T669 Update value range tor conditional formatting T668 Verify color map of conditional formatting option Monday, August 03, 2015
T655 Review conditional formatting for table blocks T439 Test conditional formatting with basic value range
Рисунок 1 - Пример интеграции TestRail и Jira
В отличие от приложений, Zephyr не нуждается в интеграции, так как это встроенный плагин в Jira. Он создает отдельный тип задачи, где проставляются результаты прохождения тестов. Любая задача ищется в обычном "поиске по задачам";
3. удобство - легкость восприятия интерфейса. Субъективная оценка интерфейса пользования, включающая в себя создание, прохождение тест-кейсов или чек-листов. Возможность персонализации интерфейса, возможности настройки отдельных частей;
4. требования - возможность создания спецификаций для отдельных групп задач [4]. Чаще всего - отдельный модуль (рис. 2), в котором можно ввести название, ссылки, требования, позволяющие упростить тестирование и тд.;
Рисунок 2 - Окно создания спецификаций в Zephyr
5. импорт/экспорт - выгрузка или загрузка задач из текущего менеджера в другой или документ (к примеру, excel). Наличие этого пункта, позволит при необходимости сменить утилиту на другую без временных потерь;
6. поддержка - возможность создания отчета об ошибке, при сбоях.
Для наглядного сравнения введена система оценок от нуля до четырех,
где 0 - полное отсутствие, 1 - имеется, но с существенными изъянами, 2 -имеется, но с некритичными изъянами, 3 - имеется, но изъянов нет или они несущественны. Оценка не предназначена для нахождения среднего коэффициента, лишь для наглядного сравнения, между аналогами.
Таблица 1 - Сравнение возможностей программ для управления тестированием_
Критерии Zephyr TestRail TestLink ALM
Стоимость $212.5 $9315 Бесплатно Бесплатно
Интеграция 3 2 1 0
Удобство 2 3 2 1
Требования 2 0 3 0
Импорт/Экспорт 2 3 0 0
Поддержка 3 3 0 0
Заключение
Проведенный сравнительный анализ программных продуктов, исходя из таблицы 1 и опыта личного использования позволяет сделать вывод, что наилучшим инструментом тестирования проекта разработки ПО с
указанными характеристиками является Zephyr, благодаря легкости осваивания и работы, а также ряда возможностей, представляемых плагином, а не отдельной утилитой.
Использованные источники:
1. Тестирование программного обеспечения - Москва: Куликов С.С, 2017
2. Методы верификации программного обеспечения - Москва: Кулямин В.В, 2011
3. Khaled M. Mustafa, Rafa E. Al-Qutaish, Mohammad I. Muhairat, Classification of Software Testing Tools Based on the Software Testing Methods, 2011.
4. Сквозная отслеживаемость требований с Atlassian и Zephyr [электронный ресурс] - режим досутпа: https://www.getzephyr.com/insights/end-end-traceability-requirements-atlassian-and-zephyr
5. G. J. Myers, C. Sandler and T. Badgett, The art of software testing. John Wiley & Sons, 2011
УДК 159.9
