CC BY
19
УДК 65.011.56
Э.И. Гаврильев, Т.В. Авдеенко
Многофакторная регрессионная модель оценки квалификации тестировщика программного обеспечения
Компетентность тестировщиков и их профессиональное развитие являются важными аспектами успеха ИТ-проекта. Руководство компаний периодически проводит оценку квалификации сотрудников для выявления потенциальных направлений карьерного роста. Однако такая оценка зачастую основывается на субъективном мнении руководителей, что может негативно сказаться на дальнейшем профессиональном развитии работника. Целью данной работы является разработка регрессионной модели для оценки квалификации тестировщиков программного обеспечения (ПО). Предлагаемая модель использует данные из информационных систем, которыми пользуются тестировщики в своей ежедневной работе. Для сбора информации и проведения расчетов разработана система поддержки принятия решений (СППР), которая была внедрена в компании, занимающейся разработкой ПО для банковской отрасли. Построение регрессионной модели позволило выявить основные факторы, оказывающие влияние на профессиональные знания и навыки тестировщика.
Ключевые слова: тестирование ПО, повышение квалификации, оценка персонала, профессиональное развитие, многомерный регрессионный анализ, система управления задачами, система управления тестированием, управление знаниями.
БО1: 10.21293/1818-0442-2022-25-4-115-121
Результаты ИТ-проекта во многом зависят от уровня квалификации ИТ-специалистов, так как выполняемые задачи требуют наличия у сотрудников продвинутых профессиональных, коммуникативных и управленческих навыков. ИТ-организациям выгоднее развивать профессиональную компетентность сотрудников, чем проводить поиск и найм специалистов на рынке труда, потому что ввод нового сотрудника в компанию требует большего количества временных и материальных ресурсов. Наличие условий для профессионального роста также может уменьшить уровень текучести кадров и повысить степень мотивированности сотрудников [1].
В связи с вышесказанным особую актуальность на ИТ-предприятиях приобретает система профессионального развития сотрудников. Важным элементом этой системы является подсистема оценки квалификации работников, на которой основано большое количество управленческих решений в области работы с персоналом: управление развитием карьеры, кадровые перестановки и мотивация труда [2]. Однако при оценке сотрудника в настоящее время чаще всего используется субъективное мнение руководителей, что может привести к некорректным результатам оценки и негативно повлиять на его дальнейшее профессиональное развитие.
В настоящей работе была поставлена цель: уменьшить субъективность при оценке квалификации тестировщика за счет использования объективных показателей его работы совместно с субъективной оценкой руководителя. Для достижения поставленной цели была построена регрессионная модель, использующая данные из систем, в которых тести-ровщики работают ежедневно: система управления задачами, система управления знаниями и система управления тестированием. Начальный набор предикторов включал в себя показатели из систем управления знаниями и задачами из предыдущей
работы, в рамках которой была построена регрессионная модель оценки профессиональных навыков и знаний разработчиков [3]. Дополнительно было проведено сравнение предикторов построенных моделей для выявления сходств и различий при оценке квалификации ИТ-специалистов.
Обзор литературы
Подходы к оценке квалификации тестировщиков ПО рассматривались в литературе довольно фрагментарно в отличие от подходов к оценке квалификации разработчиков ПО. Имеющиеся публикации исследуют только навыки и знания, необходимые тестировщикам для трудоустройства, в то время как согласно поставленной цели исследования интерес для нас представляют методы и способы оценки квалификации тестировщиков [4].
В работе [5] исследования сосредоточены на поиске характеристик «эффективных» тестировщи-ков на основе результатов интервью с менеджерами продуктов и самими тестировщиками из трех ИТ-компаний. В результате были выделены 4 группы характеристик:
1. Опыт: наличие опыта работы с различными информационными системами, базовых знаний о предметной области и программировании, а также навыки составления понятных отчетов о дефектах в работе системы.
2. Самоанализ: понимание «полной картины» проекта, приоритета дефекта программного продукта.
3. Мотивы: осознание важности тестирования, (нравится находить ошибки в функционале информационной системы).
4. Личные характеристики: тщательность, терпение, самостоятельность и добросовестность.
Также в [5] было выявлено, что знания о предметной области и специфические технические навыки являются более важными, чем навыки, связанные с тестированием, например планирование тестирования и написание тест-кейсов.
Другое исследование [6] посвящено поиску и анализу наиболее важных характеристик «хороших» тестировщиков. Авторы провели ряд интервью со специалистами в области тестирования ПО из нескольких крупных ИТ-компаний и выявили 4 группы навыков и знаний:
1. Навыки, связанные с тестированием: планирование тестирования, написание тест-кейсов, знание и опыт применения разных методов тестирования, управление процессом тестирования.
2. Технические навыки: программирование, администрирование операционных систем, управление жизненным циклом ИС и фреймворки разработки, специфические инструменты для тестирования и диагностики.
3. Коммуникативные и управленческие навыки.
4. Знания о предметной области.
Из этих 4 групп наиболее важными характеристиками «хорошего» тестировщика являются: коммуникативные навыки, наличие образования в области ИТ, умение выполнять разнообразные задачи, внимательность, аккуратность, любознательность и желание обеспечить соответствующий уровень качества разрабатываемой информационной системы.
Также в литературе предлагаются другие подходы для повышения качества разрабатываемых ИС в ИТ-компаниях. Например, в работах предлагается эффективный метод интеллектуального управления разработкой в команде при применении гибкого подхода на основе онтологической модели (ontology-based approach) к управлению знаниями [7, 8].
Для определения списка необходимых навыков, которыми должны обладать тестировщики, исследователи провели анализ 400 вакансий на должность тестировщика из 33 стран [9]. В результате анализа вакансий было выявлено, что тестировщики должны обладать навыками, связанными с планированием и управлением тестирования, разработкой тест-кейсов и автотестов. Также работодателей интересуют такие технические навыки, как программирование и работа с реляционными базами данных.
Хотя вышеприведенные исследования выделяют ряд навыков и знаний, необходимых тестиров-щику на этапе найма на работу, однако отсутствуют убедительные свидетельства, что эти характеристики можно использовать при оценке квалификации сотрудника после его трудоустройства. В рассмотренных работах также не изучены методы, которые можно применить для оценки навыков и знаний тестировщика. Метод, основанный на субъективном мнении непосредственного руководителя, может предоставить некорректные результаты ввиду следующих факторов: наличие особенностей во взаимоотношениях между руководителем и подчиненным; высокая требовательность руководителя; эффект края, при котором учитывается только последняя неделя работы, и т.д.
Необходимо отметить, что в отдельных исследованиях для оценки результатов деятельности ИТ-специалистов используются данные из репозиториев
проектов, над которыми они работали. Так, в исследовании [10] авторы рассматривали вклад разработчика в Open Source Software в виде коммитов исходного кода, написанных страниц документации и составленных отчетов о дефектах. В другой работе было установлено, что разработчик с большим уровнем вклада в проект, вероятно, будет иметь более высокий уровень «качества» [11]. Основное внимание уделялось выявлению корреляции между «качеством» разработчиков и их вкладом в проект, измеряемым с помощью таких показателей, как количество коммитов и отсутствие дефектов в коде.
Таким образом, метод оценки сотрудника, основанный на использовании данных из систем, в которых он работает, отличается более высоким уровнем объективности, чем мнение непосредственного руководителя работника, так как в основе этого метода лежат количественно измеряемые показатели и данные, соответствующие действительности. В настоящей работе мы используем такой подход для оценки технических знаний и умений тестировщика ПО.
Метод исследования
В своей ежедневной работе тестировщики в ИТ-индустрии используют систему управления тестированием, систему управления задачами и систему управления знаниями [12].
Система управления задачами используется для организации работы проектной команды [13]. В этой системе каждая задача представляет собой задание, которое необходимо выполнить в рамках разработки или сопровождения ИС, например, исправление дефекта, разработка экранной формы и т.д. Примерами такого рода систем являются Atlassian Jira, Redmine, Trello.
Система управления знаниями применяется для организации процессов создания, хранения и передачи знаний [14]. Например, в этой системе фиксируется документация для разработчиков, которая необходима при поддержке системы: API-докумен-тация, данные для авторизации, функциональные требования и т.д. Чаще всего в компаниях используют Atlassian Confluence, Notion и Microsoft Share-point.
Система управления тестированием используется для управления планами тестирования, составления и хранения тест-кейсов, а также формирования отчетов о результатах проведения тестирования [15]. Примерами таких систем являются TestLink, TestRail и PractiTest.
На основе литературного обзора и предыдущих работ для оценки квалификации разработчика были выделены первичные показатели для оценки квалификации тестировщика. Информация из системы управления задачами используется для расчета следующих показателей, связанных с тестированием и сроками решения задач:
- среднее количество решенных задач в день;
- среднее количество переоткрытий решенных дефектов в день;
- среднее время решения задачи в минутах;
- количество созданных задач с типом «Ошибка» с приоритетами «Blocker», «Critical», «Major», «Minor»;
- среднее время проверки задачи в минутах;
- среднее количество успешно проверенных задач в день;
- состав проектной команды сотрудника, в которой он работает: количество разработчиков, менеджеров проекта и т.д.
Данные из системы управления знаниями используются для расчета следующих показателей активности сотрудника:
- количество созданных страниц;
- количество обновлений содержимого страниц;
- среднее количество отметок «Нравится» на страницах, созданных сотрудником.
Данные из системы управления тестированием используются для расчета следующих показателей разработки тест-кейсов:
- количество созданных тест-кейсов;
- среднее количество шагов в тест-кейсах;
- количество выполненных тестов в статусах «Пройден», «Заблокирован», «Провален» и «Не запускался».
В рамках одной из предыдущих работ для проведения расчетов был разработан прототип системы поддержки принятия решений (СППР) на основе программной платформы Node.js [16]. На данный момент прототип СППР был декомпозирован на 2 подсистемы: подсистемы загрузки данных из внешних систем и подсистемы оценки сотрудника.
На рис. 1 представлена структурно-функциональная модель подсистемы загрузки данных. Подсистема проводит миграцию информации из списка указанных внешних систем в конце календарного дня.
На рис. 2 представлена структурно-функциональная модель оценки квалификации сотрудника. Подсистема проводит последовательную четырех-шаговую процедуру оценки: выбор сотрудника, загрузка дополнительной информации о работнике, расчет показателей и формирование отчета. В настоящее время вместо запуска импорта данных из внешних систем на втором шаге выполняется запрос из базы данных прототипа СППР.
Доработанная система используется в компании среднего размера, которая выступает вендором ПО в банковской отрасли. Основным инструментом разработки её программных продуктов является собственный low-code конструктор приложений [3]. В компании в качестве системы управления задачами используется Atlassian Jira, в качестве системы управления знаниями выступает Atlassian Confluence, а TestLink применяют в качестве системы управления тестированием.
Сама оценка ИТ-специалистов проводится непосредственными руководителями по 3 факторам на основе 8-балльной шкалы, где 1 - минимальное значение, а 8 - максимальное [3]:
- профессиональные знания и навыки;
- ответственность;
- навыки взаимодействия.
На начальном этапе был проведен ряд интервью с ведущими специалистами контроля качества и менеджерами проектных команд, чтобы узнать, каким образом они проводят оценку квалификации тести-ровщиков. В результате были добавлены следующие показатели для оценки квалификации:
- показатели оценки качества отчета о дефекте: наличие обязательных составных частей отчета (описание фактического и ожидаемого результата работы системы, шаги для воспроизведения дефекта), наличие нескольких кейсов по воспроизведению ошибки в одном дефекте, показатели читаемости отчета: автоматический индекс удобочитаемости, индекс Колман-Лиау, индекс Флеша [17];
- показатели, связанные с результатом решения зарегистрированного дефекта в системе управления задачами (резолюцией): процент задач, решенных с резолюцией «Решено», «Не могу воспроизвести», «Дубликат», «Не может быть решен»;
- показатели оценки производительности тестирования: среднее количество заведенных отчетов об ошибках; среднее время обнаружения ошибки в минутах; среднее время тестирования задачи в минутах; среднее количество проверенных задач в день;
- показатели частоты использования инструментов для тестирования и обновления программных продуктов компании: количество вложений с запросами и ответами интеграционных веб-сервисов в отчетах о дефектах; количество вложений с журналами сервера и консоли; количество задач на обновление программной платформы тестируемого продукта; количество выполненных задач, содержащих упоминание инструментов для тестирования (Soap UI, JMeter, Postman);
- показатели, относящиеся к менторству новых сотрудников: количество обученных стажеров; количество подключений к менторству; количество успешно закрытых стажировок и количество неуспешно закрытых стажировок.
В итоге для оценки профессиональных знаний и навыков тестировщика было выделено 50 показателей. Для изучения влияния выделенных показателей на уровень квалификации работника был проведен многомерный регрессионный анализ, в котором зависимой переменной выступала оценка профессиональных навыков и знаний сотрудника от непосредственного руководителя, а предикторами выступали эти показатели.
Выборка включает в себя результаты 39 оценок квалификации 28 тестировщиков в период 20172021 гг. Для каждой оценки был определен интервал дат, за который необходимо провести выгрузку данных из систем и расчет показателей. В итоге была загружена информация по 148 414 задачам, 3 513 страницам из системы управления знаниями и 75 576 тест-кейсам из системы управления тестированием.
Временной интервал
О
Выбор временного промежутка для •загрузки данных .
Запуск загрузки данных из систем
Загрузка данных из системы управления тестированием TestLink
Информация о тест-кейсах, с которыми работапи сотрудники
Сохранение полученных данных из системы управления тестированием
Загрузка данных из системы управления задачами Atlassian Jira
Информация о задачах, над которыми работали сотрудники
Сохранение полученных данных из
системы управления _задачами_
Загрузка данных из системы управления знаниями Atlassian Confluence
Информация о страницах, с которыми работали сотрудники
Сохранение полученных данных из системы управления знаниями
Рис. 1. Структурно-функциональная модель подсистемы загрузки данных
Рис. 2. Структурно-функциональная модель подсистемы оценки сотрудника
Результаты исследования
Основной целью проведения регрессионного анализа является построение линейной модели вида (1):
У = Ро + Prt +... + $кхк +s, (1)
где y - зависимая переменная модели, т.е. оценка профессиональных навыков и знаний тестировщика; xi - объясняющие переменные (предикторы), представляющие собой результаты деятельности тести-ровщиков; pi - неизвестные параметры модели, подлежащие оцениванию на основе собранных данных; е - случайная неизвестная ошибка, удовлетворяющая необходимым требованиям.
Линейная модель была построена в R с помощью пакета lm. После этого была проанализирована независимость переменных модели. Для обнаружения мультиколлинеарности был рассчитан коэффициент инфляции дисперсии (VIF). Предикторы со значением VIF больше 3 удалялись из модели.
Для анализа построенной модели использовались F-критерий Фишера и /-критерий Стьюдента. Первоначальные версии модели имели p-значение больше 0,05, что указывает на избыточность предикторов, и поэтому итеративно исключались незначимые показатели.
Итоговый вариант модели зависимости профессиональных знаний и навыков тестировщиков от показателей имеет p-значение 0,0007121 и F8,29 = 4,846, что также указывает на ее статистическую значимость (таблица). Коэффициент детерминации R2 равен 0,4552. Предикторами этой модели являются:
- среднее значение индекса Колман-Лиау у отчетов о дефектах, зарегистрированных сотрудником (CLMN_LIAU);
- среднее количество зарегистрированных дефектов в день (B_BY_DT);
- количество приложенных сотрудником вложений, связанных с интеграционными веб-сервисами (т^Г);
- среднее значение индекса Флеша у отчетов о дефектах, зарегистрированных сотрудником (FLSCH);
- среднее время решения задачи в минутах (ISS_RS_TM);
- количество приложенных сотрудником вложений, относящихся к журналированию работы системы (LOG_FS);
- количество зарегистрированных дефектов с несколькими кейсами воспроизведения ошибок (MLT_CS).
- количество стажеров, успешно прошедших стажировку под менторством сотрудника (ТК).
Результаты функции ЬМ для модели профессиональных навыков и знаний тестировщика
Coefficients Estimate Std. Error t value Pr (>|t|)
(Intercept) 3,593335 0,417691 8,603 1,78e-09
CLMN LIAU 0,038604 0,017370 2,222 0,03421
B BY DT -0,283585 0,119879 -2,366 0,02490
INT ATT 0,005296 0,002066 2,563 0,01583
FLSCH -0,013566 0,007843 -1,730 0,09430
ISS RS TM -0,002190 0,001569 -1,396 0,17340
LOG FS 0,024608 0,013642 1,804 0,08165
MLT CS 0,018453 0,005672 3,254 0,00289
TR 0,476377 0,135983 3,503 0,00151
Функциональный вид модели представлен формулой (2):
prof = 3,593 + 0,039 * CLMN_LIAU-
- 0,284 * B_BY_DT + 0,005 * INT_ATT -
- 0,014 * FLSCH - 0,002 * ISS_RS_TM +
+ 0,025* LOG_FS + 0,018* MLT_CS + 0,476* TR. (2)
На профессиональные знания и навыки тести-ровщика положительно влияют количество стажеров, успешно прошедших стажировку; количество вложений, относящихся к интеграциям и журнали-рованию работы системы, негативно влияют индексы удобочитаемости, среднее количество зарегистрированных дефектов в день и среднее время решения задачи.
Анализ результатов и выводы
По результатам можно отметить, что при оценке квалификации тестировщика непосредственные руководители опираются на среднее время решения задач (ISS_RS_TM), как и при оценке квалификации разработчика. Этот показатель тесно связан с бюджетом и сроком проекта: чем дольше решается задача, тем выше становится уровень операционных расходов и риск срыва установленных сроков.
Положительно на оценку влияют количество прикрепленных к дефектам вложений, связанных с журналированием работы системы (LOG_FS) и интеграционными веб-сервисами (INT_ATT). При помощи этих собранных файлов разработчик может оперативнее определить первопричину ошибки и способ её дальнейшего решения. Получить эти вложения тестировщик может при наличии знаний и опыта работы со специфическими инструментами тестирования. Например, для сбора файлов, связанных с журналированием, сотрудник должен уметь работать с консолью веб-браузера и операционной системы, а для вложений, относящихся к интеграционным веб-сервисам, работник должен уметь проводить тестирование при помощи специального программного обеспечения: Soap UI, Postman и JMeter. Эти программные продукты позволяют провести более комплексное и тщательное тестирование веб-сервисов.
В области ИТ менторство является одним из важных механизмов обучения и развития новых сотрудников [18]. Тестировщики, выступающие в роли ментора, систематизируют и валидируют собственные знания и опыт, накопленные в процессе работы. Также в ходе обучения новые сотрудники задают вопросы, которые позволяют менторам по-другому взглянуть на свои профессиональные навыки и знания. Кроме того, стажеры могут привнести в компанию современные инструменты и технологии, способные повысить уровень качества разрабатываемого программного продукта. В связи с этим на уровень профессиональных навыков положительно влияет количество стажеров, успешно прошедших стажировку (TR).
Однако показатели удобочитаемости и сложности составленных отчетов о дефектах (CLMN_LIAU, FLSCH) обратно пропорциональны оценке уровня профессиональных навыков. Возможно, это связано с уровнем комплексности проверяемого функционала информационной системы, описание дефектов
которого требует применения сложных синтаксических конструкций.
В ИТ-индустрии не рекомендуется в отчетах о дефектах указывать несколько кейсов для воспроизведения ошибки [19]. Однако результаты указывают на то, что наличие нескольких кейсов в одном дефекте положительно влияет на оценку профессиональных знаний тестировщика (MLT_CS). Возможно, в рамках исследуемой компании сотрудникам требуется несколько способов для воспроизведения дефекта, чтобы исправить все возможные его проявления в рамках одной задачи.
Негативно на уровень профессиональных навыков влияет среднее количество зарегистрированных дефектов в день (B_BY_DT). Возможно, это связано с уровнем важности влияния ошибки на общую функциональность системы, так как на поиск и обнаружение дефектов с высоким уровнем влияния может уйти больше времени, в то время как дефекты с более низким уровнем влияния, например дефекты графического интерфейса, легче обнаружить и зафиксировать в системе управления задачами.
Оказалось, что показатели из системы управления тестированием оказались избыточными, так как в исследуемой компании небольшая часть сотрудников работает в этой системе. Основная часть работников фиксирует составленные тест-кейсы при помощи других инструментов, например Microsoft Excel и Google-таблицы, а результаты их исполнения регистрируются в системе управления задачами.
Показатели частоты фиксаций информации в системе управления знаниями оказались неактуальными при оценке профессиональных знаний и навыков тестировщиков, так как в исследуемой компании они чаще выступают в роли потребителей информации, в то время как разработчики более активно создают и обновляют страницы в системе.
Заключение
В рамках данной работы была построена регрессионная модель для оценки профессиональных знаний и навыков тестировщиков. Было выявлено, что при оценке менеджеры учитывают среднее количество зарегистрированных дефектов в день и показатели качества отчетов о дефектах: удобочитаемость текста, вложения и несколько кейсов для воспроизведения ошибки. Также на уровень профессиональных знаний и навыков положительно влияет количество трудоустроенных стажеров, которых обучил сотрудник.
При оценке квалификации тестировщиков и разработчиков менеджеры ориентируются на среднее время решения задачи, так как этот показатель тесно связан с бюджетом и сроком проекта, а также он отражает производительность сотрудника. Однако показатели из системы управления знаниями оказались избыточными, так как в исследуемой компании тестировщики в меньшей степени фиксируют знания.
При помощи разработанных модели и системы поддержки принятия решения менеджеры могут проводить оценку квалификации тестировщика. В
дальнейшем планируется подготовить методику для составления индивидуального плана развития ИТ-специалиста в области разработки ПО на основе полученных результатов оценки.
Литература
1. Соловьёв Д.П. Обучение и развитие персонала: учеб. пособие / Д.П. Соловьев, Л.А. Илюхина. - Самара: Изд-во Самар. гос. экон. ун-та, 2019. - 204 с.
2. Носырева И.Г. Анализ эффективности системы оценки персонала / И.Г Носырева, Н.В. Балашова // Экономика труда. - 2019. - № 1 (6). - С. 440-452.
3. Gavriliev E.I. Model and Procedure for Assessing the Qualification of a Software Developer / E.I. Gavriliev, T.V. Avdeenko // 2022 IEEE 23rd International Conference of Young Professionals in Electron Devices and Materials (EDM). - 2022. - P. 303-307.
4. Juristo N. Guest editors' introduction: Software testing practices in industry / N. Juristo, A.M. Moreno, W. Stigel // IEEE Software. - 2006. - № 4 (23). - P. 19-21.
5. Iivonen J. Characteristics of high performing testers: a case study / J. Iivonen, M.V. Mantyla, J. Itkonen // ESEM '10: Proceedings of the 2010 ACM-IEEE International Symposium on Empirical Software Engineering and Measurement. - 2019. - P. 1-9.
6. Deak A. What Characterizes a Good Software Tester? -A Survey in Four Norwegian Companies // Lecture Notes in Computer Science. - 2014. - № 8763. - P. 162-172.
7. Murtazina M.S. An ontology-based approach to the agile requirements engineering / M.S. Murtazina, T.V. Avde-enko // Perspectives of System Informatics. PSI 2019. Lecture Notes in Computer Science. - 2019. - № 11964. - P. 205-213.
8. Avdeenko T.V. Intelligent support of requirements management in agile environment / T.V. Avdeenko, M.S. Mur-tazina // Studies in Computational Intelligence: Service orientation in holonic and multi-agent manufacturing. - 2019. -№ 803. - P. 97-108.
9. Florea R. The skills that employers look for in software testers / R. Florea, V. Stray // Software Quality Journal. -2019. - № 27. - P. 1449-1479.
10. Gousios G. Measuring developer contribution from software repository data / G. Gousios, E. Kalliamvakou, D. Spinellis // In Proceedings of the 2008 international working conference on Mining software repositories, MSR '08. -2008. - P. 129-132.
11. An Empirical Study of Developer Quality / Y. Qiu, W. Zhang, W. Zou, J. Liu, Q. Liu // Software Quality Reliability and Security-Companion (QRS-C) 2015 IEEE International Conference on Software Quality, Reliability and Security. -2015. - P. 202-209.
12. A Collaboration Tools for Global Software Engineering / F. Lanubile, C. Ebert, R. Prikladnicki, K. Herzig // IEEE Software. - 2010. - № 2 (27) - P. 52-55.
13. Макашов П.А. Сервис-ориентированный подход к управлению ИТ-проектами на примере использования программного продукта «JIRA» / П.А. Макашов, Н.А. Романенко // Современные информационные технологии и ИТ-образование. - 2015. - № 2 (11). - С. 127-132.
14. Apraci I. The impact of knowledge management practices on the acceptance of Massive Open Online Courses (MOOCs) by engineering students: A cross-cultural comparison / I. Apraci, M. Al-Emran, M.A. Al-Sharafi // Telematics and Informatics. - 2020. - № 54. - P. 1-13.
15. Collins E.F. Software Test Automation practices in agile development environment: An industry experience report /
E.F. Collins, V.Jr. Lucena // 2012 7th International Workshop on Automation of Software Test (AST). - 2012. - P. 57-65.
16. Гаврильев Э.И. Процедура оценки квалификации разработчика программного обеспечения / Э.И. Гаврильев, Т.В. Авдеенко // Наука. Технологии. Инновации: сб. науч. трудов: в 10 ч. - Новосибирск: Изд-во НГТУ, 2021. -С. 145-148.
17. Иксанов Р. А. Проблема синтаксической сложности текстов нормативно-правовых актов в сфере экономической деятельности / Р.А. Иксанов, А.И. Муратова // Вестник БИСТ (Башкирского института социальных технологий). - 2021. - № 1 (50). - С. 81-85.
18. A Case Study of Onboarding in Software Teams: Tasks and Strategies / A. Ju, H. Sajnani, S. Kelly, K. Herzig // Proceedings of the 43rd International Conference on Software Engineering. - 2021. - P. 613-623.
19. Schuegerl P. Enriching SE ontologies with bug report quality / P. Schuegerl, J. Rilling, P. Charland // Proc. 4th International Workshop on Semantic Web Enabled Software Engineering. - 2008. - P. 1-17.
Гаврильев Эрчимэн Иванович
Aспиpант каф. теоретической и прикладной информатики (ТПИ) Новосибирского государственного технического университета (НГТУ)
Карла Маркса пр-т, 20, г. Новосибирск, Россия, 630073
ORCID: 0000-0001-7289-3969
Тел.: +7-923-246-05-82
Эл. почта: [email protected]
Авдеенко Татьяна Владимировна
Д-р техн. наук, нроф. каф. ТПИ НГТУ
Карла Маркса пр-т, 20, г. Новосибирск, Россия, 630073
ORCID: 0000-0002-8614-5934
Тел.: +7-913-951-60-06
Эл. почта: [email protected]
Gavriliev E.I., Avdeenko T.V.
Multivariate regression model to assess the qualifications of a software tester
The competence of testers and their professional development are important aspects of IT-project's success. Companies' management evaluates periodically the employees' qualifications in order to identify potential areas for career growth. However, the assessment is frequently based on managers' subjective opinions and may negatively affect employees' further professional development. The purpose of this work is to develop a regression model for assessing the qualifications of software testers. The proposed model uses data from information systems that testers use in their daily work. To collect information and carry out calculations, a decision support system was developed, that was implemented in a company developing software for the banking industry. Building a regression model made it possible to identify the main factors influencing the professional knowledge and skills of a tester. Keywords: software testing, personnel assessment, professional development, multivariate regression analysis, task management system, testing management system, knowledge management.
DOI: 10.21293/1818-0442-2022-25-4-115-121
References
1. Solovyov D.P., Ilyukhina L.A. Obuchenie i razvitie personala [Personnel training and development] study guide, Samara, Samara St. Econ. Univ. Publ., 2019. 204 p. (in Russ.)
2. Nosireva I.G., Balashova N.V. [Analysis of the effectiveness of the personnel assessment system]. Ekonomika truda, 2019, vol. 6, no. 6, pp. 440-452 (in Russ.).
3. Gavriliev E.I., Avdeenko T.V. Model and Procedure for Assessing the Qualification of a Software Developer. 2022 IEEE 23 rd International Conference of Young Professionals in Electron Devices and Materials (EDM), 2022, pp. 303-307.
4. Juristo N., Moreno A.M., Stigel W. Guest editors' introduction: Software testing practices in industry. IEEE Software, 2006, vol. 23, no. 4, pp. 19-21.
5. Iivonen J., Mantyla M.V., Itkonen J. Characteristics of high performing testers: a case study. ESEM '10: Proceedings of the 2010 ACM-IEEE International Symposium on Empirical Software Engineering and Measurement, 2019, pp. 1-9.
6. Deak A. What Characterizes a Good Software Tester? A Survey in Four Norwegian Companies. Lecture Notes in Computer Science, 2014, no. 8763, pp. 162-172.
7. Murtazina M.S., Avdeenko T.V. An ontology-based approach to the agile requirements engineering. Perspectives of System Informatics. PSI 2019. Lecture Notes in Computer Science, 2019, no. 11964, pp. 205-213.
8. Avdeenko T.V., Murtazina M.S. Intelligent support of requirements management in agile environment. Studies in Computational Intelligence: Service orientation in holonic and multi-agent manufacturing, 2019, no. 803, pp. 97-108.
9. Florea R., Stray V. The skills that employers look for in software testers. Software Quality Journal, 2019, no. 27, pp. 1449-1479.
10. Gousios G., Kalliamvakou E., Spinellis D. Measuring developer contribution from software repository data. Proceedings of the 2008 International Working Conference on Mining Software Repositories, MSR '08, 2008, pp. 129-132.
11. Qiu Y., Zhang W., Zou W., Liu J., Liu Q. An Empirical Study of Developer Quality. Software Quality Reliability and Security-Companion (QRS-C) 2015 IEEE International Conference on Software Quality, Reliability and Security, 2015, pp. 202-209.
12. Lanubile F., Ebert C., Prikladnicki R., Vizcaino A. Collaboration Tools for Global Software Engineering. IEEE Software, 2010, vol. 27, no. 2, pp. 52-55.
13. Makashov P. A., Romanenko N.A. [Service-oriented approach to IT project management on the example of using
121
JIRA software product]. Modern Information Technology and IT-Education, 2015, vol. 11, no. 2, pp. 127-132.
14. Apraci I., Al-Emran M., Al-Sharafi M.A. The impact of knowledge management practices on the acceptance of Massive Open Online Courses (MOOCs) by engineering students: A cross-cultural comparison. Telematics and Informatics, 2020, no. 54, pp. 1-13.
15. Collins E. F., Lucena Jr. V. Software Test Automation practices in agile development environment: An industry experience report. 2012 7th International Workshop on Automation of Software Test (AST), 2012, pp. 57-65.
16. Gavriliev E.I., Adveenko T.V. [Procedure for assessing the qualifications of a software developer]. Science. Technology. Innovations: Collection of Scientific Papers. In 10 parts, Novosibirsk, NSTU publ., 2021, pp. 145-148.
17. Iksanov R. A., Muratova A.I. [Syntaxic difficulty of problem texts of normative legal acts in the sphere of economic activities]. Bulletin of BIST (Bashkir Institute of Social Technologies), 2021, vol. 50, no. 1, pp. 81-85.
18. Ju A., Sajnani H., Kelly S., Herzig K. A Case Study of Onboarding in Software Teams: Tasks and Strategies. Proceedings of the 43rd International Conference on Software Engineering, 2021, pp. 613-623.
19. Schuegerl P., Rilling J., Charland P. Enriching SE ontologies with bug report quality. Proceedings 4th International Workshop on Semantic Web Enabled Software Engineering, 2008, pp. 1 -17.
Erchimen I. Gavriliev
Postgraduate student, Department of Theoretical and Applied
Computer Science (TACS),
Novosibirsk State Technical University (NSTU)
20, Karla Marksa pr., Novosibirsk, Russia, 630073
ORCID: 0000-0001-7289-3969
Phone: +7-923-246-05-82
Email: [email protected]
Tatiana V. Avdeenko
Doctor of Science in Engineering, Professor,
Department of TACS NSTU
20, Karla Marksa pr., Novosibrsk, Russia, 630073
ORCID: 0000-0002-8614-5934
Phone: +7-913-951-60-06
Email: [email protected]
