CC BY
41
КОМПЬЮТЕРНОЕ ОБЕСПЕЧЕНИЕ И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
DOI: 10.24143/2072-9502-2020-3-52-60 УДК 004.415.53
МОДЕЛЬ ИНФОРМАЦИОННО-СОВЕТУЮЩЕЙ СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЯ ПРИ ВЫБОРЕ СПОСОБА ТЕСТИРОВАНИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Е. Ю. Галимова1 С. В. Белов2
1 Санкт-Петербургский государственный университет промышленных технологий и дизайна, Санкт-Петербург, Российская Федерация
2 Астраханский государственный технический университет, Астрахань, Российская Федерация
Повышение качества программных систем предприятия увеличивает конкурентоспособность и востребованность программных продуктов. Одним из инструментов обеспечения качества является тестирование программных систем. Рассмотрены основные принципы построения информационно-советующей системы (ИСС) поддержки принятия решения при выборе способа тестирования программного обеспечения. Проанализированы концептуальные подходы к тестированию на основе функциональных характеристик классов программного обеспечения. При выборе способа тестирования рекомендуется учитывать не только финансовую составляющую, но и специфические характеристики тестируемой программной системы. Разработан список вопросов, с помощью которых формализуются качественные свойства программных систем. Список вопросов базируется на модели ISO/IEC 25010:2011. Опросные листы с таблицами попарных сравнений вопросов предлагается заполнить группе экспертов. Вопросы имеют эквивалентную значимость относительно критерия «Важность для автоматизации». При подборе экспертов не всегда есть возможность создания однородной группы, поэтому предлагается рассчитать весовые коэффициенты компетентности каждого эксперта. На основе полученных данных производится расчет весов ответов на вопросы. Далее вычисляется свертка и в зависимости от полученного результата делается рекомендация по выбору типа тестирования. Построены аналитическая и структурная модели ИСС. В разработанной программной системе выделены подсистема ввода данных, подсистема ранжирования вопросов и компетентностей экспертов, блок формирования результирующих данных. Предложенная ИСС позволит рассчитать коэффициенты компетентности экспертов, провести ранжирование вопросов по степени значимости для автоматизации тестирования, выбрать оптимальный подход к тестированию программных систем.
Ключевые слова: программные системы, тестирование программного обеспечения, информационно-советующая система, автоматизированное тестирование, ручное тестирование.
Для цитирования: Галимова Е. Ю., Белов С. В. Модель информационно-советующей системы поддержки принятия решения при выборе способа тестирования программного обеспечения // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2020. № 3. С. 52-60. Б01: 10.24143/2072-9502-2020-3-52-60.
Введение
В условиях увеличения числа задач, для решения которых применяются различные программные системы (ПС), проблема оценивания их качества занимает особое место в общем комплексе исследований, что приводит к новым задачам, для решения которых уже недостаточно последних достижений в области обеспечения качества ПС. Особенностью современного процесса развития информационных технологий является быстрое устаревание существующих методик обеспечения качества ПС. Проблема неэффективности использования средств вычислительной техники во многом связана с невыявленными ошибками в ПС.
Данная статья посвящена вопросам моделирования информационно-советующей ПС (ИСС) для поддержки выбора способа тестирования программного обеспечения (ПО).
Концептуальные подходы к тестированию ПО
Тестирование является основным инструментом, используемым в IT-отрасли для оценки качества разрабатываемого ПО. В аспекте современных тенденций информатизации можно выделить ряд классификаций видов тестирования, в частности, используя Nuture of Software («природу» приложения). Концептуальными направлениями тестирования с позиции природы приложения (Nature of Software) являются тестирование мобильных приложений (mobile applications testing), тестирование настольных приложений (desktop applications testing) и тестирование веб-приложений (web-applications testing) [1]. Такое деление связано с тем, что каждый из вышеупомянутых классов приложений (настольные, мобильные, веб-приложения) имеет ряд функциональных особенностей (табл. 1).
Таблица 1
Функциональные характеристики классов ПО
Функциональные характеристики Десктопные приложения Мобильные приложения Веб-приложения
Процесс инсталляции Стандартизирован, не требует специальных навыков Инсталляция со специализированных сервисов или вручную Требует специфических знаний
Наличие инсталлятора Есть Встроен в ОС Нет
Режимы работы Работает с данными на текущем устройстве Нативные приложения работают с аппаратной частью. Могут работать автономно. Гибридные приложения используют и запросы, и внутренние ресурсы смартфона. Режим запросов
Необходимость подключения к интернету Частично автономная работа Частично автономная работа для нативных и гибридных приложений Обязательное подключение
Инструменты взаимодействия с пользователями Мышь, клавиатура, графический планшет, шлем виртуальной реальности Клавиатура, сенсорные элементы. Голосовое (Google Now). Жестами (Hand wave). Мышь, клавиатура
Ограничение ресурсов памяти Как правило, нет значительных ограничений Значительные ограничения Нет значительных ограничений
Количество потенциальных пользователей Ограниченное количество Очень большая целевая аудитория Большая целевая аудитория
Стационарность Стационарные Выполняются «на ходу» Могут иметь мобильные версии
Деинсталлятор Стандартизирован, процесс выполняется полуавтоматически или автоматически Встроен в ОС Требует участия администратора
В процессе планирования тестирования любой ПС возникает вопрос выбора подхода -ручного, автоматизированного или смешанного. При принятии решения учитывается не только финансовая составляющая, но и характеристики ПС.
Формализация качественных свойств ПО с помощью вопросов
Под моделью качества понимается система разнородных характеристик и атрибутов. Среди известных можно выделить модели МакКола, Боэма [2], РиКР8/РиКР8+, Гецци, Дроми [3] и др. Ряд работ посвящен сравнительным характеристикам моделей [4, 5]. Наиболее распространенной является модель КОЛЕС 25010:2011. Применение данной модели к ПО для создания систем тестирования описано в работе [6]. При планировании процесса тестирования предлагается использовать метод выбора между ручным, автоматизированным и смешанным тести-
рованием, основанный на модели качества ПС, описанной в ISO 9126. В России о характеристиках качества ПО разработан ГОСТ Р ИСО/МЭК 25010-2015. Модель качества состоит из восьми атрибутов (критериев) качества, каждый из которых имеет ряд подхарактеристик (рис. 1).
Рис. 1. Критерии качества программного обеспечения
Для формализации общей оценки ПС для целей тестирования разработан список вопросов, отражающих основные атрибуты качества ПС по IS0/IEC 25010:2011 (табл. 2).
Таблица 2
Список вопросов о программной системе
Вопросы 1-35 Вопросы 36-70
Предъявляются ли высокие требования к производительности? Свойство: уровень производительности. Планируется ли проведение сквозного тестирования (End-To-End Testing)? Свойства: функциональная пригодность, совместимость, переносимость.
Предполагается ли эксплуатация приложения на максимальной нагрузке (Load Testing)? Свойства: надежность, уровень производительности. Планируется ли проведение случайного тестирования (Monkey/Random Testing)? Свойство: надежность.
Будут ли производиться переходы с одной платформы (конфигурации аппаратных средств) на другую (Configuration Testing)? Свойство: переносимость. Планируется ли проведение исследовательского тестирования (Exploratory Testing)? Свойства: функциональная пригодность, удобство использования, надежность, защищенность, сопровождаемость, переносимость.
Имеется ли большое количество форм с полями для ввода данных? Свойство: удобство использования. Планируется ли проведение регрессионного тестирования (Regression Testing)? Свойства: функциональная пригодность, уровень производительности, совместимость, удобство использования, надежность, защищенность, сопровождае-мость, переносимость.
В приложении много веб-ссылок? Свойства: функциональная пригодность, удобство использования. Планируется ли проведение глобализационного тестирования (Globalization Testing)? Свойство: удобство использования.
В приложении есть функционал для выполнения повторяющихся действий? Свойство: функциональная пригодность. Планируется ли проведение тестирования локализации (Localization Testing)? Свойство: удобство использования.
Часто выходят новые версии приложения? Свойство: совместимость. Планируется ли проведение параллельного тестирования (Concurrency Testing)? Свойство: надежность.
Планируется ли проводить анализ покрытия кода? Свойства: функциональная пригодность, сопровождаемость. Планируется ли проведение альфа-тестирования? Свойства: функциональная пригодность, совместимость, надежность, защищенность, сопровождаемость, переносимость.
Будет ли проводиться дымовое тестирование (Smoke Testing)? Свойства.: функциональная пригодность, сопровождаемость. Планируется ли проведение бета-тестирования? Свойства: функциональная пригодность, удобство использования, защищенность, переносимость.
Окончание табл. 2
Список вопросов о программной системе
Вопрос 1-35 Вопрос 36-70
Планируется ли проводить тестирование хеш-функций? Свойство: защищенность. Будут ли проводиться инспекции кода? Свойства: функциональная пригодность, сопровождаемость.
При разработке использовалось много сторонних управляющих элементов? Свойства: надежность, сопровождаемость. Будут ли проводиться сквозные просмотры кода? Свойства: функциональная пригодность, удобство использования.
В приложении много функционала, который предполагает печать документов на принтере? Свойство: удобство использования. ПС разрабатывается по Agile-методологии? Свойство: сопровождаемость.
Тестирование должно пройти в сжатые сроки? Свойство: сопровождаемость. Планируется ли тестирование пользовательских типов метаданных? Свойства: удобство использования, защищенность.
Планируется проверять корректность установки, обновления и удаления приложения? Свойства: совместимость, переносимость. Планируется ли проведение тестирования точности данных (Data Accuracy Testing)? Свойство: переносимость.
Планируется проверка эргономичности приложения? Свойство: удобство использования. Необходимо ли оценивать способность восстановления системы после сбоя (Recovery Testing)? Свойство: уровень производительности.
Планируется проведение тестирования реконсиляции (Reconciliation Testing)? Свойство: переносимость. Планируется ли проведение тестирования полноты данных (Data Completeness Testing)? Свойство: переносимость.
В приложении много графических объектов? Свойства: функциональная пригодность, удобство использования. Планируется ли проведение тестирования преобразования данных (Data Transformation Testing)? Свойство: надежность.
Функционал программы подразумевает выполнение ручных взаимодействий? Свойство: функциональная пригодность. Планируется ли проведение тестирования качества данных (Data Quality Testing)? Свойство: защищенность.
Будет проверяться удобочитаемость формата выходных данных? Свойство: удобство использования. Планируется ли проведение тестирования путем сравнения баз данных (Database Comparison Testing)? Свойство: надежность.
Будет ли проводиться аудит архитектуры ПС? Свойство: защищенность. Планируется ли проведение тестирования путем сравнения данных (Data Comparison Testing)? Свойство: функциональная пригодность.
Наборы входных тестовых данных предполагается создавать заново перед каждой итерацией тестирования? Свойство: функциональная пригодность. Планируется ли проведение тестирования хранилища данных (Data Warehouse Testing)? Свойство: функциональная пригодность.
Планируется ли проводить функциональное тестирование? Свойство: функциональная пригодность. Планируется ли проведение тестирования на больших объемах данных (Volume Testing)? Свойство: уровень производительности.
При разработке ПС использовались преимущественно сложные логические структуры (ветвления, циклы)? Свойство: сопровождаемость. Планируется ли проведение стресс-тестирования (Stress Testing)? Свойство: уровень производительности.
Будет ли проводиться тестирование на некорректных входных данных? Свойство: надежность. Планируется ли проведение тестирования потоков управления (Control Flow Testing)? Свойство: функциональная пригодность.
Это игровая ПС? Свойства: функциональная пригодность, удобство использования. Планируется ли проведение тестирования стабильности (Stability Testing)? Свойства: совместимость, функциональная пригодность.
Тестируемый объект является программно-аппаратным комплексом? Свойство: функциональная пригодность. Планируется ли проведение тестирования масштабируемости (Scalability Testing)? Свойства: уровень производительности, функциональная пригодность.
Планируется ли проведение мультиплатформенного тестирования? Свойство: переносимость. Планируется ли проведение тестирования отказоустойчивости (Failover Testing)? Свойства: уровень производительности, надежность, защищенность.
Планируется ли проведение санитарного тестирования (Sanity Testing)? Свойство: функциональная пригодность. Планируется ли проведение приемочного тестирования (Acceptance Testing)? Свойство: функциональная пригодность.
Существует ли значительная вероятность того, что в процессе выполнения тестовых сценариев придется их изменять и/или вводить дополнительные проверки? Свойства: уровень производительности, совместимость. Планируется ли тестирование потенциальных возможностей (Capacity Testing)? Свойство: уровень производительности.
Будет ли проводиться аудит исходного кода ПС? Для частичной автоматизации процесса поиска уязвимостей в программном коде используются «сканеры кода». Свойство: защищенность. Планируется ли проведение тестирования сравнения (Compare Testing)? Свойство: функциональная пригодность.
Планируется ли проведение динамического тестирования (Dynamic Testing)? Свойства: функциональная пригодность, удобство использования, надежность, защищенность, сопровождаемость. Планируется ли проведение синтетического тестирования (Synthetic Testing)? Свойства: уровень производительности, защищенность.
Планируется ли проведение формального тестирования (Formal Testing)? Свойства: функциональная пригодность, уровень производительности, удобство использования, надежность, защищенность, сопровождаемость. Планируется ли проведение интеграционного тестирования (Integration Testing)? Свойства: функциональная пригодность, совместимость.
Планируется ли проведение риск-тестирования (Risk Based Testing)? Свойства: защищенность, надежность. Планируется ли проведение изоляционного тестирования (Isolation Testing)? Свойство: функциональная пригодность.
Планируется ли проведение раннего тестирования (Early Testing)? Свойство: функциональная пригодность. Будет ли проводиться тестирование на проникновение (Penetration Testing)? Свойство: защищенность.
Планируется ли проведение статического тестирования (Static Testing)? Свойство: функциональная пригодность. Планируется ли проведение тестирования сборки (Build Verification Testing)? Свойства: функциональная пригодность, переносимость, сопровождаемость, совместимость.
Ввиду многообразия вопросов возникает неопределенность, связанная со сложностью их обработки на базе точных расчетов. Уровень неопределенности можно снизить путем использования суждений специалистов (экспертов) [7].
Аналитическая модель ИСС
Для ранжирования вопросов по важности для принятия решения об автоматизации тестирования экспертам предлагается заполнить таблицы, где степень попарного доминирования вопросов оценивается по разработанной Т. Саати шкале [8], включающей оценки от 1 (вопросы имеют эквивалентную значимость относительно критерия «Важность для автоматизации») до 9 (преобладающая важность одного вопроса над другими относительно критерия «Важность для автоматизации») с единичным шагом.
Опросные листы с таблицами попарных сравнений вопросов от каждого эксперта проходят индивидуальную обработку по специальному алгоритму, описанному в работе В. В. Давниса [9].
Каждый опросный лист представляет собой квадратную матрицу А размером n на n, где n - количество вопросов. Расчет производится по итерационному алгоритму
Ps = Aps - \
где s - номер итерации; ps - вектор групповой оценки на итерации s.
Начальное значение вектораp0 зададим единицами по всем компонентам:
pP = (1, 1, ..., 1).
В ходе каждой итерации вектор ps нормируется.
При подборе экспертов не всегда есть возможность создания однородной группы, поэтому предлагается рассчитывать весовые коэффициенты компетентности каждого эксперта. Применим итерационный алгоритм, рассчитывающий параллельно групповые предпочтения и коэффициенты компетентности экспертов, рассмотренный в работе В. В. Давниса. Построим прямоугольную матрицу Р размером n на m, где n - число вопросов, m - число экспертов. Введем дополнительные обозначения: pi* - это i-я строка матрицы Р; p*j - это j-й столбец матрицы
Р; p (pb p2, ..., pn) - вектор групповой оценки; v0 = (Vj0,v2,...,v°m) - вектор начальных весовых коэффициентов компетентности.
Пусть v0 = (1 / m, 1 / m, ..., 1 / m). Тогдаp1 = v1p*1 + v2p*2 + ... + vmp*m = Pv0, где p*j - это j-й столбец матрицы Р; j меняется в диапазоне от 1 до m.
Далее уточним весовые коэффициенты компетентности экспертов:
V1 = р1* рх* + р\* Р2* +... + РПРп*.
Проведем нормирование, разделив полученный результат на следующий коэффициент:
т }=1
Далее повторим расчеты по итерационному алгоритму параллельных вычислений до заявленной точности.
Построим прямоугольную матрицу Q размером п на т, где п - число вопросов, т - число экспертов, в которую запишем ответы экспертов на 70 вопросов. Ответ «да» обозначим как 1, ответ «нет» как 0. Рассчитаем ч, где 7 меняется в диапазоне от 1 до п:
Чг = Ч1г* VI + + ...
Получаем результирующий вектор ч (ч1, д2, ..., чп) - веса ответов на вопросы с учетом коэффициентов компетентности экспертов. Далее вычисляется свертка вектора ч и вектора групповой оценки вопросов р (р1, р2, ..., рп). В зависимости от полученного результата делается рекомендация по выбору автоматизированного, ручного или смешанного типа тестирования.
Структурная модель ИСС
Целью разработки ИСС является автоматизация процесса принятия решения при выборе способа тестирования ПС.
Для достижения поставленной цели система должна выполнить следующие функции:
1. Ввод входной информации: количество экспертов, ответы экспертов на вопросы, матрицы попарных оценок предложенных вопросов.
2. Расчет коэффициентов компетентности экспертов и коэффициентов групповых предпочтений для вопросов.
3. Решение многокритериальной задачи методом свертки.
4. Выбор способа тестирования на основе разработанного алгоритма и методики.
5. Формирование необходимых отчетов.
Общие требования к информационной инфраструктуре и ПО:
1. Пользовательский интерфейс должен быть реализован на русском языке.
2. Программная система должна обеспечивать наличие средств диалога пользователя.
3. Пользовательский интерфейс должен быть снабжен функциями быстрого и удобного ввода данных.
4. Построение ПО по модульному принципу.
5. Независимость программных модулей и обрабатываемых данных.
6. Переносимость ИСС.
Анализ архитектурных подходов к построению ИСС позволил выделить в ее составе три основных модуля: подсистему ввода данных, подсистему ранжирования вопросов и компетент-ностей экспертов, блок формирования результирующих данных (рис. 2).
Блок формирования результирующих данных
Рис. 2. Структура ИСС
Информационно-советующая система разработана таким образом, что для ее использования лицу, принимающему решения, не требуется иметь профессиональные компетенции в области информационных технологий.
Заключение
Анализ научно-технической информации и обобщение опыта тестирования ПО обусловил целесообразность разработки методики выбора между автоматизированным и ручным способами тестирования ПС. Разработана модель оценки затрат на внедрение автоматизированного тестирования. Данная модель отличается сочетанием в процессе выбора способа тестирования как оценок группы привлеченных экспертов, так и качественных характеристик рассматриваемого ПО.
1. Куликов С. Тестирование программного обеспечения. Базовый курс. URL: http://svyatoslav.biz/ software_testing_book/ (дата обращения: 12.02.2020).
2. Кулямин В. В., Петренко О. Л. Место тестирования среди методов оценки качества ПО // Тр. ин-та систем. программирования РАН. 2003. Т. 4. С. 163-175.
3. Жарко Е. Ф. Сравнение моделей качества программного обеспечения: аналитический подход // Сб. тр. XII Всерос. совещ. по пробл. управления ВСПУ-2014 (Москва, 16-19 июля 2014 г.). М.: Изд-во Ин-та проблем управления им. В. А. Трапезникова РАН, 2014. С. 4 585-4 594.
4. Anas Bassam AL-Badareen, Mohd Hasan Selamat, Marzanah A. Jabar, Jamilah Din, Sherzod Tu-raev. Software Quality Models: A Comparative Study // ICSECS 2011. 2011. Part I. CCIS 179. P. 46-55.
5. Miguel J. P., Mauricio D., Rodríguez Glen. A review of software quality models for the evalution of software products // International Journal of Software Engineering & Applications (IJSEA). 2014. V. 5. N. 6. P. 31-54.
6. Горбаченко И. М. Оценка качества программного обеспечения для создания систем тестирования // Фундаментальные исследования. 2013. № 6. C. 823-827.
7. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 263 с.
8. Саати Т., Керис К. Аналитическое планирование. Организация систем. М.: Радио и связь,
9. Давнис В. В. Прогнозные модели экспертных предпочтений: моногр. Воронеж: Изд-во Воронеж. гос. ун-та, 2005. 248 с.
Галимова Екатерина Юрьевна - Россия, 191186, Санкт-Петербург; Санкт-Петербургский государственный университет промышленных технологий и дизайна; ассистент кафедры информационных и управляющих систем; Россия, 414056, Астрахань; Астраханский государственный технический университет; соискатель кафедры автоматизированных систем обработки информации и управления; galim81@mail.ru.
Белов Сергей Валерьевич - Россия, 414056, Астрахань; Астраханский государственный технический университет; канд. техн. наук, доцент; директор Института информационных технологий и коммуникаций; ssbelov@yandex.ru.
СПИСОК ЛИТЕРА ТУРЫ
1991. 224 с.
Статья поступила в редакцию 18.03.2020
ИНФОРМАЦИЯ ОБ АВТОРАХ
MODEL OF INFORMATION AND ADVISORY SYSTEM OF DECISION SUPPORT WHEN CHOOSING METHOD OF SOFTWARE TESTING
Е. Yu. Galimova1'2, S. V. Belov2
1 Saint-Petersburg State University of Industrial Technologies and Design, Saint-Petersburg, Russian Federation
2 Astrakhan State Technical University, Astrakhan, Russian Federation
Abstract. The article focuses on improving the quality of program systems of the enterprise, which increases the competitiveness and relevance of the software products. One of the tools to ensure the quality is testing program systems. There are discussed the basic principles of building an information-advisory system (IAS) of decision support when choosing a method for testing the software. The conceptual approaches to testing using the functional characteristics of software classes are analyzed. When choosing a testing method, it is recommended to take into account not only the financial component, but also the specific characteristics of the program system tested. A list of questions has been developed, with the help of which the qualitative properties of the program systems are formalized. The list of questions is based on the ISO / IEC 25010: 2011 model. A group of experts are offered to fill the questionnaires and tables of pairwise comparisons of questions. The questions have the equivalent significance with respect to the Importance for Automation criterion. When selecting experts, it is not always possible to create an affinity group; therefore, it is proposed to calculate the weighting coefficients of competence of each expert. According to the data obtained, the weights of the answers are calculated. Further, the convolution is calculated and, depending on the result, a recommendation is made on choosing the type of testing. The analytical and structural models of IAS have been constructed. In the developed program system, a data input subsystem, a subsystem for ranking questions and expert competencies, and a unit for generating the resulting data are allocated. The proposed IAS will make it possible to calculate the competency coefficients of experts, to rank questions according to the degree of importance for testing automation, and to choose the optimal approach to testing software systems.
Key words: program systems, software testing, information and advisory system, automated testing, manual testing.
For citation: Galimova E. Yu., Belov S. V. Model of information and advisory system of decision support when choosing method of testing software. Vestnik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics. 2020;3:52-60. (In Russ.) DOI: 10.24143/2072-9502-2020-3-52-60.
REFERENCES
1. Kulikov S. Testirovanie programmnogo obespecheniia. Bazovyi kurs [Software testing. Basic course]. Available at: http://svyatoslav.biz/software_testing_book/ (accessed: 12.02.2020).
2. Kuliamin V. V., Petrenko O. L. Mesto testirovaniia sredi metodov otsenki kachestva PO [Place of testing among software quality assessment methods]. Trudy instituta sistemnogo programmirovaniia RAN, 2003, vol. 4, pp. 163-175.
3. Zharko E. F. Sravnenie modelei kachestva programmnogo obespecheniia: analiticheskii podkhod [Comparison of software quality models: analytical approach]. Sbornik trudovXII Vserossiiskogo soveshchaniia po problemam upravleniia VSPU-2014 (Moskva, 16-19 iiulia 2014 g.). Moscow, Izd-vo In-ta problem uprav-leniia im. V. A. Trapeznikova RAN, 2014. Pp. 4 585-4 594.
4. Anas Bassam AL-Badareen, Mohd Hasan Selamat, Marzanah A. Jabar, Jamilah Din, Sherzod Turaev. Software Quality Models: A Comparative Study. ICSECS 2011, 2011, part I, CCIS 179, pp. 46-55.
5. Miguel J. P., Mauricio D., Rodríguez Glen. A review of software quality models for the evalution of software products. International Journal of Software Engineering & Applications (IJSEA), 2014, vol. 5, no. 6, pp. 31-54.
6. Gorbachenko I. M. Otsenka kachestva programmnogo obespecheniia dlia sozdaniia sistem testirovaniia [Software quality assessment for creating test systems]. Fundamental'nye issledovaniia, 2013, no. 6, pp. 823-827.
7. Beshelev S. D., Gurvich F. G. Matematiko-statisticheskie metody ekspertnykh otsenok [Mathematical and statistical methods of expert estimates]. Moscow, Statistika Publ., 1980. 263 p.
8. Saati T., Kerns K. Analiticheskoe planirovanie. Organizatsiia sistem [Analytical planning. Organization of systems]. Moscow, Radio i sviaz' Publ., 1991. 224 p.
9. Davnis V. V. Prognoznye modeli ekspertnykh predpochtenii: monografiia [Predictive models of expert preferences: monograph]. Voronezh, Izd-vo Voronezh. gos. un-ta, 2005. 248 p.
Galimova Ekaterina Yuryevna — Russia, 191186, Saint-Petersburg; Saint-Petersburg State University of Industrial Technologies and Design; Assistant of Department of Information and Control Systems; Russia, 414056, Astrakhan; Astrakhan State Technical University; Postgraduate Student of the Department of Automated Information Processing and Control Systems; galim81@mail.ru.
Belov Sergey Valerevich — Russia, 414056, Astrakhan; Astrakhan State Technical University; Candidate of Technical Sciences, Assistant Professor; Director of the Institute of Information Technologies and Communications; ssbelov@yandex.ru.
The article submitted to the editors 18.03.2020
INFORMATION ABOUT THE AUTHORS
