CC BY
34Оценка качества системы с использованием стандарта ISO 9126
И.С. Калытюк, Г.А. Французова, А.В. Гунько
ФГБОУ ВО Новосибирский государственный технический университет, просп. Карла Маркса, д.20, Новосибирск, Россия
Аннотация - Требования к качеству программных средств постоянно повышаются. Процессы разработки, приобретения и внедрения сложных систем, к которым относятся, в частности, программные комплексы, должны находится под жёстким управленческим контролем. В настоящее время практически во всех организациях обеспечивается контроль важнейших характеристик, связанных с производством и использованием программных продуктов, таких как время, финансовые средства, ресурсы. Однако в большинстве случаев вне пределов сферы контроля оказывается наиболее важная характеристика программных продуктов, ради которой, собственно, и осуществляются затраты времени, финансовых средств и ресурсов — это качество продукта. В данной статье продолжается обсуждение вопроса оценки качества информационных систем. Одной из важнейших проблем обеспечения качества программных средств является формализация характеристик качества и методология их оценки. Для определения адекватности качества функционирования, наличия технических возможностей программных средств к взаимодействию, совершенствованию и развитию необходимо использовать стандарты в области оценки характеристик их качества. Одной из основ регламентирования показателей качества программных средств является международный стандарт ISO 9126. Модель, использующаяся в данном стандарте - многоуровневая, что позволяет оценить информационную систему наиболее полно, используя различные показатели. В данном стандарте этих показателей 6: функциональность, надёжность, удобство, эффективность, сопровождаемость, переносимость. Для каждого из них существует набор атрибутов, а для каждого атрибута - метрика. В работе подробно рассматриваются различные уровни модели, что позволяет отобрать те метрики, которые можно использовать для оценки качества разрабатываемой системы. Каждая из них, чаще всего, может быть оценена количественно. Также метрики могут быть классифицированы по методу применения: продукта, использования и процесса. Выделенные метрики составляют собой совокупность, по которой информационная система может быть качественно оценена. В конце статьи упомянуты альтернативные модели для оценки качества в случае модификации системы, рассматриваемые в прошлой работе.
Ключевые слова: качество, ISO 9126, показатели, функциональность, надёжность, удобство, эффективность, сопровождаемость, переносимость, атрибуты, метрики.
Введение
Зачастую качество определяется как «соответствие требованиям» и «пригодность к использованию». «Соответствие требованиям» предполагает, что требования должны быть настолько чётко определены, что они не могут быть поняты и интерпретированы некорректно. Позже, на этапе разработки, производятся регулярные измерения разработанного продукта, для определения соответствия требованиям. Любые несоответствия должны рассматриваться как дефекты. «Пригодность к использованию» принимает во внимание требования и ожидания конечных пользователей продукта, которые ожидают, что продукт или предоставляемый сервис будет удобным для их нужд. Однако разные пользователи могут использовать продукт по-разному. Это означает, что продукт должен обладать максимально разнообразными вариантами использования.
Как видно из вышеперечисленных общих определений качества, задача оценки является крайне сложной из-за многообразия интересов пользователей. Чаще всего невозможно предложить одну универсальную меру качества и приходится использовать ряд характеристик, охватывающих весь спектр предъявляемых требований. Наиболее близки к задачам оценки качества информационных систем модели
качества программного обеспечения. В настоящее время используется несколько абстрактных моделей качества программного обеспечения. Также существует несколько международных стандартов для оценки качества программного обеспечения, которые используют свои модели.
Рассматривая создаваемую программную платформу, необходимо обратить внимание на стандарт ISO 9126. Он является известным международным стандартом по оценке качества программного обеспечения. В отличие от концептуальных моделей, особое внимание в данном стандарте обращается на метрики, которые используются для непосредственной оценки качества информационной системы. В свою очередь, метрики определены для различных атрибутов в стандарте, а атрибуты -для показателей.
Характеристики и свойства качества могут быть выделены путём анализа стандарта. Некоторые присутствующие части могут быть отброшены, как некритичные для оценки качества определённой системы.
Целью настоящей работы является определение необходимых метрик для оценки качества разрабатываемой системы. Ранее в работах [1, 2] были представлены методы предиктивного анализа и проектирование системы. В работе [3] рассматривались способы,
которые используются для концептуальной оценки качества систем.
Структура данной работы следующая: в первом разделе представлена постановка задачи. Стандарт ISO 9126, его показатели и атрибуты описаны во втором разделе. Метрики качества, по которым может быть оценена система, представлены в разделе 3.
Постановка задачи
При создании системы сбора и предиктивного анализа данных социальных медиа необходимо предусмотреть возможность измерения качества с помощью определённых критериев оценки, разработка которых в данном случае предполагает решение следующих подзадач.
1. Рассмотрение стандарта ISO 9126.
2. Отбор метрик, присутствующих в данном стандарте, которые являются наиболее подходящими для разрабатываемой системы.
Для первой подзадачи требуется подробное изучение стандарта, выделение уровней его модели. Решение второй подзадачи требует, прежде всего, систематизации существующих метрик. На основе их иерархии можно дать рекомендации по выбору метрик для оценки различных параметров системы (чаще всего количественных) в зависимости от типа системы и её задач.
Рассмотрим последовательно возможные подходы к решению выявленных подзадач.
Стандарт iso 9126. Показатели и
АРТИБУТЫ КАЧЕСТВА
В данной работе будет рассматриваться стандарт ISO 9126 [4-7]. Он является самым известным международным стандартом, в котором определены характеристики оценок качества информационных систем. Сама модель качества в нём является многоуровневой. В верхнем уровне выделяют 6 главных характеристик (показателей). У всех показателей присутствует несколько атрибутов. Аналогично для каждого из атрибутов определена совокупность метрик, с помощью которых он оценивается.
Рассматривая уровни модели качества, можно выделить 4 основных. В первом уровне определены 6 главных показателей: функциональность, надёжность, удобство, эффективность, сопровождаемость и
переносимость. Второй уровень включает в себя атрибуты, относящиеся к вышеизложенным показателям. В третьем уровне рассматриваются метрики, при помощи которых производится измерение качества. Четвёртый уровень предполагает оценку метрики (веса или приоритеты) для выделения главных атрибутов.
Модель показателей качества предложена на Рис. 1.
Показателями качества является совокупность свойств информационной системы, по которой качество может быть описано и оценено. Рассмотрим их подробнее, упоминая их атрибуты.
Функциональность подразумевает, решает ли система поставленные задачи в условиях, заданных пользователем.
• Полнота функций - способность решения поставленных задач.
• Точность - способность получения необходимых результатов.
• Интероперабельность - возможность взаимодействия с другими системами.
• Защищённость - предотвращение несанкционированного доступа к данным и программному обеспечению).
• Согласованность - соответствие существующим стандартам, актам, нормам. Надёжность означает, может ли система быть
работоспособной в заданных условиях.
• Завершённость - среднее время работы без сбоев за оцениваемый период.
• Отказоустойчивость - способность поддержки системы в работоспособном состоянии в случае отказов или сбоев.
• Восстанавливаемость - время, нужное для восстановления системы после отказов или сбоев.
• Согласованность - соответствие существующим стандартам надёжности.
Удобство применения показывает, насколько система удобна при обучении или уже использовании, привлекает ли она пользователей.
• Понимаемость - обратная величина для усилий пользователей в восприятии функций системы.
• Обучаемость - обратная величина для усилий пользователей в обучении работе с системой.
• Привлекательность - способность привлекать пользователей.
• Согласованность - соответствие существующим стандартам удобства использования.
Сопровождаемость включает в себя операции, предназначенные для удобного сопровождения системы.
• Анализируемость - комплекс методов, направленный на удобный анализ ошибок/недостатков и анализ необходимых изменений.
• Изменяемость - обратная величина для затрат создателей на изменения в системе.
• Стабильность - обратная величина для показателя риска неожиданного функционирования после внесённых изменений.
• Тестируемость - обратная величина для затрат создателей на тестирование.
• Согласованность - соответствие существующим стандартам удобства сопровождения.
Эффективность - соотношение между полученными результатами и ресурсами, которые были затрачены на их получение. Эффективность показывает, насколько система способна решать задачи. Данное понятие связывается с полученным результатом, являющимся полезным - выигрышем. Для получения выигрыша необходимы различные затраты (информационные, денежные и прочие), совокупность которых - плата за выигрыш.
Эффективность включает в себя следующие атрибуты.
• Реактивность - также известна как временная эффективность - время, затраченное на получение необходимых результатов.
• Используемость ресурсов - количество ресурсов (оперативной памяти, сетевых соединений, различных устройств), используемое для функционирования системы.
• Согласованность - соответствие существующим стандартам производительности. Переносимость означает, способна ли
система функционировать при смене окружения.
• Адаптируемость - способность системы без дополнительных действий работать в новом окружении.
• Простота настройки - способность системы быть развёрнутой в новом окружении за короткий промежуток времени.
• Совместимость - способность системы разделять ресурсы с прочими существующими программными комплексами в окружении.
• Заменяемость - показывает, возможна ли замена существующих программных комплексов в окружении системой для решения тех же задач.
• Согласованность - соответствие существующим стандартам переносимости.
Метрики качества
Метрика - это определённая система для измерения качества продукта. В общем случае предлагается представить такой вид иерархии метрик.
• Метрики программного продукта.
• Метрики процесса.
• Метрики использования.
Метрики также описаны в стандарте ISO 9126. Рассматривая их, можно понять, что не все они могут подходить к различным системам, требуется индивидуальный подход. Поэтому сначала разберём, какие метрики продукта могут подойти для разрабатываемой системы.
• Число функций в системе.
• Требуемый размер оперативной памяти для непрерывной работы системы.
• Требуемый размер дискового пространства.
• Среднее время функционирования системы.
• Среднее время для работы отдельных модулей (подсистема сбора и подсистема анализа).
• Количество ошибок, возникающих в системе.
• Количество отказов системы.
В случае метрик процесса также выделим некоторые из них.
• Время разработки системы.
• Время разработки отдельных модулей.
• Стоимость процесса разработки.
Для метрик использования можно отметить следующую часть существующих.
• Процент выполняемых задач к заявленным в документации.
• Процент корректно выполняемых задач к заявленным в документации.
• Ресурсы, потраченные на эффективное решение задач.
Все вышеперечисленные метрики можно оценить количественно, следовательно, их совокупность может показывать, является разработанная система качественной или нет. Однако, в случае перепроектирования системы в будущем, возможна ситуация, в которой придётся использовать другую совокупность. Для этого придётся изучить стандарт заново. Во избежание этого, можно обратиться к альтернативным методам: факторы Шломи Фиша [8], модель МакКола [9], модель Боема [10]. В случае уже готовой системы существуют такие модели как SLIM [11], COCOMO [12] и COCOMO II [13]. Данные методы подробно рассматривались в работе [3].
Заключение
В данной работе внимание заострено на модели ISO 9126, которая является многоуровневой и включает в себя различные показатели и их атрибуты. Подробно рассмотрены первые уровни модели, такие как показатели и атрибуты. После этого выбраны те метрики из стандарта, которые являются наиболее подходящими для разрабатываемой системы: 7 метрик продукта, 3 метрики процесса и 3 метрики использования. На данный момент этот набор является достаточным для оценки качества, так как отобраны те, которые зависят от типа системы и её задач.
В целом, имеющийся стандарт ISO 9126 подходит для оценки качества разрабатываемой системы. Для полной оценки возможно использование полученной совокупности метрик. Однако в случае модификаций системы можно применить альтернативные способы, рассматриваемые ранее, к примеру модели МакКола и Боема. Также возможно применение
нескольких моделей и стандартов для объективной оценки данных параметров.
более
Литература
[1]
[2]
Калытюк И. С., Французова Г. А., Гунько А. В. К вопросу выбора методов предиктивного анализа данных социальных медиа // Автоматика и программная инженерия. 2019. №4 (30). С. 9-17. Калытюк И. С., Французова Г. А., Гунько А. В. Начальные этапы проектирования системы сбора и предиктивного анализа данных социальных медиа // Системы анализа и обработки данных. 2021. №1 (81). С. 73-84.
[3] Калытюк И. С., Французова Г. А., Гунько А. В. К вопросу оценки качества информационных систем // Автоматика и программная инженерия. 2021. №3 (37). С. 76-81.
[4] ISO/IEC 9126 Software engineering quality - Part 1: Quality model, 2001.
[5] ISO/IEC 9126 Software engineering quality - Part 2: External metrics, 2001.
[6] ISO/IEC 9126 Software engineering quality - Part 3: Internal metrics, 2001.
[7] ISO/IEC 9126 Software engineering quality - Part 4: Quality in use metrics, 2001.
[8] What Makes Software High-Quality? - Shlomi Fish's Homesite. - Режим доступа: https://www.shlomifish.org/philosophy/computers/hi gh-quality-software/, свободный (дата обращения: 10.04.2021).
[9] McCall J., Richards P., Walters G. Factors in Software Quality. Technical Report CDRL A003, US Rome Air Development Centre, vol. 1, 1977.
[10] Boehm B.W., Brown J.R., Kaspar H., Lipow M., MacLeod G.J., Merritt M.J. Characteristics of Software Quality. TRW Series of Software Technology, Amsterdam, North Holland, 1978, 166 p.
Product
Product
Product
Product
[11] Putnam L.H. A General Empirical Solution to the Macro Software Sizing and Estimating Problem // IEEE Transactions on Software Engineering, 1978, no. 4(4), pp. 34-360.
[12] Boehm B.W. Software Engineering Economics in IEEE Transactions on Software Engineering, 1984, vol. SE-10, no. 1, pp. 4-21.
[13] Boehm B.W. et al. The COCOMO 2.0 Software Cost Estimation Model: A Status Report // American Programmer, 1996, no. 9(7), p. 2-17.
Иван Сергеевич Калытюк,
аспирант кафедры автоматики НГТУ. Основное направление научных исследований:
разработка и исследование систем сбора и анализа данных. E-mail: ivankalytyuk @ yandex .ru
Галина Александровна
Французова, д. т. н., профессор кафедры автоматики НГТУ. Основное направление научных исследований: синтез систем экстремального регулирования. E-mail: frants@ac.cs.nstu.ru
Андрей Васильевич Гунько,
к. т. н., доцент кафедры автоматики НГТУ. Основное направление научных
исследований: разработка автоматизированных систем сбора и обработки результатов. E-mail: gun@ait.cs.nstu.ru
Статья поступила 21.09.2021.
System quality assessment using the ISO 9126 standard
I. S. Kalytyuk, G. A. Frantsuzova, A.V. Gunko FGBOU VO Novosibirsk State Technical University, prosp. Karl Marx, 20
Novosibirsk, Russia
Abstract - The requirements for the quality of software tools are constantly increasing. The processes of development, acquisition and implementation of complex systems, which include, in particular, software complexes, should be under strict management control. Currently, almost all organizations provide control of the most important characteristics associated with the production and use of software products, such as time, financial resources, and resources. However, in most cases, the most important characteristic of software products is outside the scope of control, for which, in fact, time, financial resources and resources are spent — this is the quality of the product. This article continues the discussion of the issue of assessing the quality of information systems. One of the most important problems of software quality assurance is the formalization of quality characteristics and the methodology of their assessment. To determine the adequacy of the quality of functioning, the availability of technical capabilities of software tools for interaction, improvement and development, it is necessary to use standards in the field of evaluating their quality characteristics. One of the bases for regulating the quality indicators of software tools is the international standard ISO 9126. The model used in this standard is multi - level, which allows you to evaluate the information system most fully using various indicators. In this standard, there are 6 of these indicators: functionality, reliability, convenience, efficiency, maintainability, portability. There is a set of attributes for each of them, and a metric for each attribute. The paper considers in detail the various levels of the model, which allows us to select those metrics that can be used to assess the quality of the system being developed. Each of them, most often, can be evaluated quantitatively. Metrics can also be classified according to the method of application: product, use and process. The selected metrics constitute a set by which the information system can be qualitatively evaluated. At the end of the article, alternative models for assessing quality in the case of system modification are mentioned, which were considered in the previous work.
Keywords: quality, ISO 9126, indicators, functionality, reliability, convenience, efficiency, maintainability, portability, attributes, metrics.
References
[1] Kalytyuk I.S., Frantsuzova G.A., Gunko A.V. K voprosu vybora metodov prediktivnogo analiza dannykh sotsial'nykh media. Avtomatika i programmnaia inzheneriia, 2019, no. 4 (30), p. 917.
[2] Kalytyuk I.S., Frantsuzova G.A., Gunko A.V. Nachal'nye etapy proektirovaniia sistemy sbora i prediktivnogo analiza dannykh sotsial'nykh media. Sistemy analiza i obrabotki dannykh, 2021, no. 1 (81), pp. 73-84.
[3] Kalytyuk I.S., Frantsuzova G.A., Gunko A.V. K voprosu otsenki kachestva informatsionnykh sistem. Avtomatika i programmnaia inzheneriia, 2021, no. 3 (37), pp. 76-81.
[4] ISO/IEC 9126 Software engineering - Product quality - Part 1: Quality model, 2001.
[5] ISO/IEC 9126 Software engineering - Product quality - Part 2: External metrics, 2001.
[6] ISO/IEC 9126 Software engineering - Product quality - Part 3: Internal metrics, 2001.
[7] ISO/IEC 9126 Software engineering - Product quality - Part 4: Quality in use metrics, 2001.
[8] What Makes Software High-Quality? - Shlomi Fish's Homesite. Available at: https://www.shlomifish.org/philosophy/computers/h igh-quality-software/ (accessed 10 April 2021).
[9] McCall J., Richards P., Walters G. Factors in Software Quality. Technical Report CDRL A003, US Rome Air Development Centre, vol. 1, 1977.
[10] Boehm B.W., Brown J.R., Kaspar H., Lipow M., MacLeod G.J., Merritt M.J. Characteristics of Software Quality. TRW Series of Software Technology, Amsterdam, North Holland, 1978, 166 p.
[11] Putnam L.H. A General Empirical Solution to the Macro Software Sizing and Estimating Problem // IEEE Transactions on Software Engineering, 1978, no. 4(4), pp. 34-360.
[12] Boehm B.W. Software Engineering Economics in IEEE Transactions on Software Engineering, 1984, vol. SE-10, no. 1, pp. 4-21.
[13] Boehm B.W. et al. The COCOMO 2.0 Software Cost Estimation Model: A Status Report // American Programmer, 1996, no. 9(7), pp. 2-17.
Ivan Sergeevich Kalytyuk,
postgraduate student of the Department of Automation, NSTU. The main direction of scientific research: development and research of data collection and analysis systems. E-mail: ivankalytyuk @ yandex .ru
Galina Aleksandrovna
Frantsuzova, Doctor of Technical Sciences, Professor of the Department of Automation, NSTU. The main direction of scientific research: synthesis of extreme regulation systems. E-mail: frants@ac.cs.nstu.ru
Andrey Vasilievich Gunko,
Ph.D., Associate Professor of the Department of Automation, NSTU. The main direction of scientific research: the development of automated systems for collecting and processing results. E-mail: gun@ait.cs.nstu.ru
The paper has been received on 21/09/2021.
