CC BY
20
2007
Доклады БГУИР
июль-сентябрь
№ 3 (19)
УДК 681.3
МЕТРИКИ АДЕКВАТНОСТИ ИНФОРМАЦИОННОЙ АРХИТЕКТУРЫ
В В. БАХТИЗИН, Д.Г. КРУГЛОВ
Белорусский государственный университет информатики и радиоэлектроники П. Бровки, 6, Минск, 220013, Беларусь
Поступила в редакцию 9 января 2006
Предложена модель качества, применяемая вместе с методом поведенческого анализа для оценки характеристики качества "практичность". Приведен пример поиска, расчета и подтверждения метрик в предложенной модели качества.
Ключевые слова: программное обеспечение, практичность, тестирование, модель качества.
Введение
Вопрос оценки качества программного обеспечения на сегодняшний день является одним из наиболее актуальных вопросов информационных технологий. Именно ответ на него позволяет определить, насколько эффективны те или иные методы обеспечения качества. В международных стандартах ISO определяются шесть классических характеристик качества [1]. Среди них "практичность" является, пожалуй, наиболее сложной для автоматического вычисления характеристикой.
В большинстве случаев для оценки "практичности" привлекают одну или несколько специально сформированных групп пользователей. Такие группы выполняют ряд тестовых заданий, по результатам которых либо сами пользователи, либо отдельные наблюдатели, производят оценку "практичности". Конкретные методы проведения оценки отличаются незначительно. Как следствие этих методов, набор метрик, определенный в стандартах серии ISO 9126 как рекомендуемый для оценки "практичности", мало приспособлен для автоматических тестов. В то же время наравне с классическими методами оценки "практичности" существуют и такие методы, как, например, метод поведенческого анализа [2]. Данные, получаемые при применении этого метода достаточны для оценки характеристики "практичность". Однако модель качества, предлагаемая стандартом ISO 9126-1 [1], не позволяет этого сделать.
Отсюда следует, что при применении метода поведенческого анализа для оценки значения характеристики "практичность" требуется разработка специализированной модели качества. От стандартной, такая модель отличается множеством специализированных метрик:
M = {Mj | i = \n; j = 1m}, (1)
где Mj — значение j-й специализированной метрики качества, i-й подхарактеристики характеристики качества "практичность"; n — количество подхарактеристик характеристики качества "практичность"; mi — количество специализированных метрик i-й подхарактеристики характеристики качества "практичность".
Соответственно каждая подхарактеристика характеристики качества "практичность" будет рассчитываться по формуле
m mi
P = У (MV X yv =1
j=1 i=1
где Mj — значение j-й специализированной метрики качества, i-й подхарактеристики характеристики качества "практичность"; Vj — весовой коэффициент j-й специализированной метрики качества, i-й подхарактеристики характеристики качества "практичность"; m, — количество специализированных метрик i-й подхарактеристики характеристики качества "практичность". Значение характеристики качества "практичность" рассчитывается по формуле:
n n
к = У ( pv ) У V = 1 (3)
практичность / . i ' i Ь / , i i =1 1=1
где P. — значение i-й подхарактеристики характеристики качества "практичность"; V. — весовой коэффициент i-й подхарактеристики характеристики качества "практичность"; n — число подхарактеристик характеристики качества "практичность".
Поиск и формулирование метрик
Для нахождения множества метрик M наиболее подходящей является парадигма Бейзи-ли [3] (парадигма goal, question, metric). Алгоритм нахождения метрик состоит из трех основных этапов (рисунок).
Согласно парадигме Бейзили, цели формируются экспертно. В процессе разработки метода поведенческого анализа было получено достаточное количество экспериментальных данных, позволяющих сформулировать набор специализированных метрик, относящихся к различным подхарактеристикам характеристики качества "практичность".
В данной работе предлагаются специализированные метрики подхарактеристики "простота использования" (oper-ability). Для их формулировки использованы основные показатели информационной архитектуры. Согласно [4], информационная архитектура во многих случаях играет решающую роль при субъективной оценке пользователем "практичности" того или иного программного продукта. Информационная архитектура объединяет два основных понятия: структуру пользовательского интерфейса и структуру данных. Таким образом, метрические показатели, характеризующие усилия пользователя по доступу к данным, вызовам функций и осуществлению навигации с помощью пользовательского интерфейса, относятся к подхарактеристике "простота использования".
Перед тем как приступить к формулировке целей, необходимо пояснить основные термины, используемые в дальнейшем для описания тех или иных аспектов модели качества:
все действия пользователя разделяются на действия навигационные и функциональные; навигационные действия связаны с переходами между различными разделами программы, между различными способами представлений данных, между различными отчетами. Кроме того, к навигационным действиям причисляются все операции, необходимые для перехода к выполнению определенного функционального действия;
функциональные действия связаны с созданием, чтением, изменением, сохранением и удалением информационных объектов (документов, форм, таблиц, записей, файлов и т.д.), а так же с вызовом различных автоматических функций обработки данных;
информационный объект рассматривается как неделимая совокупность полей (атрибутов) различных типов данных;
с точки зрения информационной архитектуры, программный продукт рассматривается в виде графа, узлами которого являются функциональные действия, а дугами — навигационные действия пользователя.
Алгоритм нахождения метрики в парадигме Бейзили
Для формулирования целей был использован целевой формат в парадигме GQM [3]. Последовательно должно быть определено: зачем производится оценка; на чем фокусируется оценка; какие аспекты и кем оцениваются; в какой среде производится оценка.
С помощью парадигмы GQM были сформулированы сначала цели, а затем вопросы, позволившие связать данные поведенческого анализа с метриками характеристики качества "практичность". Среди всех полученных метрик к информационной архитектуре были отнесены три метрики:
1) используемость функциональных действий МФ, рассчитываемая по формуле
СФ
Мф = -k^-, (4)
SC,
Ф
где СФ — число доступных пользователям в интерфейсе функциональных действий; Бк — число сеансов работы пользователей, в ходе которых было задействовано к-е функциональное действие; S — общее число сеансов работы пользователей;
2) используемость полей МП, рассчитываемая по формуле:
Сп
Мп = , (5)
1 СП
где СП — общее число полей; 1к — число информационных объектов, в которых заполнено к-е поле; 1 — общее число информационных объектов;
3) используемость навигации МН, рассчитываемая по формуле
Сн
Z St
М=fa: • (6)
где СН — число доступных пользователям в интерфейсе навигационных действий; Sk — число сеансов работы пользователей, в ходе которых было задействовано k-е навигационное действие; S — общее число сеансов работы пользователей.
Данные метрические показатели используются вместе с методом поведенческого анализа для повышения уровня качества программного продукта по характеристике "практичность" на протяжении этапов кодирования и тестирования жизненного цикла ПО. На примере расчета значения метрики "используемость полей" для проекта разработки системы управления содержимым сайта (на базе платформы Lotus Notes/Domino) можно проследить изменения значений метрики на протяжении нескольких версий программы. Данный проект выполнялся по инкре-ментной модели на протяжении 4 мес и включал в себя в общей сложности 7 версий. В табл. 1 представлены результаты вычисления метрики МП, начиная с версии № 2.
Таблица 1. Результат вычисления метрики МП
Версии ПО 2 3 4 5 6 7
Всего полей в среднем на объект 23 25 22 20 17 17
Заполняемых полей в среднем на объект 8 9 8 12 12 13
Используемость полей 34,78% 36,00% 36,36% 60,00% 70,59% 76,47%
Как видно из данного примера, используя результаты поведенческого анализа, начиная с версии № 4, проводилась целенаправленная оптимизация состава всех информационных объектов программы. Благодаря этому к выходу стабильной версии пользователям стало существенно проще вносить информацию в разработанный программный продукт.
Проверка наличия связи между метриками и характеристикой качества
Сама по себе парадигма Бейзили не гарантирует достоверности метрических показателей. Для их подтверждения или опровержения следует использовать метод регрессионного анализа. Регрессионный анализ позволяет приближенно определить форму связи между результативным и факторными признаками, а также решить вопрос о том, значима ли эта связь.
Для проведения регрессионного анализа в первую очередь необходимо получить значения характеристики "практичность" для каждого из значений метрики "используемость полей". В примере с проектом разработки системы управления содержимым сайта после выхода всех версий была проведена экспертная оценка, в ходе которой четыре пользователя оценивали "практичность" каждой из версий по пятибалльной шкале. Результаты тестирования приведены в табл. 2.
Таблица 2. Экспертная оценка характеристики "практичность"
Среднее значение "практичности" 2,3 2,4 2,4 3,2 3,5 4,0
Используемость полей 34,78% 36,00% 36,36% 60,00% 70,59% 76,47%
Версии ПО 2 3 4 5 6 7
В данном примере процесс оценки "практичности" фактически представляет собой ранжирование версий. Наиболее подходящим методом проверки метрики является метод ранговой корреляции, основанный на ранговом коэффициенте Кендэла:
4P n
тк = -—¡г -1, P = Z Pi , (7)
n(n -1) i=i
где n — число сопоставляемых рангов двух величин: "используемость полей" и "среднее значение практичности"; при этом ранги величины "используемость полей" упорядочены так, что представляют собой натуральный ряд; pt — величина, отражающая прямой порядок расположения последующих рангов величины "среднее значение практичности".
Для приведенного выше примера значение тк=0,933. Дополнительный анализ показал значимость полученного коэффициента тк. Это означает, что между МП и Кпрактичность есть тесная положительная связь. Таким образом, связь между полученной с помощью парадигмы Бейзили метрикой и характеристикой качества "практичность" подтверждена.
Заключение
Следует отметить, что сочетание поведенческого анализа и специализированных метрик характеристики качества "практичность" предоставляют разработчикам программного обеспечения недорогой и эффективный способ оценки и обеспечения качества разрабатываемого ПО.
METRICS OF ADEQUACY OF INFORMATION ARCHITECTURE
V.V. BAKHTIZIN, D.G. KRUGLOU Abstract
There is a model of quality suggested. This model is being applied along with a method of behavioral analysis for the "usability" quality characteristics estimation. The example of search, calculation and metrics confirmation in the suggested model of quality is shown.
Литература
1. ISO/IEC 9126-1:2001, Software Engineering - Product quality. Part 1.
2. Бахтизин В.В., Круглое Д.Г. // Изв. Белорус. инж. акад. 2004. №1/3 С. 35-39.
3. Фатрелл Р., Шафер Д., Шафер Л. Управление программными проектами. Достижение оптимального качества при минимуме затрат. СПб., 2003.
4. Уодтоке К., Информационная архитектура: Чертежи для сайта. СПб., 2004.
