CC BY
37
УДК 681.518:658.512
■Q О
Розглянуто проблему розроб-ки комплексного тдходу до оцт-ки ефективностi застосування pÍ3Hux технологш забезпечення яко-cmi програмних систем. Доведено, що для оцтки ефективностi mie'i чи iншоi технологИ необхдно одно-часно враховувати декшька показ-нитв, як не е чтко формалiзова-ними. Для виршення поставленоi задачi пропонуеться структурува-ти ix взаемозв'язки в багатовимiр-ному тформацшному просторi та застосовувати знання-орiентованi, експертт методи обробки вiдповiд-ноi тформацп
■Q О
ПРО ОДИН П1ДХ1Д ДО ОЦ1НКИ ЕФЕКТИВНОСТ1 ТЕХНОЛОПЙ ЗАБЕЗПЕЧЕННЯ ЯКОСТ1 ПРОГРАМНИХ
СИСТЕМ
М.В. Ткачук
Доктор техычних наук, професор Контактний тел.: (38-057) 707-60-86 e-mail: tka@kpi.kharkov.ua
А.О. Земляний
Асистент
Кафедра автоматизованих систем управлшня НТУ «ХПИ» вул. Фрунзе, 21, м. Хармв, 61002 Контактний тел.: (38-057) - 707-60-86 e-mail: andrey_zemlyanoy@mail.ru
1. Актуальшсть проблеми та постановка задачi дослщження
На тепершньому етат розвитку Teopera4Hoï бази та шструментальних 3aco6iB nporpaMHo'i шженерп вже можна вважати досить повною мiрою виршеними таю задачi розробки програмних систем (ПС) як накопи-чення та аналiз функщональних вимог, моделюван-ня структурних та динамiчних аспектiв архiтектури ПС, а поим - i автоматизоване генерування тексту ïï основних програмних компоненпв. Наочним прикладом такого модельно-шструментального комплексу е унiфiкована мова моделювання UML i вiдповiдне вiзуальне середовище ïï застосування Rational Rose (див., напр., в [1]). В той же час забезпечення яюсних показниюв кшцевого програмного продукту е суттево б^ьш складною проблемою, як з точки зору визна-чення самих атрибупв якостi та адекватних метрик для ïх оцiнки, так i з точки зору розробки ввдповщних програмних засобiв для автоматизацп застосування таких пiдходiв. Останнiм часом саме ця проблематика визначаеться та обговорюеться як задача створення та застосування рiзноманiтних технологш забезпечення якосп (ТЗЯ) програмного забезпечення (software quality assurance) [2-3]. До них належать рiзноманiтнi
методи та технологи (CASE-засоби) моделювання ПС (аналиичш, iмiтацiйнi, метричнi моделi тощо), а також деякi тдходи, якi передбачають побудову програмних прототитв з метою отримати можливiсть попередньо! оцiнки певних характеристик якостi функщонування ПС. Згiдно сучасного стандарту, який розроблено мiж-народним консорцiумом з проблем програмно! шжене-рil SWEBOK (Software Engineering Body of Knowledge), до таких характеристик належать [3]: продуктившсть (performance), надшшсть (reliability), функщональшсть (functionality), супроводжувашсть (maintenanability), переносимiсть (portability), зручшсть використання (usability). Наприклад, таю з них, як продуктившсть та надшшсть, е особливо важливим для ПС, як пра-цюють у складi АСУ ТП на тдприемствах нафто-га-зовидобування [4], тому що вони повинш в реальному масштабi часу вести накопичення та аналiз значних обсягiв даних, а будь як аварiйнi ситуацii на цих об'ек-тах можуть спричинити значш економiчнi збитки та екологiчнi проблеми.
В той же час, саме зб^ьшення юлькосп рiзних ТЗЯ, а також постшне розширення типiв ПС (за озна-кою належностi до рiзних предметних областей) та зростання рiвня !х складностi, зумовлюють актуальшсть i необхiднiсть вирiшення наступно! проблеми:
уз
яку саме ТЗЯ при розробщ певного типу ПС дощльно застосувати, щоб забезпечити потрiбний рiвень вимог якосп та мати при цьому прийнятний обсяг витрат на реалiзацiю само! ТЗЯ?
Таким чином, метою дослщжень в цiй статтi е розробка комплексного тдходу до визначення ефек-тивностi рiзних ТЗЯ при 1х застосуваннi в процесах проектування та решжишрингу вiдповiдних ПС.
2. Аналiз деяких iснуючих технологiй забезпечення якост програмних систем
Для дослiдження якост ПС використовуються рiз-нi типи аналггичних моделей (АМ). Вони застосову-ються для кiлькiсноi оцiнки тих чи шших атрибутiв характеристик якосп компонентiв ПС [5]. Найбiльш поширеш пiдходи до розрахунку показникiв якосп на основi моделей мереж масового обслуговування та рiзноманiтних моделей черг, моделей з використанням кшцевих автомапв, мереж Петрi. Наприклад, в робоп [6] використовуються моделi черг для аналiзу показ-никiв якостi ПС з використанням специфжацш на RT-UML та OCL. У роботi [7] на основi специфiкацiй у нотащях RT-UML та OCL будуються моделi системи у виглядi маркованих мереж Петр! Це дозволяе вщобра-зити та дослщити особливостi взаемодп компоненпв з точки зору якостi функщонування ПС. 1снують рiзнi модифiкацii класичних моделей черг, яю враховують особливоси програмних систем реального часу та апаратного забезпечення [8]. АМ дозволяють вщносно просто дослiдити показники якосп ПС, але склад-шсть дуже швидко зростае зi зростанням розмiрностi системи, що дослiджуеться. Крiм того, у бiльшостi випадкiв АМ не можуть достатньо повно вщобразити функщональшсть реально! ПС i модель мае ряд спро-щень, що негативно впливае на адекватшсть кшцевих результапв.
Досить цiкавим i ефективним засобом моделю-вання ПС е тдхщ, який представлено в [9] i який мае на меи отримати певнi метричнi оцiнки (МО) продуктивност системи ще на етат и архiтектурного проектування. Для цього пропонуеться заздалепдь визначати критичнi варiанти (сценарii) використання ПС, а поим будувати для них спрощеш структурш моделi функцiонування програмного забезпечення у виглядi графiв виконання, якi репрезентують окремi блоки та пiдсистеми ПС. Для кожного з таких графiв обчислюються кiлькiснi (ресурснi) МО щодо виконання його вузлiв, що зрештою дае можливiсть отримати узагальнеш оцiнки продуктивностi всiеi ПС в щлому, а також визначити найб^ьш реактивнi блоки, якi по-требують доробки або повно! замши при проектуванш кшцево! версii системи. Але, подiбно до АМ, цей тдхщ мае тi ж самi недолжи: по-перше, вiн забезпечуе лише досить приблизш оцiнки продуктивностi ПС, а по-дру-ге, також не дозволяе отримати працездатш програмнi рiшення, яю б могли бути використанi як готовi компо-ненти системи, що розробляеться.
За умов, коли використання АМ та МО не виправ-дано, можуть бути застосоваш iмiтацiйнi моделi (1М). Це дозволяе дослщити системи бiльшоi складноси та, як правило, з б^ьшею адекватнiстю. У роботах [10, 11] продемонстровано, як на основi формальних
специфжацш вимог якостi можна побудувати 1М роз-подiленоi ПС, дослщити особливостi динамiчноi вза-eмодii ii компонентiв, розрахувати питомi показники якость 1снуе декiлька шляхiв використання 1М для дослiдження показникiв якостi, серед них як застосу-вання кнуючих унiверсальних середовищ 1М, таких як GPSS, Arena, Matlab/Simulink, так i застосування проблемно-орieнтованих середовищ 1М [12]. 1М дозволяють отримати достатньо адекватш оцiнки показ-никiв якосп ПС без необхiдностi повноi або частковоi реалiзацii ii компонентiв. У випадку ушверсальних середовищ 1М можливо використовувати у« ix по-тужш засоби моделювання. Однак, процес побудови i модифiкацii моделей, сбiру та аналiзу даних у разi дослщження специфiчниx програмних рiшень може бути достатньо витратним. У цьому разi дощльно використовувати проблемно-орieнтованi середовища. Недолжом проблемно-орieнтованиx середовищ е велик початковi затрати на ix реалiзацiю. За допомогою 1М можливо отримати досить адекватш результати, але зi зростанням складноси дослiджуваниx ПС i зростанням рiвня вимог щодо точносп результатiв витрати на розробку 1М наближаються до витрат на реалiзацiю самоi ПС, що не е ефективним. У цьому разi дощльно використовувати таку технолопю, яка б одночасно давала ощнки показникiв якоси та працез-датнi елементи ПС. Одним з варiантiв такого тдходу е технолопя прототипування цiльовоi ПС [2,13].
1снують рiзнi моделi прототипування та ввдповщш iнструментальнi середовища, наприклад таю як Computer-Aided Prototyping System (CAPS), Ripple, Axure RP Pro, iRise Studio та ш. Але слвд зазначити, що б^ьшкть з них зосереджена на моделюванш функцiональниx вимог або iнтерфейсiв користувача ПС. Авторами да-ноi стати була запропонована 1нтегрована Теxнологiя Еволюцшного Прототипування (1ТЕП), яка дозволяе дослщити показники якостi ПС використовуючи ii готовi компоненти [13]. Нефункцiональнi вимоги (або показники якост ПС) вщображаються у цiльовi вла-стивостi або обмеження, з використанням шнуючих архггектурних шаблонiв будуеться прототип ПС, вш отримуе конфiгурацiю конкретних параметрiв та до-слiджуються його показники якость В кiнцевому ра-хунку, за умов виконання заданого рiвня вимог щодо показниюв якостi, побудований таким чином прототип може бути використано як основу для реалiзацii реальноi ПС.
Навиь цей стислий огляд шнуючих ТЗЯ та аналiз деяких особливостей ix застосування показуе, що для ощнки ефективност пе'1 чи iншоi ТЗЯ необxiдно одночасно враховувати деюлька чинникiв (або критерпв), якi не е чико формалiзованими.
Саме тому для ix визначення потрiбно структу-рувати ix взаемозв'язки в певному багатовимiрному шформацшному просторi та застосовувати знання-орiентованi, експертнi методи обробки вiдповiдноi шформацп.
3. Багатовимiрна модель оцiнки ефективносл застосування ТЗЯ
В роботi [14] була запропонована та дослщжена концепщя багатовимiрного iнформацiйного метапро-
стору проектування та решжишрингу ПС, яка, зокре-ма, передбачае побудову та використання декшькох взаемопов'язаних локальних пiдпросторiв, в яких проводиться накопичення та аналiз даних щодо систем-них вимог, методiв та моделей проектування ПС.
Згщно цього тдходу, насамперед потрiбно виз-начити и показники (або критерii), якi будуть вико-ристанi в якостi вщповщних координат (або вимiрiв) у багатовимiрнiй моделi оцiнки ефективностi ТЗЯ. Зважаючи на попереднi зауваження щодо загальноi проблематики застосування цих технологiй, яю були зробленi в першому роздШ цiеi статтi, а також врахо-вуючи певний власний досвiд, накопичений при роз-робцi та моделюванш складних ПС [4,12-14], до таких показниюв доцiльно вiднести наступнi:
(1) показники функцiональноi складностi ПС, яка дослщжуеться за допомогою тiеi чи iншоi ТЗЯ;
(2) рiвень вимог якосп, що мае бути забезпече-ний в ПС (наприклад, щодо продуктивност та надш-ностi);
(3) доступт методи ТЗЯ, якi мають бути проана-лiзованi щодо '¿х ефективностi;
(4) оцiнки адекватностi застосування певно' ТЗЯ щодо того чи шшого типу ПС;
(5) показники питомо' трудомiсткостi застосування рiзних ТЗЯ.
Таким чином, задача розробки багатовимiрнiй мо-делi оцiнки ефективносп ТЗЯ зводиться до представ-лення показниюв (1)-(5) у певному структурованому вигляд^ який забезпечив би можлившть якiсного ана-лiзу '¿х взаемозв'язюв, а потiм - у розробщ вiдповiдних експертних процедур для отримання юльюсних ощ-нок ефективностi застосування ие' чи iншоi ТЗЯ.
3.1 Структурування титв ПС
На першому етат розробки багатовимiрноi моделi ощнки ефективностi ТЗЯ е доцiльним ввести структурування титв ПС з урахуванням показниюв (1)-(2) з вищезазначеного перелiку, а саме: '^вень вимог щодо якосп ПС" i "Складшсть ПС". Це пiдхiд iлюструе система координат яка наведена на рис. 1. По оа ординат при цьому розглядаеться визначений експертним шляхом рiвень вимог щодо якостi ПС, а по оа абсцис - показник складноси ПС, обидва щ параметри пода-ються в нормованому вигляд^ тобто вони належать до штервалу [0 < 1].
Тодi всю координатну площину можна розбити на 4 квадранти, яю окреслеш наступними парами значень вщповщних лiнгвiстичних змiнних:
I квадрант - «Складшсть ПС незначна» i <^вень вимог якостi низький»;
II квадрант - «Складшсть ПС значна» i «Рiвень вимог якостi низький»;
III квадрант - «Складнiсть ПС незначна» i «Рiвень вимог якосп високий»;
IV квадрант - «Складшсть ПС значна» i «Рiвень вимог якосп високий».
Таким чином, за допомогою запропоновано' систе-ми координат кожну з ПС, яю мають бути дослщжеш з використанням певно' ТЗЯ, можливо вiднести до вщ-повiдноi групи, в межах яко' порiвняння показникiв (3)-(5) буде коректним.
Р1вень вимог якост
1
III IV Складшсть ПС -►
I II
0,5 1,0
Рисунок 1. - Система координат для експертноТ оцшки титв ПС
При цьому для ощнки складносп ПС можливо використати, наприклад, одну з модифжацш так званого FPA (Function Points Analysis)- метода [2], а для визначення необхщного рiвня вимог щодо якоси ПС - розробити процедуру за одним з методiв експертного ощнювання [15].
3.2 Вибiр методiв ТЗЯ та задачi визначення оцшки ¡х адекватностi i питомо¡ трудомшткосп
Наступним важливим етапом розробки багатови-мiрноi моделi ефективностi ТЗЯ е коректне виршення задачi експертно' ощнки адекватносп обрано' ТЗЯ при и застосування до певного типу ПС. Для розв'язан-ня цiеi проблеми, без втрати загального характеру отриманих в подальшому ршень, в якоси обраних ТЗЯ будемо розглядати наступш: (1) iмiтацiйне моде-лювання характеристик ПС з використанням ушвер-сальних програмних засобiв, таких, як, наприклад, се-редовище Simulink з пакету МайаЬ [16]; (2) iмiтацiйне моделювання за допомогою спецiально розробленого проблемно-орiентованого програмного засобу [11]; (3) ощнка характеристик якостi ПС шляхом побудови и вiдповiдних прототипiв за методикою, яка представлена в [12].
Для виршення ще' задачi може бути запропоно-вано нечiтку експертну модель ощнки адекватносп ТЗЯ щодо певних титв ПС. Структура лшгвктично' ощнки буде мати вигляд: L = { Е' < Р' < N < Р < Е}, де Е' означае, що використання певно' ТЗЯ взагалi неадекватно для даного типу ПС, Р' - використання скорше неадекватно, N - нейтральна ощнка, Р - використання скорше можливе, Е - використання напевне можливе.
Для тако' структури лшгвштично' ощнки пропо-нуеться побудувати функщю приналежностi Харшг-тона [15].
Вона визначаеться наступною формулою d = е-е , де d - значення шкали преваг, Я - значення лшгвь стично' шкали L. Для задано' лшгвштично' шкали L функцiя Харiнгтона буде мати вигляд, який наведено на рис. 2.
у5
Рисунок. 2. Функщя приналежносп для експертноТ оцiнки адекватностi
Точками перегину е наступш: d(0) = 1/е = 0,37 та d(0,78) «1 - 1/е = 0,63 .
Функщя Харiнгтона була вибрана тому, що вона задовольняе вимогам до функцп приналежностi у даному випадку, а саме, вона безперервна, гладка та монотонна на всш областi визначення, ii чутливкть в крайнiх зонах менше, шж в середнiх, володiе такими властивостями як адекватшсть, статистична чутли-вкть та ефективнiсть [15].
Процедура опитування експерпв включае в себе наступш етапи: формування списку експерпв, апрюр-на оцiнка компетентностi (формування бальноi оцiнки компетентностi на основi даних про експерта, ощнка кожним експертом компетентност iнших експертiв групи), анкетування, перевiрка узгодженостi думок експертiв, апостерюрна оцiнка компетентностi, вирь шальна ощнка компетентности розрахунок узагаль-нених ощнок.
Результатом експертного опитування е ощнки адекватностi застосування окремих ТЗЯ до того чи ш-шого типу ПС, яю потiм можуть бути використаш для визначення комплексноi ефективност застосування ТЗЯ.
Аналогiчна експертна процедура застосовуеться для ощнювання питомих трудовитрат, необхщних для застосування даних ТЗЯ для того чи шшого типу ПС. У цьому випадку застосовуеться не лшгвштична, а чисельна ощнка, що вщображае юльюсть годин, по-трiбних окремому експерту, щоб дослiдити показники якоси певного типу ПС використовуючи вщповщну ТЗЯ. Для пiдвищення точност сумарноi оцiнки ек-сперти визначають трудовитрати окремо для етатв створення моделi, проведення експерименту та аналь зу результатiв.
Для зменшення можливого впливу випадкових факторiв експертна ощнка кожного з етатв роби включае песимштичну, iмовiрну та оптимiстичну складов^ з яких вираховуеться сумарна ощнка очжу-ваних питомих трудовитрат.
3.3 Визначення комплексно! ефективност застосування ТЗЯ
Враховуючи положення, як розробленi в п.п. 3.13.2, остаточний мехашзм для визначення ощнки ефек-тивностi застосування тiеi чи шшо' ТЗЯ з урахуван-ням рiзних типiв вiдповiдних ПС можливо розглядати як 3-х вимiрний шформацшний простiр, який наведено на рис. 3.
Ефективнють застосування ТЗЯ
Методи ТЗЯ
Типи ПС
Рисунок 3. 3-х вимiрний проспр для визначення комплексноТ оцiнки ТЗЯ
Його структура побудована наступним чином: по оа абсцис розташоваш визначеш в п. 3.1 окремi типи ПС, яю вiдповiдають '¿х позищонуванню в системi ква-дрантiв I - IV (див. рис. 1), а по оа ординат позначен рiзнi методи ТЗЯ, якi згвдно зроблених в п. 3.2 при-пущень, можуть бути застосованi для '¿х дослiдження
1.0
0.5
щодо забезпечення 2-х показниюв якостк продуктив-ностi та надiйностi. Тодi комплексна ощнка ефектив-ностi застосування певно' ТЗЯ вiдносно того чи шшого типу ПС, яка враховуе як и мiру адекватностi так i питому трудомiсткiсть застосування, позначаеться як нормована величина, яка вщкладаеться по оа аплiкат цiеi системи координат (див. рис. 3).
Слщ зазначити, що структуроване таким чином графiчне подання взаемозалежноси цих показниюв (з урахуванням системи квадрантiв, яка наведена на рис.1) дозволяе не тшьки наочно представити результата застосування експертних процедур, як визначеш в п.п. 3.1-3.2 цього роздшу, але й може бути викори-стано як прототип вiзуального штерфейсу перспективного програмного СASE-засобу для автоматизацп запропонованого пiдходу.
4. Висновки та деяю напрямки подальших дослщжень
В данiй науковiй CTaTTi:
1) показана актуальшсть проведення дослiджень щодо ощнки ефективносп застосування рiзних техно-логiй забезпечення якостi ПС;
2) запропоновано новий тдхщ до виршення цieï проблеми, який одночасно враховуе декшька чинникiв впливу та дозволяе структурувати ïx взаемозв'язки в багатовимiрному iнформацiйному просторi;
3) визначенi основш етапи розробки комплексно' методики, яка дозволяе отримати кшьюст оцiнки ефективноси використання ТЗЯ з застосуванням знання-орiентованиx, експертних методiв обробки вiдповiдноï шформацп.
Отриманi результати можуть бути, зокрема, практично застосоваш для визначення показниюв якостi при розробцi та модершзацп ПС, якi працюють у реальному масштабi часу у складi АСУ ТП на об'ектах нафто-газовидобування в Харювському регiонi.
Лиература
1. Трофимов С.А. Case-технологии. Практическая работа в Rational Rose. - М.: Бином, 2003.
2. Андон Ф.И., Коваль Г.И., Коротун Т.М. и др. Основы инженерии качества программных систем. - 2-е изд. - К.: Акадампериодика. - 2007.
3. Офщшний 1нтернет-ресурс консорщуму SWEBOK: www.swebok.org
4. Ткачук Н.В., Аль-хассание Захер, Полковников С.В. Разработка и исследование адаптивных схем обмена данными в информационно-управляющих системах реального времени // Вюник НТУ "ХП1" - Харгав: НТУ "ХП1". 2007. - № 7. - С.101-109.
5. Лаврищева Е.М., Рожнов А.М. Концепция аналитической оценки характеристик качества программных компонентов // Проблемы программирования. - 2004. - № 2-3. - C.180-187
6. Skene, J. and Emmerich, W. A Model-Driven Approach to Non-Functional Analysis of Software Architectures // Proceedings of the 18th IEEE Conference on Automated Software Engineering, October 2003, Montreal, Canada. IEEE Computer Society Press, pp. 236-239.
7. Rodrigues, G.N. and Rosenblum, D.S. and Uchitel, S. Reliability Prediction in Model-Driven Development // Model Driven Engineering Languages and Systems: 8th International Conference, MoDELS 2005, Montego Bay, Jamaica, October 2-7, 2005. Proceedings. Lecture Notes in Computer Science (3713). Springer-Verlag, Berlin / Heidelberg, Germany, pp. 339-354.
8. Wu X., McMullan D., Woodside M. Component Based Performance Prediction // Proceedings of 6th ICSE workshop on Component-Based Software Engineering (CBSE 2003), 2003.
9. Смит К., Уильяме Л. Эффективные решения: практическое руководство по созданию гибкого и масштабируемого программного обеспечения. : Пер. с англ. М.: Изд. "Вильямс". - 2003.
10. Bucchiaronel, H. Muccini, P. Pelliccione, and P. Pierini. Model-Checking plus Testing from Software Architecture Analysis to Code Testing // Proceedings of International Workshop on Integration of Testing Methodologies, ITM '04. October 2004.
11. E.M. Eskenazi, A.V. Fioukov, D.K. Hammer, H. Obbink. Performance Prediction for Software Architectures // Proceedings of PROGRESS 2002 workshop. Netherlands, 2002.
12. Ткачук Н.В., Горелый А.В., Земляной А.А. Комплекс имитационных моделей для исследования компонентных программных решений в ИУС АСУ ТП // Вюник НТУ "ХШ". - Харгав: НТУ "ХШ". - 2004. - № 18 - С.121-128.
13. Земляной А.А, Ткачук Н.В., Гамзаев Р.А. Комплекс моделей технологии прототипирования для адаптивного проектирования компонентных программных решений // Вюник НТУ "ХШ" - Харюв: НТУ "ХШ". - 2008. - № 5. - С.97-107.
14. Ткачук М.В. Модели методи та шформацшш технологи адаптивно! розробки i решжишрингу шформацшно-управляючих систем // Автореф. дис. на здоб. вчен. ступеня д-ра техн. наук. - НТУ «ХП1», Харгав, 2006.
15. Ю. П. Адлер, Е. В. Маркова, Ю. В. Грановский. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1976. - 280 с.
16. Гультяев А.К. Matlab 5.3 - Имитационное моделирование в среде Windows: Практическое пособие.- СПб.: Корона принт, 2001.
