CC BY
20
ИНФОРМАЦИОННО-МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ КОНТРОЛЯ КАЧЕСТВА КОМПЬЮТЕРНЫХ ПРОГРАММ
Бурый А.С.*
Ключевые слова: программные продукты, бинарные отношения, признаки качества, признаковое пространство, сертификация программных средств, диаграмма размаха, диаграмма Хассе, меры сходства.
Аннотация.
Цель работы: совершенствование научной и методической базы сертификации программной продукции как элемента нормативно-правового регулирования в области стандартизации.
Методы: информационный анализ, моделирование, дискретный анализ, статистический анализ, экспертное оценивание, функционально-логическая классификация.
Результаты: на основе существующих тенденций в области развития методов интеллектуального анализа данных показана актуальность разработки методов информационной поддержки принятия решений в ходе тестирования программных продуктов при их сертификации и предложен понятийный аппарат для научно-методического представления и теоретического обоснования разрабатываемых методик тестирования программных продуктов, основываясь на аппарате бинарных отношений и модификации мер сходства, за счет их обобщения относительно выбранных параметров; достоверность сделанных выводов подтверждается результатами моделирования процесса сравнения объектов контроля относительно бинарных признаков для выбранной модели и уровня меры сходства.
Р01: 10.21681/1994-1404-2019-2-15-25 Введение
Развивая идею совершенствования методического инструментария взаимодействия организационно-технических структур за счет выявления когнитивных факторов в информационных коммуникациях в ходе подготовки и проведения тестирования программных продуктов, изложенную в [5], предлагается общетеоретическое обоснование основного применяемого понятийного аппарата. Основное практическое приложение предлагаемого подхода направлено на методы экспертного оценивания, в основе которых все активнее используются бинарные отношения, реализуемые в процедурах ранжирования (упорядочения), отношения эквивалентности и сходства. Наибольшее распространение при выработке персональных и коллективных экспертных оценок получили способы на основе парных сравнений, а также на основе вектора предпочтений на элементах проблемной ситуации, которые наиболее применимы, на наш взгляд, на этапах тестирования программных продуктов. Федеральный закон № 149-ФЗ «Об информации, информатизации и защите информации» определяет информационные ресурсы как объекты отношений между физическими (юриди-
ческими) лицами и государством, подлежащими обязательному учету и защите как всякое материальное имущество собственника1. Оценка информационного уровня качества представляется как совокупность процедур по выбору номенклатуры показателей качества (ПК), характеризующих информацию. В зависимости от типа программных продуктов выделяются приоритетные ПК, большинство из которых имеют вероятностно-временной вид, оценивают эксплуатационные факторы [4], защищенность [2], а также эргономические свойства программ [8, 9]. Активное применение методов искусственного интеллекта и машинного обучения при разработке методик тестирования программных продуктов связно с переходом к процедурам постоянного контроля качества программных изделий за счет автоматизации тестирования, что особенно важно в условиях постоянных доработок программ и расширении решаемых функций2. На рис. 1 показаны направления совершенствования моделей качества (МК) программных изделий. Представленные результаты получены на
1 Об информации, информатизации и защите информации [Текст]: Федер. Закон от 27 июля 2006 г. № 149-ФЗ. URL: https://fzrf.su/zakon/ ob-informacii-149-fz/ (дата обращения 23.05.2019).
2 Makadia M. Why AI and machine learning will redefine software testing in 2019 // DZone. URL: https://dzone.com/articles/why-ai-and-machine-learning-will-redefine-software (дата обращения 31.05.2019).
* Бурый Алексей Сергеевич, доктор технических наук, эксперт РАН, директор департамента ФГУП «Российский научно-технический центр информации по стандартизации, метрологии и оценке соответствия», Российская Федерация, г. Москва E-mail: a.s.burij@gostinfo.ru
Рис. 1. Оценка направлений потенциального улучшения моделей качества
основании проведенного опроса среди /Г-директоров, которые по 10-бальной шкале давали оценку каждому направлению3. С помощью диаграмм размаха (box plot) удается визуализировать выбранные направления развития моделей качества, применяя описательные статистики и такие параметры, как межквартильный размах, максимальное и минимальное выборочные значения, медиана и др.4 Практически все направления являются востребованными и получили высокие оценки потенциального роста в системе управления качеством (QMs). Наибольшие параметры размаха в моделях стандартизации и сертификации объясняются дополнительными временными затратами на выполнение данных организационных процессов, которые, следует заметить, не являются обязательными в процессе жизненного цикла (ЖЦ) программной продукции.
Основные понятия признакового пространства оценки качества
Формальное представление признаков качества, каждый из которых, как правило, характеризуется своей шкалой, можно представить в виде кортежа N w \ , где N — имя у-го признака, а WN^ —
р 'vn.
значение признака в заданной шкале измерений. С другой стороны, в контексте теории отображений:
f: Q ^ D
где D
f
(1)
f
множество допустимых значений при-
3 Lochmann K. Defining and assessing software quality by quality models // Thesis was on 31.07.2013 at the Technical University of Munich. URL: http://mediatum.ub.tum.de/doc/1169637/955300.pdf (дата обращения 31.05.2019).
4 ГОСТ Р ИСО 16269-4-2017. Статистические методы. Статистическое представление данных. Ч. 4. Выявление и обработка выбросов. Введ. 2018-12-01. М.: Стандартинформ, 2017. IV, 48 с.
знака, которое представляет собой знаковую систему; Q — множество признаков, характеризующих программные средства (ПС) в виде вектора Ч = (/1(У),-",/и(У)), Ч еQ. При этом структура признакового пространства имеет вид:
Q = х — х Вг х — х , у = 1, И . (2) При теоретико-множественном представлении метрологических задач измерения признаков качества ПС измерительная шкала для признаков качества записывается в виде кортежа (о, Б/ , /^, объединяющего множества признаков 0 , мнножество допустимых значений признака — для у-го признака и соответствующее отображение /. Такие тройки являются морфизмами [12], т. е. отображениями, с областью определения 0 и областью значений . Любой морфизм ассоциируется с соответствующим образом ип/ и ядром кег / в виде:
1ш / ~ У1 С(0 кег 1 ~ У71(£°
В ходе испытаний ПС производят измерения необходимых признаков качества и сравнение полученных результатов с требуемыми (эталонными) значениями. При этом выполняются следующие аксиомы:
1). Аксиома соответствия эталону. На шкале любого у -го признака качества существует значение, со-
ответствующее эталону С^Уревано коткРого должен обеспечиваться для тестиууемого Cd [11]:
djH< Щ)<аi]e, (3)
причее нижняя и верхняя границы инте°>вала шкалы1
2). Аксиома предпочтения эталону. Пре,цпо^тение
т э
отдается эталонному приз наку качества, если 4} " Oj, что представляется предикатом вида:
^(вЛОтуелВ)' j
где Рг> — ппеМикат предпочтенэя, т. е. выерлне-ния фебованн0 к ПС, нтраженныхс ппипнелах И относительно факти чес ко го ( и а мере н но го) з нал ения евн-ногопризнака (свойс тва ПИ— —Д^У '.У=Да •
ЗГ Косиоаен обобнйетного оцениеария. Ыля а1"|р^^кгрю-взния оненоп, полоапнныю на еозоых шаалнх яо аруепп признаков наоснованииихсвертки ипредставленияв виде функцииполезности [11,14]
Ф, : Dj (((а [ (( , 1 ( ( (5)
как некоторойстепе ни прлгодности объекта оцнни-вания(тестирч>впния,конароля) пффекднвноеу лел пв^з муиспользованию приемлемым ипособол. Для теоно-сертифияацня НС црлавой является задача кон-тооляаяизназов качестна (ЗКН) ПС в ходесравнения ихзэнаооннр|ми выбранного типа
программногосредства. Базируясь насистемном подходе к оценке состояний сложных динамических объектов, мнжнн Пассматряоать системууправлениясер-тифияацяеопродукрии, зоовооопой испытательными подраздрлкнияло,как спожную зшстему сизменяемой динамикой при переходе от одного этапа испытаний к последующему этапу. Объектами управления при этом выит^аюа нрдаоьеыа изме^аельныекомплексы [3, 10], технологическиепроцессы, методики испыта-геа, нОнспокивающие досTi^r^^n^^ целей управления. Когда объектами управления являются технологии, в том числе и технологии для обеспечения ЗКП, на этапе пкеояэри то ьаогоанэлиза осущопт вляется подготовка озъзктовзестнровангя^точгение спецификации выполняемых программным средством функций; уточнение контролируемых признаков; привлекаемые модели измерений и др. По завершению программы оценивания ПК дзкзется заклюгониоо оопаветствии тестируе-нмй пкндщрции оаязленооо фонкциональной (стратегической) цели — требуемым уровням качественных и количественных показателей качества для рассматрива-кзя^о эзапа оуществнзнн ия дюазмич еской системы5, что Нслнсно озоззочаячся зак Ц ( Sj) для Sj-го объекта, входящего в множество S, т. е. Sj £ S, j = 1н | S| .
Для формализации операций сравнения аценивае-мого ПО с пграметрами криннаков эляло н ного образца вводятся следующиееееошения [3]:
и) отронпение эвнила.^7еяр?еясти Е имеак кесто пзи равенство щелеоото ф^кционала объекта ацени-вания и лталона, о.«?. Ц ^) = Ц ( О , т.е.о баект эк-ии^^/^из^^н по ф^дциональному на ипачению (вотен--иалв) эаалоолоиу обраацу, вто предстанляется в виде: д004;
Ь) отношению завтианого порядки для оЗъзктов, имеющих общий целевой функционал, но упорядо-ден1^1^1ъоо оровнюпризнаков качество, вогда вое пза-знаки не хуже соответствующих эталонных значений, ц е. > (Jj, что представляется отношением вида: 5..Р5У при нравнении с эталоном или отношением
5,.Р5,, при 1 Ф /, например, при попарном сравне-
1 е р
нии в ходе контроля партии ПС.
Здесь под отношением понимается взаимосвязь и хдрнктео пиннолажения злеорнтов (соэтоялтй, отй-ствий)определеннойсистемыили однойсистемы от-носительнодругой. Невдаваясьвподробныйанализ алгебры отношений6, следует заметить, что бинарные отъдшения исподьтуютта Дая униоедсальногоа писа-ни!я связеймвоеду элементами вазлнчной природы: информационных, структурных, функциональных, математических и др.
На основании отношения эквивалентности (сходства) можно группировать объекты с одинаковыми признаками, например, утверждать, что объект 1 — 01 и объект 2 — 02 эквивалентны по соответствующему признаку качества, что характерно при решении задач распознавания образов, при описании структур данных в базах данных, выделяя их в определенный класс.
В задаче контроля и измерения признаков качества важным, с точки зрения алгебры построения сигнату-ры(набора операций над множеством данных и отношений, включая приведенные определения и связанную с ними аксиоматику) решаемых измерительных задач, является понятие близости признаков качества к существующим требованиям и нормам (для многопризнакового сравнения объектов, когда в пространстве качественных признаков сравниваются векторные признаки качества).
Для оценок объектов по множеству признаков система предпочтений должна строиться на таких свойствах бинарных отношений, как рефлексивность (или асимметричность), транзитивность и связность. В табл. 1 показаны примеры использование бинарных отношений при реализации различных процедур сравнения объектов и обоснования предпочтений между сравниваемыми признаками. Основными из рассматриваемых свойств, применяемых бинарных отношений в ходе решения задач сравнения, являются связ-
ГОСТ Р 57700.3-2017. Численное моделирование динамических
рабочих процессов в социотехнических системах. Термины и опре- 6 Соболева Т.С., Чечкин А.В. Дискретная математика. Углубленный
деления. М.: Стандартинформ, 2018. IV, 11 с. курс: Учебник. М. : КУРС: ИНФРА-М, 2017. 278 с.
5
Таблица 1
Соответствие способов сравнения объектов типам бинарных отношений
Способ сравнения объектов Свойства бинарных отношений
Попарное сравнение Рефлективность; антисимметричность
Сортировка Рефлективность; симметричность
Ранжирование Рефлективность; транзитивность
Попарное выражение предпочтения как доли суммарной или относительной интенсивности Связанность элементов внутри классов
Проверка на согласованность предпочтений экспертов для устранения противоречивыхсуждений Транзитивность; антисимметричность; связанность элементов внутри классов
ность получаемых оценок о результатов, а также транзитивность (отсутствие циклов в отнокениях).
Одним из недостатков ранжирования как метода субъективного измерения является практическая невозможность упорядочения бол ьшого числа обнекнол ил и числа призна ков. Как показывает опыт, эксперты затрудняются в птоведании рплжированин датаых при росте признаков Нодее 15—20, так кик квлидество ыза-имитрязпо межеу илемрнттмп растит срипосеаонылт-но ккадрьту несла еИъектот тяавеенит, ото привопит касто а р>саету ошиСоэных ряршкнше в ходе шкстоееянгл одеиитанио.
Андьнз видукт^аые своЫспв тввли<а<и-в оцевио нлчествз
Множество всех объектов П С, ихктирт/емых в пкп-оесссскроифтсацпи, рассмтнлняивття оак п^карао-ссао П31сп ^^оиичи косооола приннагор кочернеа (ЗКП2 яелючающае множества ебърктые иттоадзакния, от-иошнттй эквывклеиенытви и чзонвчной упо^ывытеркы-сти, объчдннсемьив ыилекоН флтыхсонслкноИ ш^ппэг!в^ леннлетью:
яонт^пкл Сбп
Применимость р-ассяптткааемых отношспий ояее-стесим рче шлрчие прчонендя объечто: чцоог"р»еччлп^ ивЫ ородуныии гио етвио1\л ичкеисотевцр^аел, тоода взфпжтнлс ылт врктнес соирнааыэ ктсдечие Днват Е!кы1юча^д дха этымонтп (ввд ичорнвспакзО — Вг- = ^би ТС р } • 1Вт" бодсывни намол объекте р - я^дстсекм ечкиепалввок псосттаастод а нрде нлтн1г(астн т^тд (Пис- 2) На рас Ы вы,сти.п.сн^1 аетыре пкдобласан в аткисимосеи оы срщеатвалчщмв ьребовениа к рТ|В>|эаил1э1о/1 поизиткяе тссдетвь (ПрК)„ ковбяыр овавытлие соотееисты^щиыс эталонными зичоениядм ¿5 и ¿Д, амаксимальновоз-млжныз их знячснрт (уроени максимумдв) отмечнтм! как гпах^т, М^ДП. Для многих признаков максимальный уровень ПрК равен единице, а метод оценки показателейкачества — экспертный.
г«,
2 ® $ в 0 ■ о А "
1 О 1 О О О 3 €
та>
Рис. 2.Л одабласти признаковогопространствапо роволко7етао тонте^воооя во -голкио крогооьзвг
Объектытестирования нарис.2обозначсны либо п^нрачнымкружком — неудовлетворяющиетребо-адткиопыт к врыхниятм ъ и Да ипринадлежащиеподо-бластхо 1, ли°отвнно-Делын ор>°/>кн(оп, ккгда тостилр-€^глг>1т1 объевт только по одвнл- из ПрдРч поьткттствует тркбоватиям — это прдобласти 2 и р, лвбо тантрито-ваннит орткудэгрлчнивдм, копдо еоНп ПрЛ сл х>чжл вта-лонньо ераэеидй — л одобпастм а. Отдьлнно иыдеиет сектор т [(мпах кичниото опр>(Пг""-?леин^1 (ттнешеплт эквивкеантности ^раоьоаоркэаемых ПрПт ьоотпмр-ствующими уровнями требований. Необходимость подобласти 5 объясняется возможной погрешностью оцениванияприизменениях отдельных ПрК. В идеальном сл^ое соктсф0 сьфвждмттся в косну с гаорцптат тами О^Кв).
Отношения частичного порядка Р характерны дляподобластей 2 и 3,когда необходимоупорядо-читьобъектыпоотдельнымпризнакам,например,в ходекатегорированияоцениваемыхПСсцельюпри-своенияпониженнойкатегории(по согласованиюс
18
Правовая инфооматива№2л 2019
ma xq
подобласть 4
max q
4101
s)
Рис.З.Примерыобъектовтестированияподвумпризнакамкачества(а) ивариантупорядочениявыбранныхобъектов(Ь)
Заказчиком), когда требованиями к отдельным (яе-сущест венным) Пуа j\/io>ibho не уьииы ib^tiu. ионечнок упорядочеинав мсожество грьДиьески ыаибркжяют с поиыщию диагрумм Хасс^7. При т^тяхтл каждые элемент мсожествь кяоМдажаитвя ваттскоянв графю. Еали «Ръркт х домининкет над ибхнттоз у (ищк зри-ееняют нкрмин си «<иокаываев»т), тл зеонвина е раыто-лагаетсо ввсоит вершины! у, и втрпнеы сседсннытея НТЖру POCO0 ИфЯМОд ЛбХИЛИ »ПЯбрОМЛ е^-голл^с соот-ветствытг мооеычтичеткяя вакиок: 0<ЯО; еслimi (1) ваыоолвявтся »у ^ » и (2) низ сощнравурт (тгантоа -О ) такого z, что у < z < X. Формально диаграмму Хассе Н(Р) можно представить совокупностью отношений следующего вида:
Н(Р) = {(у,х) е Р, -i3z е X(yPz л zPx)}
Связи в подобных диаграммах могут пересекаться, но не должнн! ороходитг чекзек вррниры, исвт они тилено ыс ивлмювко ^оеи^иасти линий прежде а.^bi^írioll^ими сокавятстиующре отнаыоткв. На оуамею подоблаи сти O (рыж feea. В", дон ыиото|)>сг1( сараоттрно, Ч11(г значив ния рнсымат^вптмыс Птт не хужо воооаехитвкрщих эталонных значенкй, мождн показать применимость отношения частичного по рядка при сравнении про-граммныхсредстводноготипа.Для этогоподобласть п предснивнм nia тня. Ва, еа соттром \иМят мсслт 1 до 1 обозачмена яевусоглсы оце^ниЕзги-ю^я о0ъекиов -яси-градмныт сридивв) по .с}:™ пры^он;в кам. l^tBOf^fla н ат>»1 ко жда го н в о бкы ктов | г., j И уч ), i = 1 , В ео отв итсивуюк значениям признаковкачествк. В приведевном на аис Запримере для наглядности объекты тестирования характеризуются двумя признаками, хотя в общем случае это может быть гиперкуб с размерностью, равной числу оцениваемых признаков качества рассмамриааемо-го типа ПС.
Вариант диаграммы Хассе для модобаамваМ мред-ставлен на рис. 3b. Визуальнаямамроаия получемо воа-
7 Там же.
щением исходного рис. За на 45° относительно центра подобласти 5. За нмчалонне зотчомао (минимрльный элемент) для упорядочения дамного набора оОъектов паооеб тс^зик^ «О», соотдатсчвуещою юэтг1Я1С)нны1\т парв-метрао (объекта-облозца) тестттрииодо типа ПС. Дтт ддннтго мримора, аса (давсматепвакмые вОъиктыы (1.. .37) по хриомаклй закосив 61 и от 5ооямв 2одотттолонныо помтоетрон но тробнюч о/еопяои^Ч1С°на1(Т(^(ги яоЕ-пн! т^,оач и кыСора тлн (ямнжтрюоа 1-101 я чк лзметмнмыо тнаооноам пиизааков ^.ачеиичтЕзоа!.
Для постройснппз тврзтй л^^ж.я)/ коба>данчтам» нер-шин 1 внр тля ндух одзододных поизыаолв быиества С/1 и д2 ооопооьеуемня мп^иооП, раыной кчадраа0 расстояния от медсмальонло алемента «О» до снотзет-оевующыго) оХътатт — сагн2, т. т. « =0. + -Н- н= ч7 т-Полупкебвю ртветохвнц прсдктавсм в декнчнор коде р мооятооо в тд°>л. 2 Для рпо|оадосе о1ло чпршмк и по-яоротлия святиЧ сиосамии 1\^^т|эии1;и рЧн ттоеоояной Ктоиехки юио^илес^^ вскми внчотнамк кию тсани ризеы-дов, на которое отличаются два двоичных кода. Еще расстояниеХемминганазывают мерой близостибуле-выхвектороввходеанализаданных.Так,для размера булевоговектора,равного ^,имеем:
р\(детН0 = ^¡Р -П], н,р = Д7 я е. ....(7)
Результаты вычислений по (7) поместим в табл. 2. Анализ матрицы расстояний Хлмминпа показываек, что тс начального элемснта з<0» мниимнльчсму раснто-ынзи^ р/^у соответствуетобъектсномером 1.Переход из точки 1, а преимущество в организации связи между вершинами отдается минимальным расстояниям по коду Хемминга, т.е. единичным, возможен в вершину 2.
Из вершины 2 условию единичного расстояния удовлетворяют дваперехода:ввершину 3 иввершину 4 (см.рис.ЗЬ).Продолжив построение ребердиаграм-мы Хассе, получимнаибольшийэлементдля данного примера (вершина 7). Уровни диаграммы Хассе будем обозначатьримскимицифрамиот I до IV (по числу значимых разрядов двоичного числа).
Таблица 2
Результаты вычислений для построения диаграммы Хассе
Номер объекта, 1 < сГ- в двоичном коде Расстояния Хемминга между вершинами
1 2 3 4 5 6 7
1 1 00001 0 1 2 2 3 3 4
2 5 00101 1 0 1 1 2 2 3
3 7 00111 2 1 0 2 1 3 2
4 13 01101 2 1 2 0 1 1 2
5 15 01111 3 2 1 1 0 2 1
6 29 11101 3 2 3 1 2 0 1
7 31 11111 4 3 2 2 1 1 0
Для любой эквивалентности Ее Е справедливо утверждение о возможности декомпозиции области отношений эквивалентности Е целевого функционального пространства относительно любого типа программных средств по выбранному классу признаков качества. Причем эквивалентные отношения возможно рассматривать, как относительно отдельных свойств (признаков), например, устойчивость функционирования, работоспособность, так и относительно комплексных показателей качества, например, показателей надежности ПС, показателей сопровождения, показателей эффективности и др.
Важным выводом для отношения эквивалентности является то, что для ряда операций над отношениями справедливо следующее: пересечение отношений эквивалентности также образует отношение эквивалентности, что позволяет проводить агрегирование отношений Ее Е при контроле многопризнаковых объектов.
Известно, что любая эквивалентность Е е Е в принципе позволяет образовать декомпозицию общей задачи контроля признаков качества на смежные классы из ( / Е , или осуществлять их объединение:
и Ы, = 2,
Че(2
где {ы}е — набор признаков качества (смежный класс) признаков Ы е ( ; ( / Е, = {{а}^} — фактор-множество (множестео всех классов эквивалентности); Е/ е Е, индекс / определяет класс эквивалентности, например, в соответствии с выбранными факторами качества программного средства заданного типа.
Величина индекса / сверху ограничена мощностью множества (, т. е. / < |(|, когда каждый признак образует свой класс эквивалентности, однако нас интересуют классы эквивалентности, соответствующие заданным наборам признаков, типам ПС, комплексным свойствам программных продуктов и др.
Меры сходства и различия при контроле признаков
Выбор решения на множестве альтернатив всегда был и остается искусством формализации задачи выбора с множеством условий и интуитивных заключений. Эксперт или лицо, принимающее решение (ЛПР), в ходе решения задачи контроля качества на основании полученных фактов (измерений), представленных в количественной или качественной форме, выносит суждение о сходстве исследуемого объекта с некоторым образцом (эталоном). Для контроля признаков качества и отнесения программного изделия к определенному классу путем оценки близости на основе мер сходства и расстояния.
Существование мер близости позволяет в ходе исследования решать такие задачи, как поиск отношений с определенным (заданным) набором свойств; классифицировать экспертов по формируемым ими решениям и оценивать непротиворечивость последних; строить итоговые выводы на основании мнений экспертов.
Набор признаков, характеризующих конкретный образец программного средства, может быть достаточно большим. В этой связи активно развиваются методы сжатия данных [3, 16] и количественной оценки интегрированных свойств (признаков) измерительной информации. В ходе решения задач распознавания образов, классификации объектов ключевая роль принадлежит мерам сходства.
Будем считать, что два элемента х, у е X называются сравнимыми элементами множества X, если либо
Х~Ру ,п\л6оу? X.
В работе [5] и прилагаемой к ней библиографии отмечается, что функцией, определяющей меру близости двух векторов, является расстояние, которое называют метрикой пространства. Существующие меры сходства можно разделить в зависимости от способа оценивания близости между объектами, поэтому это показатели:
- расстояния в метрическом пространстве;
- корреляционные коэффициенты (косинусные меры и др.);
- коэффициенты ассоциации, отражающие число совпадающих признаков к их общему количеству (коэффициенты связи, отношений, парного сравнения). Корреляционные признаки используют тогда, когда получен вектор оценок по всем признакам и известны влияния признаков друг на друга, сравнение объектов происходит на основании анализа обобщенной связи (корреляции) между векторами признаков. Для задач тестирования признаков качества программного обеспечения необходимо знание каждого признака, чтобы понять, соответствует ли он заданным требованиям, что не всегда возможно, отталкиваясь от комплексных оценок, к которым можно отнести коэффициенты корреляции.
Неотрицательная вещественная функция
С(0; , 0к) = {с]к} называется мерой сходства между
объектами О у и 0к, если выполняются следующие условия [1, 6] (неотрицательности, тождественности и симметричности):
a) 0 < С(0;,0к) < 1,к Ф ) ;
b) (Оу.Оу) = 1; (8)
0 с{орок) = с(ок,о^
Матрица мер сходства, в отличие от матрицы расстояний (по диагональным элементам), имеет вид:
Мера сходства принимает минимальное значение, равное 0, если отсутствуют общие признаки у сравнива-
Таблица3
Варианты распределения бинарных признаков для двух объектов
Признак 1 Признак 2 Сумма по строке
Есть Нет
Есть a b pl = a + b
Нет c d ql = c + d
Всего p2 = a + c q2 = b + d a + b + c + d
емых объектов, и равна 1 при полном совпадении объектов. Величину Сд. называют коэффициентом сходства [6 ]. Для двух бинарных признаков 1 и 2 в качестве примера представим (табл. 3) ситуации, когда для каждого объекта тестирования признаки присущи либо нет.
Для исех четырех ситуаций, представленных в табл. 3, О. — число совпадений по единичным признакам; Ъ — число «1» по признаку 1 и «0» по признаку 2 и т.д. Суммарное выражение для общего числа комбинаций: а + Ь+ с + с1 = п.
Рис. 4. Пример расчета частотных параметров а, Ь, с, d
Для примера рассмотрим сравнение двух векторов X и у (рис. 4), соответствующих двум объектам, с числом признаков 71 = 10 . Воспользовавшись логикой формирования табл. 3, определим значения а, Ъ, Сосуществующее многообразие мер сходства иногда объединяют в параметрические семейства [15], обобщая их формализованное представление, основываясь на связях (линейных или нелинейных) между элементами (частотами появления признаков и других характеристик). В табл. 4 представлены основные и наиболее популярные меры сходства8.
Так, меры 1—4 (см. табл. 4) можно обобщить с помощью выражения:
T =■
a
_, (10) а + 6(Ъ + с)
где 6 — некоторое положительное число, а меры 5—7 можно систематизировать с помощью выражения:
Q =
a + d
(11)
a + d + в(Ъ + c) Обобщая выражения (10) и (11), параметрические
d
(12)
семейства представляют в виде [15]:
с = а и С =_-__
(а) а + 6(Ъ + с) (а+й) а + й + 6(Ъ + с)
Изменяя параметр 6 в выражении (12) для С( ) , по-
(а)
лучаем еще одну форму представления мер сходства9 из табл. 4:
8 Choi S-S., Cha S-H., Tappert C.C. A survey of binary similarity and distance measures, Journal of Systemics, Cybernetics and Informatics, 2010. № 8(1), pp. 43-48.
9 Todeschini R ., Consonni V ., Xiang H ., Holliday J ., Buscema M ., Willett P. Similarity coefficients for binary chemoinformatics data:
Таблица 4
Определения мер сходства для бинарных признаков
№ п/п Название меры сходства Формула для вычисления Семейства мер
a a+d
1 Мера сходства Jaccard — Tanimoto с = a JT , г. , а + о + с e = >
T Gleason — Dice — Sorenson с = 2a CGle „ , 2a + b + c вЛ 2
— Sokal-Sneath (1) с = а SS> а + 2b + 2c e = 2
4 Jaccard CJ= Sk За + b + c 3
5 Sokal-Michtner n a + H д)Ш = k i a + b + c + H e = д
6 Rogers-Tanimoto с a + H RT a + 2 b + 2c + H e = 2
7 Sokal-Sneath (2) и 2a + 2H SS2_ 2a + Т+c+20 e=> 2
й )(0 = д) = с
й
JT
Рд и Р2 - й
с
( й )
С>2 )■
с
2й
Gle
Рд U Р2
(13)
Из выражения (13) следует важное обобщение10, что для параметров 0<#1 < 6г выполняется нестрогое неравенство С( а )(в2) — С а )($() при о гра н и ч ении вида 0 < С.а )(в) — Т . В выражениях (1 0)—(13) смысл г^арг^о^^т^р^с^в а,а+с1 определен согласно т^С5з. 3.
Для ряда случаев обработки качественных признаков сравниваемых объектов и О^ применяют теоретико-множественное представление признаков [1]. Если считать, что объекты О у и О ^принадлежат, соответственно, множествам X и У, то табл. 3 можно переписать в виде табл. 5 путем замены я ,
Ь =| X п У|, с =| X п У|, а =| X п У\, где X и У — дополнения указанных множеств, а XI , |У| — мощности множеств.
Для примера рассчитаем меру сходства двух сравниваемых объектов, один из которых может считаться эталонным, по группе признаков качества. Для этого воспользуемся бинарной матрицей Мв — Хц = {ОД} у которой столбцы соответствуют типу объекта (программного изделия), а строки — признакам качества (свойства).
overview and extended comparison using simulated and real data sets, J. Chem. Inf. Model., 2012, Vol. 52(11), pp. 2884-2901.
10 Warrens M.J. Similarity coefficients for binary data: properties of coefficients, coefficient matrices, multi-way metrics and multivariate coefficients, 2008, Ph.D. thesis, Leiden University, Netherlands.
Таблица 5
Теор(тико-мн ож(ств енн oe представление
мер сходства
Y Y
\X n Yl X n Y
X X n Y |X n Y
С учетом теоретико-множественного представления пространства событий на примере коэффициента Жаккарда-Танимото запишем выражение для меры сходства:
C =
JT
a X n Y
a + b + c X n Y+ X n Y + X n Y
Последнее выражение перепишем, исходя из двух признакового сравнения объектов, используя представления бинарной матрицы Мд [1 ]:
С(01;02)-
Li=1xii + Li=1xa Z.i=1xtixi2
гдер — заданное число признаков сравнения.
(14)
Эксперимент
Представим бинарную матрицу Мв для попарного сравнения восьми объектов пор признакам (р = 10) в виде табл. 6, где «1» соответствует наличию признака для объекта в выбранном столбце.
Таблица 6
Исходные данные о наличии признаков у тестируемых объектов
Oi O2 O3 O4 O5 Oe Oi Os
qi 1 0 1 1 1 0 1 1
q2 0 1 0 0 1 0 1 1
q3 1 0 0 1 1 1 0 1
q4 1 1 1 1 0 1 1 1
q5 0 1 1 1 1 1 1
qe 1 0 1 0 0 1 0 0
qi 1 0 1 1 1 1 0 0
qs 1 1 1 0 1 1 1
qo 1 1 1 1 1 1 1 1
qio 0 1 1 1 0 1 1 0
SU xa 7 6 8 7 7 6 7 7
С учетом выражения (14) и данных табл. 6 для всех пар сочетаний объектов определяются меры сходства и формируется матрица мер сходства в ииде табл. 7. Для примера для пары объектов О? и Оу получаем:
С(02,07) =
6+7-6
= 0,86.
Oi O2 O3 O4 O5 Oe Oi Os
Oi 1 0,30 0,67 0,56 0,56 0,63 0,40 0,56
O2 0,30 1 0,56 0,44 0,44 0,33 0,86 0,63
O3 0,67 0,56 1 0,67 0,50 0,56 0,67 0,50
O4 0,56 0,44 0,67 1 0,56 0,63 0,56 0,56
O5 0,56 0,44 0,50 0,56 1 0,30 0,56 0,75
Oe 0,63 0,33 0,56 0,63 0,30 1 0,30 0,30
Oi 0,40 0,86 0,67 0,56 0,56 0,30 1 0,75
Os 0,56 0,63 0,50 0,56 0,75 0,30 0,75 1
Матрица мер сходства симметрична относительно главной диагонали.
Отношение сходства можно определить с помощью порога 8 и меры сходства С(Х,У) [7]. Дескриптивные множества X и У сходны, если мера
сходства С(Х, К) не меньше некоторого порога, т.е.
С(Х, У) > 8, причем 8 — некоторое произвольное число (0 < 8 < 1).
По данным табл. 7 для заданного уровня <5 строится матрица сходства . Пусть 8 = 0,6, тогда для матрицы сходства С0 6 элементы формируются из условия:
(15)
3 (1, если Хц > 0,6 ; = [о,если < 0,6.
На основе матрицы мер сходства, представленных в табл. 7, и условия (15) для элементов матрицы сходства Со £ получим табл. 8.
Анализ различных уровней отношений сходства показывает, что чем ниже порог сходства, тем более слабые связи между признаками приходится учитывать при исследовании признаков качества объектов. Следует также помнить, что на структуру связей влияет выбранный вид модели меры сходства в соответствии с табл. 4.
Таблица 8.
Матрица сходства Со,6
Таблица 7
Результаты расчета мер сходства
Oi O2 O3 O4 O5 Oe Oi Os
Oi 1 0 1 0 0 1 0 0
O2 0 1 0 0 0 0 1 1
O3 1 0 1 1 0 0 1 0
O4 0 0 1 0 0 1 0 0
O5 0 0 0 0 1 0 0 1
Oe 1 0 0 1 0 1 0 0
Oi 0 1 1 0 0 0 1 1
Os 0 1 0 0 1 0 1 1
Заключение
Таким образом, развивая кластерный подход к задачам контроля признаков качества программного обеспечения [5] в ходе его тестирования, показано, что при сравнении качественных признаков программ в процессе экспертного оценивания необходимо использовать меры сходства, адаптируя их под инструментарий параметрического представления единичных признаков. Получаемый уровень сходства тестируемых признаков определяется внутренними связями между признаками и выбранными метриками сходства, которые, в свою очередь зависят от типа тестируемых программных продуктов. Получаемые по результатам испытаний сертификаты обеспечивают корректность правового регулирования информационных отношений в инфосфере.
Рецензент: Сухов Андрей Владимирович, профессор кафедры «Радиоэлектроника, телекоммуникации и нано-технологии» Московского авиационного института (национальный исследовательский университет) доктор технических наук, профессор, Российская Федерация, г. Москва. E-mail: avs57@mail.ru
Литература
1. Андрейчиков А.В., Андрейчикова О.Н. Анализ, синтез, планирование решений в экономике. М. : Финансы и статистика, 2002. 368 с.
2. Барабанов А.В., Марков А.С., Цирлов В.Л. 28 магических мер разработки безопасного программного обеспечения // Вопросы кибербезопасности. 2015. № 5(13). С. 2—10.
3. Бурый А.С. Декомпозиция распределенных отказоустойчивых информационно-измерительных систем // НТИ. Сер. № 2. 1998. № 1. С. 3—14.
4. Бурый А.С. Отказоустойчивые распределенные системы переработки информации. М. : Горячая линия — Телеком, 2016. 128 с.
5. Бурый А.С. Тестирование качества в ходе сертификации программного обеспечения // Правовая информатика. 2019. № 1. С. 46—55.
6. Дюран Б., Оделл П. Кластерный анализ. М. : Статистика, 1977. 128 с.
7. Загоруйко Н.Г., Борисова И.А и др. Количественная мера компактности и сходства в конкурентном пространстве // Сибирский журнал индустриальной математики. 2010. Т. XIII. № 1. С. 59—71.
8. Ловцов Д.А. Обеспечение информационной безопасности в российских телематических сетях // Информационное право. 2012. № 4. С. 3—7.
9. Ловцов Д.А. Проблема гарантированного обеспечения информационной безопасности крупномасштабных автоматизированных систем // Правовая информатика. 2017. № 3. С. 66—74.
10. Ловцов Д.А. Лингвистическое обеспечение правового регулирования информационных отношений в инфосфере. II. Качество информации // Правовая информатика. 2015. № 2. С. 52—60.
11. Микони С.В. Аксиоматика методов многокритериальной оптимизации на конечном множестве альтернатив // Труды СПИИРАН. 2016. Вып. 1(44). С. 198—214.
12. Солодовников В.В., Тумаркин В.И. Теория сложности и проектирование систем управления. М. : Наука, 1990. 168 с.
13. Телеметрическая система со сжатием информации: пат. 1425754 СССР: МКИ4 G08C 19/28 / А.С. Бурый, Д.А. Ловцов. 4195545/24-24; заявл. 11.02.87; опубл. 23.09.88. Бюл. № 35. С. 243.
14. Фишберн П. Теория полезности для принятия решения. М. : Наука, 1978. 352 с.
15. Batyrshin I.Z., Kubysheva N., Villa-Vargas L.A., Solovyev V. Visualization of similarity measures for binary data and 2 x 2 tables, Computación y Sistemas, 2016, T. 20(3), pp. 345-353.
16. Buryi, A.S., Loban, A.V., Lovtsov, D.A. Compression models for arrays of measurement data in an automatic control systems, Automation and Remote Control, 1998, Vol. 59(5), Pt. 1, pp. 613-631.
INFORMATION AND MATHEMATICAL SUPPORT FOR COMPUTER SOFTWARE QUALITY CONTROL
Aleksei Buryi, Doctor of Science (Technology), expert at the Russian Academy of Sciences, Director of a department of the Russian Scientific and Technical Centre of Information on Standardisation, Metrology and Conformity Assessment, Moscow, Russian Federation. E-mail: a.s.burij@gostinfo.ru
Keywords: software products, binary relations, quality attributes, attribute space, software certification, box plot, Hasse diagram, similarity measure.
Abstract.
Purpose of the work: improving the scientific and methodological base of software products certification as an element of legal regulation in the standardisation field.
Methods used: information analysis, modelling, discrete analysis, statistical analysis, expert evaluation, functional and logical classification.
Results obtained: based on existing trends in the field of development of intellectual data analysis methods, the topicality of developing methods for information support of decision making in the course of testing software during its certification is shown and a conceptual apparatus is proposed for scientific and methodological representation and theoretical justification of software products testing methods under development which is based on the apparatus of binary relations and modifications of similarity measures and uses their generalisations regarding the parameters selected. The reliability of the conclusions made is confirmed by the results of modelling the process of comparing the controlled objects in respect of binary attributes for the selected model and similarity measure level.
References
1. Andreichikov A.V., Andreichikova O.N. Analiz, sintez, planirovanie reshenii v ekonomike, M. : Finansy i statistika, 2002, 368 pp.
2. Barabanov A.V., Markov A.S., Tsirlov V.L. 28 magicheskikh mer razrabotki bezopasnogo programmnogo obespech-eniia, Voprosy kiberbezopasnosti, 2015, No. 5(13), pp. 2-10.
3. Buryi A.S. Dekompozitsiia raspredelennykh otkazoustoichivykh informatsionno-izmeritel'nykh sistem, NTI, ser. No.2, 1998, No. 1, pp. 3-14.
4. Buryi A.S. Otkazoustoichivye raspredelennye sistemy pererabotki informatsii, M. : Goriachaia liniia -- Telekom, 2016, 128 pp.
5. Buryi A.S. Testirovanie kachestva v khode sertifikatsii programmnogo obespecheniia, Pravovaia informatika, 2019, No. 1, pp. 46-55.
6. Diuran B., Odell P. Klasternyi analiz, M. : Statistika, 1977, 128 pp.
7. Zagoruiko N.G., Borisova I.A i dr. Kolichestvennaia mera kompaktnosti i skhodstva v konkurentnom prostranstve, Sibirskii zhurnal industrial'noi matematiki, 2010, T. XIII, No. 1, pp. 59-71.
8. Lovtsov D.A. Obespechenie informatsionnoi bezopasnosti v rossiiskikh telematicheskikh setiakh, Informatsionnoe pravo, 2012, No. 4, pp. 3-7.
9. Lovtsov D.A. Problema garantirovannogo obespecheniia informatsionnoi bezopasnosti krupnomasshtabnykh av-tomatizirovannykh sistem, Pravovaia informatika, 2017, No. 3, pp. 66-74.
10. Lovtsov D.A. Lingvisticheskoe obespechenie pravovogo regulirovaniia informatsionnykh otnoshenii v infosfere. II. Kachestvo informatsii, Pravovaia informatika, 2015, No. 2, pp. 52-60.
11. Mikoni S.V. Aksiomatika metodov mnogokriterial'noi optimizatsii na konechnom mnozhestve al'ternativ, Trudy SPIIRAN, 2016, vyp. 1(44), pp. 198-214.
12. Solodovnikov V.V., Tumarkin V.I. Teoriia slozhnosti i proektirovanie sistem upravleniia, M. : Nauka, 1990, 168 pp.
13. Telemetricheskaia sistema so szhatiem informatsii: pat. 1425754 SSSR: MKI4 G08C 19/28, A.S. Buryi, D.A. Lovtsov, 4195545/24-24; zaiavl. 11.02.87; opubl. 23.09.88, biul., No. 35, p. 243.
14. Fishbern P. Teoriia poleznosti dlia priniatiia resheniia, M. : Nauka, 1978, 352 pp.
15. Batyrshin I.Z., Kubysheva N., Villa-Vargas L.A., Solovyev V. Visualization of similarity measures for binary data and 2 x 2 tables, Computación y Sistemas, 2016, T. 20(3), pp. 345-353.
16. Buryi, A.S., Loban, A.V., Lovtsov, D.A. Compression models for arrays of measurement data in an automatic control systems, Automation and Remote Control, 1998, Vol. 59(5), Pt. 1, pp. 613-631.
