CC BY
74
КОМПЬЮТЕРНОЕ ОБЕСПЕЧЕНИЕ И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
УДК [614.23:616.71]:519.8
Г. А. Попов, А. Г. Попов
РЕЗУЛЬТИРУЮЩАЯ ОЦЕНКА ПРИ НАЛИЧИИ НЕСКОЛЬКИХ ВАРИАНТОВ ОЦЕНИВАНИЯ НА ПРИМЕРЕ ЗАДАЧ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ
Рассматривается задача выбора наиболее приемлемого варианта экспертного оценивания параметров объектов в ситуации, когда имеется несколько результатов. Построена процедура оценки степени приемлемости результатов экспертного оценивания при решении конкретной задачи. На основе сравнения оценок степени приемлемости предлагается выбирать наиболее приемлемый результат. Сформирован состав показателей, на основе которых оценивается степень приемлемости, приведены выражения для интегрального показателя степени приемлемости. Описано пять возможных способов обработки экспертных данных. На примере одной из задач из сферы информационной безопасности продемонстрирована процедура использования этих методов и сравнения полученных результатов. В качестве примера рассмотрена задача оценки степени уязвимости отдельных компонентов персонального компьютера по отношению к угрозам информационной безопасности. Выявлен наиболее эффективный метод обработки экспертных данных лингвистического типа - метод, основанный на рандомизации оценок экспертов и привлечении метода максимального правдоподобия. Предложен метод обработки экспертных данных, учитывающий степень компетентности экспертов только на основе проставленных ими оценок. Описана процедура формирования конечного результата экспертного оценивания при наличии нескольких вариантов экспертного оценивания совокупности объектов по заданной группе показателей путем интеграции всех результатов в один интегральный. Полученные процедуры могут быть использованы для обработки результатов экспертного оценивания объектов любой природы.
Ключевые слова: экспертное оценивание, способ обработки, уязвимость компонентов компьютера, интегральный показатель приемлемости результата.
Введение
При проведении экспертных процедур на практике часто имеется альтернатива выбора типа экспертной процедуры. Условно их можно разделить на четыре класса: методы непосредственной численной оценки; методы, использующие лингвистические, интервальные и нечеткие оценки; методы парных сравнений; методы ранжирования (методы перечислены в порядке убывания точности результатов, получаемых их основе, в задачах оценки характеристик объектов). Отметим следующее принципиальное отличие методов первых двух классов от методов последних двух классов. Первые два класса методов предполагают независимую оценку каждого объекта вне его связи с другими объектами. Методы же попарного сравнения и ранжирования, наоборот, ориентированы прежде всего на выявление места данного объекта в ряду всех других объектов, в сравнении с другими объектами, вне зависимости от абсолютных значений характеристик самого объекта. Данная задача наиболее интересна во многих сферах прикладного технического характера; ниже рассматривается одна их них - сфера обеспечения информационной безопасности объектов.
Методы каждого из перечисленных классов имеют свои специфические особенности, области применения, достоинства и недостатки. В частности, методы непосредственной численной оценки более привлекательны, т. к. позволяют получить численное значение оцениваемого параметра (объекта), но достоверность и точность этих оценок часто бывает низкой ввиду слабой структурированности оцениваемого объекта. С другой стороны, методы ранжирования не позволяют получить столь привлекательных численных оценок, но имеют существенно более высокий уровень достоверности результата.
В связи с вышесказанным возникает ряд проблем в организации экспертной процедуры. Выделим две из них: это, во-первых, в условиях проведения экспертных процедур разных типов при решении конкретной задачи выбрать тот из результатов, который наиболее приемлем, и, во-вторых, получить результирующую экспертную оценку в случае наличия результатов оценок по нескольким типам экспертных процедур на основе использования всех полученных результатов.
Исследований, посвященных анализу первой из указанных задач достаточно много [1, 2], работ же, связанных с решением второй из поставленных задач, практически нет. Близким по методам решения являются работы [3, 4].
I. Выбор критериев оценки результатов экспертного оценивания
Прежде всего опишем показатели, по которым будут сравниваться различные экспертные результаты и выбираться наиболее приемлемый из них. При сравнении различных экспертных результатов будем использовать следующие три показателя.
1. Показатель p1 степени согласованности мнений экспертов. Чем меньше значение этого показателя, тем хуже результат. В случае, когда эти мнения очень слабо согласованы, результаты экспертной процедуры обычно отвергаются. Например, если половина экспертов рекомендует красить изделие в черный цвет, а вторая половина - в белый цвет, то это не означает, что изделие нужно красить в серый цвет. Надо заново проводить экспертизу, привлекая более глубокие и убедительные обоснования мнений. Чем больше значение pl, тем предпочтительнее результаты экспертного оценивания при прочих равных условиях.
2. Показатель p2 близости результатов оценок отдельных объектов к их истинным относительным значениям (которые неизвестны) или к ранговым соотношениям между объектами. Наиболее близкими к истинным значениям обычно оказываются результаты, полученные методом непосредственной численной оценки, поэтому при определенном сочетании значений показателей p1 и p2 могут быть выбраны именно эти результаты, даже несмотря на относительно низкий уровень согласованности мнений экспертов. Чем меньше значение p2, тем предпочтительнее результаты экспертного оценивания.
3. Показатель p3, показывающий, насколько полученные оценки удобны для решения тех задач, для которых и проводилась экспертная процедура. В качестве примера ниже будем рассматривать одну из типовых задач процесса управления - задачу распределения ресурсов между различными объектами. Например, при высокой согласованности мнений экспертов результаты, полученные на основе метода попарных сравнений, могут оказаться предпочтительнее результатов, полученных методом непосредственной численной оценки. Чем больше значение p3, тем предпочтительнее результаты экспертного оценивания.
Опишем теперь возможные способы оценивания значений показателей p1, p2, p3. Ниже остановимся только на двух наиболее распространенных методах экспертного оценивания: методе непосредственной численной оценки и методе ранжирования.
Показатель p1 при непосредственной численной оценке может быть описан либо на основе коэффициента вариации при малом объеме выборки (меньше 7-10), либо с помощью критерия Пирсона (при объеме выборки больше 20-30), либо на основе коэффициента конкордации при использовании метода ранжирования. Поскольку обычно число экспертов невелико, то чаще всего для оценки степени согласованности мнений экспертов используется либо коэффициент вариации (при непосредственной численной оценке), либо коэффициент конкордации (при использовании метода ранжирования). Наполним выражение для коэффициента вариации. Пусть даны K объектов; на основе проведения экспертной процедуры с участием N экспертов
получена таблица оценок {xiJ}, где xij есть оценка /-го объектау-м экспертом; x1, х2 , ..., xK
- 1 « _ 1 N,
объектов, т. е. xi =—2Х/ и g7 = ^2 Г/ -xj) • Тогда коэффициент вариации оценки 7-го
объекта рг = = и в качестве коэффициентар\ предлагается величина р1 = тах{рг 1г = 1;К}.
Х
Показатель р2 может быть оценен следующим образом. В качестве меры отклонения оценок у-го эксперта от истинных оценок объектов можно рассматривать среднеквадратичную величину отклонения фигуры, составленной из последовательно расположенных прямоугольников с длиной основания 1 и высотой Ху для 7-го прямоугольника, от аналогичной фигуры,
1 К |
в которой высота 7-го по порядку прямоугольника равна Х7, т. е. величину 5у =—X- Х\ ,
К г=1
где xi - результирующая оценка 7-го объекта, полученная после обработки результатов экспертного оценивания. Ниже на примере будут представлены несколько вариантов получения результирующих оценок. Однако данная величина зависит от абсолютных значений оценок Ху, что затрудняет сравнение различных совокупностей объектов с разными масштабами объектов. Например, применительно к системам безопасности некорректно будет сравнение показателей эффективности обеспечения безопасности на основе величин 5у, поэтому от абсолютных оценок 5у необходимо перейти к относительным (безразмерным) оценкам, которые предлагается
получать на основе деления абсолютных оценок на их максимальные значения. В данном случае таковыми оценками являются величины (относительные меры близости оценок у-го эксперта к оптимальным значениям)
К
5; XI* " Х1
А, =-1-=-^-гг. (1)
тах(5^) К тах( ^ - х1)
к г,к
Отметим, что А у е [0; 1]. Тогда в качестве оценки р2 предлагается наилучшая из экспертных оценок заданной совокупности объектов, т. е. имеющая минимальное отклонение А у :
Р2 = шш{Ау | у = Щ. (2)
В качестве альтернативного варианта оценки р2 можно было бы рассмотреть среднее
1 Н
значение всех отклонений А у, т. е. р2 = X А у . Если при этом необходимо также учесть уровни компетентности экспертов, то оценку (2) можно модифицировать следующим образом:
Р2 = шш{(ау )у | у = 1;Щ, (3)
где Ту - оценка уровня компетентности у-го эксперта по шкале [0; 1], причем чем больше Ту, тем выше уровень компетентности. В частности, если Ту = 1 (т. е. эксперт абсолютно и полностью компетентен), то при вычислении р2 используется его оценка. По мере уменьшения Ту значение величины (ау )т' увеличивается, и как следствие, достижение минимума в (3) за счет этой величины становится все более маловероятным. Наконец, при Ту = 0 (т. е. эксперт совершенно некомпетентен) (а у )Ту = 1, и оценки у-го эксперта фактически не участвуют при вычислении р2 по формуле (3).
Рассмотрим процедуру оценки показателя р3. Показатель р3 должен описывать, насколько полученные оценки удобны и приемлемы для решения задач конкретного типа при условии,
и а1 , а2 , ..., gK - среднее значение и среднеквадратичное отклонение оценки каждого из
что эти оценки точные. В качества примера была выбрана задача распределения ресурсов. Тогда, применительно к этой задаче, полученные оценки объектов могут быть интерпретированы как важности объектов, а имеющиеся ресурсы могут быть распределены между всеми объектами пропорционально их важности. Считая, что показатель p3 также изменяется в промежутке [0; 1], как и показатели p1 и p2, применительно к задаче распределения ресурсов можно принять значение p3 =1. При решении других задач оценка p2 может опираться на оценку сложности преобразования экспертных оценок в вид, удобный для решения рассматриваемой задачи. В этом плане оценка показателя p3 требует дальнейшего анализа.
Таким образом, возможные способы оценки показателей описаны. Тогда в качестве результирующей оценки степени приемлемости результатов экспертного оценивания для решения конкретной задачи предлагается величина
где г - номер класса из приведенного выше списка из четырех классов, к которому относится рассматриваемый метод. Здесь кубический корень добавлен для обеспечения одноразмерности, однопорядковости результирующего показателя и показателей pi. Отметим: в данном соотношении допускается, что метод непосредственной численной оценки может оказаться более предпочтительным по сравнению с методом ранжирования, даже если оценка показателя эффективности, полученная по этому методу, окажется на 2 % хуже аналогичной оценки для метода ранжирования - в выражении (4) оценка по каждому последующему классу уменьшается по отношению к предыдущему на 1,4 %. Это связано с тем, что для нас в ходе исследования основной интерес представляли задачи оценки параметров характеристик, и метод непосредственной численной оценки в целом позволяет получать более точные оценки характеристик объектов, чем метод ранжирования, позволяющий лишь упорядочить объекты по значениям рассматриваемой характеристики.
Укажем еще один важный аспект приведенной процедуры: результирующая оценка Р^г) зависит не только от выбранного метода оценивания, но и от процедуры обработки экспертных оценок, которая определяет значения оценок { X/}. Ниже данный аспект будет продемонстрирован на примере.
II. Пример оценки характеристик объектов информационной безопасности
В качестве примера приложения разработанной выше процедуры выбора результирующей оценки из имеющихся вариантов экспертных оценок рассмотрим следующую типовую задачу, относящуюся к сфере информационной безопасности: оценить степень уязвимости с точки зрения информационной безопасности различных компонентов персонального компьютера (ПК). Отметим, что вместо ПК аналогично может быть исследован любой другой сложный объект защиты.
Для решения поставленной задачи в этом разделе предлагаются два метода проведения экспертного оценивания: на основе экспертной процедуры с использование лингвистических переменных (второй класс) и метод строгого ранжирования (четвертый класс).
Вначале проведем процедуру на основе первого метода.
В ПК выделены следующие шесть основных компонентов: процессор - Пр; оперативная память - ОЗУ; постоянная память - ПЗУ; устройства ввода/вывода - УВВ; сетевые средства -СС; материнская плата - МП.
Процесс проведения оценки разбивается на ряд этапов.
1-й этап. Сбор данных. Каждый из экспертов оценивает степень уязвимости каждого из компонентов ПК с использованием шкалы из следующих пяти лингвистических оценок: несомненно (НС) компонент уязвим, т. е., несомненно, возможна несанкционированная утечка информации через этот компонент; весьма вероятно (ВВ), т. е. весьма вероятна несанкционированная утечка информации через этот компонент; вероятно (ВР), т. е. вероятна несанкционированная утечка информации через этот компонент; маловероятно (МВ), т. е. маловероятна несанкционированная утечка информации через этот компонент); невероятно (НВ), т. е. невероятна несанкционированная утечка информации через этот компонент. В качестве
(4)
экспертов были привлечены студенты старшего курса кафедры информационной безопасности Астраханского государственного технического университета. Было выбрано пять экспертов. От экспертов были получены экспертные оценки, приведенные в табл. 1 (оценки, проставленные 7-м экспертом, записаны в соответствующем столбце).
Таблица 1
Оценки экспертов
Объект оценки Эксперт
1-й 2-й 3-й 4-й 5-й
Пр МВ НВ МВ МВ МВ
ОЗУ ВВ ВВ ВР ВВ ВВ
ПЗУ ВВ НС НВ НВ ВВ
УВВ НС ВР НС НС НС
СС ВР ВВ ВВ ВВ НС
МП МВ НВ ВВ МВ ВВ
2-й этап. Числовая интерпретация лингвистических оценок. Для этого воспользуемся шкалой Харрингтона, на которой каждой оценке сопоставляется некоторый интервал: НС - интервал (0,7; 1); ВВ - интервал (0,5; 0,7); ВР - интервал (0,25; 0,5); 4); МВ - интервал (0,05; 0,25); НВ - интервал (0; 0,05). Лингвистическая оценка заменяется средним значением интервала, сопоставленного ей; т. е. оценке НС сопоставляется число 0,85, оценке ВВ - 0,6, ВР -0,375, МВ - 0,15, НВ - 0,025. Тогда полученная на этапе 1 таблица лингвистических оценок может быть заменена следующей числовой таблицей (табл. 2).
Таблица 2
Числовая интерпретация оценок экспертов
Объект оценки Эксперт
1-й 2-й 3-й 4-й 5-й
Пр 0,15 0,025 0,15 0,15 0,15
ОЗУ 0,6 0,6 0,375 0,6 0,6
ПЗУ 0,6 0,85 0,025 0,025 0,6
УВВ 0,85 0,375 0,85 0,85 0,85
СС 0,375 0,6 0,6 0,6 0,85
МП 0,15 0,025 0,6 0,15 0,6
3-й этап. Обработка результатов. Дальнейшая обработка данных может производиться на основе различных алгоритмов. Рассмотрим три возможных способа обработки.
1-й способ. В качестве результирующих оценок для каждого компонента берутся средние значения по всем экспертам xi , 7 - порядковый номер оцениваемого объекта (т. е. средние
значения по каждой строке). Расположив объекты в порядке убывания их оценок, получаем (в скобках указаны результирующие оценки их уязвимости: УВВ (0,755); СС (0,605); ОЗУ (0,555); ПЗУ (0,42); МП (0,305); Пр (0,125). Таким образом, наиболее уязвимым компонентом ПК являются устройства ввода/вывода (результирующая оценка 0,755), наименее уязвимым -процессор (оценка 0,125).
В качестве меры оценки степени согласованности мнений экспертов, как было указано выше, выбираем коэффициент вариации, поскольку объем данных (5 наблюдений) мал. Для этого для каждого из объектов вычисляется среднеквадратичное отклонение. Получаем: аПр = 0,056; стОЗУ = 0,101; аПЗУ = 0,375; аУВВ = 0,53; аСС = 0,168; аМП = 0,174. Отсюда по
формуле (1) получаем следующие значения для коэффициентов вариации, выраженные в процентах (т. е. результирующее значение умножается на 100 %): рПр = 44,8%; рОЗУ = 18,2 %;
Рпзу = 89,29 %; р^ = 70,2 %; = 27,77 %; Рмп = 89,84 %.
Для интерпретации и анализа полученных результатов воспользуемся одной из существующих шкал интерпретации значений коэффициента вариации. Если вычисленное значение коэффициента вариации р будет меньше 0,3, то степень согласованности мнений экспертов
считается приемлемой, результаты экспертизы принимаются в качестве оценки степени уязвимости соответствующего компонента, и экспертная процедура по оценке данного компонента прекращается. При значении коэффициента р в интервале (0,3; 0,7) степень согласованности мнений является средней, и решение о приемлемости или неприемлемости результатов принимают организаторы экспертной процедуры. При значении р больше 0,7 степень согласованности мнений низкая, и результаты экспертной процедуры не могут быть приняты в качестве оценок исследуемых характеристик.
На основе полученных значений коэффициентов вариации делаем вывод: мнения экспертов по оценкам уязвимости постоянной памяти, устройств ввода/вывода и материнской платы сильно разнятся, степень согласованности низкая, поэтому применительно к этим параметрам экспертную процедуру продолжаем. Результаты экспертной процедуры по оценке степени уязвимости процессора, оперативной памяти и сетевых средств принимаются.
Для продолжения экспертной процедуры всем пятерым экспертам было предложено привести свои аргументы по оценке степени уязвимости постоянной памяти, устройств ввода/вывода и материнской платы, по которым степень согласованности мнений экспертов оказалась низкой. Затем применительно к этим параметрам экспертную процедуру повторили сначала. Были получены следующие результаты (табл. 3).
Таблица 3
Результаты повторного оценивания
Объект оценки Эксперт
1-й 2-й 3-й 4-й 5-й
ПЗУ ВВ НС ВР ВР ВВ
УВВ НС ВВ НС НС НС
МП МВ МВ ВР МВ ВВ
После аналогичной обработки данных получаем следующие значения коэффициентов вариации; рУВВ = 13,98 %, рПЗУ = 39,54 %, рМП = 39,32 % .
Степень согласованности мнений экспертов является приемлемой, и результаты экспертной процедуры принимаются в качестве оценок степени уязвимости соответствующих компонентов ПК.
2-й способ. Каждый из пяти компонентов будет оцениваться с учетом степени компетентности экспертов применительно к данной задаче. При оценке степени компетентности будем опираться только на оценки, проставленные экспертами. Это означает, что чем ближе окажется оценка данного эксперта к результирующей оценки после обработки всех оценок, тем больше коэффициент компетентности эксперта. Аналитически данное требование можно записать следующим образом. Пусть х/ - оценка рассматриваемого объекта /-м экспертом, ~ - результирующая оценка. Тогда примем, что степень компетентности /-го эксперта пропорциональна величине (1 + |х/ - х|)-1
. Взяв в качестве коэффициента пропорциональности сумму Е (1 + |хг- - х|)-1
ш
(для того, чтобы сумма всех коэффициентов компетентности равнялась единице), получаем следующее неявное уравнение для нахождения результирующей оценки ~ : ~ = f ) , где
Е- 1
/(X) 1 / (1 + х " Х)
Е
(1+X - X)
Последнее уравнение можно переписать в виде Е ; ~ = о , которое и решается
/ (1+X - х)
ниже на основе метода ломаных, поскольку этот метод имеет очень высокую скорость сходимости. Применительно к рассматриваемой задаче оказалось достаточно проделать по две итерации
для каждого объекта. В результате получены следующие оценки: хПр = 0,12643, хОЗУ = 0,5595,
хПЗУ = 0,43337, хУВВ = 0,77355, хСС = 0,6038, хМП = 0,29544. При использовании повторной экспертной процедуры для постоянной памяти, устройств ввода/выводы и материнской платы получаем следующие оценки для этих компонентов: хПЗУ = 0,55728, хУВВ = 0,80551,
ХМП = 0,27574.
3-й способ. Построение на основе имеющегося набора оценок вероятностного закона, который описывал бы разброс оценок разных экспертов. На практике в качестве подобных законов распределения часто используется бета-распределение с плотностью распределения fa Ь (х), зависящей от двух параметров - а > 0 и Ь > 0, где
\(Ве(а, Ь))-1 ха-1 (1 - х)Ь-1, если х е (0,1),
!а, Ь (х) = 1 -
I 0 впротивномслучае
i
Be(a,b) = Jxa-1 (1 - x)b-1 dx - бета-функция Эйлера.
Искомая оценка находится либо на основе метода максимального правдоподобия (ММП-оценка), либо на основе метода наименьших квадратов (ММ-оценка).
Для нахождения ММП-оценки для данного компонента записывается функция правдоподобия по формуле
__n n
L(a,b /x, i = 1,n) = 1п(П fa,b (x)) = -n • ln(Be(a,b)) + (a -1) ^ ln(x,.) + (b -1) £ ln(1 - X),
i i=1 i=1
где {x,} - набор экспертных оценок в числовой форме. Функция L(a, b / x,, i = 1, n) по переменным a и b не ограничена, в чем можно убедиться, исследовав порядок функции L() на беско-
n f n Л
нечности вдоль направления a = t ^^ xt, b = t 1 xi I при t ^да . Воспользовавшись фор-
i=1 V i=1 J
мулой Стирлинга для гамма-функции, получим: L() при t ^ да имеет порядок . Вследствие этого для нахождения максимального значения функции L() необходимо наложить дополнительные ограничения на переменные a и b. Нетрудно убедиться, что
1
Var(fab (x)) = J|(fa,b (x))'dx < a + b .
0
Поскольку дисперсия распределения fa b (x) не превосходит единицы, то в качестве дополнительного ограничения можно потребовать, чтобы вариация функции fb (x) превосходила
дисперсию не более чем на два порядка; для этого достаточно наложить условие a + b < c , c = 100. Для конечного результата это ограничение практически несущественно, поскольку при с ^ да как средние, так и медианные оценки степени уязвимости стремятся к некоторому пределу. Именно при этом дополнительном ограничении мы и будем вычислять максимальное значение функции L().
Пусть a0 и b0 - значение переменных a и b, при которых достигается максимальное значение.
Тогда в качестве результирующей оценки берется либо величина среднего значения х
ММП
a0 + b0
либо медиана хтММП этого распределения, т. е. решение уравнения (при а = а0 и Ь = Ь0):
и
о
a0
(Ве(а
Ím
ха-1
•>0
(1 - х)Ь-1 Сх = 0,5 .
Получаем следующие значения оценок (хПр^11, ^ОЗУ , л,ПЗУ , , л,СС , ЛМП -
ММП-оценки средних значений оценок соответственно для процессора, оперативной памяти, постоянной памяти, устройств ввода/вывода, сетевых средств и материнской платы):
ММП
ММП
ММП
ММП
ММП
ММП 1 1
хПр = 0,12361
х ММП = 0,55353
„ММП п <г--<;т<;
хптс = 0,56535
х ММП = 0,79787
х ММП = 0,60731
ММП хМП
= 0,29024 . Соответствующие ММП-оценки, полученные на основе медиан, равны:
хт^ = 0,11267 , хт МГ = 0,26872 .
хт ММП = 0,55472
хт ММП = 0,57196
хт ММП = 0,80793
ММП
хтГг = 0,61533
ММ-оценки параметров
и Ь находятся по формулам а = х
( х(1 - х) ^ "1
Ь = (1 - х)
х (1 - х) 52
Л
-1
. В этом случае средние значения оценок совпадают со значениями, по-
лученными на основе первого метода, т. е. х]
Пр
= х х ММ
хПр , хОЗУ
ММ
ММ
= х
УВВ
х
ММ МП
= х
МП
. Укажем, что если для некоторого компонента все оценки полностью совпадают, то дисперсия 52 = 0, и приведенные выше формулы для параметров а и Ь неприменимы. В этом случае следует одну из оценок исказить на очень малую величину (например, прибавить к ней 0,0001) для того, чтобы выполнилось условие 52 Ф 0 .
Оценки, получаемые на основе медиан, равны: хт^1 = 0,11764,
хтОЗУ = 0,55659,
Пр
хтМУ = 0,56804, хтЦ = 0,80265, хтЦ = 0,61488, хтЦ = 0,24729.
4-й этап. Анализ результатов. Объединяя все полученные оценки, получаем следующую таблицу (табл. 4):
Таблица 4
Результирующие оценки объектов
а
Способ оценки Объект оценки Коэффициент эффективности
Пр ОЗУ ПЗУ УВВ СС МП
Оценки на основе средних 0,125 0,555 0,515 0,85 0,605 0,285 0,769774
Оценки на основе учета компетентностей 0,12643 0,5595 0,55728 0,80551 0,6038 0,27574 0,797029
ММП-оценки на основе средних 0,12361 0,55353 0,56535 0,79787 0,60731 0,29024 0,798481
ММП-оценки на основе медиан 0,11267 0,55472 0,57196 0,80793 0,61533 0,26872 0,796766
ММ-оценки на основе медиан 0,11764 0,55804 0,56804 0,80265 0,61488 0,24729 0,793112
В последнем столбце приведены оценки коэффициента эффективности Р(г), полученные на основе выражения (4) - в данном случае г = 2, т. к. метод оценивания на основе лингвистических переменных относится ко второму классу.
Анализ значений в табл. 4 показывает, что оценки, полученные разными способами обработки экспертных данных, численно отличаются, но в целом соответствуют основному результату обработки, полученному на основе первого метода. Лучший результат обработки экспертных данных получен при использовании метода максимума правдоподобия на основе средних; наихудший результат дает классический метод обработки на основе средних значений. По результатам оценивания компоненты ПК можно расположить в следующий ряд в порядке убывания оценок степени их уязвимости: УВВ, СС, МП, ОЗУ, ПЗУ, Пр. Однако оценки коэффициента эф-
фективности P(r) отличаются, что потенциально может привести к разному выбору методов экспертного оценивания на основе процедуры, описанной в этом разделе. Кроме того, медианные оценки по сравнению со средними оценками часто занижают низкие по величине оценки.
Проведем теперь процедуру оценивания степени уязвимости компонентов ПК на основе метода ранжирования.
Были выбраны те же пять экспертов, что и выше. Экспертам было предложено проранжи-ровать перечисленные выше шесть компонентов ПК по степени их уязвимости по отношению ко всем возможным угрозам - чем меньше ранговая оценка объекта, тем он более уязвим. Отметим, что в данном случае критерий отличается от предыдущего случая - более уязвимому объекту соответствовала большая оценка эксперта. Этот факт необходимо учесть при сравнении оценок. При этом допускалось нестрогое ранжирование, т. е. эксперты имели право объединять отдельные средства в группы, если они не могли проранжировать их. По окончании процедуры оценки от экспертов были получены оценки, приведенные в табл. 5 (оценки, проставленные i-м экспертом, записаны в соответствующей строке).
Таблица 5
Ранговые оценки экспертов
Эксперт Объект оценки
Пр ОЗУ ПЗУ УВВ СС МП
1-й 6 2 4 1 3 5
2-й 5 4 2 1-3 1-3 6
3-й 6 1 4 5 3 2
4-й 6 5 4 3 1 2
5-й 6 3 2 1 4 5
Далее необходимо было вычислить средние значения по всем экспертам для каждого типа средств, т. е. средние значения по столбцам. При этом для средств, объединенных в одну группу, в качестве оценки для каждого средства берется среднее значение по группе. Например, второй эксперт объединил средства Пр и ПЗУ в одну группу, поместив эту группу на 2-е и 3-е места. Тогда в качестве оценки для каждого из этих средств берется среднее значение их ранго-
2+3 „ -
вых мест, т. е. величина —2— = 2,5 . Для средних значений х оценок для каждого типа средств
получаем следующие значения: хпр = 5,8, хозу = 3, хпзу = 3,2, хувв = 2,5 , хсс = 2,7 , хмп = 4 .
Таким образом, по степени важности объекты в порядке убывания их уязвимости можно расположить следующим образом (в скобках приводится средняя ранговая оценка, полученная в результате обработки экспертных оценок): УВВ (2,5); СС (2,7); ОЗУ (3,0); ПЗУ (3,2); МП (4,0); Пр (5,8).
Для оценки степени согласованности мнений экспертов воспользуемся следующим результатом: если оценки данного параметра или объекта, проставленные экспертами, являются независимыми случайными величинами и г является средним значением оценок данного параметра, проставленных всеми экспертами, то величина F = N (п -1) Ж имеет х2 -распределение с п - 1 степенями свободы, где п - число ранжируемых параметров; N - число экспертов
п 1
12ВГ - 2(п +1)]2
и Ж = ——-3- - коэффициент конкордации (коэффициент конкордации изменяется
(п - п)
в пределах от 0 до 1 включительно; значение Ж = 1 указывает на полное совпадение всех экспертных оценок; чем меньше Ж, тем менее согласованы оценки). В нашем случае п = 6, N = 5 и вектор (г1,г2,...,гп) - это вектор вычисленных выше средних значений. Находим: Ж = 0,762, и, следовательно, эмпирическое значение величины F равно К>мп = 5 • 6 • 0,762 = 22,86 . По таблице х2 -распределения с т = 6 — 1 = 5 степеням свободы находим теоретическое значение F
при уровне доверия 0,95: ^еор = 12,59 . Так как fэш = 22,86 > Fтеор = 12,6, то гипотеза о полной
независимости мнений экспертов отвергается, и, следовательно, оценки экспертов, наряду с индивидуальными особенностями, включают также общее совместно согласованное понимание задачи. Отметим, что значение F = 22,86 соответствует уровню доверия 0,999 к результатам экспертной процедуры.
Наконец, оценим по формуле (4) степень приемлемости результатов экспертизы. В данном случае г = 4. Значение коэффициента р\, описывающего степень согласованности мнений экспертов, равно коэффициенту конкордации Ж Значение коэффициента р2 находится аналогично предыдущему случаю на основе формулы (1), где в качестве набора { ^^ } берутся найденные оценки { хПр, хозу, хпзу, хувв, хсс, хмп .}, а в качестве хц - ранговые оценки экспертов. Получаем р2 = 0,360127. Тогда, на основе выражения (4), получаем: Р(г) = 0,643697. Очевидно, что значение приемлемости оценок, полученных на основе метода ранжирования, хуже любой из оценок, полученных выше на основе оценок с использованием лингвистических переменных.
Представляет интерес оценка степени коррелированности результатов, полученных методом лингвистических оценок и методом ранжирования. Запишем полученные результаты в виде следующей таблицы (табл. 6):
Таблица 6
Результаты, полученные разными методами
Способ оценки Объект оценки
Пр ОЗУ ПЗУ УВВ СС МП
Оценки на основе средних 0,125 0,555 0,515 0,85 0,605 0,285
Оценки на основе учета компетентностей 0,12643 0,5595 0,55728 0,80551 0,6038 0,27574
ММП-оценки на основе средних 0,12361 0,55353 0,56535 0,79787 0,60731 0,29024
ММП-оценки на основе медиан 0,11267 0,55472 0,57196 0,80793 0,61533 0,26872
ММ-оценки на основе медиан 0,11764 0,55804 0,56804 0,80265 0,61488 0,24729
Метод ранжирования 1,2 4 3,8 4,5 4,3 3
Отметим, что, как уже было указано выше, для обеспечения совпадения критериев оценивания при использовании лингвистических переменных и метода ранжирования (одинаковой монотонности всех оценок) в последней строке записаны значения, дополняющие полученные ранговые оценки до хтах + 1, где хтах = 6 - максимально возможное значение ранговой оценки.
Тогда можно оценить степень коррелированности результатов значений коэффициентов корреляции между различными парами строк. Результаты вычислений приведены в табл. 7.
Таблица 7
Коэффициенты корреляции результатов между разными методами
Способ оценки Оценки на основе учета компетентностей ММП-оценки на основе средних ММП-оценки на основе медиан ММ-оценки на основе медиан Метод ранжирования
Оценки на основе средних 0,994467 0,992627 0,991395 0,989882 0,920522
Оценки на основе учета компетентностей 0,999449 0,999484 0,998877 0,935581
ММП-оценки на основе средних 0,999662 0,998114 0,943591
ММП-оценки на основе медиан 0,999302 0,938735
ММ-оценки на основе медиан 0,930904
Как видно из табл. 7, результаты, полученные разными методами, имеют высокий уровень коррелированности. При этом значимо меньше уровень коррелированности ранговых оценок по сравнению с оценками, использованными при обработке лингвистических переменных.
III. Сравнение различных типов экспертных процедур
Выше была описана процедура выбора наилучшего из результатов экспертного оценивания из числа полученных результатов. При этом все остальные невыбранные результаты отбрасываются и в дальнейшем никак не используются. Данный подход представляется нерациональным, поскольку все другие варианты экспертного оценивания обычно тоже содержат ценные результаты. Именно поэтому возникает задача использования всех полученных результатов экспертного оценивания, которая и решается в этом разделе.
Пусть проведены два варианта экспертной процедуры N объектов и результаты оценивания представлены двумя векторами: = (хх(1), х2^,..., х^) и z2 = (х{2), х22),..., х^)) . Известны также значения коэффициентов Р приемлемости каждого из полученных результатов - обозначим их Р1 и Р2 соответственно. Тогда в первом приближении в качестве результирующей (комбинированной) оценки можно использовать точку zл на отрезке с концами z( и z2, которая делит этот отрезок в отношении Р1 : Р2, считая от точки Р1, т. е.
Р Р2
z =-— ^ + „ ¿2.
Р + Р Р + Р
Отметим, что предпосылки, на основе которых комбинированная оценка была вычислена как линейная комбинация полученных результатов, неубедительны, поэтому рассмотрим другой подход, который представляется более убедительным. Пусть р есть коэффициент корреляции между векторами и ¿2. Тогда, как известно, коэффициент корреляции р в пространстве случайных векторов интерпретируется как косинус угла а между векторами и ¿2. Тогда в отношении Р1 : Р2 можно разделить угол а и взять на этом луче I некоторую точку в качестве комбинированной оценки. Возникает вопрос, каким образом выбрать эту точку на луче I, т. е. какую поверхность, проходящую через точки и ¿2, следует взять, пересечение которой с I и даст искомую точку . Поскольку никаких убедительных доводов по выбору типа поверхностей нет, возьмем наиболее простую из возможных поверхностей - плоскость; точнее, возьмем отрезок ¿2]. Поскольку обычно угол а мал (т. к. р близко к единице - как было продемонстрировано выше на примере в табл. 7), то погрешность от использования линейной функции по отношению практически к любой гладкой поверхности невелика.
Тогда процедура нахождения следующая.
Вычисляем коэффициент р корреляции между векторами и по известной формуле:
N
I (хг(1) - *)(x(2) - x2)
4 ' ' 2' _ 1 N 1 N _
р = cor(zl5z2) = -, xr = — I x,(r), cr = — I(x(r) -xr)2 (r = 1, 2).
12 N ст^ r N i=1 ' r !
Соединим точки z1 и z2 отрезком прямой и выберем на этом отрезке точку z такую, которая делит угол а пропорционально коэффициентам приемлемости векторов z1 и z2. Это означает,
р
что если z = у z1 + (1 — у)z2 , то значение у выбирается из условия cor (z1, z) =-1— р . Решая по-
P1 + P2
следнее уравнение по у, находим искомое значение у* и затем значение вектора оценок z* =у* z1 + (1 -y*)z2.
Продемонстрируем данную процедуру на приведенном выше примере. Выше были получены две оценки степени уязвимости компонентов ПК: оценка z1 = (0,12361; 0,55353; 0,56535; 0,79787; 0,60731; 0,29024) - для наиболее эффективного способа обработки данных ММП-С и z2 = (1,2; 4; 3,8; 4,5; 4,3; 3) - ранговая оценка, где в качестве результирующей выбрана оценка, полученная на основе средних значений. При этом, как получено выше, P1 = 0,798481, P2 = 0.643697. Из табл. 7 имеем р = 0,943591. Отсюда а = 0,337482 радиан. Значение у* находится из соотношения
(
cos(г2, г*) = cos
Р
2 а
г2 (г2 + У*(г1 - г2))| или --г = cos
' Р ^
Р1 + Р2 ) Ы • |г2 + У*(- г2\ IР1 + Р2 )
2а
Подставив значения, получаем
|79,62 + у* (-17,8621)
= 0,988677.
^79,62 ^79,62 + (-136,073)7* + 319,0543(у*)2 Решая полученное уравнение, находим у* = 0,07827, откуда
г* = (1,115751; 3,730245; 3,546824; 4,210234; 4,010973; 2,787907).
В случае линейного приближения получаем оценку
0,798481 0,643697
г, +--г2 =
1
0,798481 + 0,643697 1 0,798481 + 0,643697
= (0,604042; 2,091816; 2,009093; 2,450267; 2,255493; 1,499705). Оценим относительную ошибку 5г вектора 2л по отношению к г* по каждому компо-
■7Н — Г7П | г*г г
ненту и общую ошибку 5 = тах(5г), где 5г = --— 100 % и г", гнг - компоненты пронор-
г л,г1
мированных (верхний индекс «н») векторов г* и гл соответственно. Напомним, что векторы г* и гл, предназначенные для задачи распределения ресурсов, используются лишь для определения пропорциональности распределения средств между разными объектами и поэтому определены с точностью до константы. Для сравнения пронормируем их, разделив на длину вектора; получим:
г*1 =(0,134004; 0,448012; 0,425982; 0,50566; 0,481728; 0,334835), гн = (0,122805 ; 0,448965 ; 0,426517 ; 0,505086 ; 0,482637 ; 0,336724 ) .
Имеем: (5Х;52;53;54;55;56) = (4,15; 0,72; 3,04; 0,44; 4,76) и 5 = тах(5г) = 4,76%. Таким
образом, различие результатов оказалось незначительным.
Если имеется больше двух результатов экспертного оценивания объектов, то можно поступить следующим образом. Упорядочим результаты в порядке возрастания их коэффициентов приемлемости Р(/\ выбираем первую пару результатов из полученного ряда и на основе описанной выше процедуры получаем для этой пары результирующую комбинированную оценку. В результате число всех оценок уменьшается на единицу. Затем процедура продолжается аналогичным образом, пока в конечном итоге не получим одну оценку.
Заключение
В работе получены следующие результаты:
1. Построена процедура оценки степени приемлемости результатов экспертного оценивания при решении конкретной задачи. Сформирован состав показателей, на основе которых оценивается степень приемлемости. Приведены выражения для интегрального показателя степени приемлемости.
2. Описаны пять возможных способов обработки экспертных данных. На примере одной из задач из сферы информационной безопасности продемонстрирована процедура использования этих методов и сравнения полученных результатов.
3. Описана процедура формирования конечного результата экспертного оценивания при наличии нескольких вариантов экспертного оценивания совокупности объектов по заданной группе показателей.
Описанные процедуры могут быть использованы для обработки результатов экспертного оценивания объектов любой природы.
СПИСОК ЛИТЕРА ТУРЫ
1. Орлов А. И. Математика случая. Вероятность и статистика - основные факты: учеб. пособие. М.: МЗ-Пресс, 2004. 110 с.
2. Гуцыкова С. В. Метод экспертных оценок. Теория и практика. М.: Ин-т психологии РАН, 2011. 144 с.
3. Попов Г. А., Попова Е. А. Альтернативный вариант коэффициента конкордации // Вестн. Астра-хан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. (58-(67.
4. Попов Г. А., Попова Е. А. Асимптотическое поведение альтернативного варианта коэффициента конкордации // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2014. № 1. С. 153-160.
Статья поступила в редакцию 26.12.2016
ИНФОРМАЦИЯ ОБ АВТОРАХ
Попов Георгий Александрович — Россия, 414056, Астрахань; Астраханский государственный технический университет; д-р техн. наук, профессор; зав. кафедрой информационной безопасности; [email protected].
Попов Александр Георгиевич — Россия, 414056, Астрахань; Астраханский государственный технический университет; аспирант кафедры информационной безопасности; [email protected].
G. A. Popov, A. G. Popov
THE FINAL GRADE IF THERE ARE SEVERAL EVALUATION OPTIONS USING THE EXAMPLE OF INFORMATION SECURITY PROBLEMS
Abstract. The problem of choosing the most acceptable variant of expert estimating parameters of objects in a situation where there are multiple results is considered. The procedure for assessing the acceptability of the results of expert estimation when solving a particular problem was built. Based on comparison of acceptability assessments it was suggested to choose the most acceptable result. Set of indicators was formed on the basis of which the degree of acceptability was estimated and the expressions for the integral index of acceptability were given. Five possible methods of expert data were described. On the example of one of the tasks of information security sphere the procedure for using these methods and comparing the obtained results were shown. As an example, the task of assessing the vulnerability of individual PC components in relation to information security threats was considered. The most effective method of treatment of expert linguistic data type -a method based on randomization of expert assessments and attraction of the maximum likelihood method was detected. The expert data processing method, which takes into account the degree of competence of the experts only on the basis of affixed assessments, has been proposed. The procedure of formation of the final result of the expert assessment was described in the presence of several variants of expert evaluation of set of objects on a given group of indicators by integrating all the results in one integrated one. These obtained procedures can be used to process the results of the expert evaluation of objects of any nature.
Key words: expert evaluation, processing method, vulnerability of computer components, integrated indicator of the result acceptability.
REFERENCES
1. Orlov A. I. Matematika sluchaia. Veroiatnost' i statistika - osnovnye fakty [Mathematics of case. Probability and statistics - key facts]. Moscow, MZ-Press Publ., 2004. 110 p.
2. Gutsykova S. V. Metod ekspertnykh otsenok. Teoriia i praktika [The method of expert estimations. Theory and practice]. Moscow, Institut psikhologii RAN, 2011. 144 p.
3. Popov G. A., Popova E. A. Al'ternativnyi variant koeffitsienta konkordatsii [The alternative of concordance coefficient]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel'naia tekhnika i informatika, 2013, no. 2, pp. 158-167.
4. Popov G. A., Popova E. A. Asimptoticheskoe povedenie al'ternativnogo varianta koeffitsienta konkor-datsii [The asymptotic behavior of an alternative of the concordance coefficient]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel'naia tekhnika i informatika, 2014, no. 1, pp. 153-160.
The article submitted to the editors 26.12.2016
INFORMATION ABOUT THE AUTHORS
Popov Georgiy Aleksandrovich — Russia, 414056, Astrakhan; Astrakhan State Technical University; Doctor of Technical Sciences, Professor; Head of the Department of the Information Security; [email protected].
Popov Alexander Georgievich — Russia, 414056, Astrakhan; Astrakhan State Technical University; Postgraduate Student of the Department of Information Security; [email protected].
