CC BY
71Wschodnioeuropejskie Czasopismo Naukowe (East European Scientific Journal) #5(57), 2020
ТЕХНИЧЕСКИЕ НАУКИ
УДК 004.01 ГРНТИ 81.93.29
Voevodin V.A.
Associate Professor, candidate of technical Sciences, National Research University of Electronic Technology
Pechnikova A. V. student of the department of information security National Research University of Electronic Technology
BryushininA. O.
student of the department of information security National Research University of Electronic Technology
PAIR COMPARISON METHOD FOR EVALUATING THE PONDERABILITY OF AUDITING
CERTIFICATES
Воеводин Владислав Александрович
к.т.н., доцент кафедры «Информационная безопасность», Национальный исследовательский университет «МИЭТ» Печникова Александра Викторовна студентка кафедры «Информационная безопасность», Национальный исследовательский университет «МИЭТ»
Брюшинин Антон Олегович студент кафедры «Информационная безопасность» Национальный исследовательский университет «МИЭТ»
МЕТОД ПАРНЫХ СРАВНЕНИЙ ПРИ ОЦЕНКИ ВЕСОМОСТИ АУДИТРСКИХ
СВИДЕТЕЛЬСТВ
Summary. The article proves the relevance of the distribution of managerial resources between information security audit processes and gives a description of the expert method of pairwise comparisons, the analysis of its advantages and disadvantages. In the article the necessity of using the method of pairwise comparisons in assessing the ponderability of audit evidence is proved and the direction for further research is determined, which consists in taking into account the order of preferences of audit evidence not only in terms of their importance, but also in cost and time costs.
Аннотация. В статье обосновывается актуальность распределения управленческого ресурса между процессами аудита информационной безопасности (АИБ). Приводится описание экспертного метода парных сравнений, анализ его преимуществ и недостатков. Доказана необходимость использования метода парных сравнений при оценке весомости аудиторских свидетельств. Определено направление для дальнейшего исследования, заключающееся в учете порядка предпочтений свидетельств аудита не только по их значимости, но и по себестоимости и временным затратам.
Key words: Information security, information security audit, the method of pairwise comparisons, audit evidence.
Ключевые слова: Информационная безопасность, аудит информационной безопасности, метод парных сравнений, свидетельства аудита.
Лицу, принимающему решение в той или иной области деятельности, необходима управленческая информация, которая достоверно отображает состояние объекта управления и окружающей среды. Однако, на момент принятия решения, лицо, принимающее решения, находится в состоянии информационной неопределенности, так как он такой информацией не располагает и может строить свою стратегию только на догадках и интуиции, что приводит к необоснованному решению и, чаще, неэффективному. Для того чтобы обосновать свое решение данное лицо вынуждено принимать меры по добыванию недостающей
информации, на что расходуется управленческий ресурс.
Проблема - в каком соотношении распределить управленческий ресурс между процессами добывания требуемой информации и реализацией принятого решения. На данный момент эта проблема не решена и ждет своего исследователя. Таким образом, лицо, принимающее решения, в силу интуиции и опыта, осознает проблему и готово выделить ресурс для добывания недостающей информации для принятия решения об эффективном применении ресурса.
Wschodnioeuropejskie С1а^,ор1^то Ыаиком>е (Еа&1 Еигореап ЗсгвМг/гс Лита1) #5(57), 2020
Особую актуальность эта задача приобретает в высокотехнологичных областях, когда подготовку аудиторских групп возможно провести только на модели соответствующей информационной системы.
Таким образом, для принятия решения по применению сил и средств информационной безопасности органам управления защитой информации требуются достоверные и полные сведения о сложившейся обстановке и о прогнозе её развития. Для добывания таких сведений организуется аудит информационной
безопасности, рекомендации по его организации содержатся в [1]. В соответствии с [1] важным и самостоятельным этапом организации аудита информационной безопасности является разработка, сопровождение (управление) программы аудита [1, ст. 3.4] и календарного плана [1, п. 6.3.2] применения сил и средства аудита информационной безопасности. Целью исследования является описание оценки весомости аудиторских свидетельств на основе парных сравнений.
Метод парного сравнения обладает важными преимуществами. Во-первых, выбрать наиболее предпочтительный вариант из двух намного проще, чем из нескольких. Во-вторых, метод парного сравнения позволяет внимательно сосредоточиться на сходствах и различиях только между двумя вариантами [2, 3]. К недостаткам можно отнести
, _5
выполнение большого количества парных сравнений, но при оценке весомости аудиторских свидетельств число сравнений относительно невелико. При использовании данного метода нет возможности проверить достоверность данных, можно полагаться только на мнение экспертов. Данный недостаток решается привлечением большего числа экспертов. Метод парных подходит для ранжирования аудиторских свидетельств в зависимости от их информативности.
Сценарий парных сравнений предполагает сравнение экспертами п объектов (свойства ОА, угрозы, уязвимости, компьютерные атаки, уровень компетенции аудиторов, ОА и др.). По сценарию каждому из экспертов, номер которого i, i = 1, 2, ..., т, предъявляют парами объекты, общее число которых п(п - 1)/2. Эксперт должен из двух объектов с номерами j и к выбрать более значимый (предпочтительный) с позиции определенной точки зрения, которой он придерживается, (более информативный, боле дорогой, более уязвимый, более подготовленный, более опасный, более полезный, более эффективный и др.). Сравнение осуществляется для всех j < к, к = 1, ..., п. В результате взаимного сравнения п объектов каждый эксперт заполняет диагональную матрицу
парных сравнений А =
а
]к
1, если , - й объект предпочитается к-му; а' = т 0 в противном случае;
если эксперт не может установить предпочтение.
(1)
j #к, j = 1, 2, ..., п, к = 1, 2, ..., п, ац = 0, для i - го эксперта, i = 1, 2,
Матрица л1 может быть не полностью заполненной экспертом, например, если он не может принять решение по установлению предпочтения, выбрать из пары сравниваемых объектов предпочтительный. В этом случае эксперт ставит прочерк в соответствующей ячейке матрицы л1 i = 1, 2, ..., т.
Для оценки стабильности парных оценок эксперта сначала проводятся оценки объектов с индексами к и j, затем j и к меняют местами, проверяют совпадение зеркально расположенных элементов диагональной матрицы, если зеркальные элементы совпадают, то оценка считается стабильной. Если имеются несовпадения, то оценивают процент этих несовпадений, по которому оценивается нестабильность парной оценки того или иного эксперта.
Под согласованностью парных оценок понимают подтверждение альтернативной гипотезы Н0 к Ил, где гипотеза Н0 состоит в том, что
1 1
— 7 а д = _ для всех j = 1, 2, ., п, это означает, п к=1 1 2
что мнения экспертов по установлению
предпочтения разделились поровну, ад - индикатор предпочтения j - го объекта к - му, j, к = 1, 2, ..., п.
Гипотеза НЛ состоит в том, что существует хотя бы один объектj,j е {1, 2, ..., п}, для которого 1 ^ 1
— 7 п , что означает, что хотя бы для
п 7 а1к 2
одного объекта мнения экспертов преобладают в ту или иную сторону. Обозначения:
а,
к=1 '=1
а
(')
(2)
строчная сумма матрицы Л, равная сумме строчных сумм матриц Л1, ., Лт (эта сумма равна общему числу случаев предпочтения j - го объекта всем остальным).
т
Wschodnioeuropejskie С1а^,ор1^то Ыаиком>е (Еа&1 Еигореап БаепЫАс Лита1) #5(57), 2020
1
j = 1, 2, ..., п, а = - У пт^
а,
среднее аг , а2,
..., а-п (Точка означает суммирование по индексу, который она заменяет).
4 /
Вт =—У( аг - а)
— \2
У а1- п (а)
.]=1
(3)
При т =1 (эксперт один) и п > 4 следует вычислять число круговых триад по формуле 4:
" ,2
й = —п(п2
24 4
(4)
где = Бт при т = 1.
Если d, вычисленное по матрице парных сравнений и обозначаемой dнабл., равно или больше чем dтабл.(n, а), то принимают гипотезу
«о несогласованности», если меньше - то «о согласованности». Значения dтабл.(n, а) приведены в таблице 1, где приведены верхние процентные точки для d (числа круговых триад) и значения Р = Р ^ > х}, близких к 0,10; 0,05; 0,01 при числе объектов от п до 10 с шагом 1.
Таблица 1
Точные вермиге критические (процентные) точки
п=4 п=5 п=6 п=7 п=8 п=9 п=10
хР[й > х} хР[й > х} хР[й > х} хР[й > х} хР[й > х} хР[й > х} хР[й > х}
2 0,375 4 0,297 7 0,227 12 0,147 18 0,141 26 0,118 36 0,111
5 0,023 8 0,081 13 0,036 19 0,051 27 0,055 37 0,059
14 0,001 20 0,012 28 0,020 38 0,028
29 0,0024 39 0,0079
Проверка согласованности при т = 1 есть проверка транзитивности суждений одного эксперта.
Под транзитивностью, в данном случае, понимаем выполнение следующего условия:
при предпочтении j - го объекта к -му (а1ы = 1) и к - го объекта I - му (а]г = 1) для всех не равных между собой j, к, I = 1, 2, ..., п.
При т = 3 до 20 с шагом 1; п = 4 и т = 2 до 7 с шагом 1; п = 5 и т = 2, 3; п = 6 и т = 6, 7, 8 следует вычислять по формуле 5:
5,
набл.
= £?=
п а2 1 "■]■
[т _
7 А»
+ а2
(5)
Если Бнабл. > ^табл.(п, а), приведенное в [3, стр.107], то принимают гипотезу «о согласованности», если Бнабл. < Sтабл.(n, а), то принимают гипотезу «о несогласованности». В таблице [4, прил.13] приведены верхние
процентные точки для 5 = ^1<_,<па/2 а = 0,05, 0,01 (точнее, ближайшие к ним).
При п, т за пределами [4, прил.13] пользуются следующим правилом. Если вычисленное значение статистики Бнабл., не менее /„(п - 1), где /„(п - 1) верхняя критическая (а - процентная) точка на уровне значимости а х2--распределения с п - 1 степенью свободы [4, прил. 8], то принимают гипотезу «о согласованности».
При наличии достаточной согласованности обобщенное суждение группы экспертов вычисляют по формуле 6 (¡, к = 1, ..., п):
а]Ш = Т,к=1а]к>аШк = ИУ=1 а]к (6)
Пример
Исходные данные: Матрицы парных сравнений четырех экспертов, сравнивающих три объекта (рисунок 1).
А, А: Аз а4
1 2 3 1 2 3 1 2 3 1 2 3
1 0 1 1 1 0 1 1 1 0 1 0 1 0 1 1
2 0 0 1 2 0 0 0 2 0 0 1 2 0 0 1
3 0 0 0 3 0 1 0 3 1 0 0 3 0 0 0
Рисунок 1 - Матрицы парных сравнений четырех экспертов
6
п
Требуется: Согласованность парных Решение: Рассчитывается общая матрица
сравнений при а = 0,05. парных сравнений (таблица 2).
Wschodnioeuropejskie Czasopismo Naukowe (East European Scientific Journal) #5(57), 2020
7
Таблица 2
Матрица парных сравнений
1 2 3 а;и а;и2
1 0 4 3 7 49
2 0 0 3 3 9
3 1 1 0 2 4
аИ к 1 5 6
SHабл. = 49 + 9 + 4 = 62. По табл. [4, прил.13] Smабл.(3; 4; 0,05) = 72. Поскольку Sнабл. < Smабл., то гипотезу «о несогласованности» не отвергают.
Проверка согласованности результатов парных сравнений
Обобщенная ранжировка, получаемая в
* *
результате ранжирования а*ш,... ,апШ, вычисляется по формуле 7 (/' = 1, ..., п):
—
aj и
7® (о/и + яий)
(7)
Обобщенные количественные характеристики объектов вычисляются по формуле 8 (j = 1, ..., n):
М,—,
и7'И
(8)
Пример
Исходные данные: Матрицы парных сравнений четырех экспертов, сравнивающих три объекта (рисунок 1).
Требуется: Вычислить коэффициенты весомостиМ}, ...,М„.
Решение: Рассчитывается общая матрица парных сравнений (таблица 2).
Рассчитывается обобщенная ранжировка:
а1 и — '
uji
Я1И + °И1 Чз
а?и — '
"}2
Я2И + °И2
язи+°из Сумма
7 , 12 7 1 8 8 12 2
На данном этапе была высчитана весомость объектов, на основе которой объекты ранжируются по предпочтительности.
1 а1к — ~
м.
тогда
12 2
3 / 12 3 ^ 2 j 12 2
8' 8 12 ' 3 8' 8 12'
Метод парных сравнений позволяет ранжировать аудиторские свидетельства по значимости, но не учитывает себестоимости добывания соответствующего свидетельства аудита и временные затраты.
Таким образом, для дальнейшего исследования выдвигается гипотеза, что при учете веса свидетельств аудита при построении программы и календарного плана аудита информационной безопасности прямо
пропорционален его рангу и обратно пропорционален себестоимости и времени его добывания. Для чего планируется эксперимент с использованием статистической модели объекта аудита.
Литература
1' ГОСТ Р ИСО 19011-2018 Руководящие указания по аудиту систем менеджмента. Пер. А. Горбунов, Номер для ссылки ISO 19011:2018, - 51 с.
2. Коробов В.Б. Теория и практика экспертных методов: /монография / В. Б. Коробов; под ред. Б.И. Кочурова. - М.: ИНФРА-М, 2019. -219 с.
3' Девид Г. Метод парных сравнений. -М.: Статистика, 1978. - 144 с.
4. ГОСТ 23554.2-81. Система управления качеством продукции. Экспертные методы оценки качества промышленной продукции. Обработка значений экспертных оценок качества продукции. -М.: Издательство стандартов 1981. - 70с.
5' Справочник по специальным функциям с формулами, графиками и математическими таблицами. Под ред. М. Абрамовича и И. Стиган. -М.: Наука, 1979. 831 с.
fc=1 "ил
7
8
2
