CC BY
26
СИСТЕМНЫЙ АНАЛИЗ, УПРАВЛЕНИЕ И ОБРАБОТКА ИНФОРМАЦИИ
УДК 519.81; 004.056
ПРОБЛЕМА ЗНАЧИМОСТИ СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ РАБОЧЕЙ ГРУППЫ ПРИ МОДЕЛИРОВАНИИ УГРОЗ БЕЗОПАСНОСТИ
ИНФОРМАЦИИ
И.Е. Кузьмин
Рассматривается вопрос согласования мнений экспертов, как важной и неотъемлемой части информационной безопасности при проектировании модели угроз безопасности информации, на основе актуальных угроз и уязвимостей, представленных на официальном веб-сайте ФСТЭК России. Подвергается обсуждению вопрос автоматизации экспертного процесса, в том числе определения согласованности мнений экспертной группы, как дополнительная мера совершенствования направления определения согласования оценок, позволяющая объективно оценить положение экспертных мнений в рабочей группе.
Ключевые слова: проблема согласованности мнений, проблема согласования, автоматизация экспертной деятельности, модель угроз безопасности информации, информационная безопасность.
Моделирование угроз безопасности информации является одной из первоочередных задач организации (предприятия) в области обеспечения информационной безопасности. Разработка модели угроз безопасности информации (далее - модель угроз) определяет границы процедуры моделирования угроз безопасности и зоны ответственность сотрудников организации (предприятия).
Одним из важнейших этапов процесса моделирования угроз безопасности информации является экспертная оценка актуальных угроз и уязвимостей путём теории принятия решений экспертной группой. Источником актуальных угроз и уязвимостей информационной безопасности является официальный веб-сайт ФСТЭК России, предоставляющий в открытом доступе банк данных угроз [1, 2].
Однако экспертный подход для анализа актуальных угроз и уязвимостей для конкретной информационной системы не всегда позволяет получить единое приемлемое решение в связи с тем, что мнения экспертной группы могут разойтись, вследствие чего вероятны разногласия между экспертами рабочей группы. Обеспечение достаточного уровня согласованности мнений экспертов, на взгляд автора, является определяющей заключительной частью любой процедуры экспертного оценивания при составлении модели угроз безопасности информации.
Опубликованный в 2020 году проект «Методика моделирования угроз безопасности информации» [1], представляющий собой методический документ определяющий порядок и содержание множества работ по моделированию угроз безопасности
информации, содержит раздел, дающий рекомендации по формированию экспертной группы, не затрагивая количественную составляющую экспертов в группе, и проведению экспертной оценки при моделировании угроз безопасности информации, но этап согласования мнений экспертов рабочей группы подвергает обсуждению поверхностно, как этап проведения экспертной оценки, что, по мнению автора, является недостаточной мерой. Ввиду этого актуальность настоящей статьи обусловлена привлечением внимания к вопросу важности согласования мнений экспертной группы, потому как модель угроз представляет собой основополагающий документ в области построения систем защиты информации любой организации (предприятия).
Теоретическая значимость исследования заключается в изучении и обосновании проблемы значимости согласования мнений экспертов рабочей группы при моделировании угроз безопасности информации на уровне, как неотъемлемым этапом процедуры формирования модели угроз безопасности информации организации (предприятия).
Практическая значимость исследования заключена в описании практических предложений (рекомендаций) по согласованию мнений экспертной рабочей группы, включающие вопросы количественного формирования экспертной комиссии и математической оценки согласованности экспертных оценок. Также, предложена концепция внедрения в систему автоматизированного моделирования угроз безопасности информации механизма оценки согласованности экспертных мнений и согласования оценок экспертов группы.
Основной целью настоящей статьи является привлечение внимания к проблеме оценки согласованности и согласования мнений экспертной группы в рамках моделирования угроз безопасности для организации (предприятия).
Ниже рассмотрен вопрос обеспечения согласования экспертных мнений. В настоящей статье под согласованностью мнений экспертов рабочей группы моделирования угроз безопасности информации следует понимать такое обобщенное и результативное состояние экспертной оценки, при котором каждое мнение члена экспертной комиссии, как индивидуальное суждение в области принятия решения, учитывается в полном объёме и независимо поддерживается другими участниками группы с учётом исключения следования экспертному мнению большинства.
Моделирование угроз безопасности информации является ключевым этапом развития организации (предприятия) в области обеспечения информационной безопасности, поскольку дальнейшая организация системы защиты информации полностью выстраивается в соответствии с результирующим экспертным решением (качественного и количественного характера) содержания угроз и уязвимостей в модели угроз. Принимая во внимание факт значения итогового решения экспертов рабочей группы по включению в модель угроз возможных угроз и уязвимостей невозможно пренебрегать этапом согласования мнений экспертной комиссии. Наличие согласованности мнений определяет достоверность принятого решения в области информационной безопасности, и, в свою очередь, низкий показатель согласованности мнений экспертов может поставить под вопрос не только компетентность экспертов рабочей группы, но и корректность проводимого опроса.
Недостаточное освещение проблемы согласования мнений экспертов в целом обусловлена следующим.
1. Методические указания и рекомендации ФСТЭК России и ФСБ России расцениваются как отправные точки для разработки внутриорганизационных руководств под конкретные нужды.
2. Вариативностью методов экспертной оценки, применяемых внутри организации (предприятии), что выдвигает вопрос о выборе целесообразных методов определения согласованности и согласования мнений экспертов комиссии.
3. Вариативностью правил обработки результатов экспертного опроса.
4. Предоставлению полного права внедрения собственных методических проектов, основанных на исключительном преобладании одной из мер определения согласованности и дальнейшими действиями согласования, определяемыми внутри организации (предприятия).
По мнению автора, особое внимание стоит уделять причинам несогласованности мнений экспертов, которые могут привести к нарушению текущего состояния информационной безопасности организации (предприятия). В свою очередь, отсутствие согласованности может быть существенным для одного направления экспертной оценки и не столь существенным для других. Основными причинами, снижающими согласованность экспертных оценок при моделировании угроз безопасности информации, можно считать следующее.
1. Недостаточная компетентность экспертов. Проблема может включать ряд параметров, поддерживающих её, например, недостаточный опыт эксперта в рассматриваемой области моделирования угроз безопасности информации; финансовая несостоятельность организации, неспособная обеспечить требуемый уровень компетентности специалистов и т.д.
2. Недостаточная организационная составляющая проведения экспертного оценивания при моделировании угроз безопасности информации, например, безответственный подход к экспертной оценке; отсутствие понимания целей и задач моделирования угроз безопасности информации и прочее.
3. Известные недостатки (ошибки) методов экспертной оценки, влияющих на согласованность мнений экспертов рабочей группы.
4. Недостатки (ошибки) методов определения согласованности мнений экспертов, что приводит к неверному выбору подхода согласования экспертных оценок.
5. Недостатки (ошибки) методов согласования экспертных мнений, что в итоговом результате может привести к снижению согласованности экспертного заключения и проведению повторного экспертного оценивания.
6. Противоположное понимание проблем, связанных с угрозами и уяз-вимостями информационной безопасности.
7. Недостаточная корректность толкования экспертных мнений.
Далее рассмотрен процесс формирования экспертной группы. «Методика моделирования угроз безопасности информации» [3] поднимает вопрос формирования экспертной группы с точки зрения требований, которые необходимо предъявлять к эксперту, совершенно не останавливаясь на количественном вопросе проблемы.
Формирование экспертной группы - задача, результат которой определяет эффективность применяемого метода экспертного опроса и последующую согласованность мнений членов экспертной группы. Данная проблема характеризуется необходимостью поиска количественного баланса экспертов в группе, при котором точность и согласованность экспертных оценок будет не ниже уровня, обеспечивающего достоверный результат экспертного опроса.
Количественное формирование экспертной группы должно определять оптимальное численное значение, при котором имплицируемое качественное формирование группы (представленное в виде (А Л В Л ... Л С) решение, где А, В, С, ... - набор параметров, свойственных эксперту) позволяет мнения экспертов равнозначно учитывать без потери их согласованности. Автор акцентирует внимание на том, что этап количественного формирования экспертной группы для решения вопросов информационной безопасности, в свою очередь, способствует минимизации ошибок усреднения мнений экспертов путем определения достаточного количества экспертов с учетом дополняющих качественных параметров (компетентность, информированность, объективность эксперта и т.д.).
В работе [1-3] приведен метод оптимального формирования экспертной группы, учитывающий параметры качественного и количественного характера.
Для определения оптимального количества экспертов в группе предлагается использовать следующую формулу:
^-И^)1, (о
где а - ожидаемый уровень принятия (надёжность) решения экспертом, 0 < а ^ 1; к -количество направлений, к >- 2; Ш - ожидаемая согласованность экспертов, 0 < Ш ^ 1.
Для определения минимального количества экспертов в группе предлагается использовать следующую формулу:
ю~1 = (!-(£)Т <2>
где а - ожидаемый уровень принятия (надёжность) решения экспертом, 0 < а ^ 1; к -количество направлений (угроз/уязвимостей), к >- 0; IV - ожидаемая согласованность экспертов, 0 < Ш < 1.
В вопросах моделирования угроз безопасности информации коэффициент ожидаемого уровня надежности решения эксперта может определяться вероятностью правильности субъективной оценки, выставляемой экспертом.
Для определения общего коэффициента ожидаемого уровня надежности решения эксперта в вопросах моделирования угроз безопасности информации предлагается использовать следующую формулу:
а = I 5 С, (3)
где / - величина информативности эксперта, 0 < I ^ 1; Я - величина корректности информационной базы материалов экспертной оценки, 0 < 5 ^ 1; С - величина корректности итогового заключения эксперта, 0 < С ^ 1.
Величины I, Б, С могут устанавливаться эвристически. Общий ожидаемый уровень надежности итогового решения определяется ограниченностью набора параметров эксперта. Величины I и Б составляют систему знаний эксперта, под влиянием которой обеспечивается возможность оценки фактора. Величина С определяется в форме предположения, опираясь на компетенцию эксперта и широту свободы выбора эксперта сторонами процесса.
Стоит отметить, что минимально возможная экспертная группа в пределах качественной и количественной экспертной оценки, согласно формулам (1) и (2), составляет не менее 3 человек, что не противоречит рекомендациям, приведенным в «Методике моделирования угроз безопасности информации».
Затем следует проработать вопрос определения метода обеспечения согласованности мнений экспертов. Элементы автоматизации процессов экспертного процесса в ходе построения модели угроз безопасности информации для получения согласованного решения и устранения ошибок. На практике обеспечение согласованности мнений экспертов является приоритетной итоговой задачей экспертного опроса, в связи с чем возникает необходимость количественной оценки степени согласия экспертов [4].
Метод, приведённый в «Методике моделирования угроз безопасности информации» не всегда может оказаться эффективным, в связи с игнорированием минимальной и максимальной оценок экспертов, что может привести к нарушению логической структуры мнений группы экспертов при положительном результате итогового определения заключения. При этом качество результатов оценки можно повысить путём поэтапного опроса экспертов с обоснованием своей выставленной оценки, что, вероятно, позволит сблизить полученные оценки. Этот подход вызван суждением о том, что уменьшение границ интервала экспертных мнений, повышает достоверность итогового результата экспертных оценок.
При использовании методов экспертной оценки, дополняющих основной, следует комплексно проанализировать достоинства и недостатки этих подходов, что может объяснить расхождение экспертных мнений, в том числе промежуточного.
В случае, когда эксперт не может указать точную оценку (при недостаточности данных для вынесения мнения, неуверенностью при обосновании оценки и др.), следует указывать ориентировочное значение оцениваемого направления, которое не будет учитываться при итоговом согласовании, но может задействоваться для промежуточного определения согласованности рабочей группы между раундами опроса.
Для обработки результатов, в случае количественного опроса, автором предлагается использовать параметры среднего значения оценок, характеризующую обобщенное мнение экспертной группы и дисперсию оценок, характеризующую разброс мнений экспертов. О данных мерах согласованности описано в [1 - 3, 5]. Полученные значения позволяют оценить текущее положение согласованности экспертной группы на момент проведения экспертного опроса, причем совокупность среднего значения и дисперсии экспертных оценок позволяют проанализировать влияние мнений на модель угроз факторов оценивания.
В условиях оценки согласованности качественных оценок (подобное оценивание предлагается в качестве примера в «Методике моделирования угроз безопасности информации») необходимо организовать количественный перевод оценок и рассчитать количественный показатель близости (компактности) мнений экспертов рабочей группы, на основе чего реализовывать согласование экспертных мнений с учетом корректности проведения экспертной процедуры для исключения факторов влияния мнений эксперта на группу в ходе принятия решения. Согласование мнений целесообразно проводить качественными методами, например, с помощью методов типа «Дельфи», т. е. с применением трудоемких решений согласования. Многоступенчатость такого метода согласования целесообразно проводить с применением средств автоматизации.
Автоматизация процесса согласования вопросов модели угроз безопасности информации может выступать ключевой и первостепенной задачей в организации деятельности информационной безопасности. Такое суждение вызвано трудоемкостью обработки результатов экспертной оценки. Создание системы согласования подобных вопросов машинным образом, включая этап формирования группы экспертов, является перспективным направлением развития автоматизации процессов в информационной безопасности, поскольку имеет возможность предоставить организации (предприятию) возможность ускорения выполнения типовых задач и контроля их реализации. Для программной реализации принципов автоматизации процесса согласования экспертных оценок требуется формализация существующего пакета методик, обоснованных математической логикой. С помощью средств автоматизации можно добиться определения направления корректирования рассуждений экспертной комиссии на последующих турах опроса с учетом всех потоков мнений экспертов, что достигается процессами фиксации и обработки информации.
Наличие количественных данных и качественных высказываний экспертов при моделировании угроз безопасности приводит к совмещению методов оценки согласованности методов с точек зрения качественного и количественного анализа. Информационный потенциал, имеющийся при моделировании угроз безопасности, в большинстве случаев можно оценивать, как достаточный, поэтому одним из наиболее важных аспектов автоматизации экспертизы можно оценивать проблему подтверждения достоверности оценок экспертов для принятия решения, вызванную устранением ошибок, возникающих на этапе принятия решения.
В связи с вышеописанным, на взгляд автора, главными направлениями автоматизации экспертной деятельности в информационной безопасности, имеющей целью согласование мнений, выступают создание автоматизированного рабочего места и систем принятия итогового решения. Автоматизированное рабочее место позволяет:
1. Сократить затраты проведения экспертной оценки без снижения качества выполняемых процессов.
2. Повысить творческие элементы принятия решений экспертом путем уменьшения организационно-технических составляющих экспертной оценки.
3. Получить результаты экспертной оценки в шаблонном виде, что способствует качественной интерпретации мнений по построению модели угроз без снижения согласованности мнений.
Устранение ошибок, вызванных при интерпретации полученных числовых результатов, формулировании высказываний, путем автоматизации экспертного процесса является дополнительной мерой согласования итогового результата. Формирование качественных выводов исключительно на основе полученных математических коэффициентов близости мнений может привести к неполноте интерпретации заключения каждого эксперта специалистами, не обладающими узконаправленными специальными знаниями в области информационной безопасности. Такой подход вызывает вопросы необоснованности полученного результата.
Автоматизированная система может предоставить заключение по экспертным направлениям оценивания на основе количественных характеристик близости экспертных мнений, дополняя итоговое заключение идеями экспертов, не понижая значимость каждого мнения.
Автоматизированный подход при моделировании угроз безопасности информации может позволить устранять ряд типовых ошибок, имеющих тенденции к снижению согласованности мнений экспертов.
Таким образом, в результате проведенного исследования поднята и обоснована проблема важности согласования мнений экспертов рабочей группы при моделировании угроз безопасности информации. Основополагающим фактором обеспечения информационной безопасности организации является правильно составленная модель угроз, формирование которой определяется экспертным мнением в равной степени для каждой оцениваемой угрозы/уязвимости.
Рассмотрен вопрос формирования экспертной группы для решения вопросов информационной безопасности, включая моделирование угроз безопасности информации. Предлагаемые формулы основаны на вероятностных величинах, обоснование которых основывается эвристически. Проанализированы методы вычисления согласованности и обеспечения согласования экспертов.
Предложено направление автоматизации процесса согласования экспертных оценок при моделировании угроз безопасности информации, включающей математическую обработку данных экспертного процесса и формированию итогового заключения, основанного на преобладании значимости решения эксперта над системой корректировки мнений.
Список литературы
1. Баранов А.Н., Баранова Е.М., Глухов Н.Н., Кирилин И. А. Порядок защиты и обнаружение инцидентов в процессе функционирования автоматизированной системы управления производственным процессом предприятия // Известия Тульского государственного университета. Технические науки. 2019. Вып. 10. С. 278-286.
2. Кузьмин И.Е., Баранова Е.М., Баранов А.Н., Борзенкова С.Ю. К вопросу рекомендаций оптимального качественного и количественного формирования экспертной рабочей группы для решения задач информационной безопасности // Известия Тульского государственного университета. Технические науки, 2020. Вып. 12. С. 103-107.
3. Информационное сообщение ФСТЭК России от 6 марта 2015 г. «Информационное сообщение о банке данных угроз безопасности информации» (Утверждено ФСТЭК России от 6 марта 2015 г. N 240/22/879).
4. Методика моделирования угроз безопасности информации: методический документ [Электронный ресурс]. URL: https://fstec.ru/component/ attachments/ download/ 2727 (дата обращения: 20.01.2021).
5. Банк данных угроз безопасности информации [Электронный ресурс]. URL: https://bdu.fstec.ru (дата обращения: 20.01.2021).
Кузьмин Илья Евгеньевич, студент, ilia.kuzmin.2000@mail.ru, Россия, Тула, Тульский государственный университет
THE PROBLEM OF OPINIONS OF THE CONSISTENCY OF EXPERTS OF THE WORKING GROUP IN MODELING INFORMATION SECURITY THREATS
I.E. Kuzmin
The article deals with the issue of coordination of expert opinions as an important and integral part of information security when designing a model of threats to information security, based on current threats and vulnerabilities presented on the official website of the FSTEC of Russia. The issue of automating the process of determining the consistency of expert group opinions is discussed as an additional measure to improve the direction of determining the consistency of assessments, which allows an objective assessment of the position of expert opinions in the working group.
Key words: the problem of consistency of opinions, the problem of coordination, the automation of expert activity, the model of threats to information security, information security.
Kuzmin Ilya Evgenievich, student, ilia. kuzmin. 2000@mail. ru, Russia, Tula, Tula State University
УДК 303.732 Б01: 10.24412/2071-6168-2021-3-260-264
ПРОГНОЗИРОВАНИЕ ТЕХНИЧЕСКОГО СОСТОЯНИЯ СЛОЖНЫХ ТЕХНИЧЕСКИХ КОМПЛЕКСОВ НА ОСНОВЕ ЭКСПЕРТНОЙ ИНФОРМАЦИИ
Д.Н. Гула, В. О. Головчинский
Рассматривается нечетко-возможный подход (экспертный опрос) к прогнозированию технического состояния сложных технических комплексов, в отличие от общепринятых математических моделей позволяет осуществлять прогноз технического состояния с использованием знаний и опыта экспертов (экспертный опрос). При этом обобщенное мнение экспертов представлено в виде нечеткой количественной оценки, учитывающей степень их компетентности.
Ключевые слова: эксперт, универсальное множество, нечеткое множество, функция принадлежности, лингвистическая переменная, степень компетентности эксперта.
Практика эксплуатации и научные исследования продемонстрировали, что в космической отрасли сложилась чрезвычайно сложная обстановка, так как оборудование большинства объектов наземной космической инфраструктуры (ОНКИ) выработало многократно продленный ресурс.
Для решения задач прогнозирования технического состояния (ТС) сложных технических комплексов (СТК) в настоящее время применяется большое количество апробированных методов, основанных на статистических и физико-статистических моделях [1]. Точность и достоверность получаемых прогнозных оценок с использованием данных методов зависит от длительности наблюдения за определяющими параметрами прогнозируемого явления на конкретном объекте или на идентичных. С этой точки зрения оборудование ОНКИ является объектом весьма сложным для прогнозирования,
