CC BY
26DOI: https://doi.org/10.33408/2519-237X.2021.5-2.241 УДК. 351.861
ОЦЕНКА ЭФФЕКТИВНОСТИ МЕРОПРИЯТИЙ ГРАЖДАНСКОЙ ОБОРОНЫ ПРИ ПОДГОТОВКЕ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ
Бордак С.С., Ковтун В.А., Плескачевский Ю.М.
Цель. Выработать подход по формализации оценки эффективности мероприятий гражданской обороны при подготовке управленческих решений.
Методы. В качестве теоретической базы использовались методы теории эффективности, теории исследования операций, теории вероятностей и математической статистики, а также общенаучные методы (индукции, дедукции, анализа и синтеза).
Результаты. Проведен анализ основных литературных источников в области оценки эффективности сложных систем. Выработан подход по формализации оценки эффективности мероприятий гражданской обороны при подготовке управленческих решений на основе критерия оценивания качества результатов операции.
Область применения исследований. Результаты исследования могут быть использованы в научных исследованиях, связанных с аспектами подготовки и ведения гражданской обороны, а также в практической деятельности начальников и штабов гражданской обороны.
Ключевые слова: гражданская оборона, оценка эффективности, органы управления гражданской обороной, система, операция, эффективность, неопределенность, принятие управленческого решения.
(Поступила в редакцию 1 марта 2021 г.)
Введение
В основе управления гражданской обороны лежит решение начальника гражданской обороны, которым определяются порядок, способы и сроки выполнения мероприятий, а также необходимые для их выполнения силы и средства. Исследуя процесс принятия такого решения, необходимо учитывать, что его во многом затрудняют резкие изменения обстановки и отсутствие полной информации о ней, т.е. имеется высокая степень неопределенности. Деятельность органов управления гражданской обороны, связанная с поддержкой принятия решения, как правило, направлена на снижение этой неопределенности в интересах принятия целесообразного решения начальником гражданской обороны. Поэтому важной составляющей их работы является обоснование вырабатываемого решения исходя из оценки эффективности наиболее общего комплексного свойства планируемых мероприятий гражданской обороны.
На данный момент решение такой задачи во многом зависит от интуиции начальника и должностных лиц штаба ГО, их эвристических способностей вырабатывать неординарные и эффективные управленческие воздействия в сложных условиях. В данной статье преследуется цель провести анализ основных литературных источников в области оценки эффективности сложных систем и на основе его результатов выработать подход по формализации оценки эффективности мероприятий гражданской обороны при подготовке управленческих решений. По нашему мнению, последующее применение предложенного подхода в комбинации с традиционными методами обоснования принимаемых решений будет способствовать повышению эффективности организации гражданской обороны, успешному решению других управленческих задач.
Для достижения поставленной цели видится обоснованным использование теории эффективности. Она зародилась в военном деле, в частности в теории стрельбы, предметом которой является оценивание действительности стрельбы огнестрельного оружия. Наибольший вклад в развитие теории эффективности внес А.Н. Колмогоров.
В работе [1] он впервые предложил оценивать эффективность стрельбы не на основе частных показателей, а по степени объективной возможности выполнения той основной задачи, ради которой эта стрельба производится.
В настоящее время теория эффективности представляет собой прикладную дисциплину, которая разрабатывает и исследует принципы и методы количественного оценивания и анализа результатов функционирования целеустремленных технических, социально-технических и экономических систем и степени их соответствия целям операции, которые стоят перед целеустремленной системой, а также методы оптимизации проектируемых целеустремленных систем и организуемых целенаправленных процессов их функционирования [2-6]. Данная теория строится на понятии эффективности, под которым понимают комплексное операционное свойство целенаправленного процесса функционирования, характеризующее его приспособленность к выполнению стоящей перед системой задачи [4; 5].
Основная часть
Проведенный анализ источников [3-5] показывает, что эффективность напрямую связана с понятием качества, которое отождествляется со свойством или совокупностью свойств объекта, обусловливающих его пригодность для использования по целевому назначению. Применительно к гражданской обороне, которая, в сущности, является сложной системой, качество проявляется в полной мере только в процессе ее функционирования, применения ее сил и средств по предназначению. Поэтому наиболее объективная оценка эффективности ГО может быть осуществлена с позиции качества планируемых мероприятий гражданской обороны [4; 5].
Для комплексного исследования эффективности планируемых мероприятий гражданской обороны следует ввести показатель качества х, который должен включать как минимум три компонента: возможные целевые эффекты - результативность планируемых мероприятий гражданской обороны (е); затраты ресурсов - ресурсоемкость (г); затраты времени - оперативность (г). Поэтому показатель качества х целесообразно представить в виде трехкомпо-нентного вектора, свернув показатели частных эффектов внутри групп:
х(*!, х2, х3) = (е, г,г), (1)
где е - способность обеспечить результат (выполнить задачу), ради которого проводятся мероприятия; г - объем ресурсов, привлекаемых для проведения мероприятий; г - время, требуемое для достижения цели (выполнения задачи).
Вектор х будет зависеть от параметров исследуемой системы, ее эксплуатационно-технических характеристик - вектора а = (а1, а2,...,ак), условий функционирования - вектора Ь(1) = (Ь(1), Ь(1),...,Ь™):
х = х(а, Ь(1)). (2)
Изученные источники [3-10] свидетельствуют, что при исследовании эффективности процесса необходимо задать критерий, на основе которого будет определяться показатель эффективности, выражающий меру соответствия достигнутых результатов требуемым значениям, которые следует получить для достижения цели. В литературе такой критерий называют критерием оценивания качества результатов операции (Сц). В формальном виде его можно выразить условием:
Сц: х е{х(3) где хд - допустимые значения вектора х.
Для гражданской обороны типичной является ситуация, когда на ее эксплуатационно-технические характеристики и параметры, условия функционирования и применения воздействует ряд случайных факторов [11]. В связи с этим наибольший практический интерес представляет период исследования эффективности до проведения мероприятий ГО. Например, это характерно для принятия решения начальником ГО района (города) на проведение аварийно-спасательных и других неотложных работ на этапе заблаговременной подготовки гражданской обороны, т.к. оно принимается на основе выводов из оценки обстановки по результатам прогнозирования. В этом случае векторы а и Ь(1), а следовательно, и х являются случайными. Более того, случайными являются значения хд, которые определяются условиями применения сил и средств ГО - векторЬ(2) = (Ь1(2), Ь22),...,Ь\2)), поскольку до проведения
мероприятий гражданской обороны неизвестно, какими должны быть результаты, чтобы поставленная цель была достигнута, т.е.
х ' = x(a, Ь(1)), (4)
хд = x д(Ь(2)),
где х' - вектор качества результатов планируемых мероприятий; х'д- вектор допустимых значений вектора качества результатов планируемых мероприятий ГО.
Таким образом, условие (3) принимает вид:
Сц: х ' е {х 'д). (5)
Спецификой гражданской обороны, в отличие от мероприятий по защите от чрезвычайных ситуаций природного и техногенного характера, является то, что в ходе выполнения мероприятий ГО на них воздействует большое число внешних факторов (например, противодействие противника), вызывающих неопределенность их исхода и не позволяющих применить детерминированный подход для оценки эффективности [12; 13].
В силу того что х' и х'д по своей сущности являются случайными векторами, возникает необходимость в определении вероятности достижения цели планируемых мероприятий Рц
Рц = Р (х е{х' д}). (6)
Результаты анализа существующих подходов к оценке вероятности достижения цели планируемых мероприятий ГО [3-10] показали, что наиболее распространенной является оценка, в основу которой положены законы распределения случайных величин. Следовательно, для вычисления значения этой вероятности необходимо знать функцию распределения случайного вектора х
^(х' = Р (х1 < х1 , х2 < х' > х3 < х' ) . (7)
Задача установления вида функции распределения вектора х', определения свойств величин хр х2, х3 решается с применением методов теории вероятностей и математической статистики.
Проведенный анализ практики организации и ведения гражданской обороны свидетельствует, что требования, предъявляемые к результатам планируемых мероприятий, имеют односторонний характер. Так, целевой эффект должен быть не менее требуемого (минимально допустимого) значения хД = етП; затраты должны быть не выше максимально допустимого значения хд = гтах; задача должна быть выполнена за время, не превышающее максимально допустимого значения хд = /тах, называемое директивным или нормативным временем. Следовательно, критерий (5) принимает вид
G:: е {х |х, > xf = emin, х2 < х2д = rmax, Х3 < х^ = /тах}. (8)
Анализ источников [14—17] показал, что с практической точки зрения наиболее адекватная оценка компонента результативности векторов х' и х'д может быть проведена на основе коллективного мнения группы экспертов. Согласно теории принятия решений такая оценка может быть качественной или количественной [15]. Преимущества качественной оценки заключаются в ее простоте, удобстве и отсутствии каких-либо расчетов. Вместе с тем основным ее недостатком является большая степень субъективности вследствие крайне узкого диапазона оценок исследуемой величины. По этой причине специалисты в области управления [16; 17] рекомендуют использование количественной оценки. Она хотя и не устраняет фактора субъективности, однако делает процесс оценки более гибким, расширяя диапазон возможных оценок величин.
Можно отметить, что количественная оценка не является таковой в чистом виде, поскольку в ходе ее проведения в основном используется балльная оценка величин, где каждому баллу соответствует качественная оценка, характеристика и описание. Другими словами, такая оценка имеет качественно-количественную сущность, является универсальной, что подтверждает возможность ее использования в интересах оценки указанных выше компонентов эффективности.
Сложившаяся практика обоснования решений начальника гражданской обороны свидетельствует, что, пожалуй, самой сложной задачей при оценке эффективности является оценка компоненты результативности е. Анализ источников [15-17] показал, что эта задача может быть значительно упрощена за счет использования балльных шкал оценки. Для ее построения необходимо выбрать диапазон шкалы и интерпретировать ее значения. Основной характеристикой балльной шкалы является ее диапазон, т.е. количество оценочных точек. По мнению авторов, наиболее подходящими для практического использования являются 3-, 5- или 10-балльные шкалы. В общем случае выбор диапазона шкалы балльной оценки ограничивается возможностью интерпретации ее значений. Каждое значение должно иметь четкую характеристику, которая не допускала бы ее двоякого толкования и обеспечивала однозначное отождествление компонента оценки эффективности. В таблице 1 приведен вариант нормирования шкалы показателя результативности планируемых мероприятий гражданской обороны е.
Таблица 1. - Вариант количественной оценки показателя результативности мероприятий ГО
Шкала качественной оценки Результативность мероприятий гражданской обороны Шкала количественной оценки
3-балльная 5-балльная 10-балльная 5-балльная 3-балльная
Высокая Очень высокая Результат неизбежно достигается всегда 10 5 3
Теоретически может быть не достигнут, но практически всегда достигается 9
Высокая Достигается очень часто, в подавляющем большинстве случаев 8 4
Средняя Достигается часто, в значительном большинстве случаев 7 2
Средняя Получается в незначительном большинстве случаев 6 3
Получается в незначительном меньшинстве случаев 5
Низкая Достигается редко 4 2
Низкая Достигается очень редко 3 1
Очень низкая Результат теоретически возможен, но практически не достигается 2 1
Результат невозможен, не достигается никогда 1
Важным элементом оценки компонентов эффективности является их нормирование, что на практике часто вызывает затруднения. Например, выбрать значение показателя результативности между альтернативными характеристиками «часто» и «очень часто» довольно сложно, особенно без тщательного анализа имеющихся знаний об параметрах исследуемой системы, ее эксплуатационно-технических характеристиках, условий функционирования. Для разрешения этого проблемного вопроса целесообразно использовать подход численной оценки сравнительной предпочтительности альтернатив, в основе которого лежат метод парных сравнений и метод сравнительных суждений Л. Терстоуна [18].
Проведенный анализ позволяет формализовать процесс оценки эффективности планируемых мероприятий гражданской обороны, его общая структурно-логическая схема представлена на рисунке 1.
Данные об условиях реализации решения
О Г" о
Q.
С
0 ■S л
1 IQ. 0J с
О ^
СО '
Определение частных показателей эффективности
(Х1, Х2, Хз)
Определение допустимых значений Х1,Х2, хз
1
Да
Определение показателя х'
Формулирование критерия
Выбор варианта
проведения мероприятия
Определение вероятности
достижения цели мероприятия
J
< ^ р;р < рц > Нет
Принятие решения начальником гражданской обороны
С - требуемое значение вероятности достижения цели планируемых мероприятий
Рисунок 2. - Общая структурно-логическая схема оценки эффективности планируемых мероприятий гражданской обороны
Представленный подход оценивания эффективности гражданской обороны осуществляется на двух уровнях, и реализуется в два этапа. Его сущность заключается в следующем.
На первом этапе:
1. Для определения частных показателей эффективности организуется сбор информации у экспертов, проводится анализ согласованности мнений экспертов. Проводится численная оценка сравнительной предпочтительности альтернатив частных показателей эффективности. По результатам экспертного оценивания определяется количественный показатель результата, который необходимо достичь при выполнении мероприятий гражданской обороны.
2. На основе данных об условиях, в которых предполагается реализация решения начальника ГО и нормативных требований, определяются допустимые значения показателей ресурсоемкости и оперативности (затраты или отрицательные эффекты).
3. На основе частных показателей эффективности определяется показатель качества результатов планируемых мероприятий ГО.
4. Определяется критерий оценки эффективности - условия выполнения задач, реализация которых позволит достичь желаемой цели.
5. Выбирается вариант проведения мероприятия гражданской обороны.
На втором этапе:
6. Вычисляется вероятность достижения цели планируемых мероприятий гражданской обороны.
7. Задаются требования к эффективности мероприятий ГО - минимально допустимое или требуемое значение вероятности достижения цели Рцтр.
8. Проводится сравнение фактического значения Рц и требуемого значения Р^ вероятностей достижения цели планируемых мероприятий гражданской обороны. Если значение Рц больше или равно значению Рцтр , то начальником гражданской обороны принимается решение на проведение мероприятий ГО. Если значение Рц меньше требуемого, то выбирается другой вариант проведения мероприятия гражданской обороны.
Заключение
Таким образом, предложен подход к формализации оценки эффективности планируемых мероприятий гражданской обороны в ходе подготовки управленческих решений. В его основу положен критерий оценивания качества результатов планируемых мероприятий ГО. Применение полученных результатов органами управления гражданской обороны позволит выбрать целесообразный вариант проведения мероприятий для достижения цели при существующих альтернативах, а также оптимизировать управление силами и средствами гражданской обороны на основе заданного критерия эффективности.
Преимуществом представленного подхода является то, что при его применении все целенаправленные процессы оказываются сравнимыми по эффективности, которая имеет единую меру - вероятность достижения цели Рц. Применение подхода позволяет рассматривать вероятность достижения цели планируемых мероприятий одновременно, как и относительный и абсолютный показатель эффективности. Так, с одной стороны, целевой эффект планируемых мероприятий гражданской обороны связан с затратами ресурсов, которые являются отрицательными эффектами, поэтому в этом случае вероятность Рц характеризует эффективность с учетом соотношения целевого и отрицательных эффектов. С другой стороны, для фиксированного комплекса условий вероятность случайного процесса есть абсолютная характеристика степени объективной возможности его реализации. То есть значение Рц и в этом случае относительно, но по сравнению с единицей, выступающей абсолютной мерой степени объективной возможности достоверного события. Другие применяемые показатели эффективности таким важным свойством не обладают.
Реализация выработанного подхода позволит упорядочить деятельность органов управления гражданской обороны по подготовке рациональных вариантов решения на про-
ведение мероприятий ГО, минимизировать субъективность оценки эффективности этих решений, а также снизить уровень неопределенности в отношении их возможных последствий.
Полученные в статье результаты могут быть применены в системах поддержки принятия решения начальником ГО о проведении мероприятий гражданской обороны.
ЛИТЕРАТУРА
1. Колмогоров, А.Н. Число попаданий при нескольких выстрелах и общие принципы оценки эффективности системы стрельбы / А.Н. Колмогоров // Труды математического института им. В.А. Стеклова: сб. ст. по теории стрельбы / АН СССР. - М.; Л., 1945. - C. 7-25.
2. Вентцель, Е.С. Введение в исследование операций / Е.С. Вентцель. - М.: Советское радио, 1964. - 390 с.
3. Добров, А.В. Основы теории эффективности: учебник / А.В. Добров. - Химки: АГЗ МЧС России, 2009. - 136 с.
4. Петухов, Г.Б. Основы теории эффективности целенаправленных процессов. Ч. 1. Методология, методы, модели / Г.Б. Петухов. - Л.: Мин. обороны СССР, 1989. - 647 с.
5. Петухов, Г.Б. Методологические основы внешнего проектирования целенаправленных процессов и целеустремленных систем / Г.Б. Петухов, В.И. Якунин. - М.: АСТ, 2006. - 502 с.
6. Виноградов, В.А. Эффективность сложных систем. Динамические модели / В.А. Виноградов [и др.]. - М.: Наука, 1989. - 288 с.
7. Habayeb, A.R. Systems effectiveness / A.R. Habayeb. - Irbid; Yarmouk University: Pergamon press, 1989. - 447 p. DOI: 10.1016/C2009-0-11076-0.
8. Morse P.M., Kimball G.E. Methods of operations research / P.M. Morse, G.E. Kimball. - Washington: National Defense Research Committee, 1946. - 186 р.
9. Ануреев, И.И. Применение математических методов в военном деле / И.И. Ануреев. - М.: Воен-издат, 1972. - 254 с.
10. Зотов, В.П. Теоретические основы оценки эффективности / В.П. Зотов. - М.: ВА им. Ф.Э. Дзержинского, 1967. - 452 с.
11. Бордак, С.С. Подготовка мероприятий гражданской обороны на основе анализа рисков / С.С. Бордак, М.Н. Субботин // Вестник Университета гражданской защиты МЧС Беларуси. -2017. - Т. 1, № 2. - С. 223-231. DOI: 10.33408/2519-237X.2017.1-2.223.
12. Субботин, М.Н. Мероприятия гражданской защиты, обеспечивающие живучесть города в мирное и военное время / М.Н. Субботин, С.С. Бордак // Вестник Командно-инженерного института МЧС Республики Беларусь. - 2016. - № 1 (23). - С. 99-105.
13. Тихонов, М.М. Перспективы создания государственной системы гражданской защиты / М.М. Тихонов, М.Н. Субботин, С.С. Бордак // Вестник Университета гражданской защиты МЧС Беларуси. - 2018. - Т. 2, № 3. - С. 386-392. DOI: 10.33408/2519-237X.2018.2-3.386.
14. Ласута, Г.Ф. Методика ранжирования организаций в интересах гражданской обороны с использованием метода анализа иерархий / Г.Ф. Ласута, Н.В. Карпиленя, А.Д. Булва // Вестник Университета гражданской защиты МЧС Беларуси. - 2019. - Т. 3, № 3. - С. 301-313. DOI: 10.33408/2519-237X.2019.3-3.301.
15. Бешелев, С.Д. Экспертные оценки / С.Д. Бешелев, Ф.Г. Гурвич. - М.: Наука, 1973. - 161 с.
16. Борисов, Н.Н. Методы оценки решений: элементы анализа / Н.Н. Борисов, А.С. Левченко. - Рига: РПИ, 1980. - 189 с.
17. Кузьменко, Ю.М. Методы анализа и обработки военно-экономической информации / Ю.М. Кузьменко [и др.]. - М.: Наука, 1978. - 115 с.
18. Thurstone, L.L. The Measurement of Values / L.L. Thurstone. - Chicago: University of Chicago Press, 1959. - 322 р.
Оценка эффективности мероприятий гражданской обороны при подготовке управленческих решений
Evaluation of the effectiveness of civil defense measures in the preparation of management decisions
Бордак Сергей Сергеевич
Государственное учреждение образования «Университет гражданской защиты Министерства по чрезвычайным ситуациям Республики Беларусь», кафедра гражданской защиты, старший преподаватель
Адрес: ул. Машиностроителей, 25, 220118, г. Минск, Беларусь e-mail: bordak.ucp@gmail.com ORCID: 0000-0001-9157-3899
Ковтун Вадим Анатольевич
доктор технических наук, профессор
Гомельский филиал государственного учреждения образования «Университет гражданской защиты Министерства по чрезвычайным ситуациям Республики Беларусь», кафедра оперативно-тактической деятельности и техники, профессор
Адрес: ш. Речицкое, 65А,
246023, г. Гомель, Беларусь e-mail: vadimkov@yandex.ru ORCID: 0000-0001-9510-132X
Плескачевский Юрий Михайлович член-корреспондент НАН Беларуси, доктор технических наук, профессор
Белорусский национальный технический университет, кафедра микро- и нанотехникти, заведующий кафедрой
Адрес: ул. Я. Коласа, 22,
220013, г. Минск, Беларусь e-mail: pleskachevsky@bntu.by ORCID: 0000-0002-5459-9835
Sergey S. Bordak
State Educational Establishment «University of Civil Protection of the Ministry for Emergency Situations of the Republic of Belarus», Chair of Civil Protection, Senior Lecturer
Address: Mashinostroiteley str., 25,
220118, Minsk, Belarus e-mail: bordak.ucp@gmail.com ORCID: 0000-0001-9157-3899
Vadim A. Kovtun
Grand PhD in Technical Sciences, Professor Gomel Branch of the State Educational Establishment «University of Civil Protection of the Ministry of Emergency Situations of the Republic of Belarus», Chair of Operational-Tactical Activity and Technical Equipment, Professor
Address: st. Rechitskoe, 65A,
246023, Gomel, Belarus e-mail: vadimkov@yandex.ru ORCID: 0000-0001-9510-132X
Yuriy M. Pleskachevskiy
Corresponding Member of the National Academy of Sciences of Belarus, Grand PhD in Technical Sciences, Professor
Belarusian National Technical University, Chair of Micro- and Nanotechnology, Head of Chair
Address: Y. Kolas str., 22,
220013, Minsk, Belarus e-mail: pleskachevsky@bntu.by ORCID: 0000-0002-5459-9835
DOI: https://doi.org/10.33408/2519-237X.2021.5-2.241
EVALUATION OF THE EFFICIENCY OF CIVIL DEFENSE MEASURES MAKING
MANAGEMENT DECISIONS
Bordak S.S., Kovtun V.A., Pleskachevskiy Yu.M.
Purpose. Develop an approach to formalize the assessment of the effectiveness of civil defense measures in the preparation of management decisions.
Methods. The well-known methods of efficiency theory, theory of operations research, probability theory and mathematical statistics, as well as general scientific methods (induction, deduction, analysis and synthesis) were used as a theoretical basis.
Findings. The analysis of the main literary sources in the field of assessing the effectiveness of complex systems. An approach has been developed to formalize the assessment of the effectiveness of civil defense measures in the preparation of management decisions based on the criterion for assessing the quality of the operation results.
Application field of research. The research results can be used in scientific research related to aspects of preparation and conduct of civil defense, as well as in the practical activities of chiefs and staffs of civil defense.
Keywords: civil defense, efficiency assessment, civil defense management bodies, system, operation, efficiency, uncertainty, management decision making.
(The date of submitting: Marth 1, 2021) REFERENCES
1. Kolmogorov A.N. Chislo popadaniy pri neskol'kikh vystrelakh i obshchie printsipy otsenki ef-fektivnosti sistemy strel'by [The number of hits with multiple shots and general principles for assessing the effectiveness of the firing system]. Proceedings of the Steklov Mathematical Institute: collection of articles on the theory of artillery fire. Moscow, Leningrad: Academy of Sciences of the USSR, 1945. Pp. 7-25. (rus)
2. Ventcel' E.S. Vvedenie v issledovanie operatsiy [Introduction to operations research]. Moscow: Sovetskoe radio, 1964. 390 p. (rus)
3. Dobrov A.V. Osnovy teorii effektivnosti [Fundamentals of efficiency theory]: tutorial. Himki: Civil Defence Academy of Emercom of Russia, 2009. 136 p. (rus)
4. Petukhov G.B. Osnovy teorii effektivnosti tselenapravlennykh protsessov. Chast' 1 Metodologiya, metody, modeli [Fundamentals of the theory of the effectiveness of purposeful processes. Part 1 Methodology, methods, models]. Leningrad: Ministry of Defense of the USSR, 1989. 647 p. (rus)
5. Petukhov G.B., Yakunin V.I. Metodologicheskie osnovy vneshnegoproektirovaniya tselenapravlennykh protsessov i tseleustremlennykh sistem [Methodological bases of external design of purposeful processes and purposeful systems]. Moscow: AST, 2006. 502 p. (rus)
6. Vinogradov V.A. Effektivnost' slozhnykh sistem. Dinamicheskie modeli [Effectiveness of complex systems. Dynamic models]. Moscow: Nauka, 1989. 288 p. (rus)
7. Habayeb A.R. Systems effectiveness. Irbid; Yarmouk University: Pergamon press, 1989. 447 p. DOI: 10.1016/C2009-0-11076-0.
8. Morse P.M., Kimball G.E. Methods of operations research. Washington: National Defense Research Committee, 1946. 186 p.
9. Anureev I.I. Primenenie matematicheskikh metodov v voennom dele [Application of mathematical methods in military affairs]. Moscow: Voenizdat, 1972. 254 p. (rus)
10. Zotov V.P. Teoreticheskie osnovy otsenki effektivnosti [Theoretical foundations of performance assessment]. Moscow: Military Academy named after F.E. Dzerzhinsky, 1969. 452 p. (rus)
11. Bordak S.S., Subbotin M.N. Podgotovka meropriyatiy grazhdanskoy oborony na osnove analiza riskov [Preparation of actions of civil defense on the basis of risk analysis]. Journal of Civil Protection, 2017. Vol. 1, No. 2. Pp. 223-231. (rus) DOI: 10.33408/2519-237X.2017.1-2.223
12. Subbotin M.N., Bordak S.S. Meropriyatiya grazhdanskoy zashchity, obespechivayushchie zhivuchest' goroda v mirnoe i voennoe vremya [Measures of the Civil Defense providing the functioning of cities at
peace and war period]. Vestnik Komandno-inzhenernogo instituta MChS Respubliki Belarus', 2016. No. 1 (23). Pp. 99-105. (rus)
13. Tikhonov M.M., Subbotin, M.N., Bordak, S.S. Perspektivy sozdaniya gosudarstvennoy sistemy gra-zhdanskoy zashchity [Perspectives of the creation of the state system of civil protection]. Journal of Civil Protection, 2018. Vol. 2. No. 3. Pp. 386-392. (rus). DOI: 10.33408/2519-237X.2018.2-3.386.
14. Lasuta G.F., Karpilenya N.V., Bulva A.D. Metodika ranzhirovaniya organizatsiy v interesakh gra-zhdanskoy oborony s ispol'zovaniem metoda analiza ierarkhiy [Ranking methodology of organizations for benefit of civil defense using the method of hierarchies]. Journal of Civil Protection, 2019. Vol. 3, No. 3. Pp. 301-313. (rus). DOI: 10.33408/2519-237X.2019.3-3.301.
15. Beshelev S.D., Gurvich F.G. Ekspertnye otsenki [Expert assessments]. Moscow: Nauka, 1973. 161 p. (rus)
16. Borisov N.N., Levchenko A.S. Metody otsenki resheniy: elementy analiza [Decision Evaluation Techniques: Elements of Analysis]. Riga: RPI, 1980. 189 p. (rus)
17. Kuz'menko Yu.M. [et al.]. Metody analiza i obrabotki voenno-ekonomicheskoy informatsii [Methods of analysis and processing of military-economic information]. Moscow: Nauka, 1978. 115 p. (rus)
18. Thurstone L.L. The Measurement of Values. Chicago: University of Chicago Press, 1959. 322 p.
