CC BY
13
УДК 614.8
Особенности экспресс-оценки эффективности автоматизированных систем оперативного управления в условиях неопределенности
ISSN 1996-8493
D01:10.54234/CST. 19968493.2022.19.1.71 © Технологии гражданской безопасности, 2022
В.Л. Грачев
Аннотация
Предложена и обоснована возможность применения третьей формулы Фишберна для экспресс-оценки эффективности автоматизированных систем оперативного управления федерального и регионального уровней различного предназначения в условиях дефицита информации об относительной важности критериев.
Ключевые слова: автоматизированная система; экспресс-методика; эффективность; показатель; неопределенность.
Express Evaluation Features of the Automated Operational Management Systems Effectiveness in Conditions of Uncertainty
ISSN 1996-8493
D01:10.54234/CST. 19968493.2022.19.1.71 © Civil Security Technology, 2022
V. Grachev
Abstact
The possibility of applying Fishburn's third formula for rapid evaluation of the automated operational management systems effectiveness at various purposes federal and regional levels in conditions of information shortage about the relative importance of criteria is proposed and substantiated.
Key words: automated system; express methodology; efficiency; indicator; uncertainty.
28.10.2021
К настоящему моменту в Российской Федерации внедрено значительное количество автоматизированных систем оперативного управления различного предназначения федерального и регионального уровней (АСУОП); становится актуальным вопрос о принятии управленческих решений об их усовершенствовании или замене. Рассмотрим проблему на примере автоматизированных информационно-управляющих систем антикризисного управления аналогичных уровней в ЧС природного и техногенного характера (АСУЧС).
Решение об усовершенствовании или замене АСУОП может быть естественным образом обосновано оценкой их эффективности (степени приспособленности автоматизированной системы управления к решению стоящих перед ней задач или степени достижения заданных целей функционирования*), которая обычно проводится при помощи соответствующего комплекса показателей эффективности (ПЭ).
Реализация процесса оперативной и низкозатратной оценки (экспресс-методика, экспресс-оценка) эффективности стандартных, в смысле состава автоматизируемых задач АСУЧС, описана в [1, 2, 3]: разработан перечень ПЭ, характеризующих функционирующую систему, в общем случае с учетом специфики АСУЧС и ограничений, накладываемых требованием оперативности, на основе выделения в АСУЧС условной базовой части, обеспечивающей возможность достижения цели, и специфической части, реализующей цель на основе возможностей, предоставленных базовой частью; определены значения весовых коэффициентов ПЭ; приведены описание процесса измерений, в том числе набор допустимых оценок, и формализованные (не требующие привлечения специальной команды экспертов) правила их определения.
Базовая часть перечня ПЭ содержит показатели, применимые практически к любым автоматизированным системам управления: наличие однозначно и корректно сформулированного замысла (задач и функций), соответствие замыслу и корректность технической документации, достаточность видов обеспечения, а также отражает проведение проверок и реализацию программы развития системы.
Специфическая часть перечня ПЭ отражает характеристики персонала, уровни (качество) выполнения автоматизируемых задач (ПЭ УВАЗ) и динамику их изменений, то есть характеризует конкретную АСУЧС. Поскольку дальнейшее рассмотрение касается ПЭ УВАЗ, отметим, что вклад этого набора ПЭ в общий результат составляет 25% [2].
Описанная экспресс-методика использует: заранее определенный перечень ПЭ и их весовые коэффициенты; формализованные правила оценки ПЭ, разработка которых требует значительных затрат времени и привлечения легитимной группы экспертов (в части количества, квалификации, а также полученного разброса ответов и иных требований к массиву данных, описанных для рассматриваемого случая, однако указанные действия возможно провести заблаговременно
и использовать результаты для аналогичных по реализации систем [3, 4].
Однако для систем, отличающихся составом автоматизируемых задач (это наиболее вероятная вариация АСУЧС или АСУОП), экспресс-методика не применима, поскольку требует нового определения значений весовых коэффициентов измененного набора ПЭ УВАЗ. Рассмотрим случай, когда необходимо быстро определить относительную важность ПЭ УВАЗ, т. е. разработать новые правила оценки ПЭ и привлечь легитимную группу экспертов для проведения нового взвешивания ПЭ невозможно.
Классическими для взвешивания ПЭ являются методы непосредственного оценивания (МНО), ранжирования, анализа иерархий, которые в данном случае не применимы из-за необходимости большого ресурса времени:
МНО использует прямые измерения значений весовых коэффициентов ПЭ экспертами [5];
метод ранжирования требует упорядочивания ПЭ в порядке возрастания их важности легитимной группой экспертов [6];
метод анализа иерархий использует процедуры парных сравнений ПЭ экспертами для построения матриц парных сравнений и дальнейшего расчета весовых коэффициентов;; для проверки корректности проведения парных сравнений ПЭ применяется понятие согласованности [7].
Для решения этой задачи необходимо привлечение дополнительной информации [8, 9]: использование оценок весовых коэффициентов ПЭ и «погрешностей» измерения дает возможность использования третьей формулы Фишберна (ТФФ) [10], возможность использования которой в подобных случаях обосновывается в [11, 12].
Для определения значений интервалов возможных значений весовых коэффициентов ПЭ используются погрешности их измерения, рассчитанные по стандартным формулам (например, [13]) согласно данным, полученным в [4] при проведении прямых измерений весовых коэффициентов, а также значения медианы Кемени и средних арифметических: за нижнюю границу интервала принимается меньшее из значений медианы Кемени и среднего арифметического, уменьшенное на величину погрешности; верхняя граница определяется по зеркальному алгоритму. Два набора весовых коэффициентов (без конкретных наименований ПЭ) для федерального и регионального уровней управления представлены в табл. 1.
Абстрагирование от конкретного набора автоматизируемых задач позволяет распространить дальнейшие результаты на АСУОП, характеризуемые ограниченным набором ПЭ УВАЗ, имеющих близкие значения весовых коэффициентов.
Для проверки допустимости использования ТФФ, имеющей следующий вид [9]:
P = a +-
1 "У" '
¿-4=1
n
а,
j=i j
У > , " а,)
(ь1" а), i =1
* ГОСТ ISO 9000-2011 «Системы менеджмента качества. Основные положения и словарь»
Таблица 1
Характеристики наборов данных ПЭ УВАЗ
ПЭ Набор 1 Набор 2
МК* СА** НГ*** ВГ**** МК СА НГ ВГ
ПЭ1 0,128 0,128 0,108 0,144 0,130 0,129 0,102 0,153
ПЭ2 0,122 0,126 0,096 0,147 0,122 0,126 0,094 0,151
ПЭ3 0,125 0,124 0,105 0,142 0,125 0,122 0,104 0,143
ПЭ4 0,125 0,124 0,096 0,147 0,125 0,123 0,093 0,149
ПЭ5 0,125 0,131 0,093 0,159 0,125 0,131 0,094 0,160
ПЭ6 0,125 0,132 0,083 0,198 0,125 0,133 0,084 0,194
ПЭ7 0,125 0,120 0,096 0,148 0,125 0,120 0,094 0,148
ПЭ8 0,125 0,116 0,096 0,145 0,116 0,115 0,094 0,137
Медиана Кемени. Среднее арифметическое. Нижняя граница интервала. Верхняя граница интервала.
где:
Р. — весовой коэффициент /-го ПЭ; а. и Ь. — соответственно, нижняя и верхняя границы интервала возможных значений весового коэффициента /-го ПЭ;
п — количество ПЭ; при условии выполнения
а,
< Ь], ]=1, п, г ^ < 1, гц ь > 1
проведем сравнение весовых коэффициентов ПЭ УВАЗ, полученных по МНО [4], с рассчитанными по ТФФ (табл. 2).
Как видно, максимальное и среднее расхождения результатов не превышают 3,1% и 1,5%, соответственно. Итоговая эффективность системы, рассчитанная согласно [2] по обоим наборам ПЭ УВАЗ, будет иметь расхождение не более 1%. Таким образом, эмпирическая проверка применения ТФФ с помощью проведения вычислительного эксперимента с использованием в качестве интервалов возможных значений весовых коэффициентов ПЭ данных, заранее определенных по МНО, показала высокую степень близости полученных результатов.
Далее проверим возможность применения ТФФ для оценки весовых коэффициентов ПЭ УВАЗ для систем, отличающихся составом автоматизируемых задач.
Предположим отсутствие необходимости в одной или нескольких задачах автоматизации. Необходимо отметить, что для расчета эффективности в этом случае нельзя проводить оценивание исключенного ПЭ значением «0», так как такой подход соответствует неудовлетворительному уровню автоматизации задачи, которую в исходных условиях [2] требуется автоматизировать. Ограничения ТФФ на значения границ интервалов возможных значений весовых коэффициентов позволяют исключить любой ПЭ.
Для оценки применимости ТФФ был проведен вычислительный эксперимент по оценке расхождений значений весовых коэффициентов ПЭ, полученных по МНО и по ТФФ, при условии поочередного удаления ПЭ УВАЗ, обладающих минимальным и максимальным весовыми коэффициентами. В качестве исходных данных для расчетов по ТФФ применялись интервалы возможных значений весовых коэффициентов ПЭ УВАЗ из таблицы 1. Измененные наборы весовых коэффициентов ПЭ, полученных по МНО, были заново нормированы.
При удалении ПЭ, обладающего максимальным весовым коэффициентом, максимальное и среднее расхождения результатов возрастают до 3,6% и 1,8%, соответственно, а итоговая эффективность системы, рассчитанная согласно [2] по обоим наборам ПЭ УВАЗ,
Сравнение оценок весовых коэффициентов ПЭ УВАЗ
Таблица 2
ПЭ Набор 1 Набор 2
МНО ТФФ МНО ТФФ
ПЭ1 0,126 0,126 0,128 0,128
ПЭ2 0,123 0,121 0,123 0,123
ПЭ3 0,122 0,124 0,121 0,124
ПЭ4 0,122 0,121 0,122 0,121
ПЭ5 0,130 0,126 0,131 0,127
ПЭ6 0,140 0,140 0,141 0,140
ПЭ7 0,120 0,122 0,119 0,121
ПЭ8 0,117 0,120 0,115 0,116
будет иметь расхождение не более 1%. При удалении ПЭ, обладающего минимальным весовым коэффициентом, максимальное и среднее расхождения результатов возрастают до 9% и 3,1%, итоговая эффективность будет иметь расхождение не более 3%. Очевидно, такую близость оценок весовых коэффициентов ПЭ, полученных двумя разными способами, можно считать подтверждением применимости ТФФ в рассмотренных случаях.
Для оценки применимости ТФФ в случае наличия дополнительных задач автоматизации (что представляется маловероятным, поскольку в [3] рассмотрен набор задач автоматизации в общем виде) также был проведен вычислительный эксперимент.
Ограничения ТФФ на значения интервальных границ позволяют добавить один или несколько ПЭ с суммой нижних значений интервалов не более 0,227 и 0,241 для первого и второго наборов ПЭ УВАЗ соответственно. В качестве исходных данных для расчетов по ТФФ применялись интервалы из таблицы 1: к набору весовых коэффициентов ПЭ УВАЗ, добавлялся еще один с интервалом возможных значений весового коэффициента ПЭ, верхняя граница которого определялась пропорционально среднему значению отношений верхних и нижних
Литература
1. Грачев В. Л. Об оценке эффективности автоматизированных систем управления в чрезвычайных ситуациях [Электронный ресурс] // Технологии техносферной безопасности: интернет-журнал. 2014. Вып. 5 (57). URL: http://academygps.ru/ttb (дата обращения:15.11.2021).
2. Грачев В. Л. Выбор и взвешивание показателей для экспресс-оценки качества автоматизированной системы антикризисного управления в ЧС [Электронный ресурс] // Технологии тех-носферной безопасности: интернет-журнал. 2017. Вып. 4 (74). URL: http://academygps.ru/ttb (дата обращения: 15.11.2021).
3. Грачев В. Л. Показатели эффективности и оценка качества автоматизированных систем антикризисного управления федерального и регионального уровней // Технологии гражданской безопасности. 2015. Т. 12. № 3. C. 70-74.
4. Отчетные материалы по научно-исследовательской работе «Совершенствование информационно-коммуникационных технологий управления МЧС России и РСЧС». Ч. 1. Предложения по совершенствованию АИУС РСЧС. М.: ФГБУ ВНИИ ГОЧС (ФЦ), 2015. 98 с.
5. Никул Е. С. Метод экспертного оценивания информационных систем в условиях недостатка информации // Известия ЮФУ. Технические науки. 2008. № 7. С. 111-115.
6. Клюшникова Е. В., Шитова Е. М. Методические подходы к расчету интегрального показателя, методы ранжирования [Электронный ресурс] // Электронный научно-практический
Сведения об авторе
Грачев Виталий Леонидович: ФГБУ ВНИИ ГОЧС (ФЦ),
с.н.с. науч.-исслед. отдела.
Москва, Россия.
e-mail: g-vl@mail.ru
SPIN-код: 3748-1976.
границ остальных интервалов и значению нижней границы добавляемого интервала (выбор значения нижней границы определен выше). Для пересчета весовых коэффициентов ПЭ, полученных по МНО, к исходному набору добавлялся равный дополнительному, рассчитанному по ТФФ, затем они заново нормировались.
Удовлетворительные значения максимального расхождения результатов, при которых применение ТФФ предполагается оправданным (оцениваются в 10%), обеспечиваются при добавлении 1 ПЭ с таким весовым коэффициентом, что сумма значений нижних границ интервалов составляет не более 0,85. В противном случае, например, при добавлении одного ПЭ с максимально возможной нижней границей интервала максимальное и среднее расхождения результатов возрастают до 27%, а итоговая эффективность системы имеет расхождение до 7%, — применение ТФФ для этого случая неоправданно.
Полученные расчетные результаты обосновывают возможность и способ применения ТФФ для оперативной оценки эффективности АСУОП при отличии набора автоматизируемых задач от стандартного перечня в случае, если соответствующие ПЭ УВАЗ имеют близкие значения весовых коэффициентов.
журнал «ИнноЦентр. 2016. Вып. 1 (10). URL: http://innoj.tversu. ru (дата обращения: 15.11.2021).
7. Саати Т.Л. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1989. 316 с.
8. Грачев В. Л. Расчетная модель и алгоритм экспресс-оценки качества автоматизированной системы антикризисного управления в чрезвычайных ситуациях в условиях неопределенности [Электронный ресурс] // Технологии техносферной безопасности. 2020. Вып. 3 (89). С. 30-42. DOI: 10.25257/ TTS.2020.3.89.30-42/. URL: http://academygps.ru/ttb (дата обращения: 15.11.2021).
9. Королев О.Л. Применение энтропии при моделировании процессов принятия решений в экономике: Моногр. / О. Л. Королев, М. Ю. Куссый, А. В. Сигал / Под ред. доц. А. В. Сигала. Симферополь: Издательство «ОДЖАКЪ», 2013. 148 с.
10. Фишберн П. Теория полезности для принятия решений. М.: Наука, 1978. 352 с.
11. Сурков А. А. Объединение экономических прогнозов с использованием экспертной информации // Статистика и экономика. 2019. Т. 16. № 5. С. 4-14.
12. Макарова И. Л. Анализ методов определения весовых коэффициентов в интегральном показателе общественного здоровья // Символ науки. 2015. № 7. С. 87-94.
13. Попов П. В., НозикА. А. Обработка результатов учебного эксперимента. М.: МФТИ, 2019.63 с. [Электронный ресурс] // URL: https://mipt.ru/upload/medialibrary/111/main.pdf (дата обращения: 15.11.2021).
Information about author
Grachev Vitaliy L.: All-Russian Research Institute for Civil
Defense and Emergencies, Senior Researcher, Research
Department.
Moscow, Russia.
e-mail: g-vl@mail.ru
SPIN-scientific: 3748-1976.
