CC BY
121
/70 Civil SecurityTechnology, Vol. 12, 2015, No. 3 (45) УДК 614.8
Показатели эффективности и оценка качества автоматизированных систем антикризисного управления федерального и регионального уровней
ISSN 1996-8493
© Технологии гражданской безопасности, 2015
В.Л. Грачев
Аннотация
Рассмотрены подходы к оценке эффективности организационно-технической реализации автоматизированных систем антикризисного управления федерального и регионального уровней в чрезвычайных ситуациях природного и техногенного характера.
Ключевые слова: автоматизированная система; система антикризисного управления; эффективность; качество; интегральная оценка; показатели эффективности.
Performance Indicators and Quality Assessment of Automated Systems for Crisis Management at the Federal and Regional Levels
ISSN 1996-8493
© Civil Security Technology, 2015
V. Grachev
Abstract
Approaches to evaluating the effectiveness of the organizational and technical implementation of the automated systems of crisis management at federal and regional levels in emergency situations of natural and man-made.
Key words: automated system; crisis management system; efficiency; quality; integrated assessment; performance indicators.
Любая автоматизированная система антикризисного управления федерального и регионального уровней в ЧС природного и техногенного характера (далее — АСУЧС) должна удовлетворять известным принципам построения [1] автоматизированных систем (далее — АС). Важной характеристикой АСУЧС является ее эффективность, определяющая полезность такой системы.
Под эффективностью любой системы понимается степень приспособленности системы к решению стоящих перед ней задач или степень достижения заданных целей функционирования [2]. Оценивать эффективность организационно-технической реализации АСУЧС с точки зрения обеспечения автоматизации решения задач и функций системы управления предлагается [3] ее качеством [4], при этом показатель эффективности (далее — ПЭ) будет мерой или характеристикой для оценки степени достижения поставленных целей, а критерии эффективности — предельными значениями ПЭ или математическими эквивалентами самой цели, что согласуется с [5].
Указанную оценку качества предлагается проводить по адаптированной для АСУЧС в части перечня ПЭ и весовых коэффициентов методике интегральной оценки эффективности (проектов) [6]. В первую очередь требуется выявить необходимое и достаточное множество характеризующих АСУЧС ПЭ. Общепринятые требования и методы оценки единичного ПЭ и комплекса ПЭ перечислены в [7]. Для того, чтобы ПЭ достаточно полно характеризовал качество работы АСУЧС, он должен учитывать все основные особенности и свойства АС, а также условия ее функционирования и взаимодействия с внешней средой. Таким образом, ПЭ должен зависеть от структуры системы, значений ее параметров, внешних и внутренних воздействующих факторов. Специфический перечень качественных и количественных ПЭ АСУЧС сформирован на основе анализа существующей вертикали управления НЦУКС МЧС России [8] и типовых проектов систе-мы-112 [9] с учетом вышеперечисленных замечаний. Качественные ПЭ по отдельности соответствуют необходимым условиям эффективности АСУЧС, совместно определяя достаточное множество условий. Количественные ПЭ отражают возможные отличия в эффективности между вариантами АСУЧС, отвечающими достаточному множеству необходимых условий.
Собственно оценка качества АСУЧС производится следующим образом: сначала линейными свертками полученных в результате опроса экспертов или прямым определением значений соответствующих ПЭ рассчитываются две промежуточные оценки (отдельно на основе качественных и количественных ПЭ), затем на их основе определяется интегральная оценка качества, являющаяся итоговым критерием эффективности организационно-технической реализации АСУЧС.
Оценка АСУЧС на основе качественных ПЭ рассчитывается по следующей формуле:
Ч г =
100%
К1 К1НП ,=.
IЧ,
где: Б1. — балл оценки /-го ПЭ;
К — общее число ПЭ;
К1НП — число ПЭ, не применимых к оценке конкретной АСУЧС.
Отсутствие в приведенной формуле весовых коэффициентов обусловлено одинаковой важностью ПЭ. Правила определения баллов оценки ПЭ приведены в табл. 1 (во всех иных случаях, в том числе при неприменимости ПЭ, присваивается балл, равный 0).
Оценка качества АСУЧС на основе количественных ПЭ рассчитывается по формуле:
к2 ы,
х(
ч 2 = £ р х (x б(, х р),
,=1 ]=1
где: Р — весовой коэффициент /'-ой группы ПЭ;
К2 — общее число групп ПЭ (сумма весовых коэффициентов по всем группам ПЭ составляет 100 %);
б/ — балл оценки /-го ПЭ в /-ой группе;
р.. — весовой коэффициент/-го ПЭ в /-ой группе, в относительных долях (от 0 до 1, сумма весовых коэффициентов в /-ой группе по всем ПЭ составляет 1);
N. — общее число ПЭв /-ой группе.
Значения весовых коэффициентов ПЭ приведены в табл. 2.
При необходимости значение весового коэффициента количественного ПЭ для межрегионального уровня управления рассчитывается как среднее между значениями ПЭ для федерального и регионального уровней.
При определении значений весовых коэффициентов были использованы данные опроса экспертов (метод непосредственного оценивания [7]). Экспертам (в основном из числа сотрудников оперативных дежурных смен НЦУКС МЧС России и региональных ЦУКС МЧС России) было предложено оценить числом от 0 до 10 (в том числе с учетом десятых долей, а также с возможностью приписывать одну и ту же величину нескольким ПЭ) важность каждой из трех групп количественных ПЭ и затем каждого единичного ПЭ в рамках соответствующей группы. Согласованность полученных мнений экспертов была оценена как достаточно высокая (все коэффициенты конкордации — более 0,7).
Весовые коэффициенты определялись по формуле:
Р =-
Е Н
1=1_
п к
Е Ен
'=1 Ы
где: Ш— нормализованные оценки значимости/-го ПЭ /-м экспертом;
k — количество экспертов; п — количество ПЭ.
Перечень и правила оценки качественных ПЭ
Таблица 1
№ п. п. ПЭ Условия присвоения балла, равного 1 Условия присвоения балла, равного 0,5
1. Наличие четко сформулированных задач и функций АСУЧС Наличие утвержденных положений о функциональных объектах АСУЧС, в которых дана четкая формулировка и обоснование задач и функций всех уровней системы, определены количественные характеристики их выполнения
2. Соответствие концепции и технического проекта АСУЧС требованиям нормативных документов Наличие утвержденных концепций и технических проектов всех сегментов АСУЧС, которые соответствуют требованиям государственных и ведомственных нормативно-правовых, нормативно-технических, руководящих и методических документов Российской Федерации
3. Эффективность функционального обеспечения (рассчитывается как среднее значение по всем типам функциональных задач) Разработанные функциональные задачи АС соответствуют задачам и функциям, прописанным в положениях об объектах автоматизации АСУЧС, уровень автоматизации обеспечивает обоснованность, согласованность и оперативность действий Автоматизация выполнения функциональных задач АСУЧС в соответствии с установленными требованиями обеспечивается на уровне не ниже 75 %
4. Эффективность информационного обеспечения (рассчитывается как среднее значение по всем типам функциональных задач) Наличие утвержденного положения о сопряжении с соответствующей системой классификации и кодирования, полнота, достоверность и актуальность словарей и классификаторов, полная автоматизация процессов Информационное обеспечение реализуется в полном объеме и в требуемые сроки, при уровне автоматизации не ниже 75 %
5. Эффективность организационного обеспечения функционирования Разработаны регламенты технической поддержки функционирования объектов автоматизации АСУЧС, имеются положения об организации оперативно-технической службы по поддержке функционирования объектов автоматизации всех сегментов АСУЧС, разработаны и согласованы регламенты взаимодействия пользователей системы с оперативно-технической службой поддержки функционирования объектов автоматизации АСУЧС Организационное обеспечение реализуется на уровне не ниже 75 %
6. Эффективность инфраструктурного обеспечения (рассчитывается как среднее значение по всем типам функциональных задач) Все виды инфраструктуры (информационно-телекоммуникационная, периферийная и т.д.) имеются в необходимых объемах, обеспечивается надежность (нечувствительность к отказам и сбоям) и непрерывность управления за счет применения систем резервирования и дублирования, критических программно-технических средств АС Уровень обеспеченности инфраструктурой не ниже 75 % и предусмотрены затраты на обеспечение инфраструктурой в необходимых объемах
7. Наличие положительных результатов проводимых проверок, тренировок, учений (ПЭ не применим в случае обоснованного отсутствия проверок, тренировок, учений) Доля положительных заключений по результатам проводимых проверок, тренировок, учений - не менее 80%, отсутствуют заключения с замечаниями о существенных недостатках Доля положительных заключений по результатам проводимых проверок, тренировок, учений — не менее 50 %, отсутствуют заключения с замечаниями о существенных недостатках
8. Наличие программы технического развития АСУЧС (ПЭ не применим в случае обоснованного отсутствия необходимости модернизации АСУЧС: технические средства и информационные технологии соответствуют современному уровню, была проведена модернизация) Наличие соответствующим образом утвержденных программ (определены требования, сроки и финансирование), в рамках которых планируется реализация мероприятий по модернизации всех уровней АСУЧС на базе технических средств и информационных технологий нового поколения
«Точность» определения весовых коэффициентов оценивалась среднеквадратичным отклонением. Согласно [10], расчет оценки веса ПЭ как среднего арифметического и как медианы Кемени в подобных случаях дает совпадающие результаты.
Правила определения баллов оценки ПЭ приведены в табл. 3 (во всех иных случаях присваивается балл, равный 0).
Итоговая (интегральная) оценка качества АСУЧС определяется как взвешенная сумма оценок качества на основе качественных и количественных ПЭпо следующей формуле (при выборе весовых коэффициентов использованы положения [6, 8]):
Э = Ч х 0,8 + Ч х 0,2.
инт 1 ^ 2 ^
При определении качества АСУЧС устанавливаются пороговые значения интегральной оценки, равные 85 % и 70 % [6]. Соответствие или превышение числового значения интегральной оценки установленному предельному значению 70 % свидетельствует о необходимом качестве АСУЧС, соответствие или превышение числового значения интегральной оценки установленному предельному значению 85 % свидетельствует о ее высоком качестве. Принижение числового значения интегральной оценки установленному предельному значению 70 % свидетельствует о низком качестве АСУЧС.
Таблица 2
Значения весовых коэффициентов количественных ПЭ
№ п. п. ПЭ АСУЧС
Федеральный уровень Региональный уровень
1. 1-я группа — значения количественных характеристик результатов выполнения задач и функций оперативного управления дежурными силами с применением АСУЧС 15 % 10 %
2 2-я группа — характеристика личного состава (применяющего и обслуживающего АСУЧС) 35 % 30 %
2.1 Укомплектованность 0,25 0,35
2.2. Квалифицированность 0,75 0,65
Итого по 2-й группе 1,00 1,00
3. 3-я группа — характеристики эффективности автоматизации функций АСУЧС 50 % 60 %
3.1 Эффективность автоматизации задач учета и обработки оперативных данных 0,10 0,20
3.2 Эффективность автоматизации задач анализа для поддержки принятия решений 0,20 0,15
3.3 Эффективность автоматизации задач прогнозирования и планирования 0,15 0,15
3.4 Эффективность автоматизации управления и контроля 0,15 0,10
3.5 Эффективность автоматизации визуализации 0,10 0,05
3.6 Эффективность автоматизации взаимодействия и обмена оперативной информацией 0,10 0,15
3.7 Эффективность автоматизации информационного обеспечения 0,10 0,10
3.8 Эффективность автоматизации связи и оповещения 0,10 0,10
Итого по 3-й группе 1,00 1,00
Итого по всем группам 100 % 100 %
Таблица 3
Перечень и правила оценки количественных ПЭ
№ п. п. ПЭ Условия присвоения балла, равного 1 Условия присвоения балла, равного 0,5
1. Значения количественных характеристик результатов выполнения задач и функций оперативного управления дежурными силами с применением АСУЧС Значения количественных характеристик результатов деятельности не хуже, чем значения за предыдущий год Значения количественных характеристик результатов деятельности хуже не более чем на 10 % значений за предыдущий год.
2. Характеристики личного состава
2.1 Укомплектованность личным составом Укомплектованность не менее 90% Укомплектованность менее 90 % и не менее 80 %
2.2 Квалифицированность личного состава Ведется планирование и обучение, имеется учебная (материально-техническая и нормативно-методическая) база для подготовки личного состава, план проведения учений, тренировок и занятий выполнен (с положительными оценками) не менее чем на 80 % Обучение личного состава всех уровней осуществляется не в полном объеме или с несущественными нарушениями нормативных требований, план проведения учений, тренировок и занятий выполнен (с положительными оценками) не менее чем на 70 %.
3. Характеристики эффективности автоматизации функций АСУЧС
3.1 Эффективность автоматизации задач учета и обработки оперативных данных Данные учета возникновения аварийных ситуаций, пожаров и ЧС находятся в актуальном состоянии (предоставляются документально подтвержденные сведения по учету) Обеспечивается возможность выполнения задач учета и обработки оперативных данных в нормативные сроки с частичным применением автоматизированных средств в интерактивном режиме
3.2 Эффективность автоматизации задач анализа для поддержки принятия решений Накопленные данные систематизируются и анализируются с целью выявления (идентификации) опасностей и рисков возникновения аварийных ситуаций, пожаров и ЧС Обеспечивается возможность выполнения задач анализа в нормативные сроки с частичным применением автоматизированных средств в интерактивном режиме
Оконч. табл. 3
№ п. п. ПЭ Условия присвоения балла, равного 1 Условия присвоения балла, равного 0,5
3.3 Эффективность автоматизации задач прогнозирования и планирования Наличие сертифицированных автоматизированных средств прогнозирования, планирования, метрологического обеспечения в режиме реального времени и месячном прогнозе, которые обеспечивают выполнение специалистами оперативной дежурной смены прогнозирования по требованию (по запросу), а также наличие актуальных, детализированных сценариев и планов для возможных и наиболее опасных аварийных и чрезвычайных ситуаций, включающих прогнозы зон поражения и потерь Обеспечивается возможность выполнения задач прогнозирования и планирования в нормативные сроки с частичным применением автоматизированных средств в интерактивном режиме
3.4 Эффективность автоматизации управления и контроля Имеются средства поддержки принятия решений и оценки последствия действий по предупреждению и ликвидации ЧС Обеспечивается возможность выполнения задач управления и контроля в нормативные сроки с частичным применением автоматизированных средств в интерактивном режиме
3.5 Эффективность автоматизации визуализации Имеются средства визуализации принятых данных с целью контроля их достоверности Обеспечивается возможность выполнения задач визуализации в нормативные сроки с частичным применением автоматизированных средств в интерактивном режиме
3.6 Эффективность автоматизации взаимодействия и обмена оперативной информацией Применяются формализованные форматы обмена оперативными сообщениями, формирование, передача, прием и обработка формализованных сообщений выполняются в автоматизированном режиме Для обмена оперативными сообщениями применяются неформализованные электронные документы
3.7 Эффективность автоматизации информационного обеспечения Имеются программные средства ведения словарей и классификаторов Полнота и актуальность информации (классификаторы, условно-постоянная информация и т.д.) обеспечивается в нормативные сроки с частичным применением автоматизированных средств в интерактивном режиме
3.8 Эффективность автоматизации связи и оповещения Автоматизированы процедуры связи и оповещения, выполнение оповещения в автоматическом режиме с использованием электронных или телекоммуникационных средств на уровне не менее 90 % Обеспечивается выполнение оповещения в нормативные сроки с частичным применением автоматизированных средств
В заключение необходимо отметить, что использование предлагаемого подхода позволяет быстро и достоверно оценить необходимость принятия мер по повышению эффективности АСУЧС, в том числе решений о модернизации существующей или создании новой АС.
Литература
7. Саати Т.Л. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1989. 316 с.
8. Отчетные материалы по научно-исследовательской работе «Комплексные исследования по оценке эффективности построения архитектуры автоматизированной системы антикризисного управления в системе МЧС России». М.: ФГБУ ВНИИ ГОЧС (ФЦ), 2010. 207 с.
9. Методические материалы по созданию системы-112 в субъектах Российской Федерации. М.: МЧС России, 2013. 1243 с.
10. Орлов А.И. Устойчивость в социально-экономических моделях (Серия «Проблемы советской экономики»). М.: Наука, 1979. 296 с.
1. ГОСТ 24.103-84. Единая система стандартов автоматизированных систем управления. Автоматизированные системы управления. Основные положения.
2. ГОСТ 24.702-85. Единая система стандартов автоматизированных систем управления. Эффективность автоматизированных систем управления. Основные положения.
3. Грачев В.Л. Об оценке эффективности автоматизированных систем управления в чрезвычайных ситуациях // Технологии техносферной безопасности: Интернет-журнал. 2014. Вып. 5 (57). Режим доступа: http://ipb.mos.ru/ttb.
4. ГОСТ ISO 9000-2011. Системы менеджмента качества. Основные положения и словарь.
5. ГОСТ 34.003-90. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения.
6. Приказ Министерства экономического развития Российской Федерации от 24 февраля 2009 года № 58 «Об утверждении Методики оценки эффективности использования средств федерального бюджета, направляемых на капитальные вложения».
Сведения об авторах
Грачев Виталий Леонидович: ФГБУ ВНИИ ГОЧС (ФЦ), с. н. с.
121352, Москва, ул. Давыдковская, 7. E-mail: g-vl@mail.ru
Information about authors
Grachev Vitali L.: Federal Government Budget Institution "All-Russian Research Institute for Civil Defense and Emergencies" (Federal Center of Science and High Technology), Senior Researcher.
121352, Moscow, str. Davydkovskaya, 7. E-mail: g-vl@mail.ru
