CC BY
8
A. А. Терентьев
О. В. Пьянков, доктор технических наук, доцент
B. С. Зарубин, доктор технических наук, профессор
АПРОБАЦИЯ АЛГОРИТМА АНАЛИТИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ СИТУАЦИОННЫХ ЦЕНТРОВ ОРГАНОВ ВНУТРЕННИХ ДЕЛ
APPROBATION OF THE ALGORITHM OF ANALYTICAL ACTIVITY OF SITUATIONAL CENTERS OF INTERNAL AFFAIRS BODIES
Проводится сравнительный анализ результатов обработки экспертных оценок с использованием двухэтапного алгоритма обработки экспертных оценок аналитической деятельности ситуационных центров органов внутренних и известного способа проверки согласованности экспертных оценок на основе вычисления коэффициента конкордации. Проведенный вычислительный эксперимент показывает идентичность полученных результатов. Адекватность полученных результатов и их значимость подтверждается проверкой при помощи критерия Пирсона «хи-квадрат».
A comparative analysis of the results of processing expert assessments is carried out using a two-stage algorithm for processing expert assessments of the analytical activities of situational centers of internal authorities and a known method for checking the consistency of expert assessments based on the calculation of the concordance coefficient. The conducted computational experiment shows the identity of the obtained results. The adequacy of the obtained results and their significance is confirmed by the Pearson chi-square test.
Введение. В Министерстве внутренних дел Российской Федерации в связи со служебной необходимостью активно создаются ситуационные центры ОВД (СЦ ОВД). Такие центры входят в систему распределенных ситуационных центров, цель такой системы — обеспечение информационно-аналитической поддержки государственного управления и повышения эффективности принятия управленческих решений [1].
Согласно общепринятой классификации ситуационных центров [2, 3], принято выделять четыре разновидности таких центров: оперативные, стратегические, персональные и учебные. Каждый такой центр выполняет свои функции, цели и задачи, для оценки функционирования которых были предложены показатели эффективности функционирования СЦ ОВД [4]:
1. Время принятия решения — Т.
2. Стоимость принятия решения (материальные затраты) — S.
3. Вероятность, что принятое решение полностью разрешит поставленную задачу — P.
Наличие трех показателей определило задачу многокритериальной оптимизации эффективности функционирования СЦ ОВД. Решение этой задачи связано с необходимостью определения степени важности (приоритета) каждого показателя на основе проводимого экспертного опроса. В связи с этим был разработан двухэтапный алгоритм обработки экспертных оценок аналитической деятельности ситуационных центров ОВД [3] с привлечением нескольких групп экспертов с разным уровнем компетентности.
Первый этап алгоритма включает в себя выбор экспертов и разделение их по подгруппам с присвоением каждой подгруппе своего весового коэффициента, заполнение экспертами матриц попарного сравнения и вычисление вектора приоритетов (коэффициентов важности).
Второй этап предусматривает вычисление усредненных значений коэффициентов важности показателей с учетом весовых коэффициентов, учитывающих компетентность привлекаемых экспертов, а также проверку на соответствие полученных экспертных оценок допустимой области (проверку согласованности экспертных оценок). При наличии оценок, выходящих за пределы допустимой области, они удаляются из рассмотрения и происходит повторный расчет значений коэффициентов важности.
Для проверки адекватности получаемых результатов проведем их сравнение с результатами проверки экспертных оценок на согласованность с помощью известного метода, основанного на расчете коэффициента конкордации (Ж) [6]. Данный коэффициент позволяет установить статистическую связь между оценками и определить степень согласованности мнений как подгрупп экспертов, так и всех экспертов в целом.
Постановка задачи. Осуществить обработку экспертным оценок с:
а) проверкой нахождения в допустимой области;
б) помощью расчета коэффициента конкордации.
Проверить идентичность получаемых результатов.
Решение поставленной задачи. Проведем два вычислительных эксперимента.
Первый эксперимент:
1. й < За:
й < З ■ 0,1598 = 0,4794 — все значения вектора приоритета входят в диапазон За, где а — среднеквадратическое отклонение.
Второй эксперимент:
2. й < За:
й < 3 ■ 0,2068 = 0,6204 — 2 значения вектора приоритета не входят в диапазон За.
Первый вычислительный эксперимент. Рассчитаем коэффициент конкордации для варианта, когда все экспертные оценки входят в допустимый диапазон За. Вычислительный эксперимент предлагается выполнять в несколько этапов.
Этап 1. Проведение метода ранжирования показателей аналитической деятельности СЦ ОВД.
Расчет коэффициента конкордации осуществляется на основе назначения рангов для каждого сравниваемого показателя. В связи с тем что ранее были определены весовые коэффициенты показателей эффективности [5] и не было оценок, выходящих за допустимую область (Д< За), проведем ранжирование показателей эффективности СЦ ОВД по степени важности. Назначение рангов будем осуществлять согласно 3-балльной шкале оценивания, где:
1 — Наименее приоритетный показатель;
2 — Показатель средней приоритетности;
3 — Наиболее приоритетный показатель.
Ранжирование показателей приведено в таблице 1.
Таблица 1
_Ранги показателей АД СЦ ОВД_
№ эксперта Т 5 Р
Подгруппа А
Эксперт № 1 3 2 1
Эксперт № 2 3 2 1
№ эксперта Т S Р
Эксперт № 3 3 2 1
Эксперт № 4 3 2 1
Эксперт № 5 3 2 1
Эксперт № 6 3 1 2
Эксперт № 7 3 1 2
Эксперт № 8 3 1 2
Эксперт № 9 3 2 1
Эксперт № 10 3 1 3
Эксперт № 11 3 1 2
Эксперт № 12 3 1 2
Эксперт № 13 3 2 1
Подгруппа В
№ эксперта Т S Р
Эксперт № 1 3 2 1
Эксперт № 2 3 2 1
Эксперт № 3 3 1 2
Эксперт № 4 3 2 1
Эксперт № 5 3 1 2
Эксперт № 6 3 1 2
Эксперт № 7 3 1 2
Эксперт № 8 3 2 1
Эксперт № 9 3 2 1
Эксперт № 10 3 1 2
Подгруппа С
№ эксперта Т S Р
Эксперт № 1 3 1 2
Эксперт № 2 3 1 2
Эксперт № 3 3 2 1
Эксперт № 4 3 1 2
Эксперт № 5 3 2 1
Эксперт № 6 3 2 1
Эксперт № 7 3 1 2
Этап 2. Расчет суммы квадратов разностей рангов Для этого воспользуемся выставленными рангами, приведенными в табл. 1. Расчет параметра будем осуществлять по формуле
п / т \ 2
где m — число экспертов; п — количество сравниваемых объектов; Qj — сумма рангов /-го объекта; QCp — средняя сумма рангов всех объектов.
Результаты расчета суммы квадратов разностей рангов для каждой подгруппы экспертов и для всех экспертов приведены в табл. 2.
Таблица 2
Результаты расчета суммы квадратов разностей рангов для каждой подгруппы экспертов и для всех экспертов в целом
Qi Сер S
Подгруппа А
T 39 26,33 240,67
S 20
P 20
Подгруппа B
T 30 20,00 150,00
S 15
T 15
Подгруппа C
T 21 14,00 74,00
S 10
T 11
Все эксперты
T 91 60,66 1320,67
S 45
T 46
Этап 3. Расчет коэффициента конкордации. Используя значения, приведенные в табл. 2, рассчитаем коэффициент конкордации как для подгрупп экспертов, так и для всех экспертов в целом.
12-5
Ш =
т2 ■ (п3 — п)'
где £ — сумма квадратов разностей рангов (отклонений от среднего).
Коэффициент конкордации для экспертов подгруппы А:
12 ■ 240,667 132 ■ (З3 - 3)
ША >0,7 — высокая степень согласованности мнений экспертов подгруппы А.
Wa = .о, .о, . = 0-712,
Коэффициент конкордации для экспертов подгруппы B:
12 ■ 150
WB >0,7 — высокая степень согласованности мнений экспертов подгруппы В.
Коэффициент конкордации для экспертов подгруппы C:
12 ■ 74
Wc = -г—-—— = 0,755,
с 72 ■ (З3 - 3)
Wc >0,7 — высокая степень согласованности мнений экспертов подгруппы С.
Коэффициент конкордации для всех экспертов:
12 ■ 1320,667
W = _ . ,-— = 0,734,
302 ■ (З3 - 3)
W > 0 , 7 — высокая степень согласованности мнений всех экспертов.
Полученные результаты показывают, что коэффициент конкордации по каждой подгруппе и среди всех экспертов достаточно высокий (W > 0,7). В связи с этим можно сделать вывод, что мнения экспертов согласованы.
Этап 4. Проверка гипотезы об отсутствии связи. Для проверки значимости полученного коэффициента согласованности мнений экспертов выполним расчеты по определению тесноты связи результатов, полученных эмпирическим путем, с табличными результатами.
Проверка гипотезы:
1. При h0 : W = 0 — мнения экспертов не согласуются друг с другом.
2. При hj: WФ 0 — мнения экспертов согласуются.
Проверку результатов будем проводить с помощью критерия Пирсона «хи-квадрат» [6].
Эмпирическое значение:
х2 = m (п - 1 ) ■ W. (1)
Формула (1) сравнивается с табличными значениями х2кр [7]. Число степеней свободы рассчитывается как
df = 71 — 1,
где: n — количество сравниваемых объектов (в нашем случае показателей). Таким образом, число степеней свободы равняется 2.
Эмпирическое значение для экспертов подгруппа А:
х2 = 1 3 ( 3 - 1) ■ 0, 7 1 2 = 1 8, 5 1.
Для экспертов подгруппы B:
х2 = 10(3 - 1) ■ 0,75 = 15,00.
Для экспертов подгруппы C:
х2 = 7(3 - 1) ■ 0,755 = 10,57.
Для всех экспертов:
х2 = 30(3 - 1) ■ 0,734 = 44,04.
Табличное значениями при , таким образом, для
всех рассмотренных случаев.
Следовательно, нулевая гипотеза h0 отвергается (коэффициент конкордации значимо отличается от нуля), т.е. мнения экспертов являются согласованными.
Второй вычислительный эксперимент. В данном случае требуется проверить выборку экспертных оценок, из которых 2 значения ( v i g = 0 , 6 3 1 4 ; v 2 о = 0,667) выходят за пределы установленного диапазона , что говорит о низкой согласованности мнений экспертов. Данные оценки получены при помощи экспертного опроса слушателей 5 курса Воронежского института МВД России (подгруппа экспертов В). Проверим согласованность оценок с помощью коэффициента конкордации.
Этап 1. Проведение метода ранжирования показателей аналитической деятельности СЦ ОВД. Выставление рангов осуществляем на основе вычисленных весовых коэффициентов.
Ранги показателей приведем в таблице 3.
Таблица 3
Ранги показателей АД СЦ ОВД_
№ эксперта Т 5 Р
Подгруппа А
Эксперт № 1 3 2 1
Эксперт № 2 3 1 2
Эксперт № 3 3 1 2
Эксперт № 4 2 3 1
Эксперт № 5 3 2 1
Эксперт № 6 3 1 2
Эксперт № 7 3 1 2
Эксперт № 8 3 2 1
Эксперт № 9 3 2 1
Эксперт № 10 3 1 2
Эксперт № 11 3 1 2
Эксперт № 12 1 2 3
Эксперт № 13 2 3 1
Подгруппа В
Эксперт № 1 1 2 3
Эксперт № 2 1 2 3
Эксперт № 3 2 1 3
Эксперт № 4 3 2 1
Эксперт № 5 2 1 3
Эксперт № 6 3 1 2
Эксперт № 7 2 1 3
Эксперт № 8 3 2 1
Эксперт № 9 3 2 1
Эксперт № 10 3 1 2
Подгруппа С
Эксперт № 1 2 3 1
Эксперт № 2 3 1 2
Эксперт № 3 3 2 1
Эксперт № 4 3 2 1
Эксперт № 5 3 2 1
Эксперт № 6 2 1 3
Эксперт № 7 3 2 1
Этап 2. Расчет суммы квадратов разностей рангов (5). Для этого воспользуемся выставленными рангами, приведенными в табл. 2.
Результаты расчета суммы квадратов разностей рангов для каждой подгруппы экспертов и для всех экспертов приведены в табл. 4.
Таблица 4
Результаты расчета суммы квадратов разностей рангов
5
Подгруппа А
Т 35 26,00 122,00
5 22
Р 21
Qi QcP S
Подгруппа B
T 23 20,00 42,00
S 15
T 22
Подгруппа C
T 19 14,00 38,00
S 13
T 10
Все эксперты
T 77 60,00 438,00
S 50
T 53
Этап 3. Расчет коэффициента конкордации. Используя значения, приведенные в табл. 4, рассчитаем коэффициент конкордации как для подгрупп экспертов, так и для всех экспертов в целом. Для подгруппы А:
12 ■ 122 w> = 13» ■ (33 - 3) = а36'
т.е. 0,3 < W < 0,7 — низкая согласованность мнений экспертов подгруппы А. Для подгруппы B:
иь = №12(3з38- 3) = а19'
т.е. 0 < W < 0,3 — согласованность между экспертами подгруппы B отсутствует. Для подгруппы C:
12-42
т.е. 0,3 < W < 0,7 — между экспертами подгруппы С присутствует низкая согласованность.
Коэффициент конкордации для всех экспертов:
12 ■ 438
ж = 30* ■ (33 - 3) = а24'
т.е. 0 < W < 0,3 — согласованность между всеми экспертами отсутствует.
Проведённый вычислительный эксперимент показал, что коэффициент конкор-дации по каждой подгруппе и среди всех экспертов является очень низким, вследствие чего можно сделать вывод о том, что мнения экспертов не согласованы. Этап 4. Проверка гипотезы об отсутствии связи. Эмпирическое значение для экспертов подгруппа А:
х2 = 13(3 - 1) ■ 0,36 = 3,96. Для экспертов подгруппы B:
х2 = 10(3 - 1) ■ 0,19 = 3,8. Для экспертов подгруппы C:
х2 = 7(3 - 1) ■ 0,42 = 5,88.
Для всех экспертов:
х2 = 30(3 - 1) ■ 0,24 = 14,44.
Табличное значение х2кр = 9,21 при а = 0,01, таким образом, х2 < х2кр для всех подгрупп экспертов. В связи с этим нулевая гипотеза h0 подтверждается, это означает, что экспертные мнения в каждой подгруппе не согласованы.
Заключение. Сравнительный анализ результатов обработки экспертных оценок с использованием двухэтапного алгоритма обработки экспертных оценок аналитической деятельности ситуационных центров органов внутренних и известного способа проверки согласованности экспертных оценок на основе вычисления коэффициента конкордации показал идентичность получаемых результатов. Проведенные вычислительные эксперименты подтверждают ранее полученные результаты, в связи с этим можно сделать вывод об адекватности разработанного двухэтапного алгоритма обработки экспертных оценок аналитической деятельности ситуационных центров органов внутренних дел. Следует отметить, что достоинством предложенного двухэтапного алгоритма, включающего проверку согласованности мнений экспертов, является отсутствие необходимости переводить полученные коэффициенты важности в ранги для последующего вычисления коэффициента конкордации, таким образом, уменьшаются вычислительные затраты на проводимые действия по обработке экспертных оценок.
ЛИТЕРАТУРА
1. Ситуационный центр МВД России: перспективы развития // Полиция России. — № 8. — 2019. — С. 26—31.
2. Ильин Н. И., Демидов Н. Н., Новикова Е. В. Ситуационные центры. Опыт, состояние, тенденции развития. — М. : МедиаПресс, 2011. — 336 с.
3. Пьянков О. В., Романов М. С. Имитационное моделирование процессов принятия решений в ситуационных центрах органов внутренних дел : монография. — Воронеж : Воронежский институт МВД России, 2017.
4. Piankov O. V., Terentev A. A., Gilev I. V. Mathematical modeling of multicriteria conflicts of analytical activity in situation centers of the internal affairs authorities // Proceedings. — 2019. 21st International conference «Complex systems: control and modeling problems», CSCMP 2019. — P. 795—798.
5. Терентьев А. А. Двухэтапный алгоритм обработки экспертных оценок в ситуационных центрах органов внутренних дел // Вестник Воронежского института МВД России. — 2020. — № 4. — С. 118—126.
6. Харченко М. А. Корреляционный анализ : учебное пособие для вузов. — Воронеж : Издательство Воронежского государственного университета, 2008. — 156 с.
7. Гмурман В. Е. Теория вероятностей и математическая статистика : учеб. пособие для студ. вузов. — М. : Высш. шк., 2004. — 480 с.
REFERENCES
1. Situacionnyj centr MVD Rossii: perspektivy razvitiya // Policiya Rossii. — № 8. — 2019. — S. 26—31.
2. Il'in N. I., Demidov N. N., Novikova E. V. Situacionnye centry. Opyt, sostoyanie, tendencii razvitiya. — M. : MediaPress, 2011. — 336 s.
3. P'yankov O. V., Romanov M. S. Imitacionnoe modelirovanie processov prinyatiya reshenij v situacionnyh centrah organov vnutrennih del : monografiya. — Voronezh : Voro-nezhskij institut MVD Rossii, 2017.
4. Piankov O. V., Terentev A. A., Gilev I. V. Mathematical modeling of multicriteria conflicts of analytical activity in situation centers of the internal affairs authorities // Proceedings. — 2019. 21st International conference «Complex systems: control and modeling problems», CSCMP 2019. — P. 795—798.
5. Terent'ev A. A. Dvuhetapnyj algoritm obrabotki ekspertnyh ocenok v situacionnyh centrah organov vnutrennih del // Vestnik Voronezhskogo instituta MVD Rossii. — 2020. — № 4. — S. 118—126.
6. Harchenko M. A. Korrelyacionnyj analiz : uchebnoe posobie dlya vuzov. — Voronezh : Izdatel'stvo Voronezhskogo gosudarstvennogo universiteta, 2008. — 156 s.
7. Gmurman V. E. Teoriya veroyatnostej i matematicheskaya statistika : ucheb. posobie dlya stud. vuzov. — M. : Vyssh. shk., 2004. — 480 s.
СВЕДЕНИЯ ОБ АВТОРАХ
Терентьев Александр Андреевич. Инженер кафедры инфокоммуникационных систем и технологий.
Воронежский институт МВД России.
E-mail: Alextt02021993@yandex.ru
Россия, 394065, Воронеж, проспект Патриотов, 53. Тел. (473) 200-52-24.
Пьянков Олег Викторович. Заместитель начальника кафедры инфокоммуникационных систем и технологий. Доктор технических наук, доцент.
Воронежский институт МВД России.
E-mail: ovpyankov@mail.ru
Россия, 394065, Воронеж, проспект Патриотов, 53. Тел. (473) 200-52-33.
Зарубин Владимир Сергеевич. Ведущий научный сотрудник. Доктор технических наук, профессор.
Научно-исследовательский центр «Охрана» Федеральной службы войск национальной гвардии Российской Федерации.
E-mail: zarvs@mail.ru
Россия, 111539, Москва, ул. Реутовская, 12б. Тел. 7 (499) 781-79-87.
Terentyev Alexandr Andreevich. Engineer of the chair of Infocommunication Systems and Technologies.
Voronezh Institute of the Ministry of the Interior of Russia
E-mail: Alextt02021993@yandex.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473)200-52-24
Pyankov Oleg Viktorovich. Deputy head of the chair of Infocommunication Systems and Technologies. Doctor of Technical Sciences, Associate Professor.
Voronezh Institute of the Ministry of the Interior of Russia.
E-mail: ovpyankov@mail.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53. Tel. (473) 200-52-33.
Zarubin Vladimir Sergeevich. Leading Researcher. Doctor of Technical Sciences, Professor.
Research Center «Protection» of the Federal Service of the National Guard Troops of the Russian Federation.
E-mail: zarvs@mail.ru
Work address: Russia, 111539, Moscow, Reutovskaya Str., 12b. Tel. 7 (499) 781-79-87.
Ключевые слова: двухэтапный алгоритм обработки экспертных оценок аналитической деятельности ситуационных центров органов внутренних дел; ситуационный центр органов внутренних дел; показатели эффективности и функционирования ситуационных центров, коэффициент конкордации; критерий Пирсона «хи-квадрат».
Key words: two-stage algorithm for processing expert assessments of the analytical activities of the situational centers of the internal affairs bodies; situational center of the internal affairs bodies; indicators of the effectiveness and functioning of the situational centers; concordance coefficient; Pearson's «chi-square» criterion.
УДК 517.4
