CC BY
8
A. В. Мельников, доктор технических наук, доцент
B. В. Конобеевских, кандидат технических наук
МЕТОДИКА УПРАВЛЕНИЯ КАЧЕСТВОМ ОДНОРОДНЫХ СИСТЕМ БЕЗОПАСНОСТИ НА ОСНОВЕ ЭКСПЕРТНОЙ ИНФОРМАЦИИ, ПОЛУЧЕННОЙ В КОАЛИЦИЯХ ЭКСПЕРТОВ
QUALITY MANAGEMENT TECHNIQUE FOR HOMOGENEOUS SAFETY SYSTEMS BASED ON EXPERT INFORMATION OBTAINED IN COALITIONS OF EXPERTS
В работе рассматривается разработка методики управления качеством однородных систем безопасности на основе экспертной информации, полученной в коалициях экспертов. При проведении вычислительного эксперимента в исследовании используются 15 условных объектов органов внутренних дел (ОВД), но их количество может быть неограниченным, что позволит из некоторого множества объектов выбрать конкретную группу с фактически одинаковыми значениями интегрального показателя качества, приоритетные признаки которых имеют низкие оценки, принять решение по управлению безопасностью объектов в условиях ограниченного финансирования.
The paper considers the development of a methodology for quality management of homogeneous security systems based on expert information obtained in coalitions of experts. When conducting a computational experiment, the study uses 15 conditional objects of the internal affairs bodies, but their number can be unlimited, which will allow to select a specific group from a set of objects with virtually the same values of the integral quality indicator, the priority features of which have low ratings, to make a decision on the safety management of facilities in the context of limited funding.
Введение. В деятельности различных служб и ведомств встречаются задачи, которые относятся к классу слабоформализуемых, требующих разработки моделей и численных методов с учетом особенностей предметной области и неоднозначности суждений экспертов.
Привлечение экспертов для анализа и оценки слабоформализуемых объектов, обладающих высокой степенью неопределенностей, учет всех возможных значений термов и предикатов является важной задачей математического моделирования. В то же время для таких объектов отсутствуют четкие и универсальные механизмы проведения экспертиз.
При анализе слабоформализуемых альтернатив первые этапы, посвященные определению целей и задач экспертизы, формированию множества признаков, выделению согласованных групп экспертов, приобретают особую важность. Это связано с необходимостью образования множества коалиций экспертов (нескольких позиций высококвалифицированных специалистов), для которых возможно сформировать отдель-
ные модели, характеризующие качество слабоформализуемого объекта. Под коалициями экспертов в работе понимается группа экспертов, мнение которых имеют высокую степень агрегируемости [1].
Целью работы является разработка методики управления качеством однородных систем безопасности, на основе экспертной информации, полученной в коалициях экспертов.
В работах [2, 3] была представлена методика по получению вектора приоритетов критериев и дальнейший расчет значений интегральных показателей качества для различных объектов.
Рассмотрим разработку методики управления качеством однородных систем безопасности условно разделив ее на несколько этапов, представленных на рисунке 1.
ФОРМНРО ВАННЕ
ПРОСТРАНСТВА ПРИЗНАКОВ +
ОЦЕНКА ПРОСТРАНСТВА ПРИЗНАКОВ В РАМКАХ ПРОВЕДЕНИЯ ЭКСПЕРТИЗЫ
I
ФОРМИРОВАНИЕ КОАЛИЦИИ ЭКСПЕРТОВ
I —
ФОРМИРОВАНИЕ МОДЕЛЕЙ КАЧЕСТВА С УЧЕТОМ КОАЛИЦИИ ЭКСПЕРТОВ
МОДЕЛИ ОПАСНОСТИ НАРУШИТЕЛЕЙ СИСТЕМ БЕЗОПАСНОСТИ В КОАЛИЦИЯХ ЭКСПЕРТОВ МОДЕЛЬ ЗАЩИЩЕННОСТИ ОХРАНЯЕМОГО ОБЪЕКТА
I
НАХОЖДЕНИЕ ОПТИМАЛЬНОГО КРИТЕРИЯ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА С УЧЕТОМ МНЕНИЯ КОАЛИЦИЙ ЭКСПЕРТОВ
Рис 1. Этапы методики управления качеством однородных систем безопасности
на основе экспертной информации
Осуществим описание каждого из этапов.
1. Формирование пространства признаков. В работе [4] автор рассматривает задачу выявления наиболее информативных признаков нарушителя систем безопасности, наличие которых повышает вероятность его отнесения к определенному классу.
Некоторые из признаков носят количественный характер и могут быть выражены числом: объем финансового обеспечения, численность и т. д. Другие признаки (качественные) не могут быть выражены количественно и носят оценочный характер: квалификация, мотив действия и т. д.
2. Оценка пространства признаков в рамках проведения экспертизы. Проблемы использования экспертных оценок в задачах управления рассматривались в работах таких авторов, как С. Д. Бешелев, Ф. Г. Гурвич [5] и др.
Существуют различные способы получения оценок от экспертов с использованием разных шкал оценок, выбор которых во многом зависит от того, в какой проблемной области проводится экспертное оценивание и какой математический аппарат планируется использовать для обработки оценок. Более привычными для эксперта и, следовательно, более надежными являются оценки качественного характера.
3. Формирование коалиций экспертов. В работе А. В. Мельникова [6] была предложена процедура экспертизы, состоящая из 14 этапов, основой для которой стал кластерно-иерархический подход. Было предложено многократно использовать процедуру кластеризации и метод анализа иерархий на разных этапах экспертизы.
При анализе слабоформализуемых альтернатив первые этапы, посвященные определению целей и задач экспертизы, формированию пространства признаков, приобретают особую важность. В ходе исследования [2] установлено, что оценка сла-боформализуемых альтернатив приводит к необходимости учета различных мнений высококвалифицированных специалистов. Это привело к необходимости исследования и разработке методов формирования коалиций экспертов в условиях использования кластерно-иерархического подхода.
В работах Е. А. Буркова [7] и К. Е. Волковицкого [8] рассматривались вопросы формирования коалиций экспертов. Е. А. Бурковым предложено формирование коалиций экспертов на основе методов математической статистики. К. Е. Волковицкий утверждает, что коалиции образуются экспертами, которые либо полностью разделяют какую-либо точку зрения, либо полностью её отрицают. В его исследованиях группа экспертов разделилась на несколько коалиций, противоречащих друг другу. Однако авторами не учитывалась специфика объекта исследования, которая, в свою очередь, может влиять на необходимость использования коалиций.
В работе [9], используя отношение дисперсий между ошибками в оценивании относительно средних значений, осуществляется разделение экспертов на коалиции, что позволяет в ходе единственного опроса экспертов выполнить процедуру формирования высокосогласованных групп экспертов.
На основе сформированных коалиций экспертов будут разработаны соответствующие модели, по которым необходимо проводить дополнительные исследования.
4. Формирование моделей качества с учетом коалиций экспертов. В работах [10, 11] предложены различные формы показателя качества. В нашей работе представим модели в упрощенном виде с нормированными весовыми коэффициентами и значениями критериев (1):
Jjk = Ки ■ 01к ■х1 + ,.У& ■ •х... + ■ Омк ■ хм . 0)
Предлагаемый интегральный показатель зависит от значимости, определяемой весовыми коэффициентами, сумма которых должна равняться единице.
Сформируем соответствующий ансамбль интегральных показателей качества в коалициях экспертов:
J = V ■ G ■ X + V ■ G ■ X + V ■ G ■ X
° ОК y 1, ОК w1, ОК ^ ■■■ yi, ОК wi, ОК i M, ОК WM, ОК M
/\ /\ /V /V /V /V
J = V ■ G ■ X + V ■ G ■ X + V ■ G ■ X
u АК1 Ч, АК1 w1, АК1 Л1 ^ ••• vi, АК1 wi, АК1 г ''' ^ KM, АК1 wM, АК1 M
J АКк V1, АКк ^ G1, АКк ^ X1 ^ • • • Vi, АКк ^ Gi, АКк ■ Xi '' VM, АКк ' GM, АКк ' X M
(2)
где:
к — порядковый номер коалиции;
Ji — интегральный показатель качества;
V — весовой коэффициент признака;
К i — нормированный весовой коэффициент признака;
V11 — весовой коэффициент первого признака в первой коалиции;
Vik — весовой коэффициент i-го признака в к-й коалиции;
VMK — весовой коэффициент крайнего признака в крайней коалиции;
Gi — весовой коэффициент группы признаков;
x — нормированное значение признака;
G i — нормированный весовой коэффициент группы признаков.
5. Нахождение оптимального критерия для повышения качества с учетом мнения коалиций экспертов. Рассмотрим критерии, применяемые к коалициям экспертов для повышения эффективности управления защищенностью охраняемого объекта.
1. Максиминный критерий Вальда (критерий пессимиста). В качестве оптимальной выбирается та стратегия, при которой минимальный выигрыш максимален, т. е.
minmax AJ. (3)
j i j
Критерий является пессимистическим, поскольку считается, что природа будет действовать наихудшим образом для человека.
2. Критерий максимума (критерий оптимиста). В качестве оптимальной выбирается та стратегия, при которой максимальный выигрыш максимален, т. е.
maxmax AJf . (4)
j 1 lJ
Критерий является оптимистическим, считается, что природа будет наиболее благоприятна для человека.
3. Критерий Сэвиджа (критерий сожалеющего пессимиста). В качестве оптимальной выбирается та стратегия, при которой минимален максимальный риск, т. е.
min{max r } . (5)
l j j
<
Риском называют разность между выигрышем, который можно получить, если знать действительное состояние природы, и выигрышем, который будет получен при отсутствии этой информации.
Верификация. Для верификации осуществим оценку эффективности антитеррористической защищенности объектов органов внутренних дел (ОВД) на основе ключевых признаков, указанных в работе [12].
Данные экспертного оценивания признаков представлены в работе [13].
Рассмотрим результаты расчета по коалициям экспертов. Модели оценки для основной и двух альтернативных коалиций имеют следующий вид [14]:
Зж = 0,11995с, + 0,0932х2+ 0,0666х3+ 0,0399х4+ 0,0133х5 + +0,1258х6+ 0,0276х7+ 0,1112х8+ 0,0135х9+0,0977х1О+0,0416хп + +0,0837х12+0,0446х13+0,0501х14+0,0055х15+0,0391х16+0,0167хп+0,0110х18
(6)
= 0,12495с, + 0,0251х2+ 0,0499х3+ 0,0750х4+ 0,1001х5 + +0,0022х6+ 0,0045х7+ 0,0067х8+ 0,0079х9+0,0111х1О+0,0131хп + +0,0156х12+0,1342х13+0,1071х14+0,1613х15+0,0265х16+0,0536х17+0,0807х1.
(7)
Зак2 = 0,00395с, +0,0078х2+ 0,0275х3+ 0,0195Х4+ 0,03 13Х5 + +0,1142х6+ 0,1308х7+ 0,0983х8+ 0,1474х9+0,0491х1О+0,0159хп + +0,0817х12+0,0326х13+0,0248х14+0,0620х15+0,0084х16+0,0672хп+0,0756х18
(8)
В ходе исследования 15 объектов г. Воронежа и Воронежской области интегральные показатели качества получили следующие значения, представленные в таблице 1.
Таблица 1
Интегральные показатели качества для 15 объектов ОВД по 3 коалициям экспертов
Номер 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
объекта
Значение
3 для
основной
коалиции 0,58 0,49 0,69 0,49 0,59 0,63 0,47 0,49 0,48 0,49 0,49 0,48 0,49 0,47 0,47
Значение
3 для аль-
тернатив-
ной коа-
лиции № 1 0,67 0,39 0,62 0,56 0,53 0,48 0,45 0,58 0,39 0,43 0,45 0,52 0,43 0,45 0,54
Значение
3 для аль-
тернатив-
ной коа-
лиции № 2 0,56 0,54 0,70 0,56 0,56 0,56 0,54 0,51 0,49 0,54 0,52 0,47 0,46 0,56 0,57
Объекты № 2, № 7—№ 15 для основной коалиции экспертов являются однородными, т.к. уровень качества их одинаков и значения интегральных показателей находятся в пределах 5%.
Понятие однородности является краеугольным для многих областей математики, в частности для прикладной статистики, так как статистические данные обрабатываются только в однородных группах. Условие однородности множества объектов не сводится только к определению наблюдаемого объекта, так как любое реальное множество объектов представляет собой систему дифференцированных элементов, в связи с чем проблема разделения исходного множества изучаемых объектов на однородные группы является первостепенной при анализе систем любой отрасли науки.
В практической деятельности постоянно приходится сталкиваться с ситуацией, когда необходимо оценить ряд объектов, которые по своим характеристикам почти не отличаются друг от друга, кроме того, при оценке этой совокупности объектов экспертами в ней действительно могут состоять объекты, уровень качества которых одинаков, и такие объекты называют однородными [15].
Диапазон значений однородных альтернатив J min одн. [0,470; 0,491] определяется по формуле
е = LJl = Qß5. Jx _ Jmn = 0,05 Jx ; 0,95JX = Jn
(9)
При анализе однородных альтернатив будем выбирать значения критериев, существенно отличающиеся в худшую сторону от средних значений.
На рисунке 2 представлены признаки, требующие усиления показателей защищенности.
f (n) =f (Xj _Aj )
(10)
Рис. 2. Результаты отклонения признаков объектов № 2 и № 4
Тогда выбор признака осуществляется после сравнения с вектор-строкой средних значений признаков:
- X - X -
X j = ; Xj << Xj; при i ^ min ,
j n '
(11)
где: Xу — среднее значение по I признаку для всех у объектов; ^ х^ — сумма оценок по г признаку у объектов; N — общее количество объектов.
2
Количественное увеличение значимых признаков будет способствовать предельному увеличению значений интегрального показателя качества.
1. Максиминный критерий Вальда (критерий пессимиста). Нормированное значение наиболее важного признака х5 (системы и средства охранной и тревожной сигнализации) составляет 0,33, его количественное увеличение до 0,66 способствует изменению значения интегрального показателя качества с 0,483 до 0,525 для основной коалиции объекта №12 и с 0,479 до 0,517 для альтернативной коалиции того же объекта.
2. Критерий максимума (критерий оптимиста). Для верификации данного критерия рассмотрим данные объекта № 5 по двум признакам х2 (системы и средства видеонаблюдения) и х5 (системы и средства охранной и тревожной сигнализации).
Среди однородных объектов осуществляем выбор признаков, у которых количественное увеличение значимых критериев (признаков) будет способствовать предельному увеличению значений интегрального показателя качества, после чего выполняем обработку данных признаков на основе экспертной информации, полученной в коалициях экспертов. Результаты расчета представлены в таблице 2.
Таблица 2
Результаты расчета интегральных показателей качества объекта ОВД, полученные в коалициях экспертов
№ объекта №5
/ (значение интегрально- основная альтернативная № 1 альтернативная № 2
го показателя для 3 коа- 0,59 0,53 0,56
лиций экспертов)
/1 (значение интеграль- 0,63 0,64 0,65
ного показателя для 3 коа-
лиций экспертов после
увеличения признака си-
стемы и средства видеонаблюдения
с 0,33 до 1)
/ 2 (значение интеграль- 0,60 0,59 0,62
ного показателя для 3 коа-
лиций экспертов после
увеличения признака си-
стемы и средства охранной
и тревожной сигнализации
с 0,33 до 1)
А/ = / - J 0,04 0,11 0,09
(для 3 коалиций экспертов)
А/ 2 = / 2 - / 0,01 0,06 0,06
(для 3 коалиций экспертов)
Для рассматриваемой предметной области на основе проведенных вычислительных экспериментов можно сделать следующие выводы:
1) применительно к объектам 3 класса будет достаточным использование мак-симинного критерия Вальда, ввиду того что отсутствует необходимость в максимальной защищенности объектов данного класса;
2) для объектов 1 класса будет оптимальным выбор критерия максимума в целях повышения эффективности защиты объектов особой важности.
Вывод. Для ведомственных организаций в условиях недостаточного целевого финансирования денежные средства предоставляются на конкретный вид деятельности (например, на усиление мер по антитеррористической защищенности) и, как правило, их объем значительно ограничен по сравнению с требованиями для решения целого спектра задач. Большое количество идентичных объектов охраны не предполагает распределения достаточных бюджетных средств по всем объектам ввиду ограниченности целевого финансирования, именно поэтому существует необходимость акцентирования бюджетных средств именно на те охраняемые объекты, которым целевое финансирование необходимо в первую очередь, исходя из оценки их уровня антитеррористической защищенности.
Кластерно-иерархический подход позволяет выбрать охраняемые объекты, у которых количественное изменение признака приведет к качественному увеличению значений интегральных показателей по всему множеству объектов.
При проведении вычислительного эксперимента в данном исследовании используются 15 условных объектов органов внутренних дел (ОВД), но их количество может быть неограниченным, что позволит из некоторого множества объектов выбрать конкретную группу с фактически одинаковыми значениями интегрального показателя, приоритетные признаки которых имеют низкие оценки.
ЛИТЕРАТУРА
1. Жилин Р. А. Снижение размерности задачи экспертизы при исследовании объектов коалициями экспертов // Охрана, безопасность, связь — 2019 : сборник материалов международной научно-практической конференции, 28 ноября 2019 г. — Ч. 2. — Воронеж : Воронежский институт МВД России, 2020. — С. 25—30.
2. Жилин Р. А. Численный метод оценки необходимости использования альтернативных коалиций при анализе интегральных показателей опасности нарушителей в сфере физической защиты объектов // Вестник Воронежского института ФСИН России. — 2020. — № 3. — С. 45—52.
3. Жилин Р. А. Численный метод предварительной экспертизы альтернатив нарушителей охраны объектов общекриминальной направленности // Вестник Воронежского института МВД России. — 2019. — № 3. — С. 56—64.
4. Жилин Р. А. К вопросу о модели нарушителя системы безопасности объекта охраны // Вестник Воронежского института МВД России. — 2019. — № 2. — С. 57—69.
5. Бешелев С. Д. Математико-статистические методы экспертных оценок. — М. : Статистика, 1980. — 1240 с.
6. Мельников А. В. Кластерно-иерархические методы экспертизы технических и экономических объектов : дис. ... д-ра техн. наук : 05.13.18: — Воронеж, 2014. — 354 с.
7. Бурков Е. А. Методы и алгоритмы анализа и агрегирования групповых экспертных оценок : дис. ... канд. техн. наук : 05.13.01. — СПб., 2011. — 189 с.
8. Волковицкий К. Е. Исследование пространства ранговых оценок и разработка пакета прикладных программ классификационной обработки данных экспертного оценивания : дис. ... канд. физ-мат. наук : 01.01.09. — М., 1984. — 154 с.
9. Melnikov A. V. Method of forming expert coalitions in the context of solving the expertise problem of alternatives with weakly formalized criteria J // Phys.: Conf. Ser. 2020 1479012071.
10. Akhlyustin S. B. Prediction of the integrated indicator of quality of a new object under the conditions of multicollinearity of reference data // Bulletin of the South Ural State University. Series: Mathematical Modelling, Programming and Computer Software. — 2020. — Т. 13. — № 4. — С. 66—80.
11. Жилин Р. А. Численный метод оценки значимости критериев в группах однородных альтернатив // Вестник Воронежского института ФСИН России. — 2021. — № 3.
— С. 45—51.
12. Жилин Р. А. Формирование пространства признаков для оценки антитеррористической защищенности объектов органов внутренних дел // Охрана, безопасность, связь — 2020 : сборник материалов международной научно-практической конференции, 28 ноября 2020 г. — Ч. 2. — Воронеж : Воронежский институт МВД России, 2021.
— С. 51—54.
13. Жилин Р. А. Моделирование функциональной взаимосвязи результатов экспертизы опасности отдельных видов нарушителей для оценки рисков безопасности охраняемых объектов // Вестник Воронежского института ФСИН России. — 2019. — № 3. — С. 88—92.
14. Жилин Р. А. Численный метод кластеризации однородных альтернатив, характеризующих качество антитеррористической защищенности объектов ОВД, на основе суммы различий взвешенных признаков // Моделирование, оптимизация и информационные технологии. — 2020. — № 3. — С. 55—65.
15. Мандель И. Д. Кластерный анализ. — М. : Финансы и статистика, 1988. — 177 с.
REFERENCES
1. Zhilin R. A. Snizhenie razmernosti zadachi ekspertizyi pri issledovanii ob'ektov koalitsiyami ekspertov // Ohrana, bezopasnost, svyaz — 2019 : sbornik materialov mezhdunarodnoy nauchno-prakticheskoy konferentsii, 28 noyabrya 2019 g. — Ch. 2. — Voronezh : Voronezhskiy institut MVD Rossii, 2020. — S. 25—30.
2. Zhilin R. A. Chislennyiy metod otsenki neobhodimosti ispolzovaniya alternativnyih koalitsiy pri analize integralnyih pokazateley opasnosti narushiteley v sfere fizicheskoy zaschityi ob'ektov // Vestnik Voronezhskogo instituta FSIN Rossii. — 2020. — # 3. — S. 45—52.
3. Zhilin R. A. Chislennyiy metod predvaritelnoy ekspertizyi alternativ narushiteley ohranyi ob'ektov obschekriminalnoy napravlennosti // Vestnik Voronezhskogo instituta MVD Rossii. — 2019. — # 3. — S. 56—64.
4. Zhilin R. A. K voprosu o modeli narushitelya sistemyi bezopasnosti ob'ekta ohranyi // Vestnik Voronezhskogo instituta MVD Rossii. — 2019. — # 2. — S. 57—69.
5. Beshelev S. D. Matematiko-statisticheskie metodyi ekspertnyih otsenok. — M. : Statis-tika, 1980. — 1240 s.
6. Melnikov A. V. Klasterno-ierarhicheskie metodyi ekspertizyi tehnicheskih i ekonomich-eskih ob'ektov : dis. ... d-ra tehn. nauk : 05.13.18: — Voronezh, 2014. — 354 s.
7. Burkov E. A. Metodyi i algoritmyi analiza i agregirovaniya gruppovyih ekspertnyih otsenok : dis. ... kand. tehn. nauk : 05.13.01. — SPb., 2011. — 189 s.
8. Volkovitskiy K. E. Issledovanie prostranstva rangovyih otsenok i razrabotka paketa prikladnyih programm klassifikatsionnoy obrabotki dannyih ekspertnogo otsenivaniya : dis. ... kand. fiz-mat. nauk : 01.01.09. — M., 1984. — 154 s.
9. Melnikov A. V. Method of forming expert coalitions in the context of solving the expertise problem of alternatives with weakly formalized criteria J // Phys.: Conf. Ser. 2020 1479012071.
10. Akhlyustin S. B. Prediction of the integrated indicator of quality of a new object under the conditions of multicollinearity of reference data // Bulletin of the South Ural State University. Series: Mathematical Modelling, Programming and Computer Software. — 2020.
— T. 13. — # 4. — S. 66—80.
11. Zhilin R. A. Chislennyiy metod otsenki znachimosti kriteriev v gruppah odnorodnyih alternativ // Vestnik Voronezhskogo instituta FSIN Rossii. — 2021. — # 3. — S. 45—51.
12. Zhilin R. A. Formirovanie prostranstva priznakov dlya otsenki antiterroristicheskoy zaschischennosti ob'ektov organov vnutrennih del // Ohrana, bezopasnost, svyaz — 2020 : sbornik materialov mezhdunarodnoy nauchno-prakticheskoy konferentsii, 28 noyabrya 2020 g. — Ch. 2. — Voronezh : Voronezhskiy institut MVD Rossii, 2021. — S. 51—54.
13. Zhilin R. A. Modelirovanie funktsionalnoy vzaimosvyazi rezultatov ekspertizyi opas-nosti otdelnyih vidov narushiteley dlya otsenki riskov bezopasnosti ohranyaemyih ob'ektov // Vestnik Voronezhskogo instituta FSIN Rossii. — 2019. — # 3. — S. 88—92.
14. Zhilin R. A. Chislennyiy metod klasterizatsii odnorodnyih alternativ, harakterizuyu-schih kachestvo antiterroristicheskoy zaschischennosti ob'ektov OVD, na osnove summyi razlichiy vzveshennyih priznakov // Modelirovanie, optimizatsiya i informatsionnyie tehnologii.
— 2020. — # 3. — S. 55—65.
15. Mandel I. D. Klasternyiy analiz. — M. : Finansyi i statistika, 1988. — 177 s.
СВЕДЕНИЯ ОБ АВТОРАХ
Мельников Александр Владимирович. Заведующий кафедрой прикладной информатики, информационного права и естественно-научных дисциплин. Доктор технических наук, доцент.
Центральный филиал Российского государственного университета правосудия.
E-mail: meln78@mail.ru
Россия, 394006, Воронеж, ул. 20-летия Октября, д. 95.
Конобеевских Владимир Валерьевич. Доцент кафедры автоматизированных информационных систем ОВД. Кандидат технических наук.
Воронежский институт МВД России.
E-mail: konobeevskihvv@vimvd.ru
Россия, 394065, Воронеж, проспект Патриотов, 53.
Melnikov Alexander Vladimirovich. Head of the chair of Applied Informatics, Information Law and Natural Sciences. Doctor of Technical Sciences, Associate Professor.
Central Branch of the Russian State University of Justice.
E-mail: meln78@mail.ru
Work address: Russia, 394006, Voronezh, 20-letiya Octyabrya Str., 95.
Konobeevskikh Vladimir Valerievich. Associate Professor of the chair of Automated Information Systems of Internal Affairs. Candidate of Technical Sciences.
Voronezh Institute of the Ministry of the Interior of Russia.
E-mail: konobeevskihvv@vimvd.ru
Work address: Russia, 394065, Voronezh, Prospect Patriotov, 53.
Ключевые слова: коалиция экспертов; критерий качества; объекты органов внутренних дел; методика управления.
Key words: coalition of experts; quality criterion; objects of internal affairs bodies; management methodology.
УДК 004.942
