CC BY
8ISSN 2782-2001 Системы анализа и обработки данных том 90, № 2, 2023, с. 59-76
http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 90, No. 2, 2023, pp. 59-76
КОМПЬЮТЕРНЫЕ НАУКИ COMPUTER SCIENCE
И ИНФОРМАТИКА AND INFORMATION SCIENCE
УДК 519.81 Б01: 10.17212/2782-2001-2023-2-59-76
Разработка и апробация метода и алгоритма
формирования коалиций экспертов
при исследовании процессов функционирования
к* *
сетей связи
А. В. ПОПОВ
394065, Российская Федерация, г. Воронеж, проспект Патриотов, 53, Воронежский институт МВД России
Alex_std_ex@mail.ru
Рассматриваются вопросы, связанные с использованием методов экспертных оценок в целях повышения оптимальности и объективности разрабатываемых управленческих решений. Формулируется целесообразность привлечения экспертов при необходимости коллегиальной разработки управленческого решения. Приводятся основные этапы исследований, связанных с применением метода экспертных оценок. Актуальность выбранной темы обосновывается необходимостью разработки эффективных методов и алгоритмов, направленных на автоматизацию процессов анализа и обработки данных, полученных в ходе экспертного опроса, а также подведения итогов о его результатах. Целью исследования является разработка и апробация алгоритма поиска согласованных групп (коалиций) экспертов, а также метода, позволяющего выработать итоговое решение по результатам экспертного опроса. Предложенный алгоритм поиска коалиций основан на применении математического аппарата теории множеств и алгебры отношений; использует строгий критерий при их формировании и пополнении коалиций, однако не исключает принадлежность экспертов нескольким коалициям, что обеспечивает высокую информативность результатов экспертного оценивания. Метод включает в себя расчет весовых коэффициентов, присваиваемых сформированным коалициям с учетом степеней принадлежности к ним экспертов. Результирующее решение формируется на основе данных, полученных коалицией, обладающей максимальной размерностью и требуемой степенью согласованности. Разработанные метод и алгоритм апробированы на результатах экспертного опроса по определению степеней значимости процессов, реализуемых в сетях связи. В результате были сформированы коалиции экспертов, согласованных друг с другом, а также выявлены эксперты, чьи мнения в большей степени отклонены от остальных. Согласованность коалиций оценивается с использованием коэффициента конкордации, а итоговое решение формируется на основе метода средних арифметических рангов, присвоенных исследуемым процессам функционирования сетей связи экспертами, принадлежащими самой объемной коалиции.
Ключевые слова: экспертные оценки, алгоритм, согласованность, коалиции, важность процессов, корреляционный анализ, принятие решений, коэффициент Спирмена
* Статья получена 19 февраля 2023 г.
ВВЕДЕНИЕ
Повышение эффективности управленческой деятельности, в том числе в системе органов внутренних дел, связано в первую очередь с оптимизацией и автоматизацией процессов принятия решений, необходимых для осуществления координации действий сил и средств полиции при реализации полномочий по охране общественного порядка и обеспечению общественной безопасности. Наряду с этим безусловной актуальностью обладает разработка различных подходов и методов, направленных на повышение объективности принятия решений, которые бы обладали необходимой степенью оптимальности.
В рамках исследования концептуально-понятийного аппарата теории принятия решений [1-3] было установлено, что одним из наиболее объективных методов анализа способов реализации и выработки управленческих решений являются экспертные оценки [4, 5]. В практической деятельности данный метод является универсальным и, несмотря на то что его использование занимает больше времени, является достаточно объективным и точным при условии подбора экспертов требуемой квалификации, т. е. обладающих необходимым уровнем знаний и умений в исследуемой предметной области, а также непредвзятостью к проведению экспертного опроса.
В [1] сформулировано 11 этапов проведения экспертного опроса, из них первые 6 включают в себя реализацию комплекса предварительных мероприятий, таких как принятие решения о необходимости проведения опроса (осуществляется лицом, ответственным за принятие решений (ЛПР)), подбор и назначение составов рабочей группы и экспертов, а также разработка технических заданий и пробных сценариев сбора и анализа экспертных мнений. После этого начинается реализация наиболее важных этапов, таких как проведение самого опроса, а также компьютерный анализ экспертной информации и ее интерпретация для принятия заключительного решения.
Таким образом, автоматизация процессов принятия эффективных управленческих решений, разрабатываемых коллегиально с привлечением экспертов, требует разработки эффективных методов и алгоритмов обработки и систематизации данных, полученных в ходе экспертного опроса.
1. ПОСТАНОВКА ЗАДАЧИ
Поскольку в ходе проведения экспертного опроса одним из наиболее важных критериев выработки заключительного варианта принимаемого ЛПР управленческого решения является согласованность экспертов, в настоящей работе решаются следующие задачи:
- разработка алгоритма поиска согласованных групп (коалиций) экспертов, разрабатываемого с использованием математического аппарата теории множеств, алгебры отношений и методов корреляционного анализа;
- разработка метода, позволяющего интерпретировать результаты проведенного экспертного опроса, проанализировать сформированные коалиции и выбрать из них ту, которая содержит наибольшее число согласованных между собой экспертов с учетом их индивидуальных коэффициентов принадлежности;
- апробация разработанных метода и алгоритма на примере экспертных оценок, определяющих степени значимости реализуемых процессов в сетях и системах связи относительно друг друга.
1.1. АНАЛИЗ СУЩЕСТВУЮЩИХ ПОДХОДОВ К ОБРАБОТКЕ ЭКПЕРТНЫХ ОЦЕНОК
В исследованиях [6-16] в области обработки экспертных оценок, связанных с оценкой согласованности мнений экспертов, освещены различные подходы, направленные на выработку управленческих решений на основе полученных в ходе экспертного оценивания данных. В работах [7, 8] разработаны модели и алгоритмы расчета согласованности мнений экспертов, в которых основным критерием является значение коэффициента конкордации внутри экспертной группы. В [9] оценивается согласованность только между парой экспертов с помощью коэффициента корреляции Спирмена, а в [10] решение задачи многокритериальной оптимизации с привлечением экспертов сопряжено с использованием индекса согласованности матрицы при различных ограничениях, предложенного Томасом Саати [11]. В [12] предложен способ дифференцированной оценки степени несогласованности экспертных данных, который позволяет выделить экспертные оценки, обладающие наибольшей ошибкой экспертного опроса.
Зарубежные источники [13-16] содержат исследования, связанные с разработкой новых методов попарного сравнения [13, 16], особенностями которых является возможность использования различных функций для определения приоритета альтернатив, а также выявления источников противоречий в мнениях экспертов, что позволяет рассчитать количественные оценки степени согласия мнений экспертов; алгоритмов корректировки согласованности экспертов, моделей определения экспертных весов при выражении оценочных мнений экспертов с использованием вероятностных лингвистических отношений предпочтения [14]; моделей управления согласованностью экспертных оценок, объединяющих методы оценки согласованности и процедуры повышения согласованности в едином контуре управления на основе обратной связи от экспертов и с учетом специфики работы экспертов в распределенной среде [15].
1.2. ИСПОЛЬЗОВАНИЕ КОЭФФИЦИЕНТОВ КОРРЕЛЯЦИИ СПИРМЕНА ДЛЯ СОСТАВЛЕНИЯ КОРРЕЛЯЦИОННЫХ МАТРИЦ
Под множеством процессов, которые было необходимо сравнить друг с другом, в исследовании рассматривалось множество Р = {Р1, Р2,..., Р9} , где Р1 - синтез (проектирование), Р2 - модернизация, Р3 - эксплуатация, Р4 - управление, Р5 - мониторинг качества услуг, Р6 - техническое обслуживание, Р7 - ремонт, Р8 - хранение, Р9 - транспортирование.
При расчете значений ранговой корреляции с использованием коэффициента Спирмена [17, 18] необходимо сопоставить значения рангов элементов, определенных парой экспертов. В ходе опроса множества экспертов
Х = (Xi,X2,-,Xn} факторам p1;p2...,pg присваивались значения рангов от 1 до 9, где 1 - наибольшая степень значимости фактора, 9 - наименьшая.
Результатом экспертного оценивания являлся кортеж RankXk =
=\rankfk, rankX,..., rankgk | для каждого k-го эксперта.
При проверке условия о том, что в кортежах RankXk нет повторяющихся рангов, т.е. при $ ^rankXk = rankXk j $ ^rankXm = rankXm j V z,c, коэффициент корреляции Спирмена rXk ,Xm для пары экспертов хk, Xm может быть рассчитан по следующей формуле:
\P\
Z d 2
r%k ,%m = 1 _ -, (1)
\ P \3 _P
где di = rankXk _ rankXm .
В случае наличия в кортежах одинаковых рангов формула (1) сводится к виду
\P\ 2
Z di + kXk + kXm
rXk ,Xm = 1 _ 6 М---, (2)
\ P \3 _P
где kxk , k^ - поправки на одинаковые ранги для выборок xk, Xm .
После определения значения rXk'Xm осуществляется проверка гипотез о статистической незначимости (гипотеза H0) или значимости (гипотеза H1) корреляционной связи для имеющихся эмпирических данных. Данная процедура осуществляется с использованием коэффициента Стьюдента t^ 'Xm , определяемого по формуле
t Xk ,Xm = lr
r Xk ,Xm 's
Sr
r Xk ,Xm
s
P \ _ 2
P| 2 (3)
1 _{rXk,Xm j
Подтверждение либо опровержение гипотезы И осуществляется путем
сравнения значения ,Хт со значением tfa.it , получаемым из статистической таблицы при следующих параметрах:
= 1 («, кss), kss = I Р I - 2; а = 0,01.
Так, при ,Хт > tkrit принимается гипотеза И}, в противном случае -гипотеза И0 .
Таким образом, применение данного метода позволяет сформировать корреляционную матрицу М3 =1 тх.х , I , а также матрицу М. = I ш1г I
\ г' 3 >пхп V Х,Х} )пУп
с рассчитанными значениями коэффициента Стьюдента, которая впоследствии будет использована для определения согласованных пар экспертов и формирования коалиций.
2. РАЗРАБОТКА МЕТОДА И АЛГОРИТМА ФОРМИРОВАНИЯ КОАЛИЦИЙ ЭКСПЕРТОВ
В работе [19] был предложен алгоритм, позволяющий выделить из всех экспертов отдельные группы (коалиции), члены которых обладают наибольшей согласованностью, а также выявить экспертов, мнения которых в значительной степени отличаются от остальных. При формировании коалиций был использован подход, основанный на использовании корреляционных матриц и алгебры отношений. Однако для определения коалиции, к которой можно было бы отнести того или иного эксперта, использовался «мягкий» критерий, вследствие чего возникают ситуации, когда будет сформирована только одна коалиция с недостаточным уровнем общей согласованности. Под коалицией будем понимать такое множество Ц = {% у }, для которого характерно выполнение условий:
1 > 2;
Ъ, X*, Хш ~ ( ^^ > ^ ] д( ши ,Хш > ^ )д ^ > ^ ]. ( }
Для того чтобы сформировать целостную картину о полученных в ходе экспертного оценивания результатов, модернизируем алгоритм [19], дополнив его более строгим критерием распределения экспертов по коалициям и добавив учет взаимосвязей между коалициями с использованием метрики принадлежности.
Алгоритм поиска коалиций
Шаг 1
Из сформированной матрицы М. = I ш1г I выбрать пары экспертов,
V Х ,Х 3 ) пХп
удовлетворяющих критерию Стьюдента, т. е. шХ Х > tfcri[, где tkj.it = ((0,01;7).
ы ,Х у
В результате получим множество пар Е ={(X*, Хш)} V х*,Хш с условием, что к < ш.
Шаг 2
п
Сформировать из множества Е подмножества ^ С Е : и = Е , при-
к=1
чем V к = l,2,...,п : 1к = {(Хк,Ха),...,(Хк,Хь)}.
Шаг 3
Задать i = 1; к = 1.
Шаг 4
Проверить выполнение условий:
а) если
1к , (5)
то к = к +1 и вернуться к началу шага 4.
Причем если $ (% s, % к) е 5 V % , то эксперт % к будет считаться обособленным, иначе между мнениями экспертов % к и % s будет существовать некоторая взаимосвязь, определяемая степенью принадлежности ц (% , % к);
б) если
^, (6)
то V (%к,%т)е к, т = (У +1),...,п, выполнить проверку дополнительного условия: если
^((%к, %т ) Л (%к, %т+а ) е^к ):(%к. %т ) А (%к. %т+а ) е5 , (7)
где а = 1,...,(п — т) , Д - симметрическая разность, то сформировать коалицию йI: йI с X, включить в нее элементы %к, %т, %т+а множества X, если они еще не принадлежат ей, т. е.
%к ^ й, если %к ;
%т ^ й, если %т ей,-; (8)
%т+а ^ й. если %т+а £ й,
где ^ - оператор включения элемента в множество. Шаг 5
Выполнять пункт (б) шага 4 V % т ей ,, т = (к + £),..., п, тем самым осуществляя пополнение множества й 1. Критерием остановки итерационной процедуры является невыполнение условия (7) V %к ей,. В таком случае i = i +1; к = к +1 и перейти к пункту (а) шага 4.
Шаг 6
Осуществлять пополнение / генерацию новых коалиций й 1 до тех пор, пока к < п .
Шаг 7
Оценить принадлежность экспертов нескольким коалициям проверкой условия: если
(х* ей )л(х* ей,- )л... л(х* е Пм), (9)
то исключить х* из всех й, которым он принадлежит, и ввести для него метрику ^х* (й) , характеризующую степень принадлежности эксперта х* к коалициям. Определим Цх* (й) по формуле
(йй) = р| (й-, Йь,..., Йт), (10)
где й = {й, йь,..., йт} - множество коалиций, которым принадлежал
эксперт х* .
Конец алгоритма
Таким образом, основываясь на полученных результатах экспертного опроса, лицами, ответственными за принятие решений, может быть принята одна из позиций экспертов. Итоговое решение будет формироваться с учетом знаний о наличии и размерности коалиций, полученных в ходе выполнения предложенного алгоритма.
Для принятия итогового решения можно использовать следующий подход: определим для каждой сформированной коалиции коэффициенты „(й,), для расчета которых может быть использована формула
„А) >1+£ цх*)+1 ц(х. ■ х *), (11)
п
где ц (х5, х*) - коэффициенты принадлежности к коалиции й, экспертов х* , не принадлежащих другим коалициям. Определяются по правилу: если
х*е й- ^ х* г й- V л (х* х)е 2,
то
Ц (х*, х*) = 101, (12)
п
где п = |х| - множество экспертов.
Если 3 (ха, х*) е 3 ^ где ха г й- V - ^ то Ц (ха, х*) также будет добавлен
к выражению (11), однако будет равен 1 ц (х*, х*).
В итоге полученные значения ^(й j) сравниваются между собой, а лицо, ответственное за принятие решений, руководствуется результатами, полученными группой (коалицией) экспертов, у которой ^(йj) = max .
3. ПРОВЕДЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ И АПРОБАЦИИ РАЗРАБОТАННОГО АЛГОРИТМА
Разработанный алгоритм был апробирован на экспертном опросе, в котором участвовало 45 человек. Экспертам предлагалось согласно разделу 1.2 проранжировать по степени важности реализуемые процессы в сетях связи. Результатом экспертного опроса являлась таблица (табл. 1) со значениями рангов, присваиваемых заданным факторам (процессам).
Таблица 1 Table 1
Результаты экспертного опроса Results of the expert survey
Эксперты Процесс Xi X2 Хз Х4 Х5 Х6 Х7 Х45
Р1 - синтез 6 1 1 1 1 1 1 7
Р2 - модернизация 3 2 7 4 6 4 6 6
Рз - эксплуатация 1 5 2 7 2 3 5 2
Р4 - управление 2 4 3 6 3 2 4 1
Р5 - мониторинг качества услуг 4 3 6 2 4 5 2 4
Рб - техническое обслуживание 5 6 4 3 5 6 3 3
Р7 - ремонт 8 7 5 5 7 7 7 5
Р8 - хранение 7 8 9 8 8 8 8 8
Р9 - транспортирование 9 9 8 9 9 9 9 9
Основываясь на результатах, полученных в ходе проведения экспертного
опроса, по формулам (1) и (2) были рассчитаны значения коэффициента кор-
% ■ % ■
реляции Спирмена г8" ] для каждой пары экспертов. Результаты расчета г%1,%. дЛя некоторых экспертов представлены в табл. 2.
Таблица 2 Table 2
Результаты расчета rfl 'Xj
Calculation results rs
Xi >Xj
X 1 2 3 4 5 6 7 8 9 45
1 1 0,583 0,483 0,200 0,683 0,716 0,466 0,9 0,633 0,783
2 1 0,550 0,783 0,766 0,866 0,783 0,783 0,866 0,300
3 1 0,483 0,9 0,816 0,716 0,433 0,700 0,600
4 1 0,583 0,55 0,866 0,383 0,516 0,216
5 1 0,933 0,85 0,633 0,816 0,600
6 1 0,75 0,783 0,933 0,533
7 1 0,483 0,683 0,483
8 1 0,766 0,633
9 1 0,383
45 1
Далее по формуле (3) были рассчитаны значения коэффициента Стью-
v. у ■
дента tr" 1 V x., X j и выбраны те пары экспертов, которые удовлетворяют
у . у ■
критерию tr" 1 > tkrit, где tkrit = t(a,kss) = 3,49 . Полученные результаты све-
У • У •
дены в табл. 3 (значения trп 1 , удовлетворяющие критерию, выделены цветом).
Таблица 3 Table 3
X' 'X'
Результаты расчета trl J
Calculation results t^1 'Xj
X 1 2 3 4 5 6 7 8 9 45
1 1,900 1,460 0,540 2,476 2,718 1,396 5,462 2,165 3,334
2 1,742 3,334 3,159 4,596 3,334 3,334 4,596 0,832
3 1,460 5,462 3,743 2,718 1,272 2,593 1,984
4 1,900 1,742 4,596 1,098 1,596 0,587
5 6,878 4,269 2,165 3,743 1,984
6 3,000 3,334 6,878 1,668
7 1,460 2,476 1,460
8 3,159 2,165
9 1,098
45
Таким образом, было сформировано множество согласованных пар экспертов 5 , а также подмножества ^, i = 1,2,...,45, которые использовались в ходе работы предложенного алгоритма. Так, например, исходя из данных, представленных в табл. 3, было получено следующее:
= {(%1,%8)'---' (%аГ%ь1)};
^2 = {(%2,%б), (%2,%9),-• •, (%а2,%Ь2)};
^3 = {(%3, %5), (%3, %б),..., (%а3 , %Ьз)};
^4 = {(%4,%7(%а4,%Ь4)};
^5 = {(%5,%б), (%5,%7), (%5,%9),..., (%а5 ,%Ь5)}; ^6 = {(%6. %9),...5 С^ %Ь6)}.
Общее количество полученных согласованных пар (%., %.), т. е.
п
и ь
к=1
Далее для поиска коалиций О. и проверки принадлежности к ним экспертов был использован представленный в разделе 2 алгоритм. Результатом его выполнения являлись выделенные коалиции с принадлежащими им экспертами (рис. 1).
Как видно из рис. 1, в результате выполнения алгоритма были сформированы три коалиции О, О и О3. Пунктирными линиями на рис. 1 обозначены связи, определяющие принадлежность экспертов к нескольким коалициям одновременно. Поскольку в ходе выполнения алгоритма не нашлось таких экспертов, мнения которых принадлежат более чем двум коалициям, то У%к : (О) = 0,5 . Сплошными линиями обозначены значимые корреляционные связи экспертов, не принадлежащих ни к одной из коалиций, с экспертами в составе некоторых О.. Таким образом:
Ц (%34, %12) = Ц (%38' %45) = = 0,222,
<
ц (%7, %42) = Ц (%3, %42) = Ц (%20, % 2з) = ^' 45 = 0'Ш-
= 15 = 85.
Рис. 1. Результат формирования коалиций экспертов в ходе апробации разработанного алгоритма
Fig. 1. The result of forming coalitions of experts during testing the developed algorithm
Разница при расчете коэффициентов заключается в том, что эксперты %34 и %38 имеют прямую связь с коалицией О1, а %7 , %з и %20 - опосредованную.
Для интерпретации и визуализации полученных результатов введем дополнительные пояснения: если X - множество экспертов, то X(О.) с X -подмножества экспертов, принадлежащих только .-й коалиции, т. е. эксперты, имеющие некоторую степень принадлежности к нескольким коалициям, в такие подмножества не входят. Для них были использованы подмножества множества X, обозначаемые как X (О.) с X, причем X (О.) с X (О.).
Для наглядности было осуществлено аккумулирование данных о присвоенных процессам рангах. Данная процедура выполнялась с использованием метода средних арифметических рангов [5]. В результате при систематизации присвоенных рангов гапкj экспертами V к : %к £ X(О.) , были получены
следующие диаграммы (рис. 2).
При рассмотрении подмножеств согласованных экспертов X(01) и X(О2) (подмножеством X(О3) можно пренебречь, поскольку оно отличается
от X (йз ) только на одного эксперта: X (йЭ 3 ) = X (йз ) и %40) были получены следующие графики (рис. 3).
Средние значения рангов, определенных коалициями (ядрами) экспертов
0 pi - Синтез Р2-Модернизация рз- Эксплуатация 1 >4 - Управление р5 - Мониторинг качества услуг рб - Техническое обслуживание р7 - Ремонт р8 - Хранение р9- Транспоршрова ние
-Х(Й.) 5,6 4,8 1,9 2,3 4,8 3,6 5,7 7,7 8,6
-Х№) ~Г 3 4 2,67 4,33 б 7,33 8,33 8,33
-X(ib) 7 8 1,5 3,5 7 1,5 5 3,5 8
— Х(П,) -Х(£Ъ) " Х(Е2з)
Рис. 2. Средние арифметические ранги гап*Х (й-), определенные экспертами
-ср
подмножеств X (й,-)
Fig. 2. Arithmetic mean ranks rank .Kl> determined by the experts of the subsets X(Q)
jcp
0 pi - Синтез р2 - Модернизация рЗ - Эксплуатация р4 - Управление Р5 - Мониторинг качества услуг рб - Техническое обслуживание р7 - Ремонт pS - Хранение Р9- Транспортирование
-Х(П0 3,67 4,24 2,14 3,14 4,81 4,38 6,1 7,86 8,67
-X(sL) 1,71 3,57 2,71 3,64 4,71 5,29 6,64 8,07 8,64
—X(Qi) —Х(£Ъ)
Рис. 3. Средние арифметические ранги rankX 1), определенные экспертами
jcp
подмножеств X (¿2.)
Fig. 3. Arithmetic mean ranks rankX1) determined by the experts of the subsets X (¿2.)
jcp
Для принятия той или иной позиции экспертов рассчитаем значения коэффициентов ) для каждой коалиции по формуле (11):
Л (01) = -
Ц| + Е ц%к (0) + Е Ц (%5, %к) 10 + 0,5 -12 + 0,266 • 2 + 0,111 • 3
45
= 0,375;
Л (О 2) = 3 + ^-11 + °Д11 - 3 = 0,196;
45
? ?
Л (003) = 2 + 0,5 = 0,055.
3 45
Таким образом, было сформировано соотношение л(00 1) > л(0 2) > Л(0 3), из которого следует, что лицу, ответственному за принятие решений, следует руководствоваться позицией экспертов, принадлежащих ¿0.
Оценка согласованности коалиций экспертов осуществлялась с помощью определения коэффициента конкордации [18] для множеств X, X(¿1) , X(¿2) , X(О3) , X(О1) и X(002), рассчитываемого по формуле
Ж =
125
п2(т3-т)
(13)
где
\р\
5 = Е
.=1
г \р\ к \
к ЕЕгапкк()
Е гапкк (р{) - ^ к=1 к=1
|Р|
(14)
В ходе выполнения расчетов были получены следующие результаты:
Жх = 0,321;
Жк (О!) = 0,667;
Wх (О2) = 0,926;
Wх (о3) = 0,916;
Wх (¿о 1) =0,612;
ЖХ (¿0 2) = 0,75?.
Как видно из рассчитанных значений Ж., согласованность множества экспертов, мнениями которых будут руководствоваться лица, ответственные за принятие решений, фактически в два раза выше, чем согласованность всего множества экспертов.
Необходимо отметить, что разработанный ранее алгоритм [19] обладает недостаточной чувствительностью к выделению согласованных групп экспертов. Применив его к текущим эмпирическим данным, было установлено, что в результате его выполнения была сформирована одна коалиция, состоящая из 31 эксперта с согласованностью мнений Ж = 0,545 , что в определенной степени ниже, чем значения Wх (¿^ и Wх (¿о 1).
ЗАКЛЮЧЕНИЕ
Таким образом, предложенный алгоритм позволяет выделять согласованные группы экспертов на основе корреляционных матриц и алгебры отношений. Для построения корреляционных матриц могут быть использованы различные коэффициенты корреляции, в том числе Пирсона, Кендалла и др. Разработанный алгоритм формирует коалиции, к которым принадлежат эксперты с наибольшей согласованностью мнений, причем не исключает принадлежность экспертов нескольким коалициям и позволяет оценивать межкоалиционные связи, что способствует формированию целостного представления о результатах проведенного экспертного опроса.
Для автоматизации процесса принятия решений по результатам экспертного опроса предлагается подход, оценивающий «вес» каждой из выделенных коалиций. Для этого используются коэффициенты, представляющие собой интегральную оценку, включающую в себя полный набор экспертов, прямо или опосредованно принадлежащих рассматриваемой коалиции. Коалиция, которая обладает наибольшим весом, является руководствующей при выработке заключительного варианта принимаемого управленческого решения.
Разработанные методы и алгоритмы могут быть использованы в различных предметных областях, в которых проводимые исследования подразумевают проведение экспертных опросов для оценки, сравнения множества требуемых факторов.
СПИСОК ЛИТЕРАТУРЫ
1. Орлов А.И. Теория принятия решений. - М.: Март, 2004. - 656 с.
2. Микони С.В. Теория принятия управленческих решений. - СПб.: Лань, 2015. - 448 с.
3. Демин Г.А. Методы принятия управленческих решений. - Пермь: Перм. гос. нац. исслед. ун-т, 2019. - 88 с.
4. Исаева М.К. Методы принятия решений на основе экспертных оценок машинных экспериментов // Стратегическое планирование и развитие предприятий: Девятнадцатый Всероссийский симпозиум, Москва, 10-11 апреля 2018 г.: материалы симпозиума. - М.: ЦЭМИ РАН, 2018. - С. 288-290.
5. Орлов А.И. Экспертные оценки. - М.: [б. и.], 2002. - 31 с.
6. Горский В.Г., Орлов А.И., Гриценко А.А. Метод согласования кластеризованных ранжировок // Автоматика и телемеханика. - 2000. - № 3. - С. 159-167.
7. Мадеева В.А. Автоматизация вычисления обобщенного мнения экспертов и определения степени согласованности мнений экспертов // Информационно-телекоммуникационные системы и технологии: материалы Всероссийской научно-практической конференции, Кемерово, 08-10 октября 2020 г. - Кемерово, 2020. - С. 244-245.
8. Разработка системы вычисления степени согласованности мнений экспертов в сфере информационной безопасности методом нахождения коэффициента конкордации / И.Е. Кузьмин, A.A. Сафронов, Е.М. Баранова, С.Ю. Борзенкова // Известия Тульского государственного университета. Технические науки. - 2020. - № 5. - С. 11-18.
9. Совертков П.И. Формирование умений по определению меры согласованности оценок экспертов на конкурсе // Северный регион: наука, образование, культура. - 2008. - № 1 (17). -С. 55-64.
10. Судаков В.А., Осипов В.П., Куренных А.Е. Повышение согласованности суждений эксперта в матрице парных сравнений // Управление развитием крупномасштабных систем MLSD'2018: труды Одиннадцатой Международной конференции (1-3 октября 2018 г., Москва, Россия). - М., 2018. - С. 346-352.
11. Саати Т. Принятие решений: метод анализа иерархий / пер. с англ. Р.Г. Вачнадзе. -М.: Радио и связь, 1993. - 278 с.
12. БукачевД.С. Способ оценки согласованности экспертных данных в экономических информационных системах // Наука и бизнес: пути развития. - 2018. - № 11 (89). - С. 47-50.
13. Totsenko V.G., Tsyganok V.V. Method of paired comparisons using feedback with expert // Journal of Automation and Information Sciences. - 1999. - Vol. 31, N 7-9. - P. 86-96. -DOI: 10.1615/JAutomatInfScien.v31.i7-9.480.
14. Consistency and trust relationship-driven social network group decision-making method with probabilistic linguistic information / F. Jin, M. Cao, J. Liu, L. Martinez, H. Chen // Applied Soft Computing. - 2021. - Vol. 103. - P. 107170. - DOI: 10.1016/j.asoc.2021.107170.
15. A model of control of expert estimates consistency in distributed group expertise / A. Podvesovskii, O. Mikhaleva, V. Averchenkov, A. Reutov, L. Potapov // Communications in Computer and Information Science. - 2017. - Vol. 754 (5). - P. 361-374. - DOI: 10.1007/978-3-319-65551-2_26.
16. Kuzmina N.M., Ridley A.N. Incomplete pairwise comparisons method for estimating the impact criteria for hub airports network optimization // Smart Innovation, Systems and Technologies. -2021. - Vol. 217. - P. 259-270. - DOI: 10.1007/978-981-33-4826-4_18.
17. Кобзарь А.И. Прикладная математическая статистика: для инженеров и научных работников. - М.: Физматлит, 2006. - 816 с.
18. Симушкин С.В. Многомерный статистический анализ. Ч. 2. - Казань: Казан. гос. ун-т, 2009. - 114 с.
19. Попов А.В. Сравнение методов оценки процессов эрготехнических систем органов внутренних дел // Автоматизация процессов управления. - 2022. - № 3 (69). - С. 67-76. -DOI: 10.35752/1991-2927 2022 3 69 67.
Попов Алексей Вячеславович, преподаватель кафедры инфокоммуникационных систем и технологий Воронежского института МВД России. Основное направление научных исследований - математическое моделирование организационно-технических систем, разработка программных комплексов, теория конфликтов. Имеет более 65 печатных работ. E-mail: Alex_std_ex@mail.ru
PopovAleksey V., lecturer at the infocommunication systems and technologies department, Voronezh Institute of the Ministry of Internal Affairs of Russia. His research interests are currently focused on mathematical modeling of organizational and technical systems, software development, and conflict theory. He has more than 65 publications. E-mail: Alex_std_ex@mail.ru
DOI: 10.17212/2782-2001-2023-2-59-76
Development and testing of the method and algorithm
for forming coalitions of experts in the study of the functioning
of communication networks*
A.V. POPOV
Voronezh Institute of the Ministry of Internal Affairs of Russia, 53 Patriotov Avenue, Voronezh, 394065, Russian Federation
Alex_std_ex@mail.ru
Abstract
The issues related to the use of expert assessment methods in order to increase the opti-mality and objectivity of developed management decisions are considered. The expediency of involving experts is formulated when a collegial management decision is necessary. The basic stages of the research related to the application of the expert assessment method are given. The relevance of the chosen topic is justified by the need to develop effective methods and algorithms aimed at automating the processes of analysis and processing of data obtained during the expert survey, as well as summarizing its results. The aim of the study is to develop and test an algorithm for finding coordinated groups (coalitions) of experts, as well as a method that makes it necessary to work out the final decision on the results of the expert survey. The proposed algorithm for finding coalitions is based on the application of the mathematical apparatus of the theory of sets and algebra of relations; it uses a strict criterion in their formation and replenishment of coalitions, but does not exclude the belonging of experts to several coalitions, which provides a high informative value of the results of expert assessment. The method includes the calculation of weighting coefficients assigned to the formed coalitions taking into account the degrees of experts' membership in them.
The resulting decision is formed on the basis of the data obtained by the coalition, which has the maximum dimensionality and the required degree of consistency. The developed method and algorithm were tested on the results of an expert survey for determining the degrees of significance of the processes implemented in communication networks. As a result, coalitions of experts who agreed with each other were formed, as well as the experts, whose opinions are more deviated from the rest, were identified. The coherence of the coalitions is evaluated using the concordance coefficient, and the final decision is formed on the basis of the method of average arithmetic ranks assigned to the studied processes of functioning of communication networks by the experts belonging to the largest coalition.
Keywords: expert evaluations, algorithm, consistency, coalitions, importance of processes, correlation analysis, decision making, Spearman coefficient
REFERENCES
1. Orlov A.I. Teoriya prinyatiya reshenii [Theory of Decision Making]. Moscow, Mart Publ., 2004. 656 p.
2. Mikoni S.V. Teoriya prinyatiya upravlencheskikh reshenii [Theory of managerial decisionmaking]. St. Petersburg, Lan' Publ., 2015. 448 p.
3. Demin G.A. Metody prinyatiya upravlencheskikh reshenii [Methods of managerial decisionmaking]. Perm, Perm State University Publ., 2019. 88 p.
* Received 19 February 2023.
4. Isaeva M.K. [Decision-making methods based on expert evaluations of machine experiments], Strategicheskoe planirovanie i razvitie predpriyatii [Strategic planning and enterprise development], Proceedings of the Nineteenth All-Russian Symposium. Moscow, 2018, pp. 288-290. (In Russian).
5. Orlov A.I. Ekspertnye otsenki [Expert evaluations]. Moscow, 2002. 31 p.
6. Gorskii V.G., Gritsenko A.A., Orlov A.I. Metod soglasovaniya klasterizovannykh ranzhirovok [A reconciliation method for clustered rankings]. Avtomatika i telemekhanika = Automation and Remote Control, 2000, no. 3, pp. 159-167. (In Russian).
7. Madeeva V.A. [Automation of calculation of generalized opinion of experts and determination of the degree of agreement of experts' opinions]. Informatsionno-telekommunikatsionnye sistemy i tekhnologii [Information-telecommunications systems and technologies]. Proceedings of the All-Russian scientific-practical conference. Kemerovo, 2020, pp. 244-245. (In Russian).
8. Kuzmin I.E., Safronov A.A., Baranova E.M., Borzenkova S.Yu. Razrabotka sistemy vychisleniya stepeni soglasovannosti mnenii ekspertov v sfere informatsionnoi bezopasnosti metodom nakhozhdeniya koeffitsienta konkordatsii [Development of a computing system degree of consistency of expert opinions in the field of informa tion security by finding the concordance coefficient]. Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki = News of the Tula state university. Technical sciences, 2020, no. 5, pp. 11-18.
9. Sovertkov P.I. Formirovanie umenii po opredeleniyu mery soglasovannosti otsenok ekspertov na konkurse [Formation of skills in determining the measure of consistency of expert evaluations in the competition]. Severny region: nauka, obrazovanie, cultura, 2008, no. 1 (17), pp. 55-64. (In Russian).
10. Sudakov V.A., Osipov V.P., Kurennykh A.E. [Increasing the consistency of expert judgments in the matrix of pairwise comparisons]. Upravlenie razvitiem krupnomasshtabnykh sistemMLSD'2018 [Proceedings of 2018 11th International Conference "Management of Large-Scale System Development", MLSD 2018]. Moscow, 2018, pp. 346-352. (In Russian).
11. Saaty T. Prinyatie reshenii: metod analiza ierarkhii [Decision-making: analytic hierarchy process]. Moscow, Radio i svyaz' Publ., 1993. 278 p. (In Russian).
12. Bukachev D.S. Sposob otsenki soglasovannosti ekspertnykh dannykh v ekonomicheskikh informatsionnykh sistemakh [Method for assessing the consistency of expert data in economic information systems]. Nauka i biznes: puti razvitiya = Science and Business: Development Ways, 2018, no. 11 (89), pp. 47-50.
13. Totsenko V.G., Tsyganok V.V. Method of paired comparisons using feedback with expert. Journal of Automation and Information Sciences, 1999, vol. 31, no. 7-9, pp. 86-96. DOI: 10.1615/JAutomatInfScien.v31.i7-9.480.
14. Jin F., Cao M., Liu J., Martinez L., Chen H. Consistency and trust relationship-driven social network group decision-making method with probabilistic linguistic information. Applied Soft Computing, 2021, vol. 103, p. 107170. DOI: 10.1016/j.asoc.2021.107170.
15. Podvesovskii A., Mikhaleva O., Averchenkov V., Reutov A., Potapov L. A model of control of expert estimates consistency in distributed group expertise. Communications in Computer and Information Science, 2017, vol. 754 (5), pp. 361-374. DOI: 10.1007/978-3-319-65551-2_26.
16. Kuzmina N.M., Ridley A.N. Incomplete pairwise comparisons method for estimating the impact criteria for hub airports network optimization. Smart Innovation, Systems and Technologies, 2021, vol. 217, pp. 259-270. DOI: 10.1007/978-981-33-4826-4_18.
17. Kobzar' A.I. Prikladnaya matematicheskaya statistika [Applied mathematical statistics]. Moscow, Fizmatlit Publ., 2006. 816 p.
18. Simushkin S.V. Mnogomernyi statisticheskii analiz. Ch. 2 [Multivariate statistical analysis. Pt. 2]. Kazan, Kazan State University Publ., 2009. 114 p.
19. Popov A.V. Sravnenie metodov otsenki protsessov ergotekhnicheskikh sistem organov vnu-trennikh del [Comparison of methods for assessing the processes of ergotechnical systems for internal affairs bodies]. Avtomatizatsiya protsessov upravleniya = Automation of Control Processes, 2022, no. 3 (69), pp. 67-76. DOI: 10.35752/1991-2927_2022_3_69_67.
Для цитирования:
Попов А.В. Разработка и апробация метода и алгоритма формирования коалиций экспертов при исследовании процессов функционирования сетей связи // Системы анализа и обработки данных. - 2023. - № 2 (90). - С. 59-76. - DOI: 10.17212/2782-2001-2023-2-59-76.
For citation:
Popov A.V. Razrabotka i aprobatsiya metoda i algoritma formirovaniya koalitsii ekspertov pri is-sledovanii protsessov funktsionirovaniya setei svyazi [Development and testing of the method and algorithm for forming coalitions of experts in the study of the functioning of communication networks]. Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2023, no. 2 (90), pp. 59-76. DOI: 10.17212/2782-2001-2023-2-59-76.
ISSN2782-2001, http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 90, No 2, 2023, pp. 59-76
