CC BY
17
УДК 681.3
DOI: 10.24412/2071-6168-2021-9-166-169
ПОВЫШЕНИЕ ДОСТОВЕРНОСТИ ГРУППОВОЙ ОЦЕНКИ МНЕНИЙ ЭКСПЕРТОВ ПРИ ФОРМИРОВАНИИ ЭКСПЕРТНОГО ЗАКЛЮЧЕНИЯ
В.Ю. Волков, В.В. Волкова
Интеллектуальные технологии все чаще используются для разработки систем поддержки принятия решений с многокритериальным выбором, так как в таких системах часто отсутствуют аналитические зависимости, описывающие их поведение, а для выбора оптимального варианта решения используются экспертные процедуры. Сделан вывод, что повышение достоверности групповой оценки экспертов является актуальной задачей. На примере определения влияния источников загрязнения на концентрацию загрязняющих веществ в атмосфере, показано, как вычислить коэффициент конкордации с учетом наличия одинаковых рангов, определяющий достоверность групповой оценки мнений экспертов. Сделан вывод, что в случае учета компетенции экспертов, коэффициент конкордации должен быть обязательно проверен на значимость.
Ключевые слова: интеллектуальная, система, технология, когнитивная, управление, карта, решение, эксперт, ранг, конкордация.
Когнитивные технологии все чаще используют для построения моделей сложных систем управления. Когнитивные технологии являются наиболее перспективными при разработке систем поддержки принятия решений, в которых изначально отсутствуют сведения об объекте управления или объем этих сведений мал и не позволяет построить модель объекта с целью управления. Это возможно благодаря тому, что когнитивный подход изначально направлен на разработку формальных методов и моделей, он использует интеллектуальный процесс принятия решения на основе когнитивных возможностей человека. В результате моделирования обычно создается и используется когнитивная карта ситуации [1].
Так как в сложных системах управления очень часто отсутствуют известные аналитические зависимости между входами и выходами, или их очень трудно определить, то для определения влияний входов на выходы объекта прибегают к знаниям и опыту экспертов. Обычно экспертам для работы готовят предварительные анкеты с заранее составленными вопросами, но иногда возможны ситуации, когда эксперты формируют свое мнение в результате дискуссий [2]. Для широкого круга неформализуемых задач экспертные процедуры являются эффективным, а иногда и единственным средством их решения, так как помимо снижения неопределенности одной из важных причин, влияющих на принятие решения, является и многокритериаль-ность выбора.
На качество выработки решения влияет количество экспертов и их профессиональный опыт. При групповой оценке используется анкетирование в очной или заочной форме. Одной из актуальных проблем при анкетной форме проведения экспертизы является повышение достоверности групповой оценки мнений экспертов.
Обычно эта проблема решается проведением экспертизы в виде последовательных туров с введением обратной связи, в качестве которой выступает знакомство экспертов с результатами каждого тура перед началом следующего. Кроме того, на точность групповых оценок существенно влияет учет степени компетентности экспертов.
Оценку степени компетентности экспертов будем определять субъективным способом, используя самооценочный способ. Этот способ не требует предварительной обработки каких-либо данных для получения веса оценки эксперта. При коллективном способе экспертной оценки результаты можно считать достоверными, если достигнута достаточная степень согласия между участвующими в опросе экспертами.
В качестве меры близости ранжирования двух экспертов выберем наиболее известный
коэффициент ранговой корреляции по Кендаллу (коэффициент конкордации).
№ _ (,)
Ят (й2) N ■ (т3 - т)
где р(И2) _ 2 [2 _ 1 м ( + 1)1 ; у- ранг, полученный элементом у от эксперта п; N -
) _ 2^2 Гуп _-■ N ■(т +1) у _11п_1 2
число экспертов в группе; т - число фактов (мнений).
Коэффициент конкордации Кендалла изменяется в пределах от 0 (в случае наименьшей согласованности мнений нескольких экспертов) до 1 (в случае абсолютной согласованности).
Величина N -(m —1)- W имеет распределение j2 с v = m —1 степенями свободы. Для оценки значимости коэффициента конкордации необходимо и достаточно, чтобы найденное значение величины N -(m — l)-W было больше табличного j2, (которое можно найти по таблице, например в [3], или вычислить самостоятельно с помощью специального программного обеспечения, например, SPSS, Maple, R или в MS Excel с помощью функции ХИ2.ОБР ), определяемого числом степеней свободы и уровнем значимости (вероятностью ошибки) а.
Однако эксперт не всегда может точно ранжировать все элементы по убыванию важности и отдать предпочтение какому-то одному элементу. Эксперт на практике может присвоить нескольким элементам один и тот же ранг. В этом случае, формула для вычисления коэффициента конкордации принимает немного другой вид:
W = ■
R(d 2)
112N2 (3— m)— N X ^
12
n=1
1 X( — tn )|
(2)
где величина __ — ? | характеризует ранжирование эксперта п с точки зрения количества в
ней совпавших рангов; ^ - число повторений каждого ранга в ранжировании эксперта п.
В случае, если необходимо учесть компетентность экспертов, коэффициент конкордации, служащий показателем степени согласованности экспертов, вычисляется более сложным образом по формуле:
W = -
R
1-1N 2. 112
(3—m
N
—m)— N - X
n=1
112 x( — t
■1
N
X an
n=1
N
(3)
где ап - показатель компетенции п-го эксперта.
В этом случае - величина суммы всех квадратов разностей рангов признака,
квадраты которых вычисляются отдельно для каждого ранга:
(
r( 2)
m
= X j=1
N
X Г
n=1
mN XX rx j=1 n=1
л
2
~Jn
Jn
m
(4)
V у
В случае учета компетенции экспертов, коэффициент конкордации должен быть обязательно проверен на значимость, так как при незначимом коэффициенте конкордации суммарное ранжирование по всей экспертной группе не несет в себе объективной информации об относительной важности упорядочиваемых элементов.
Достоинство такого подхода заключается в том, что процедура получения экспертных оценок проста и легко реализуема на практике.
Этот метод был применен при составлении когнитивной карты в [4], где в качестве экспертов выступали специалисты в различных областях деятельности: работники администрации МО г. Новомосковск Тульской области, работники администраций некоторых промышленных предприятий региона, работники Территориального отдела Управления Федеральной службы по надзору в сфере защиты прав потребителей и благополучия человека по Тульской области в Новомосковском районе, г. Донском, Кимовском и Узловском районах; работники ГУ МЧС России по Тульской области и др.
В таблице приведены значения рангов, установленных экспертами, участвовавшими в опросе. Эксперты (Е1-Е14) ранжировали 7 вариантов влияния роста концентрации загрязняющих веществ (ЗВ) в атмосферном воздухе в зависимости от источников загрязнения (Х1 - Авто-
2
a
n
мобильный транспорт, Х2 - Железнодорожный транспорт, Хз - Организационные выбросы, Х4 -Неорганизационные выбросы, Х5 - Продукты сгорания топлива, Хв - Распределенные выбросы, Х7 - Метеорологические параметры). Для удобства ранжирование проводилось по 10 бальной шкале.
Результаты ранжирования
ЭКСПЕРТЫ ВАРИАНТЫ влияния роста концентрации ЗВ
Х1 Х2 Х3 Х4 Х5 Х6 Х7
E1 8 5 8,4 3,1 3 3 2
E2 5,3 5,1 5,1 2,8 2,8 2,8 2,1
E3 6,1 2,5 4 2 2,6 2 2
E4 6 4 2,1 2,8 2,7 2,1 2,1
E5 7,1 2,1 3,2 5 6 2,5 1
E6 6 5 2 1,5 3 2 1
E7 7 4 5 1 4 3 4
Es 3 2 4 1 6,1 3,5 1
E9 4 3 3,5 2 4 2 5
E10 5 4,5 2 5 3 4 2,1
E11 3 1 2,1 3 4 2 1
E12 4 4 4 3 1 2,5 2
E13 6 3 4 2 2 1 1
E14 _ 0,3 4 2 3 2 1
Е 72,5 45,5 53,4 36,2 47,2 0,3 27,3
d 32,16 5,16 13,06 -4,14 6,86 -40,04 -13,04
d2 1034,08 26,60 170,49 17,16 47,02 1603,43 170,12
Ed2 = 3068,90
Здесь Е - сумма рангов; d - отклонение от средней суммы; d2 - квадрат отклонения; Ed2 - суммы всех квадратов разностей рангов.
Далее была проверена согласованность ранжирования, используя коэффициент кон-кордации Кэндалла. Кроме того, в случае совпадения рангов, проверена согласованность мнений экспертов.
Используя данные, полученные в результате расчетов и помещенные в таблицу, был рассчитан коэффициент конкордации для m=7, N=14, используя формулу 1, получим (без учета повторений мнений экспертов) W = 0,5592.
Так как мнения повторяются (см. таблицу), то проведем расчет совпавших рангов по
каждому эксперту, используя формулу J_^(f3 -1 j Получим сумму рангов равную 16,5.
Используя формулу (2), был рассчитан коэффициент конкордации с учетом повторений рангов - W=0,5838.
Как видим, значение коэффициента конкордации увеличилось на величину Д W=0,0_46, что говорит об увеличении согласованности мнений экспертов.
Для оценки значимости полученного коэффициента конкордации был рассчитан критерий распределения, который оказался равен %_=49,04. Сравним его со значением, рассчитанным в MS Excel с помощью функции ХИ2.ОБР при вероятности 0,95 (т.е. уровне значимости
а=0,05), и числе степеней свободы v = m -1 = 7 -1 = 6, назовем его табличным - ^табл
=12,59159.
Как видно из расчетов, ^ _ табл, следовательно, гипотеза о наличии согласия экспертов при ранжировании вариантов принимается, то есть полученная величина коэффициента конкордации W позволяет сделать вывод о том, что существует неслучайная согласованность мнений экспертов.
В [_] для повышения количества экспертов, которые могут участвовать в обсуждении, предлагается использовать Интернет. Предложенный в [_] способ позволяет привлечь независимых экспертов для повышения достоверности принимаемых решений, после соответствующей проверки их компетентности. Это может понадобиться в случае, если в результате расче-
тов коэффициент конкордации принимает низкое значение. Тогда для увеличения согласованности мнений экспертов можно использовать формулы 3 и 4 и учесть компетентность экспертов. Чем более согласованными являются мнения экспертов, тем более надежной является их групповая оценка. В результате обобщения объективной информации, полученной от измерительной системы и информации, полученной от экспертов, с учетом собственных предпочтений Лицо, Принимающее Решение, выбирает наилучшую альтернативу.
Список литературы
1. Волков В.Ю., Волкова В.В. Нечеткая когнитивная карта как модель сложной системы управления // Известия Тульского государственного университета. Технические науки. Вып. 12. Ч. 1. Тула: Изд-во ТулГУ, 2017. С. 17-24.
2. Волков В.Ю., Вент Д.П., Бархум Ибрахим. Интеллектуальные автоматизированные системы в экологии // Известия Тульского государственного университета. Технические науки. Вып. 4. Тула: Изд-во ТулГУ, 2008. С. 268-273.
3. Pearson K. On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. Philosophical Magazine Series 5 50 (302), (1900), С. 157-175.
4. Волков В.Ю., Волкова В.В. Оценка эффективности каналов управления сложного объекта с помощью нечеткой когнитивной карты // Известия Тульского государственного университета. Технические науки. Вып. 2. Тула: Изд-во ТулГУ, 2014. С. 170-175.
Волков Владислав Юрьевич, канд. техн. наук, доцент, [email protected] Россия, Новомосковск, НИ(ф) РХТУ им. Д.И. Менделеева,
Волкова Вера Владимировна, старший преподаватель, [email protected], Россия, Новомосковск, НИ(ф) РХТУ им. Д.И. Менделеева
INCREASING THE RELIABILITY OF GROUP ASSESSMENT OPINIONS OF EXPERTS DURING
THE FORMATION OF EXPERT OPINIONS
V.Y. Volkov, V.V. Volkova
Intellectual technologies are increasingly used to develop decision support systems with a multi-criteria choice, since such systems often lack analytical dependencies describing their behavior, and expert procedures are used to select the optimal solution. It is concluded that increasing the reliability of expert group assessment is an important task. Using the example of determining the influence of pollution sources on the concentration of pollutants in the atmosphere, it is shown how to calculate the coefficient of concordance taking into account the presence of equal ranks, which determines the reliability of the group assessment of expert opinions. It was concluded that in the case of taking into account the competence of experts, the coefficient of concordance must be necessarily checked for significance.
Key words: intellectual, system, technology, cognitive, control, map, decision, expert, rank, concordance.
Volkov Vladislav Yurievich, candidate of technical science, docent, [email protected], Russia, Novomoskovsk, D. Mendeleyev University of Chemical Technology of Russia (Novomoskovsk branch),
Volkova Vera Vladimirovna, senior lecturer, [email protected], Russia, Novomoskovsk, D. Mendeleyev university of Chemical Technology of Russia (Novomoskovsk branch)
