АЛЬТЕРНАТИВНЫЙ КОЭФФИЦИЕНТ КОНКОРДАЦИИ ПРИ НАЛИЧИИ СВЯЗАННЫХ РАНГОВ Текст научной статьи по специальности «Физика»

DOI 10.36622/^Ти.2021.17.1.005 УДК 519.234.6

АЛЬТЕРНАТИВНЫЙ КОЭФФИЦИЕНТ КОНКОРДАЦИИ ПРИ НАЛИЧИИ СВЯЗАННЫХ РАНГОВ

Ю.В. Лубенец

Липецкий государственный технический университет, г. Липецк, Россия

Аннотация: рассматривается оценка согласованности мнений экспертов при проведении экспертного опроса. Наиболее часто в качестве такой оценки применяется коэффициент конкордации Кендалла. Однако этот коэффициент не может в полной мере применяться для установления хорошей согласованности мнений экспертов, поскольку он показывает только отклонение от случаев полной несогласованности. Для устранения данного недостатка может рассматриваться альтернативный коэффициент конкордации, оценивающий близость сумм рангов альтернатив к случаю полной согласованности. Здесь дается определение этого коэффициента при наличии связанных рангов. Сложность определения заключается в том, что в этом случае наблюдается несколько случаев полной согласованности с различными суммами рангов. Определение альтернативного коэффициента конкордации при наличии связанных рангов проводится в два этапа. Сначала вводится его определение для упорядоченных таблиц специального вида и показывается его совпадение с коэффициентом конкордации Кендалла в этом случае. После дается определение альтернативного коэффициента конкордации в общем случае и показывается более простая формула его вычисления. Далее приводятся некоторые примеры сравнений значений рассматриваемых коэффициентов конкордации, их статистических характеристик и гистограмм

Ключевые слова: коэффициент конкордации, связанные ранги, оценка согласованности, экспертная оценка

Введение

При анализе результатов экспертных опросов большое значение имеет согласованность мнений экспертов. Если установлена хорошая согласованность мнений экспертов, то решение, принимаемое на основе их мнений, является более достоверным. Наиболее широкое распространение для оценки согласованности получил коэффициент конкордации Кендалла [1]. Относительная несложность вычисления дает возможность его широкого использования в самых различных областях исследований [2].

Вместе с тем надо отметить, что при вычислении этого коэффициента используются отклонения сумм рангов от их средних значений, что соответствует случаю полной несогласованности. Поэтому коэффициент конкор-дации определяет отсутствие полной несогласованности и не отражает в полной мере наличие хорошей согласованности. В частности об этом шла речь в работах [3, 4] и там же был предложен альтернативный вариант коэффициента конкордации, оценивающий отклонение суммы рангов альтернатив от случая полной согласованности, который в случае отсутствия связанных рангов может трактоваться только единственным образом. Некоторые свойства

этого коэффициента были рассмотрены в работе [5]. Там же был введен и другой коэффициент конкордации, который в большей степени учитывает согласованность мнений экспертов для лучших альтернатив. Подобные коэффициенты могут иметь важные практические применения, рассмотренные ранее, например, в работе [6].

Целью этой работы является определение альтернативного коэффициента конкордации для случая наличия связанных рангов.

Коэффициент конкордации и альтернативный коэффициент конкордации

Будем рассматривать таблицы опросов т экспертов, которые оценивают п альтернатив решения какой-либо задачи. Каждый эксперт выставляет ранги от 1 до п следующим образом: лучшей альтернативе присваивается ранг 1, следующей - 2, и так далее, наихудшая альтернатива получает ранг п (табл. 1). Если, по мнению эксперта, некоторые альтернативы имеют одинаковые ранги, то они усредняются. Например, вместо рангов 2 и 3 записываются 2 раза ранги 2,5. Подобные таблицы опроса экспертов мы будем называть здесь просто таблицами.

© Лубенец Ю.В., 2021

Таблица 1 Пример таблицы опроса экспертов

Эксперты Альтернативы

1 2 3 п - 1 п

1 1 2 3 п - 1 п

2 2 1 4 п - 2 п

3 1 4,5 4,5 п п - 1

т - 1 2,5 2,5 1 п - 1 п

т 2 2 2 п п - 1

Самым распространенным способом оценки согласованности мнений экспертов является вычисление коэффициента конкордации Кен-далла. Он вычисляется по формуле 5

У =

1/12т2(п3 - п) - тТ

, где 5 - сумма квадратов

отклонений сумм рангов альтернатив от сред-

него значения суммы рангов, Т = ^

5 - 5 12

поправка на наличие связанных рангов, сумма берется по всем группам связанных (одинаковых) рангов, при этом 5 - количество рангов в группе.

Можно заметить, что коэффициент конкордации рассчитывает не близость к случаю полной согласованности, а отклонение от случая полной несогласованности. Для оценки отклонения сумм рангов альтернатив от случая полной согласованности в случае отсутствия связанных рангов в [3] был введен альтернативный вариант коэффициента конкордации. Заметим, что для случая полной согласованности ранги всех альтернатив у всех экспертов совпадают, а суммы рангов альтернатив равны значениям т, 2т, ..., пт. Тогда для таблицы опроса экспертов суммы рангов альтернатив упорядочиваются по возрастанию и рассматриваются квадраты их отклонений от указанных сумм случая полной согласованности. Коэффициент вычисляется по формуле, похожей на формулу вычисления коэффициента конкорда-ции Кендалла при отсутствии связанных рангов ига 12 А

уУ = —2—3-, где А - сумма квадратов от-

т (п - п)

клонений сумм рангов альтернатив от случая полной согласованности.

В этой работе мы будем называть подобный коэффициент альтернативным коэффициентом конкордации и при отсутствии связанных рангов вычислять по формуле

Жа = 1--212.А-, чтобы в случае полной со-

т2(п3 - п)

гласованности иметь У = 1,

а в случае полной

несогласованности - Жа = 0 . Трудность определения альтернативного коэффициента кон-кордации для случая связанных рангов заключается в том, что при возможности усреднения рангов возникает несколько случаев полной согласованности, при этом суммы рангов в них различные. Пример такой полной согласованности показан в табл. 2.

Таблица 2

Пример полной согласованности экспертов

Эксперты Альтернативы

1 2 3 п - 1 п

1 1 2,5 2,5 п - 1 п

2 1 2,5 2,5 п - 1 п

3 1 2,5 2,5 п - 1 п

т 1 2,5 2,5 п - 1 п

Для всех таких случаев полной согласованности альтернативный коэффициент кон-кордации должен быть равен максимальному значению 1. Заметим, что для коэффициента конкордации Кендалла такой ситуации не наблюдается, поскольку суммы рангов для случаев полной несогласованности всегда одинаковы. Для учета всех таких случаев полной согласованности определим альтернативный коэффициент конкордации в два этапа.

Определение альтернативного коэффициента конкордации для упорядоченных таблиц

Будем называть таблицу упорядоченной, если она представлена в виде, в котором ранги альтернатив у каждого эксперта не уменьшаются при увеличении номера альтернативы. Обозначим хх < х2 < ... < хп - суммы рангов альтернатив такой таблицы Определим сначала альтернативный коэффициент конкордации для таких таблиц.

п

Оценим значение А = ^ (х7 - т7 )2 . Рас-

7 =1

смотрим сначала упорядоченную таблицу без связанных рангов. В этом случае

А„

=1

7=1

п + 1 Л 1 2/ 3 ч гг г. т--т1 I =— т (п -п), а Т = 0.

2 ) 12 Покажем, что при усреднении рангов с k по k + 5 -1 включительно у t экспертов, где 1 < t < т , максимальная сумма квадратов отклонений суммы рангов в упорядоченной таблице от случая полной согласованности умень-2 53 - 5

шится на величину t —. В самом деле,

k+5-1/

А = S I (m-t)i + tl k +

i=k

5 - 1

- mi

2 4F1 f, 5 - 1

= t S I k +--i

2

2 = t2 S|5+1 -,, ]2 =

j=1

2

= t

(5 + 1)2 - (5 + 1)2 + 5(5 + 1)(25 + 1)

= t

5 - 5 12

(1)

Аналогично можно рассмотреть усреднения других рангов. Тогда

Amax = 12 m2("3 - П) - mT .

(2)

Теперь определим альтернативный коэффициент конкордации по формуле mT - А

W = 1--(3)

a 112 m2(n3 - n) - mT' Kf

л 2 ^ - 5

скольку в этом случае Д = т ——— = тт , что и

соответствует случаю полной согласованности

при наличии связанных рангов. Если 0 < t < т,

53 - 5

получим тТ - Д = t(m -1)—> 0 .

Альтернативный коэффициент конкордации и коэффициент конкордации Кендалла для упорядоченных таблиц

Покажем, что для упорядоченных таблиц альтернативный коэффициент конкордации и коэффициент конкордации Кендалла равны,

Wa = W. Имеем Wa = и W = - S

112m2(n3 - n) - 2mT + A 1/12m2(n3 - n) - mT

. Достаточно пока-

1/12 m (n - n) - mT зать, что

S -1/12m2(n3 - n) - A = -2mT . (4)

Преобразуем левую часть требуемого ра-

венства.

S(

n +1 ] x-u n +1

- m -

ч 2 J Ч 2

i=1 v ^ / i=1 v ^

S

m--mi I -

- S (xi - mi)2 = S fa - mi)fa - m(n +1 - i))-

(X

i=1 i=1 n

2

- S (xi - mi)2 = -mS (n +1 - 2i)(xi - mi). (5) i=1 i=1 Покажем, что

- S (n +1 - 2i)(x - mi) = -2T .

i=1

Сначала преобразуем выражение

nn

S (n +1 - 2i)(xi - mi) = S (n +1 - 2i)xi -

(6)

i=1

i=1

nn 2

- m(n + 1)S i + 2mS i2 = S (n +1 - 2i)xi -

i =1 i =1 i =1

mn(n +1)2 n(n + 1)(2n +1)

2

- + 2m

= S (n +1 - 2i )x.

+

6

m(n3 - n)

i =1

6

(7)

Остается доказать, что

-I(п +1 -2гХ. = т(П6-П)-2Т . (8)

При Т = 0 имеем х. = т1 для всех .. Тогда

Тогда при t = m получаем Wa = 1, по- -S(n +1 -2i)mi =

m(n3 - n) 6

как было показа-

но выше. Отметим важный момент, поскольку рассматривается упорядоченная таблица, все усреднения, меняя значения х., не меняют их порядка. Рассмотрим усреднение рангов с k по k + 5 -1 включительно. Тогда значение суммы

п

-1(п +1 - 2/')т/' изменится на следующую

.=1

величину

k+5-1

- m S (n +1 - 2i)

i -1 k +

5 - 1 2

Л

= ~S (n - 2k - 2i + 3)(2i - 5 -1) =

i =1

= 2mS i2 - m(n - 2k + 5 + 4)S

m

5 + 4)S г +

i=1

5( 5 + 1)(25 + 1)

+ — (n - 2k + 3)5(5 +1) = m

- -—5(5 + 1)2 = m(53 - 5) 26

= 2mT .

(9)

Таким образом, получаем требуемую формулу.

Определение альтернативного коэффициента конкордации в общем случае

Для произвольной таблицы составим упорядоченную таблицу, упорядочив строки по возрастанию. Такая упорядоченная таблица будет играть роль таблицы при наилучшем согласовании, возможном при фиксированных наборах рангов у экспертов. При этом мы не будем

2

2

4

2

6

предполагать полную согласованность для случаев, когда это невозможно для некоторых наборов рангов.

Будем определять альтернативный коэффициент конкордации, находя отклонение сумм заданной таблицы от сумм упорядоченной таблицы и нормируя значение коэффициента на отрезке [0, W0], где W0 - альтернативный коэффициент конкордации упорядоченной таблицы. Формула будет иметь вид

(

W =

1 -

D

\

D„

Wo.

(10)

В этой формуле используются обозначения: D - сумма квадратов отклонений сумм рангов заданной таблицы от сумм рангов упорядоченной таблицы, Дтах - максимальное значение этой суммы. Несложно видеть, что сумма квадратов отклонений достигает максимального значения в случае, когда все суммы

п +1 „

рангов равны среднему значению т . Более подробно, если у1 < у2 < ... < уп - суммы рангов заданной таблицы и х1 < х2 < ... < хп -суммы рангов упорядоченной таблицы, которая получена из заданной упорядочением по возрастанию рангов во всех строках, то

( п \

у7 - х> )2

1—

W =

i=1

Z

V i=1

X - m-

n +1

2

Wn

(11)

Покажем, что имеет место более простая формула для вычисления альтернативного коэффициента конкордации

D_ - D

W =-a 112m2(n3 - n) - mT

Заметим, что

(12)

(

W=

1-

D

\

D

Wo =

V max y

2/3

Dmax - D 1/12 m (n3 - n ) - 2mT + A

. (13)

Dmax 1/12 mV - n) - mT

Следовательно, достаточно доказать, что

Dmax = 1/12m2(n3 - n) - 2mT + A (14)

или

-1/12m2(n3 - n) -A + Dmax = -2mT . (15)

\2

Но поскольку Dmax = X

n + 1

x - m-

2

мы

получаем ранее доказанное равенство, что завершает доказательство формулы.

Некоторые замечания, полученные при расчете альтернативного коэффициента конкордации

С помощью написанной автором программы были произведены расчеты значений альтернативного коэффициента конкордации и коэффициента конкордации Кендалла в случаях наличия связанных рангов для некоторых значениях m и n. Программа осуществляла перебор всех возможных различных способов заполнения таблиц и рассчитывала некоторые характеристики. В частности при m = 3 и n = 5 были получены такие результаты. Среднее значение альтернативного коэффициента конкор-дации равно 0,589 и среднеквадратическое отклонение составило 0,155. Для коэффициента конкордации Кендалла эти значения равны соответственно 0,333 и 0,186. Отметим, что при отсутствии связанных рангов среднее значение альтернативного коэффициента конкордации равно 0,711, что существенно больше, чем в случае наличия связанных рангов. Среднеквад-ратическое отклонение при этом примерно такое же и равно 0,154.

Максимальная разница между значениями альтернативного коэффициента конкордации и коэффициента конкордации Кендалла составила 0,494 для табл. 3.

Таблица 3 Таблица с максимальной разницей между коэффициентами

Эксперты Альтернативы

1 2 3 4 5

1 1 2 3,5 3,5 5

2 1 3,5 5 3,5 2

3 4 2 1 3 5

В приведенной выше таблице альтернативный коэффициент конкордации принимает значение 0,741, в то время как значение коэффициента конкордации Кендалла здесь равно 0,247. При отсутствии связанных рангов максимальная разница между коэффициентами составляет 0,489, при этом Wa = 0,711 и W = 0,222 (табл. 4).

Таблица 4 Таблица с максимальной разницей между коэффициентами без связанных рангов

Эксперты Альтернативы

1 2 3 4 5

1 1 3 2 4 5

2 1 3 2 5 4

3 4 2 5 1 3

На рис. 1 показана гистограмма распреде-

i=1

ления коэффициента конкордации Кендалла для случайно заполненных таблиц при m = 3 и n = 5 . При этом на горизонтальной оси гистограммы номером k обозначен промежуток

k -1 k Л .

;-I (в качестве последнего промежут-

100 100,

ка берется отрезок), на вертикальной оси показано количество значений, попавших в соответствующий промежуток. На гистограмме заметен большой всплеск значений коэффициента на промежутке [0,33; 0,34).

В результате программных вычислений была получена гистограмма распределения коэффициента альтернативного коэффициента конкордации для случайно заполненных таблиц при тех же значениях m и n , приведенная на рис. 2. Можно предположить, что после нормировки распределение альтернативного коэффициента конкордации асимптотически стремится к распределению rf, как и в случае отсутствия связанных рангов, что было показано в [4].

Рис. 1. Гистограмма распределения коэффициента W для m = 3 и n = 5

Рис. 2. Гистограмма распределения коэффициента Wa для m = 3 и n = 5

Заключение

Рассмотрен альтернативный коэффициент конкордации, который в отличие от коэффициента конкордации Кендалла, оценивает близость имеющихся значений рангов альтернатив, выставленных экспертами, к случаям полной согласованности, что в большей степени отражает оценку согласованности мнений экспертов. Дано определение этого коэффициента при наличии связанных рангов с учетом того, что случаев полной согласованности может быть

несколько.

Показано, что альтернативный коэффициент конкордации и коэффициент конкордации Кендалла равны для упорядоченных таблиц, несмотря на различия в подходах к их определению. Выведена более простая формула для вычисления альтернативного коэффициента конкордации, чем непосредственно по определению. Рассмотрены некоторые примеры и статистические данные.

Применение альтернативного коэффициента конкордации позволит провести более

точную оценку согласованности мнений экспертов по сравнению с коэффициентом кон-кордации Кендалла.

Литература

1. Кендэл М. Ранговые корреляции. М. : Статистика, 1975. 216 с.

2. Прокофьев В.А., Головко М.В. Новый аспект применения коэффициента конкордации в статистических исследованиях // Вестник Самарского государственного экономического университета. 2016. № 11 (145). С. 70-73.

3. Попов Г.А., Попова Е.А. Альтернативный вариант коэффициента конкордации // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика.

2013. № 2. С. 158 - 167.

4. Попов Г.А., Попова Е.А. Асимптотическое поведение альтернативного варианта коэффициента конкорда-ции // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2014. № 1. С. 153 - 160.

5. Лубенец Ю.В. О модифицированном коэффициенте конкордации, учитывающем в большей степени согласованность лучших альтернатив // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 10. С. 32-39.

6. Лубенец Ю.В. Кластеризация признаков на основе использования проверки гипотезы о независимости // Экономика и менеджмент систем управления. 2016. № 1-3 (19). С. 382-389.

Поступила 07.12.2020; принята к публикации 18.02.2021 Информация об авторах

Лубенец Юрий Владимирович - канд. физ.-мат. наук, доцент кафедры прикладной математики, Липецкий государственный технический университет (398600, Россия, г. Липецк, ул. Московская, 30), e-mail: yuv791@gmail.com

ALTERNATIVE COEFFICIENT OF CONCORDANCE IN CASE OF CONNECTED RANKS

Yu.V. Lubenets

Lipetsk State Technical University, Lipetsk, Russia

Abstract: the article considers evaluation of expert opinion consistency when conducting an expert survey. The most commonly used score is Kendall's coefficient of concordance. However, this coefficient cannot be fully applied to establish good agreement of expert opinions, as it only shows deviations from cases of complete inconsistency. To eliminate this drawback, an alternative concordance coefficient can be considered, which estimates the proximity of the sums of the ranks of the alternatives to the case of complete consistency. The article gives the definition of this coefficient in the presence of connected ranks. The difficulty of this definition lies in the fact that in this case there are several cases of complete consistency with different sums of ranks. Definition of the alternative coefficient of concordance in the presence of tied ranks is carried out in two stages. First, its definition for ordered tables of a special kind is introduced and its coincidence with Kendall's coefficient of concordance in this case is shown. After that, the definition of the alternative coefficient of concordance in the general case is given and a simpler formula for its calculation is shown. Below are some examples of comparisons of the values of the considered concordance coefficients, their statistical characteristics, and histograms

Key words: coefficient of concordance, connected ranks, assessing agreement, expert evaluation

References

1. Kendall M. "Rank correlation methods", London: Griffin, 1970, 202 p.

2. Prokofev V.A., Golovko M.V. "New aspect of the application of concordance coefficient in statistical investigations", Bulletin of Samara State University of Economics (Vestnik Samarskogo gosudarstvennogo ekonomicheskogo universiteta), 2016, no. 11 (145), pp. 70-73.

3. Popov G.A., Popova E.A. "Alternative of concordance coefficient", Bulletin of Astrakhan State Technical University (Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta), 2013, no. 2, pp. 158-167.

4. Popov G.A., Popova E.A. "Asymptotic behavior of alternative of concordance coefficient", Bulletin of Astrakhan State Technical University (Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta), 2014, no. 1, pp. 153-160.

5. Lubenets Yu.V. "On modified coefficient of concordance better considering coherence of best alternatives", Bulletin of Irkutsk State Technical University (VestnikIrkutskogo gosudarstvennogo tekhnicheskogo universiteta), 2017, vol. 21, no. 10, pp. 32-39.

6. Lubenets Yu.V. "Clustering features based on the use of independence hypothesis testing", Economics and Management of Control Systems (Ekonomika i menedzhment sistem upravleniya), 2016, no. 1-3 (19), pp. 382-389.

Submitted 07.12.2020; revised 18.02.2021

Information about the authors

Yuriy V. Lubenets, Cand. Sc. (Physics and Mathematics), Lipetsk State Technical University (30 Moskovskaya str., Lipetsk 398600, Russia), e-mail: yuv791@gmail.com