CC BY
214
УДК [614.23:616.71]:519.8 ББК 56.138.7-4:22.181
Г. А. Попов, Е. А. Попова
АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ АЛЬТЕРНАТИВНОГО ВАРИАНТА КОЭФФИЦИЕНТА КОНКОРДАЦИИ
G. A. Popov, E. A. Popova
ASYMPTOTIC BEHAVIOR OF ALTERNATIVE OF CONCORDANCE COEFFICIENT
Рассматривается возможность практического использования предложенного авторами альтернативного коэффициента конкордации. Процедура использования распадается на два случая. Первый случай охватывает малое количество оцениваемых параметров и экспертов, и в этом случае анализ значимости коэффициента конкордации предлагается проводить на основе таблиц точных значений и графика распределения. Во втором случае - большое число охватываемых параметров, и для анализа значимости коэффициента конкордации предлагается использовать его асимптотическое поведение. Получено соотношение, описывающее взаимосвязь классического и альтернативного коэффициентов конкордации.
Ключевые слова: коэффициент конкордации, экспертная оценка, асимптотическое поведение, алгоритм формирования таблиц значений.
The possibility of the practical use of the alternative, proposed by the authors, of concordance coefficient is considered. The procedure of using splits into two cases. The first case includes a small amount of the estimated parameters and experts; in this case, the analysis of the significance of the concordance coefficient is proposed to conduct using the tables of exact values and the graphics of distribution. The second case covers a large number of estimated parameters; in this case, to analyze the significance of the concordance coefficient the authors suggest using its asymptotic behavior. The ratio characterizing the relation of traditional and alternative concordance coefficient is obtained.
Key words: concordance coefficient, expert evaluation, asymptotic behavior, algorithm of formation of tables of values.
Введение
При оценке степени согласованности мнений экспертов на основе коэффициента конкордации W [1] большое значение имеет знание асимптотического поведения W, когда объем выбора и число экспертов неограниченно растут. Знание асимптотического распределения W позволяет проверить гипотезы о его значимости и на этой основе делать выводы о степени согласованности или несогласованности мнений экспертов, а также о наличии объективного содержания в результатах экспертной процедуры. Кроме того, асимптотическое распределение позволяет строить доверительные интервалы для W, что может быть использовано для повышения качества результатов экспертной процедуры путем выявления и отбрасывания отдельных экспертных оценок. Отметим, что, согласно [2], если число оцениваемых параметров n > 10 и число N > 5 , то для оценки степени согласованности уже могут использоваться на практике асимптотические методы. Для n < 10 и N < 5 в [2] приведены таблицы точных распределений коэффициента конкордации W.
Однако в [3] было показано, что классическое определение коэффициента конкордации имеет ряд недостатков, и предложены способы устранения этих недостатков. Кроме того, в [3] предложен альтернативный вариант коэффициента конкордации. Однако остался открытым вопрос о его асимптотическом поведении. Устранение этого пробела исследуется в этой работе.
Основным вопросом, для ответа на который и разработан аппарат выборочных коэффициентов корреляции, является следующий: насколько существенна взаимосвязь между заданными совокупностями наблюдений в свете статистической теории выборки; в нашем случае такими совокупностями наблюдений являются оценки экспертов. При этом выборочные наблюдения сводятся к оценке рангов отдельных объектов. Если выявится взаимосвязь между наборами экспертных оценок, то можно заключить, что исследуемые характеристики объектов, с которыми связаны экспертные оценки, также взаимосвязаны.
Анализ альтернативного коэффициента конкордации для конечных значений параметров
Прежде всего проведем анализ содержательной сути коэффициента конкордации в экспертных процедурах, выявив, какие аспекты согласованности отражены в этом коэффициенте. Как показано в [3], классический коэффициент конкордации отображает отклонение совокупности имеющихся экспертных оценок от наихудшего варианта этих оценок, когда все оценки случайны. Именно для указанной ситуации и разработан классический аппарат (асимптотическое поведение, процедуры анализа) проверки значимости коэффициента конкордации и, как следствие, наличия взаимосвязи между исследуемыми характеристиками. Логика указанного подхода следующая: чем меньше коэффициент конкордации (для проверки этого факта и предназначена существующая теория проверки значимости коэффициента конкордации), тем «ближе» выборка к наиболее плохому для нас случаю отсутствия общего содержания (взаимозависимости) у совокупности объектов; следовательно, если коэффициент конкордации значителен по величине, то мы находимся «далеко» от плохого случая и, возможно, ближе к хорошему случаю. Это -логика косвенного анализа коэффициента конкордации (если мы «далеки» от «плохого» случая, то, скорее всего, близки к «хорошему»). Но нас интересует прежде всего вопрос о том, насколько мы близки к «хорошему» случаю, когда все оценки всех экспертов полностью совпадают. В [3] и поставлена задача оценки близости исходного набора оценок к наилучшему случаю, когда все эксперты единодушны в своих мнениях. Таким образом, рассмотрение выборки как набора случайных чисел при проверке степени согласованности, вообще говоря, проблематично и не вполне корректно с точки зрения логики анализа взаимосвязи объектов. Отметим, что, в отличие от наилучшего случая, наихудших случаев может быть несколько, и поэтому непонятно, с каким из этих случаев сравнивать.
Предварительно введем необходимые обозначения. Предположим, что экспертная процедура проводится по методу строгого ранжирования - метод нестрогого ранжирования требует дальнейших исследований. Пусть: п - число оцениваемых объектов; N - число экспертов; -
ранговая оценка /-го объекта /-м экспертом. Тогда классический коэффициент конкордации Ж вычисляется по следующей формуле [1, с. 145; 2]:
12-Я,, - Л(п + *>
2
N2 (п3 - п)
N
где = - сумма всех оценок ,-го объекта.
/=1
Как указано выше, предлагается также рассмотрение альтернативного варианта коэффициента конкордации Жа = ЖпаЛ, введенного в [3], когда при оценке согласованности сравнивают
текущую выборку не с наилучшими случаями, а с наиболее согласованным вариантом, и чем меньше различие между ними, тем выше степень согласованности мнений экспертов. Структура выборки для наилучшего случая, когда мнения экспертов полностью согласованы, известна: в каждом столбце экспертной таблицы все ранговые оценки полностью совпадают. В [3] предлагается следующая процедура построения альтернативного коэффициента согласованности Жа .
N ___
1. Вычисляем = Ядля всех , = 1, п и упорядочиваем } в порядке неубывания;
/=1
получаем вариационный ряд ,(1) < ,(2) < ... < ,(п).
2. Если для некоторых k и I выполняется ,(к) = ) , то вычисляются дисперсии О2 и О2 по
2 ^ ч п / 1 \ 2
формуле о, =Я,) , где / - номер столбца, соответствующий ,(к) или ,(1); если
2 2 2 2 2 2
ок < о1 , то полагаем ,(к) < ,(-1), если же ок > о1 , то ,(к) > ,(-1); при ок = о1 величины ,(к) и ,(-1)
упорядочиваются произвольным образом.
3. Полагаем:
^ , д п,N = Я (,(,) - jN )2, = тах Ап^, (1)
^п^ ,=1
2
где
N2(п3 - п), если N(п + 1) - четное число,
N 2( п3 - п) - 3 п (2 N (п + 1) - 1), если N (п + 1) - нечетное число.
Для нахождения Жа при конечных значениях п и N воспользуемся следующей модификацией рекурсивного алгоритма перебора всех перестановок чисел от 1 до п [4, с. 142]. Рекурсивный алгоритм, приведенный в [4], осуществляет перебор всех перестановок на основе метода поиска в ширину. При этом все перестановки получаются в лексикографически упорядоченном порядке. Однако для того, чтобы выполнить вычисления применительно к каждой перестановке, необходимо будет сохранить в памяти их все, что практически невозможно при достаточно больших п и N - при п = 10 и N = 5 общее количество перестановок равно (10!)5 = (3 628 800)5 = = 47 784 725 839 872 000 000. Такой объем информации невозможно хранить, и такое количество итераций невыполнимо на современном компьютере. Кроме того, поиск в глубину асимптотически работает в два раза быстрее поиска в ширину [4, с. 205]. Наконец, для нас не представляет интереса лексикографическая упорядоченность вариантов.
Общая блок-схема предлагаемого рекурсивного алгоритма перебора всех перестановок приведена на рис. 1.
в
Рис. 1. Блок-схема алгоритма формирования таблицы распределения коэффициента Wa : а - основной алгоритм; б - алгоритм процедуры AL(); в - алгоритм процедуры Rangi()
В описании алгоритма использованы следующие обозначения: D (п, N - столбец частот различных значений Жа в зависимости от значений АпМ по всем перестановкам рангов; 1(т) -
индекс порядкового номера просматриваемого рангового значения на т-м уровне глубины (в процессе просмотра рангов на основе алгоритма поиска в глубину); N1 - число еще не просмотренных наборов оценок экспертов.
Алгоритм включает две процедуры: Rangi (т, N1), которая отвечает за формирование полных наборов перестановок, и AL(m, N1), которая отвечает за формирование отдельных начальных фрагментов перестановки. Идея получения требуемой перестановки на основе сравнения 1(т) и т взята из [4, с. 142], где приведено ее обоснование. По окончании работы алгоритма на выходе получаем таблицу из двух столбцов, в первом столбце которой приведены значения
Жа (либо ее числителя АnN ), во втором - частота (относительная или абсолютная) появления
этих вариантов после перебора всех возможных перестановок. Результаты расчетов для п = 5 и N = 3 приведены в таблице. Отметим, что при этом общее число вариантов ранжирования равно (5!)3 = (120)3 = 1 728 000.
Результаты расчетов для п = 5 и N = 3
А жа DАБС Б А жа DАБС Б А жа DАБС Б А жа DАБС Б
0 0 16 0,00019 50 0,25 56094 0,665883 100 0,5 9714 0,115313 150 0,75 1866 0,022151
2 0,01 1248 0,014815 52 0,26 12684 0,15057 102 0,51 12468 0,148006 152 0,76 2160 0,025641
4 0,02 3216 0,038177 54 0,27 52194 0,619587 104 0,52 15996 0,189886 154 0,77 2394 0,028419
6 0,03 7080 0,084046 56 0,28 45726 0,542806 106 0,53 20472 0,24302 156 0,78 1002 0,011895
8 0,04 8952 0,106268 58 0,29 67152 0,797151 108 0,54 5032 0,059734 158 0,79 1164 0,013818
10 0,05 20028 0,237749 60 0,3 29304 0,347863 110 0,55 18348 0,217806 160 0,8 804 0,009544
12 0,06 3312 0,039316 62 0,31 37302 0,442806 112 0,56 4878 0,057906 162 0,81 1208 0,01434
14 0,07 23880 0,283476 64 0,32 39456 0,468376 114 0,57 11574 0,137393 164 0,82 1104 0,013105
16 0,08 28332 0,336325 66 0,33 39072 0,463818 116 0,58 6198 0,073575 166 0,83 1236 0,014672
18 0,09 26724 0,317236 68 0,34 22554 0,267735 118 0,59 11994 0,142379 168 0,84 102 0,001211
20 0,1 21972 0,260826 70 0,35 43704 0,518803 120 0,6 5460 0,064815 170 0,85 846 0,010043
22 0,11 31212 0,370513 72 0,36 18482 0,219397 122 0,61 7650 0,090812 172 0,86 228 0,002707
24 0,12 28488 0,338177 74 0,37 60918 0,723148 124 0,62 7140 0,084758 174 0,87 576 0,006838
26 0,13 53640 0,636752 76 0,38 33174 0,393803 126 0,63 6924 0,082194 176 0,88 510 0,006054
28 0,14 20640 0,245014 78 0,39 19044 0,226068 128 0,64 4092 0,048575 178 0,89 444 0,005271
30 0,15 35940 0,426638 80 0,4 23160 0,274929 130 0,65 7920 0,094017 180 0,9 314 0,003727
32 0,16 32160 0,381766 82 0,41 37182 0,441382 132 0,66 1884 0,022365 182 0,91 198 0,00235
34 0,17 69072 0,819943 84 0,42 10212 0,121225 134 0,67 6384 0,075783 184 0,92 306 0,003632
36 0,18 21244 0,252184 86 0,43 38772 0,460256 136 0,68 4776 0,056695 186 0,93 180 0,002137
38 0,19 57408 0,681481 88 0,44 23196 0,275356 138 0,69 1716 0,02037 188 0,94 120 0,001425
40 0,2 48576 0,576638 90 0,45 20516 0,243542 140 0,7 2112 0,025071 190 0,95 138 0,001638
42 0,21 26808 0,318234 92 0,46 12492 0,148291 142 0,71 3594 0,042664 192 0,96 18 0,000214
44 0,22 38076 0,451994 94 0,47 34482 0,40933 144 0,72 2194 0,026045 194 0,97 138 0,001638
46 0,23 84240 1 96 0,48 18402 0,218447 146 0,73 4962 0,058903 196 0,98 0 0
48 0,24 22602 0,268305 98 0,49 15588 0,185043 148 0,74 1536 0,018234 198 0,99 24 0,000285
200 1 120 0,001425
В таблице Жа - значение альтернативного коэффициента конкордации для п = 5 и N = 3; А - значение числителя альтернативного коэффициента конкордации; омсс - количество ранговых перестановок для каждого возможного значения Жа ; D - относительная частота появления
каждого значения Жа при случайном ранжировании.
Аналогичные расчеты выполнены для п = 6 и N = 3 .Однако общее значение превышает 400, что не позволяет привести результаты расчетов в данной работе. Отметим, что при этом общее количество рассмотренных вариантов равно (б!)3 = (720)3 = 373 248 000, и это потребовало почти недельной непрерывной работы компьютера. К сожалению, при больших значениях - п > 7 и N > 3 получение подобных таблиц крайне проблематично.
По результатам вычислений построены графики (рис. 2, 3) зависимости частоты появления каждого значения ранжирования, которая может рассматриваться как ненормированная плотность распределения возможных значений Жа .
Рис. 3. Распределение альтернативного коэффициента конкордации при п = 6, N = 3 На основе проведенного анализа можно сделать ряд выводов.
1. Распределение частот значений коэффициента Жа напоминает по форме х2 -распределение. Как будет следовать из приведенных ниже результатов, данное поведение распределения закономерно.
2. Число возможных значений коэффициента Жа существенно меньше аналогичной характеристики для классического коэффициента конкордации Ж. В рассматриваемом случае число возможных ненулевых значений равно числу всех возможных ранжировок, т. е. 373 248 000,
т. к. число N(п +1) = 3(6 + 1) = 21 нечетно. В то же время для Жа число возможных ненулевых значений, как следует из расчетов, не включает нечетные числа. Это означает, что коэффициент Жа ведет себя регулярнее, чем Ж. Анализ данного вопроса, в том числе и числа возможных ненулевых значений Жа при различных значениях п и N требует самостоятельных исследований.
Асимптотическое поведение альтернативного коэффициента конкордации
Рассмотрим поведение коэффициента W„aN при больших значениях п и N. В соответствии с рекомендациями, приведенными в [2] для классического коэффициента конкордации Ж, значение Жп N практически совпадает со своим предельным распределением уже при п > 10
и N > 10 . Исходя из этого, нами сделано предположение, что при указанных условиях альтернативный коэффициент конкордации также будет близок к своему асимптотическому распределению. К сожалению, проверить данный факт экспериментально на основе точных расчетов пока не удалось ввиду огромного количества вычислений - оценка числа требуемых итераций для п = 10 и N = 5 приведена выше.
Для асимптотического анализа преобразуем его следующим образом. Имеем (АnN -числитель ):
ч 2 х ч х ч х ч 2
п + 1 I ( ,тп + 1 I ( п + 1 Л т2 ( п + 1
А- X ('(,) - -«)’ - X [ '(,) - N ■"п+- | + 2XI ,(,) - IN [ ^ - ,■ ] + 2 Л- | - - ,■
I-1
Т 2 | _
I=1
I=1
I -1
% 2 / ч 2
п + 1 І _ « п + 1 - 2і п + 1 І п + 1^. ( п + 1
I (і) — N --------------------- I + 2 N X I (і) ------------------------------------------- ' ' .......................................... ' 2
і=1 V (і) 2 ) £ (і) 2 V 2 ) 2 І"! І"! І 2
ЕІ , т п “І" 1 І л , т Х""' п І" 1 2 і ^ І п “г 1 І п “г 1 ^ , т 2 Х""'
І ^і) — Ы~;~ І + 2 Ы X1 а) ; 21 Ы~;~ І п + 2 Ы Xі + Ы X1 і 1 =
Поскольку
X І п + 1 . |2 - X І п +1 Т 2 п +1 X ’ + '2 - п(п + 1)2 ( + 1) п(п + 1) + п(п + 1)(2п +1)
і-1 V 2 ) і-1 V 2 ) 2 і-1 і-1 4 26
п(п + 1)(2п +1) _ п(п +1)2 - п (п — 1)
6 4 12
то последнее выражение можно переписать в виде
^ ( п + 1 І2 .А п (п2 — 1)
Ап,N - X |Чі) — Ы 2 ) — ЫX (2і — п — 1{(і) + Ы2 12 '
Отсюда, в частности, после деления обеих частей на N (п3 - п)/12, выводим соотношение, описывающее взаимосвязь классического и альтернативного коэффициентов конкордации:
X(2i — п — 1)^(о
N ( п3 — п )
Кы - —12 ,-1„Лз ч +1' (2)
Известно [1, с. 146], что величина N(п — 1)ЖпЫ при п ^ да асимптотически эквивалентна
%2-распределению с (п - 1) степенями свободы. Далее, для анализа асимптотического поведения при п ^ да второго слагаемого в правой части (2)
п
X(21 - п - ^а)
т - т„,г -12
і-1
п,Ы N ( п3 — п)
воспользуемся следующим результатом, приведенным в [5, с. 275-276]'
Пусть заданы независимые, одинаково распределенные случайные величины {Хі; і - 1, п} с функцией распределения Р(х); Хт < Х(2) < < Х(п) - соответствующие порядковые стати-
стики. Задана величина Тп - — X Л(_ ]Х(г-). Тогда при некоторых дополнительных ограниче-
п /і (і)
п - V п
1/2
ниях случайная величина п
+да
Тп — |х • Л(Р(х))йР(х)
п
—да
асимптотически нормальна N(0,о2),
2
где о -
Для того чтобы воспользоваться приведенным результатом, введем следующие обозначения: Уу — ^ / п для всех I — 1, п и 1 — 1, N, т. е. у^ принимает значения вида I / п в интервале
N
(0, 1]. Далее, уг — XУу и У(1) <У(2) <... <У(п) - вариационный ряд; тогда уг — / п и У(0 — ^ /п .
1—1
С учетом введенных обозначений величина т может быть записана в виде
т - -1 X Jn І їКи
2
глч 2и • п - п -1
где (и) = 12---------------п.
п N (п - 1)(п +1)
Отметим, что при п ^ да функция Jn (и) ^ J(и) = 12(и -1)/ N.
Найдем распределение Р(х) случайных величин у1. Функция распределения Р, (х) случайной величины у^ равна (0 < х < 1): Р, (х) = X 1 = [хп] ^ х - функция равномерного рас-
1>0:г<пх п п
пределения на интервале (0, 1]. Поскольку исследуется поведение при п ^ да, то далее вместо Р, (х) будем использовать равномерное распределение; тогда у1 является суммой N независимых равномерных на (0, 1] распределений (следовательно, у е (0; N )), и, значит, в силу [6, с. 42], справедливо соотношение
1 N
Р(х) = Р„(х) = — X(-1)^1,(х - ,)+' ,
Я ! ,=0
где а+ = тах(0; а) для любого числа а.
На основе приведенного выше результата выводим: при п ^ да справедливо асимптотическое соотношение
т — Щ + 4 (3)
Тп, N — I— + I— , (3)
о^п о^п
N
где 4 имеет нормальное распределение N(0,1), mN =| х • JР (х))dPN (х), J(и) = 12(и -1)/ N,
0
2 [[ J(PN(s))J(PN(0)Рп(s)[1 -РN(t)]dsdt, а выражение для Р]^(х) приведено в (2).
V 0<э<1<к На основе (2) и (3) получаем
ууа —___Хп-1______-__________т__+1 (4)
"nJlr-N(п -1) оы4п оы4п { )
при больших п.
Соотношение (4) является основой для проверки значимости альтернативного коэффициента конкордации Жа аналогично тому, как проверяется значимость классического коэффициента. Отметим, что соотношение (4) справедливо для любого числа экспертов N. При больших значениях N величины ti асимптотически нормальны как суммы независимых случайных величин, что также позволяет упростить соотношение (4). Более детально перечисленные вопросы предполагается рассмотреть в последующих работах.
Заключение
Таким образом, в работе получены следующие результаты.
1. Разработан алгоритм перебора всех возможных перестановок рангов, на основе которого проведены расчеты, показывающие возможность формирования таблиц значений альтернативного коэффициента конкордации для малых значений п (п < 10) при малых значениях N.
2. Сформирована общая процедура проверки значимости альтернативного коэффициента
конкордации. Ее детализацию до уровня конкретных процедур проверки предполагается выполнить в последующих работах.
Приведенные результаты позволят повысить эффективность принятия решений при проведении экспертных процедур.
0 N = I2
СПИСОК ЛИТЕРАТУРЫ
1. Макаров И. М. Теория выбора и принятия решений: учеб. пособие / И. М. Макаров, Т. М. Виноградская, А. А. Рубчинский, В. Б. Соколов. М.: Наука, 1982. 328 с.
2. Кендал М. Ранговые корреляции / М. Кендал. М.: Статистика, 1975. 216 с.
3. Попов Г. А. Альтернативный вариант коэффициента конкордации / Г. А. Попов, Е. А. Попова // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. 2013. № 2. С. 158-167.
4. Новиков Ф. А. Дискретная математика для программистов / Ф. А. Новиков. СПб.: Питер, 2001. 304 с.
5. Дэвид Г. Порядковые статистики / Г. Дэвид. М.: Наука, 1979. 336 с.
6. Феллер В. Введение в теорию вероятностей и ее приложения / В. Феллер. Т. 2. М.: Мир, 1984. 752 с.
REFERENCES
1. Makarov I. M., Vinogradskaia T. M., Rubchinskii A. A., Sokolov V. B. Teoriia vybora i priniatiia reshenii [Theory of choice and decision making]. Moscow, Nauka Publ., 1982. 328 p.
2. Kendal M. Rangovye korreliatsii [Ranging correlations]. Moscow, Statistika Publ., 1975. 216 p.
3. Popov G. A., Popova E. A. Al'ternativnyi variant koeffitsienta konkordatsii [Alternative of concordance coefficient]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriia: Upravlenie, vychislitel'naia tekhnika i informatika, 2013, no. 2, pp. 158-167.
4. Novikov F. A. Diskretnaia matematika dlia programmistov [Discrete mathematics for IT-specialists]. Saint Petersburg, Piter Publ., 2001. 304 p.
5. Devid G. Poriadkovye statistiki [Quantiles]. Moscow, Nauka Publ., 1979. 336 p.
6. Feller V. Vvedenie v teoriiu veroiatnostei i ee prilozheniia [Introduction to the theory of chances and its sup-
plements]. Vol. 2. Moscow, Mir Publ., 1984. 752 p.
Статья поступила в редакцию 23.12.2013
ИНФОРМАЦИЯ ОБ АВТОРАХ
Попов Георгий Александрович - Астраханский государственный технический университет; д-р техн. наук; профессор; зав. кафедрой «Информационная безопасность»; popov@astu.org.
Popov Georgiy Aleksandrovich — Astrakhan State Technical University; Doctor of Technical Sciences, Professor; Head of the Department "Information Security"; popov@astu.org.
Попова Екатерина Александровича - Астраханский государственный технический университет; старший преподаватель кафедры «Информационная безопасность»; popov@astu.org.
Popova Ekaterina Aleksandrovna — Astrakhan State Technical University; Senior Lecturer of the Department "Information Security"; popova@astu.org.
