Методы и приемы проведения независимой экспертизы Текст научной статьи по специальности «Математика»

МАТЕМАТИЧЕСКИЕ МЕТОДЫ В ЭКОНОМИЧЕСКИХ ИССЛЕДОВАНИЯХ

УДК 519.86

МЕТОДЫ И ПРИЕМЫ ПРОВЕДЕНИЯ НЕЗАВИСИМОЙ ЭКСПЕРТИЗЫ*

Е. В. Жилякова, С. Н. Ларин

Российский гуманитарный научный фонд Центр экономико-математических исследований РАН

Поступила в редакцию 12 октября 2009 г.

Аннотация: статья посвящена методам обоснования достоверности экспертизы инициативных научных исследований. Рассмотрен математический аппарат для определения независимости экспертных оценок и степени их согласованности, меры компетентности самих экспертов, а также решения ряда других задач. В качестве меры согласованности мнений экспертов предложены дисперсионный и энтропийный коэффициенты конкордации, которые дают примерно одинаковую оценку согласованности экспертов. Приведена сравнительная оценка коэффициентов ранговой корреляции Спирмена и Кендалла для определения зависимости между ранжировками двух экспертов. Ключевые слова: экспертиза, экспертные оценки, статистика, инициативные научные исследования.

Abstract: the authors consider methods of determination of reliability of reviews of scientific research by experts. Mathematical means of determinations of independence of estimates and of their consistency, measures of experts ’ competence are considered. Concordation coefficients of dispersion and entropy are proposed as a measure of coherence of experts’ opinions that provide approximately similar estimation of consistency. The authors provide comparative estimation of rank correlation coefficient (Spearmen, Kendall) used to estimate coherence of ranges attached by two experts.

Key words: experts’ reviews, experts’ estimation, statistics, scientific research.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются:

1) научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов;

2) применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

Эти две особенности отличают метод экспертных оценок от обычной давно известной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Рациональное использование информации, полученной от экспертов, возможно при условии образования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений. Возможности формализации информации зависят от специфических особенностей ис-

* Статья подготовлена при поддержке РФФИ, проект № 09-06-00041 а.

© Жилякова Е. В., Ларин С. Н., 2009

следуемого объекта, надежности и полноты имеющихся данных, уровня принятия решения.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов оценки инициативных проектов возникают следующие основные задачи:

1) построение обобщенной оценки инициативных проектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при групповом экспертном оценивании.

Определение согласованности мнений экспертов производится путем вычисления числовой меры, характеризующей степень близости индивидуаль-

ных мнений. Анализ значения меры согласованности способствует выработке правильного суждения

06 общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать единство и различие в их мнениях [1].

Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Рассмотрим алгоритмы обработки результатов экспертного оценивания множества объектов.

Пусть т экспертов произвели оценку п объектов

по I показателям. Результаты оценки представлены

к

в виде величин хр., где 7 — номер эксперта, г — номер объекта, к — номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины хгк7 представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины хгк7 представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.

Рассмотрим случай, когда величины х^ (г = 1,..., п;

7 = 1,2,..., т; к = 1,2,...,I) получены методами непосредственной оценки или последовательного сравнения, т. е. хгк7 являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно воспользоваться средним значением оценки для каждого объекта [2, с. 83]:

I т

х=11(г=1,2,•••,п) (1)

к=1 7=1

где — коэффициенты весов показателей сравнения объектов; к7 — коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности экспертов являются нормированными величинами [2, с. 84]:

Коэффициенты весов показателей могут быть определены экспертным путем. Если — коэф -фициент веса к-го показателя, даваемый у'-м экспертом, то средний коэффициент веса к-го показателя по всем экспертам равен

т

Як = 1 7 (к = и—1). (3)

7=1

Получение групповой экспертной оценки путем суммирования индивидуальных оценок с весами компетентности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на предположении о выполнении аксиом теории полезности фон Неймана—Морген-штерна как для индивидуальных оценок, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они не различимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как правило, выполняются, поэтому получение групповой оценки объектов путем суммирования с весами индивидуальных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вычислить по апостериорным данным, т.е. по результатам оценки объектов. Основной идеей этого вычисления является предположение о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компе -тентности экспертов имеет вид рекуррентной процедуры [2, с. 84]:

х\=1ху7 (г=1,2,...,п);

7=1 п т

1 = 11 ХуХ ((= 1,2,...);

г =1 7=1

(4)

(5)

1

к7=171 хух; 1 к7=1 (у=1,2,...,т). (6)

1 г=1 7=1

Вычисления начинаются с ^ = 1. В формуле (4) начальные значения коэффициентов компетентности принимаются одинаковыми и равными к°° = 1 / т. Тогда по формуле (4) групповые оценки объектов первого приближения равны средним арифметическим значениям оценок экспертов [2, с. 85]:

1

1 =~1 хг7 (г = 1,2,..., п).

т 7 =1

(7)

7=1

1 Як =1; 1 к7 =1

7=1

(2)

к=1

Далее вычисляется величина 11 по формуле (5):

пт

11 =11 хх1 (8)

г =1 7=1

и значение коэффициентов компетентности первого приближения по формуле (6):

(9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисления по формулам (4—6) и получить вторые приближения величин х2,12, kj.

Повторение рекуррентной процедуры вычислений оценок объектов и коэффициентов компетентности ставит вопрос о ее сходимости. Для его решения исключим из уравнений (4), (6) переменные kj1 и х^ и представим эти уравнения в векторной форме [2, с. 86]:

х =-1г BX-\ k = -1Ckt-1 (t = 1,2,...), (10)

1 1

где матрицы В размерности п X п и С размерности

m X m равны

B = XX', C = X'X, X = ||xj|. (11)

Величина 1t в уравнениях (10) определяется по формуле (5).

Если матрицы В и С неотрицательны и неразложимы, то, как это следует из теоремы Перрона—Фробениуса, при t векторы xt и kt сходятся к собственным векторам матриц В и С, соответствующим максимальным собственным числам этих матриц [2, с. 87]:

х = lim xt, k = lim kt. (12)

Предельные значения векторов х и k можно вычислить из уравнений:

Вх = 1вх, 5X = 1, |В - 1вЩ = 0,

1=1

m

Ck = 1Ck, 5kj = 1, |C - 1CE\ = 0,

j=1

(13)

димости процедур (4—6) в практических условиях выполняются.

Практическое вычисление векторов групповой оценки объектов и коэффициентов компетентности проще выполнять по рекуррентным формулам (4—6). Определение предельных значений этих векторов по уравнению (13) требует применения вычислительной техники.

Рассмотрим случай, когда эксперты производят оценку множества объектов методом ранжирования так, что величины х7] есть ранги. Обработка результатов ранжирования заключается в построении обобщенной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжировок и метрику в этом пространстве. Каждая ранжировка множества объектов 7-м экспертом есть точка Я7 в пространстве ранжировок.

Ранжировку Я7 можно представить в виде матрицы парных сравнений, элементы которой определим следующим образом:

а, =

1,

если Ok >- Ot,

-1, если O, -< Ok,

0, если Ok Ot.

где 1В, 1С — максимальные собственные числа матриц В и С.

Условие неотрицательности матриц В и С легко выполняется выбором неотрицательных элементов х77 матрицы Х оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экспертов оценивает только объекты своей группы. Естественно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С, а следовательно, и условия схо-

Очевидно, что акк = 0, поскольку каждый объект эквивалентен самому себе. Элементы матрицы ||ан || антисимметричны ак1 = — а1к .

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Такую матрицу будем обозначать Я и считать, что точка в пространстве ранжировок, соответствующая матрице Я , является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений [1].

Метрика й (^, Я7) как расстояние между г-й и 7-й ранжировками определяется единственным образом по формуле

й (яг, Я) = 2 ХК — аы ^

2 к ,1=1

если выполнены следующие 6 аксиом:

1. й(^, Я7) > 0, причем равенство достигается, если ранжировки Яг и Я7 тождественны;

2. й (Я,, Я}) = й (Я, Я);

3. й (Я,, Як) + й (Як, Я}) > й (Я,, Я}),

причем равенство достигается, если ранжировка «лежит между» ранжировками Я1 и Я7. Понятие «лежит между» означает, что суждение о некоторой паре 0к01 объектов в ранжировке совпадает с

суждением об этой паре либо в Яг, либо в Яз или

же в кг °к ^ °1, в Яз °1 ^ °к, а в Яь °к ~ °1;

4. ^ й (Я', Я') = й (Яг, Я}),

где Я' получается из Яг некоторой перестановкой объектов, а Я3 из Я3- той же самой перестановкой. Эта аксиома утверждает независимость расстояния от перенумерации объектов.

5. Если две ранжировки Я1, Яз одинаковы всюду, за исключением «-элементного множества элементов, являющегося одновременно сегментом обеих ранжировок, то й(Я1, Яз.) можно вычислить, как если бы рассматривалась ранжировка только этих «-объектов. Сегментом ранжировки называется множество, дополнение которого непусто, и все элементы этого дополнения находятся либо впереди, либо позади каждого элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжировки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних «-объектов, то естественно принять, что расстояние между ранжировками должно равняться расстоянию, соответствующему ранжировкам средних «-объектов [1].

6. Минимальное расстояние равно единице.

Пространство ранжировок при двух объектах

можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны й(Я1,О) = й(Я2,О) = 1, й(Я1,Я2) = 2. При трех объектах пространство всех возможных ранжировок состоит из 13 точек [2, с. 89].

Используя введенную метрику, определим обобщенную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласования на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжировок, сумма расстояний от которой до всех точек — ранжировок экспертов является минимальной. В соответствии с определением медиана вычисляется из условия

т

Ям ^ тЯп X й (Я, Я).

3 =1

Средняя ранжировка есть такая точка, сумма квадратов расстояний от которой до всех точек — ранжировок экспертов является минимальной. Средняя ранжировка определяется из условия

т

Яс < тт Xй2(Яз,Я).

з=1

Пространство ранжировок конечно и дискретно, поэтому медиана и средняя ранжировка могут быть

только какими-либо точками этого пространства. В общем случае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то медиана и средняя ранжировка определяются из условий:

m m

RM < minXk3d(R3,R); RC < mmXk3d2(R3,R),

M 3=i

где kj — коэффициенты компетентности экспертов.

Если ранжировка объектов производится по нескольким показателям, то медиана вначале определяется для каждого эксперта по всем показателям, а затем вычисляется по множеству экспертов:

Rm <minX<?hd(R),R) (7=1,2,...,m);

3 R h=i

m

Rm < min Xk^d(Rm , R),

R J 3

3 =1

где qh — коэффициенты весов показателей.

Основным недостатком определения обобщенной ранжировки в виде медианы или средней ранжировки является трудоемкость расчетов. Естественный способ отыскания RM или RC в виде перебора всех точек пространства ранжировок неприемлем вследствие очень быстрого роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемкости вычислений. Можно свести задачу отыскания RM или RC к специфической задаче целочисленного программирования. Однако это не очень эффективно уменьшает вычислительные трудности.

Расхождение обобщенных ранжировок при различных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпадать.

Сложность вычисления медианы или средней ранжировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К таким способам относится способ сумм рангов. Он заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объектом от всех экспертов. Для матрицы ранжировок U составляются суммы

m

Г =Xry (i = 1,2 -, n).

3=1

Далее объекты упорядочиваются по цепочке неравенств г1 < г2 < ... < г«.

Для учета компетентности экспертов достаточно умножить каждую 7-ю ранжировку на коэффициент компетентности /-го эксперта 0 < к/ < 1. В этом случае вычисление суммы рангов для 7-го объекта производится по следующей формуле [2, с. 91]:

т

Г =Хгзкз (7 = 1,2, •••, «).

3=1

Обобщенная ранжировка с учетом компетентности экспертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжировки по суммам рангов является корректной процедурой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., «. Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие монотонности преобразования и, следовательно, можно получать различные обобщенные ранжировки при различных отображениях объектов на числовую систему. Нумерация мест объектов может быть произведена единственным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом отношении подходом к построению обобщенной ранжировки являются переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора, соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора.

При ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации.

Рассмотрим матрицу результатов ранжировки « объектов группой из т экспертов Ц/ (/ = 1, .... т; 7 = 1, ..., «), где гр — ранг, присваиваемый/-м экспертом 7-му объекту. Составим суммы рангов

по каждому столбцу. В результате получим вектор с компонентами

К =

XК (/■ = 1,2, ..., и).

(14)

і=1

Величины г7 рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой

1«

‘т X(г, - г)2 ,

' 1 7=1

В = -

(15)

_ « -1 “ где Г — оценка математического ожидания, равная

1 и

К =1X

и 1=1

К.

(16)

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (15) к максимальному значению этой оценки:

Б

Ж = -

(17)

Коэффициент конкордации изменяется от 0 до 1, поскольку 0 < Б < Бтах .

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка математического ожидания зависит только от числа объектов и количества экспертов. Подставляя в (16) значение г из (14), получаем

и" (18)

к = - XX . и1=11=1 1

Рассмотрим вначале суммированные по 7 при фиксированном/. Это есть сумма рангов для /-го эксперта. Поскольку эксперт использует для ранжировки натуральные числа от 1 до «, то, как известно, сумма натуральных чисел от 1 до « равна

«(« +1)

К =-

,=1 2

Подставляя (19) в (18), получаем

1

К = — •

и

и(и +1) X = (и + 1)т

1=1

(19)

(20)

2 з =1 2

Таким образом, среднее значение зависит только от числа экспертов т и числа объектов «.

Для вычисления максимального значения оценки дисперсии подставим в (15) значение г из (14) и возведем в квадрат двучлен в круглой скобке. В результате получаем

В = -

1

и -1

X X <

V!=1

- 2К XXГ!

,=1 1=1

-иг

(21)

2

Учитывая, что из (18) следует

п т

XX г. =п7,

1=1 >=1

получаем

Б = -

п -1

Л2

XX-

>=1 V У =1

- пг

(22)

Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скобках. Величина этого члена существенно зависит от расположения рангов — натуральных чисел в каждой строке 7. Пусть, например, все т экспертов дали одинаковую ранжировку для всех п объектов. Тогда в каждой строке матрицы Ц^.Ц будут расположены одинаковые числа. Следовательно, суммирование рангов в каждой 7-й строке дает т-кратное повторение 7-го числа:

X

. =1

г. = 7т.

У

'72 т2 = т2

'72 =

т 2(п + 1)(п + 2)п 6 .

2

XX -

. =1

т(т +1) ^ т 2(т +1)2 п

= 4 .

т2(п3 - п)

(24)

12(п -1)

Введем обозначение:

2

п I т

я=X Xг.- 7 . (25)

7=1 V у=1 У

Используя (25), запишем оценку дисперсии (15) в виде

1

Б = -

п-1

-я.

(26)

Подставляя (24)—(26) в (17) и сокращая на множитель (п-1), запишем окончательное выражение для коэффициента конкордации:

12 с

Ж = 2( з ) • (27)

т (п - п)

Данная формула определяет коэффициент кон -кордации для случая отсутствия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе формулы (17) становится меньше, чем при отсутствии связанных рангов. Можно показать, что при наличии связанных рангов коэффициент кон -кордации вычисляется по формуле

12 с

Ж =----------—-----------, (28)

т

:(п3 - п) - mX Т.

. =1

где

(29)

к=1

Возводя в квадрат и суммируя по 7, получаем значение первого члена в (22):

(23)

7=1 7=1

Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая п = т все эксперты присваивают разные ранги одному объекту. Тогда

Сравнивая это выражение с т при т=п, убеждаемся, что первый член в квадратных скобках формулы (21) равен второму члену и, следовательно, оценка дисперсии равна нулю.

Таким образом, случай полного совпадения ранжировок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (23) в (22) и выполняя преобразования, получаем

В формуле (28) ТУ — показатель связанных рангов в у-й ранжировке, Н. — число групп равных рангов в у-й ранжировке; Нк — число равных рангов в к-й группе связанных рангов при ранжировке у-м экспертом. Если совпадающих рангов нет, то Ну =0, Нк =0 и, следовательно, Т. =0. В этом случае формула (28) совпадает с формулой (27).

Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы. Коэффициент конкордации равен 0, если все ранжировки различны, т.е. совершенно нет совпадения.

Коэффициент конкордации, вычисляемый по формуле (27) или (28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкор-дации необходимо знать распределение частот для различных значений числа экспертов т и количества объектов п. Распределение частот для Ж при 3 < т < 20 и 3 < п < 7 вычислено в работе [2, с.103]. Для больших значений т и п можно использовать известные статистики. При числе объектов п > 7 оценка значимости коэффициента конкордации может быть произведена по критерию с2. Величина Жт(п-1) имеет с2 распределение с V=п-1 степенями свободы.

При наличии связанных рангов с2 распределение с V = п-1 степенями свободы имеет величину

125

с =-

тп(п +1) - -

т

—Xт, п -1Ъ У

(30)

1

ВЕСТНИК ВГУ СЕРИЯ: ЭКОНОМИКА И УПРАВЛЕНИЕ. 2009. № 2

15. Заказ 2103

Энтропийный коэффициент конкордации (коэффициент согласия) определяется формулой

H

W _ 1 — ,

H

max

где Н — энтропия, вычисляемая по формуле

(31)

H_-ЁХ py lo§ py, (32)

i=i j=i

а Hmax — максимальное значение энтропии. В формуле для энтропии Pj — оценки вероятностей j-го ранга, присваиваемого i-му объекту. Эти оценки вероятностей вычисляются в виде отношения количества экспертов Шу, приписавших объекту O{ ранг j к общему числу экспертов:

Шу

Pj =—.

Ш

(33)

Максимальное значение энтропии достигается при равновероятном распределении рангов, т.е. когда т:: = т / п . Тогда

Ш

(34)

ШП n

Подставляя это соотношение в формулу (32), получаем

1 1 n

H max _-10§-X_ П l0§ П.

П“

(35)

разделения мнении на две противоположные группы. Объем вычислений для энтропийного коэффициента конкордации несколько больше, чем для дисперсионного коэффициента конкордации.

При обработке результатов ранжирования могут возникнуть задачи определения зависимости между ранжировками двух экспертов, связи между достижением двух различных целей при решении одной и той же совокупности проблем или взаимосвязи между двумя признаками. В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок или целей будет являться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена и Кендалла.

Коэффициент ранговой корреляции Спирмена определяется формулой

Р _

(36)

Коэффициент согласия изменяется от 0 до 1. При ЖЭ = 0 расположение объектов по рангам равновероятно, поскольку в этом случае Н = Нтах . Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупности показателей, либо полной несогласованностью мнений экспертов. При ЖЭ = 1, что достигается при нулевой энтропии (Н=0), все эксперты дают одинаковую ранжировку. Действительно, в этом случае для каждого фиксированного объекта Ог все эксперты присваивают ему один и тот же ранг :, следовательно, р1} = 1, а рц = 0 (к п ],к = 1,2,...,п). Поэтому и Н = 0.

Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен 0, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт

где К12 — взаимный корреляционный момент первой и второй ранжировок; Д, 02 — дисперсии этих ранжировок. По данным двум ранжировкам оценки взаимного корреляционного момента и дисперсии вычисляются по формулам

1 п

7 - г)■ - ъ); (37)

'1:=1

*12 _-

J _1 1

D1 _ —1 j- r);

n -1 j_1

1 n 2

D2 _---1 Kr2j - Г2 ) ,

n - 1 j _1

(38)

где п — число ранжируемых объектов; г1 ^, г2 ^ — ранги в первой и второй ранжировках соответственно; г1, Т2 — средние ранги в первой и второй ранжировках. Оценки средних рангов определяются формулами

1 п 2 1 п г- г1); г2 = - Ё г2 ]. (39)

пр пр

Вычислим оценки средних рангов и дисперсий в предположении, что в ранжировках отсутствуют связанные ранги, т.е. обе ранжировки дают строгое упорядочение объектов. В этом случае средние ранги (39) представляют собой суммы натуральных чисел от 1 до п, поделенные на п. Следовательно, средние ранги для обеих ранжировок одинаковы и равны

_ _ _ n(n +1) n +1

n • 2

2

(40)

При вычислении оценок дисперсий заметим, что если раскрыть круглые скобки в формулах (38), то под знаком сумм будут находиться натуральные числа и их квадраты. Две ранжировки могут отличаться друг от друга только перестановкой рангов, но сумма натуральных чисел и их квадратов не зависит от порядка (перестановки) слагаемых. Следовательно, дисперсии (38) для двух любых ранжировок (при отсутствии связанных рангов) будут одинаковы и равны

О = Д = В2 = ■

п -1

Ё к2- 2г Ёк

-пк

У:=1

3 =1

(41)

п -1

(п + |)(2п + - 2_2 п + Гп

6

п(п + 1) 12

(/■ = 1,2).

Подставляя значения К12 из (37) и О1, О2 из (41) в формулу (36), получим оценку коэффициента ранговой корреляции Спирмена:

12 п

Р = 3 -Ё( -к )( -7). (42)

п - п

3=1

3 =1

3 =1

2Ё( - Г )3 - к )Ё(

2

пп

Ё 3 - к) +Ё 3

Г13 -

(43)

Г13 - Г2 3

) .

3 =1 3 =1

В равенстве (43) первые две суммы в правой части, как это следует из выражения (41), одинаковы и равны

2 2

Ё3 - к )+Ё(

3=1 3=1

п(п + 1)(п -1) = 12

Г2 3 - П =

п3 - п

(44)

12

Подставляя в формулу (42) значение суммы из (43) и используя равенство (44), получаем следующую удобную для расчетов формулу коэффициента ранговой корреляции Спирмена:

(1 п 2

Р = 1 -^— Ё3 - Г2 3 ) . (45)

п - п

Коэффициент корреляции Спирмена изменяется от -1 до +1. Равенство единице достигается, как это следует из формулы (45), при одинаковых ранжировках, т.е. когда г13 = г2]. Значение р = -1 имеет место при противоположных ранжировках (прямая и обратная ранжировки). При равенстве коэффициента корреляции нулю ранжировки считаются линейно независимыми.

Оценка коэффициента корреляции, вычисляемая по формуле (45), является случайной величиной. Для определения значимости этой оценки необходимо задаться величиной вероятности / , принять решение о значимости коэффициента корреляции и определить значение порога е по приближенной формуле

е =

1

4п -1

¥

(46)

где п — количество объектов; ¥( х) — функция, обратная функции

1 х -I

Для проведения практических расчетов удобнее пользоваться другой формулой для коэффициента корреляции Спирмена. Ее можно получить из (42), если воспользоваться тождеством

л/2р 0

для которой имеются таблицы. После вычисления порогового значения оценка коэффициента корреляции считается значимой, если |р| < е .

Для определения значимости оценки коэффициента Спирмена можно воспользоваться критерием Стьюдента, поскольку величина

\п - 2

1-7

(47)

приближенно распределена по закону Стьюдента с п - 2 степенями свободы.

Если в ранжировках имеются связанные ранги, то коэффициент Спирмена вычисляется по следующей формуле:

Р + 71 + Т2

Р = ■

(48)

,/(1 -71)(1 -Г2) ’

где Р — оценка коэффициента ранговой корреляции Спирмена, вычисляемая по формуле (45), а величины 71 , 72 равны

33

ЁВД -1); Г2 = --Ёк2(к2 -1). (49)

71 =

п3 - п

к1

п - п

3=1

В этих формулах к1 и к2 — количество различных связанных рангов в первой и второй ранжировках соответственно.

Коэффициент ранговой корреляции Кендалла при отсутствии связанных рангов определяется формулой

1

1

2

ВЕСТНИК ВГУ СЕРИЯ: ЭКОНОМИКА И УПРАВЛЕНИЕ. 2009. № 2 115

15*

2

t = -

n

X S1§n L(r- " rU )( - r2j )

n(n - 1) i,j_1

где n — количество объектов; rtJ — ранги объектов; sign x — функция, равная

1 при x > 0,

sign x _ -s-1 при x < 0,

0 при x _ 0.

Сравнительная оценка коэффициентов ранговой корреляции Спирмена и Кендалла показывает, что вычисление коэффициентов Спирмена производится по более простой формуле. Кроме того, коэффициент Спирмена дает более точный результат, поскольку он является оптимальной по критерию минимума средней квадрата ошибки оценкой коэффициента корреляции. Отсюда следует, что при практических расчетах корреляционной зависимос-

ти ранжировок предпочтительнее использовать коэффициент ранговой корреляции Спирмена.

Таким образом, имеющийся в нашем распоряжении математический аппарат позволяет получить решение большинства интересующих нас задач. Однако для повышения эффективности представляется целесообразным автоматизировать процесс проведения вычислений. Для этого необходимо разработать программное обеспечение на основе изложенного выше алгоритма.

ЛИТЕРАТУРА

1. Горский В. Г. Метод согласования кластеризованных ранжировок / В. Г. Горский, А. А. Гриценко, А. И. Орлов // Автоматика и телемеханика. — 2000. — № 3. — С. 159—167.

2. Евланов Л. Г. Экспертные оценки в управлении / Л. Г. Евланов, В. А. Кутузов. — М. : Экономика, 1978.

Российский гуманитарный научный фонд Жилякова Е. В., кандидат экономических наук, главный специалист отдела комплексного изучения человека, психологии и педагогики E-mail: [email protected]

ЦЭМИ РАН

Ларин С. Н., кандидат технических наук, старший научный сотрудник

E-mail: [email protected]

Russian Foundation for Humanities Zhilyakova E. V., Сandidat of Еconomic Science E-mail: [email protected]

CEMIRAS

Larin S. N., Сandidate ofTechnical Science, Senior Scientific Employee

E-mail: [email protected]