Статистические свойства экспертных оценок Текст научной статьи по специальности «Математика»

С. А. Бабкин

В.В. Конобеевских,

кандидат технических наук

СТАТИСТИЧЕСКИЕ СВОЙСТВА ЭКСПЕРТНЫХ ОЦЕНОК STATISTIC PROPERTIES OF EXPERT EVALUATIONS

Исследованы статистические свойства экспертных оценок при проведении jk-эксперимента и обосновано использование в качестве статистик выборочного среднего X и модифицированной выборочной дисперсии а2, поскольку такие оценки являются состоятельными, несмещенными, эффективными и достаточными. Предложено использовать ряд Эджворта с вычислением выборочных коэффициентов асимметрии и эксцесса для проверки гипотезы о нормальности распределения оценок экспертов.

The article examined the statistic properties of expert evaluations in jk-experiment, and proved the use of statistic sampling as a elective average X and selective dispersion a2, since such evaluations are consistent, unbiased, efficient and sufficient. It proposed to use a number of Edgeworth series for testing hypotheses about normality of distribution of expert evaluations with calculation of selected asymmetry and excess factors.

При проведении статистического эксперимента предполагается, что элементы множества X (оценок) введенного нами экспертного пространства < O, E, X> обладают следующими свойствами: 1) взаимно независимы; 2) имеют одинаковые функции распределения F(x). Выполнение первого условия почти очевидно. При тщательном подборе группы экспертов и исключении фактора «экспертной власти» оно может быть обеспечено. Выполнение второго условия требует обоснования. В первом приближении оно обеспечивается подбором экспертной группы из условия согласованности мнений экспертов. Одним из известных способов достижение этого требования в случае ранговых статистик является использование особой меры согласованности — коэффициента конкордации [1]. В нашей ситуации, когда ранжирование не используется, необходимо применять другие критерии, которые будут рассмотрены далее.

Поэтому, в начале исследования, мы временно отвлечемся от обоснования идентичности F(x) для всех элементов x е X и предположим, что это условие также выполняется. Рассмотрим статистические свойства получаемых при этом экспертных оценок.

Обозначим: 0 — неизвестный параметр распределения (математическое ожидание, дисперсия, среднеквадратичное отклонение и т.д.). В теории больших выборок в качестве оценки для 0 выбирается статистика t = t (x j, x 2, ...., x n ), вычисляемая по выборке точно таким же путем, как 0 вычислялось по генеральной совокупности [2,3].

Например, выборочное среднее

П _

t = ± £ х; ° x (1)

i = 1

считается оценкой для генерального среднего (т.е. математического ожидания). Используя элемент вероятности С ¥(х) , определяемый интегралом Стилтьеса, рассмотрим случай генеральной совокупности (нормальное распределение с единичной дисперсией):

Можно показать, что после п независимых экспериментов вероятностный элемент распределения статистики I имеет вид

т.е. выбираемая в качестве оценки для 0 статистика ^ распределена нормально со средним 0 и дисперсией 1/ п .

В последнем распределении (3) оценки I выборочное среднее равняется истинному значению параметра 0, а при возрастании объема п выборки точность оценки увеличивается. Определим качественно смысл термина «точность оценки». Это означает, что дисперсия статистики I убывает с увеличением объема выборки со скоростью не менее 1/ п , а математическое ожидание I либо совпадает с 0, либо отличается от него на величину Д0 , которая также убывает пропорционально 1/ п .

Как известно из монографий по математической статистике [2,4,5], при любых способах получения оценок необходимо выяснить их основные статистические свойства : состоятельность, степень смещенности, эффективность и достаточность. Вначале мы будем интересоваться только двумя основными параметрами распределения: выборочным средним и выборочной дисперсией. Следующие характеристики (коэффициент асимметрии и коэффициент эксцесса) основаны на использовании выборочных моментов третьего и четвертого порядков. Их свойства рассмотрим далее, при определении степени отклонения распределения экспертных оценок X от нормального. Применимость выборочных моментов более высоких порядков в экспертной практике нецелесообразна.

Состоятельность. Оценка I п , вычисленная на основании выборки объема п из пространства X экспертных оценок, является состоятельной оценкой для 0, если для любых сколь угодно малых е и ^ существует число N такое, что

Иначе говоря, оценка ^ п должна сходиться к 0 по вероятности.

Рассмотрим наиболее важный для нас случай, когда под 0 понимается математическое ожидание а распределения оценок экспертов. В предположении нормальности распределения элемент вероятности описывается выражением (3) при 0 = а . Поэто-

любого е можно найти такое п , что это неравенство будет выполняться.

Итак, выборочное среднее (1) является состоятельной оценкой для математического ожидания распределений оценок экспертов.

Свойство состоятельности является предельным свойством, т.е. относится к поведению оценки при стремлении объема выборки к бесконечности и не определяет поведение оценки при конечных п . Например, для случая использования в качестве оценки выборочного среднего X, определяемого формулой (1), оценки

(2)

(3)

п > N .

(4)

му величина ^ - а у/п распределена нормально с нулевым средним и единичной дисперсией. Нас интересует вероятность |1п — ^ < е. Умножим левую и правую часть последнего неравенства на л/Й и получим тождественное неравенство — а ^/й| < е4п . Учитывая условие нормировки | dF (? ) = 1, из последнего неравенства следует, что для

п п

I 1п = ~1 У Х1 и I 2 п = — У X: + "^ ,

п-1 /—I 1 п /—! I п2

I I =1

где С — произвольное ограниченное число, будут также состоятельными. Иначе говоря, если существует одна состоятельная оценка, то можно построить бесконечное множество других.

Несмещенность. Свойство состоятельности имеет важное теоретическое значение, однако малопригодно для разрабатываемой нами технологии экспертизы, поскольку изначально мы предполагаем, что достаточная группа экспертов должна быть конечной и, желательно, немногочисленной.

Поэтому для нас гораздо более важным свойством оценки является ее несмещенность [3]. Для параметра 0 оценка I п называется несмещенной, если для любых п математическое ожидание

м гп =0. (5)

Известно [4,5], что выборочное среднее (1) является несмещенной оценкой математического ожидания элементов генеральной совокупности X , т.е.

М х = Мх = а. (6)

Однако выборочная дисперсия не обладает свойством несмещенности:

п -1

М п У (X - х )2 = ^ Вх

,=, п

:=1

а несмещенной оценкой является статистика

1 п

г°п =—- У (хг - х )\ (7)

п - 1 :=1

т.е. модифицированная выборочная дисперсия.

Эти результаты являются очень важными для обоснования методики экспертной оценки. Действительно, для оценивания основных параметров элементов генеральной совокупности мнений экспертов X мы можем использовать две несмещенные оценки

— выборочное среднее X и модифицированную выборочную дисперсию 1^п .

Эффективность. Дисперсия оценки является важным фактором, определяющим точность и надежность оценивания. Возникает необходимость выбора среди всех возможных оценок статистики с наименьшей дисперсией.

Известно два подхода к определению эффективности оценок. Первый из них основан на использовании неравенства Рао—Крамера [4], а второй — на сравнении объемов выборок двух различных статистик, дающих одинаковую дисперсию [2].

Рассмотрим вначале первый подход. В качестве основного понятия вводится функция правдоподобия, принимающая вид

ь(хи х2,...хп ;0) = Пр(х ;0); ь(хи х^.х ;0) = П р (0) (8)

г=1 г=1

соответственно для непрерывных и дискретных распределений. Здесь: р (хг. ;0) — одномерная плотность распределения вероятностей; р1 (0) — вероятность 1-го значения случайной величины.

Воспользуемся неравенством Рао—Крамера [2]

ВI - м {I - т (0)}2 > {Т(0)}2 / М )2, (9)

в котором I — несмещенная оценка некоторой функции т(0) от параметра 0. Иногда это неравенство записывают в следующем виде:

В I - М {I - т (0)}2 > - {г'(0)}2/ м ). (10)

Правая часть выражений (9), (10) дает минимальную границу дисперсии. Оценка, дисперсия которой при всех 0 равна этой минимальной границе, называется МГД-оценкой.

Если оценивается сам параметр 0, а не функция т(0), то производная Т(0) = 1, и для несмещенной оценки параметра 0 из упомянутых неравенств получим упрощенные выражения:

D t > 1/ M

)2 J=- 1/m tei). (11)

|дМ дв2

При выводе неравенств (9), (10) использовалось неравенство Коши — Бу-няковского, а необходимым и достаточным условием того, чтобы оно превратилось в равенство (что эквивалентно достижению минимальной границы дисперсии — МГД)

является пропорциональность {t — г(в)| и д^ L для любых наборов наблюдений, т.е.

= A(q){t—t(e)}. (12)

Последнее выражение является условием достижения МГД, гораздо более удобным для использования, чем непосредственная проверка выполнения неравенства Рао-Крамера. Применим его к случаю, когда оценки экспертов распределены нормально с математическим ожиданием а , предполагая известной дисперсию s 2 . Тогда получим формулу

д log L n (_ )

---- =~2 (Х — а) , (13)

да s

являющуюся частным случаем условия (12), если положить t = X,

А(в) = n/а2 и tq) = а. Итак, выборочное среднее X является МГД-оценкой с дисперсией s 2 / n. Как видим, величины А(в) и дисперсия оценки взаимно обратны. Это

является следствием простого выражения для дисперсии оценки

D t = | t (в) / А (в) |, (14)

получаемого из формулы (13) при подстановке в него в = а.

Следуя рассмотренной методике, оценим среднеквадратичное отклонение s в нормальном распределении с математическим ожиданием а = 0. Вычисляя частную производную в левой части равенства (13), получим

Э log L_ n 1^2_ n

Эа а а3 , 1 а

+ аУ Xi2 =а -У Xi2 - а2 , (15)

vn i у

откуда следует, что п 1 Ех2 есть МГД-оценка для генеральной дисперсии а2, причем дисперсия этой оценки, согласно (14), равна

ва2=а! ± а )=а

п йа п

Второй подход [2] связан с сопоставлением двух статистик /1, ї2 с различными дисперсиями Ві, Вї2 и различными объемами выборок п1,п2. Большинство оценок в силу центральной предельной теоремы распределено асимптотически нормально, поэтому при больших выборках распределения этих оценок характеризуются только двумя параметрами — средним и дисперсией. Кроме того, если оценка состоятельна, в этих условиях она будет и асимптотически несмещенной. Поэтому основным средством сравнения оценок становится дисперсия. Эффективность носит сравнительный характер и при больших выборках обратно пропорциональна отношению дисперсий.

Более точно, эффективностью оценки I называется отношение

)=В мгд / DI , (16)

где В!МГд — дисперсия МГД-оценки, если последняя существует. Согласно данному определению, эффективность любой оценки

0 < Э (I) < 1.

Обычно второй подход используется для больших выборок. Поэтому для нашей задачи создания ограниченной по количеству группы п экспертов второй подход неприемлем. Однако, как было показано выше, оценки математического ожидания и дисперсии являются МГД-оценками и поэтому эффективны.

Достаточность. Иногда возникает вопрос: а все ли возможности мы использовали в поиске наиболее информативных статистик? Ответ на этот вопрос дает понятие достаточной статистики.

Зачастую возникает ситуация, когда некоторая статистика I настолько информативна, что получение новых статистик ^ !2... ничего не добавляет к знаниям о параметре 0, полученным на основании исходной статистики. Такая статистика называется достаточной, и для ее нахождения используется критерий факторизации, налагающий ограничения на функцию правдоподобия. Если последняя может быть представлена в виде произведения двух сомножителей

L(x1,..., хп ;0) = g МХ ^..^ хп \ (17)

где g(!;0) — некоторая функция от I и 0, а второй сомножитель от параметра 0 не зависит, тогда I — достаточная статистика.

Сравнивая выражения (17) и (12), можно убедиться, что МГД-оценка существует, только когда имеется достаточная статистика. Таким образом, рассмотренные нами выборочное среднее и выборочная дисперсия являются достаточными статистиками.

Как показано, для случая нормального распределения мнений экспертов эти статистики состоятельны, несмещены, эффективны и достаточны. Однако вычисление только этих двух характеристик не достаточно для проведения надежной экспертизы. Можно с уверенностью утверждать, что по самой своей сути распределение оценок экспертов либо является нормальным, либо близко к нормальному. Для определения степени этой близости в ходе экспертного ^-эксперимента необходимо рассмотрение дополнительной информации. Вычислительно это связано с рассмотрением моментов распределения более высоких порядков.

Используя свойства интеграла Стилтьеса, определим центральный момент V-го

порядка т и его выборочный аналог ШУ [4]:

¥ 1 п

т = I (х - Мх уж (х), Шу = - У (х - X у . (18)

-¥ п :=1

В симметричном распределении каждый центральный момент т у нечетного порядка равен нулю. Поэтому любой такой момент, не равный нулю, можно рассматривать как характеристику асимметрии этого распределения. Простейшим из них является, естественно, т з. После приведения его к безразмерному виду в качестве меры асимметрии получим

, (19)

где % — коэффициент асимметрии. В случае симметричных распределений ^ = 0. Если распределение «скошено» вправо, %> 0, а если влево, %< 0. Выборочный аналог % имеет вид У\ = ш3 / с3.

В экспертных приложениях отличие коэффициента асимметрии от нуля свидетельствует о необъективности оценок экспертов, вызванных разными причинами: прямое указание руководителя организации, недоверие к авторитету фирмы-производителя, страна изготовления, плохая (или, наоборот, слишком хорошая) реклама, взаимозависимость части экспертов от поставщика изделия и т.д. Эти факторы нарушают чистоту э ксперимента.

Коэффициент эксцесса у2 и его выборочный аналог у2

^4 о — Ш4 ^ /лЛ\

У2 = — - 3; у =-4 - 3 (20)

С4 с

характеризуют поведение распределения вероятностей вблизи среднего значения. Для нормального распределения коэффициент эксцесса равен нулю. Положительное значение у2 свидетельствует о том, что выборочные значения более плотно сгруппированы вокруг среднего, чем для случая нормального распределения. Отрицательное значение у2 характеризует большее рассеяние выборочных значений от среднего, чем для случая нормального распределения.

В экспертных приложениях первая ситуация встречается, как правило, если выборочное среднее оказывается либо в самом начале шкалы оценок, либо в самом конце. Это свидетельствует о предвзятости мнений экспертов или о прямом указании руководства.

Вторая ситуация имеет свой аналог в радиотехнике. Известно, что при прохождении дискретных сигналов через канал связи с переходными искажениями, последние играют роль дополнительных помех по сравнению с обычным белым шумом. Поэтому и в экспертных приложениях отрицательные значения у2 свидетельствуют о наличии отвлекающих или мешающих факторов в работе экспертной группы, которые можно также считать дополнительным «шумом» экспертных оценок. Такими факторами могут быть: плохая организация эксперимента, невозможность одновременно ознакомиться со всеми предлагаемыми объектами, отсутствие необходимой справочной документации и т. д.

Выше мы охарактеризовали смысл коэффициентов асимметрии и эксцесса лишь качественно. Обоснуем далее их значение с математической точки зрения.

Пусть оцениваемые признаки объекта экспертизы имеют плотность распределения вероятностей Ж (х), близкую к плотности р (х) нормального распределения с математическим ожиданием а и дисперсией с2. Такую плотность можно представить в виде ряда Эджворта :

Ж (х) = р(х)У 1 С НV 1 , (21)

У0 п! с { с )

где Ну (г) — одномерные полиномы Чебышева — Эрмита

Ну(1) = (- 1у е’г2 е"г2, п = 0, 1, 2, ... (22)

аг

В экспертных приложениях функцию Ж (х) нужно знать лишь с разумной мерой точности. Поэтому в выражении (21) можно ограничиться конечным числом членов ряда. В работе [6] показано, что с учетом ортогональности полиномов Чебышева — Эрмита с весовой функцией ехр (- 0,5 г2) коэффициенты

Ь 0 = 1, Ь 1= 0, Ь 2 =0, Ь3 =ус3, Ь4= у2с4, (23)

где у, у2 — коэффициенты асимметрии и эксцесса.

Тогда с достаточной степенью точности можно ограничиться пятью членами ряда (23), а с учетом обращения в нуль коэффициентов Ь 1, Ь 2 — всего тремя слагаемыми:

Величина второго слагаемого определяется коэффициентом асимметрии у, а третьего — коэффициентом эксцесса у2. Как видим, даже в случае разложения исследуемой плотности вероятностей Ж(х) по системе ортогональных функций основную роль в характеристике отличия от нормального распределения играют именно эти коэффициенты.

ЛИТЕРАТУРА

1. Кендалл М. Дж. Ранговые корреляции / М. Дж. Кендалл.— М.: Статистика, 1975. — 220 с.

2. Кендалл М. Дж. Статистические выводы и связи / М. Дж. Кендалл, А. Стьюарт. — М.: Наука, 1973. — 899 с.

3. Слуцкин Л.Н. Обобщенный метод моментов / Л.Н. Слуцкин // Прикладная эконометрика. — 2007. — № 3(7). — С. 119—133.

4. Крамер Г. Математические методы статистики / Г. Крамер.— М.: Мир, 1975.— 648 с.

5. Уилкс С. Математическая статистика: монография / С. Уилкс. — М.: Наука, 1967. — 632 с.

6. Тихонов В.И. Статистическая радиотехника / В.И. Тихонов.— М: Сов. радио, 1966. — 678 с.