СТАТИСТИЧЕСКИЙ АНАЛИЗ ЭКСПЕРТНЫХ ОЦЕНОК Текст научной статьи по специальности «Компьютерные и информационные науки»

Коростелева О.Н., Савинов Г.В. СТАТИСТИЧЕСКИЙ АНАЛИЗ ЭКСПЕРТНЫХ ОЦЕНОК

Аннотация. В статье рассматриваются вопросы анализа информации, которая формируется в результате проведения экспертизы объектов оценивания. Предлагается статистический подход к анализу количественных экспертных оценок, который позволяет не только получить экспертную оценку, но и оценить ее достоверность. Развиваемый подход дает возможность выявлять ситуации, когда у части экспертов имеется особое мнение. Показано как получить альтернативную экспертную оценку, характеризующую мнение таких экспертов и оценить количество экспертов, имеющих особое мнение по оцениваемому объекту. Приведен пример анализа экспертных данных на основе предлагаемого подхода.

Ключевые слова. Экспертная группа, особое мнение, случайная величина, закон распределения, статистические данные, доверительная вероятность, уровень значимости, проверка гипотезы.

Korosteleva O.N., Savinov G. V. STATISTICAL ANALYSIS OF EXPERT ASSESSMENTS

Abstract. The article considers the analysis of information obtained as a result of expert evaluation of objects under assessment. It suggests statistical approach to the analysis of quantitative expert evaluations which allows not only to obtain expert evaluation, but also to estimate its reliability. The developed approach makes it possible to identify situations where some experts have a dissenting opinion. It is described how to receive an alternative expert evaluation specifying such expert opinion and to estimate the number of experts having a dissenting opinion on the object under assessment. The example of expert data analysis based on the suggested approach is provided.

Keywords. Expert group, dissenting opinion, random variable, statistical law, statistical data, confidence figure, significance point, hypothesis test.

Введение

Экспертиза - это неотъемлемая часть любой практической деятельности. Её использование целесообразно в тех случаях, когда невозможно непосредственно количественно измерить результаты или качество некоторой выполняемой работы. Экспертиза также широко используется для оценки последствий предполагаемых действий и при решении задач, связанных с прогнозом результатов. Необходимость в применении экспертизы возникает в силу целого ряда причин, среди которых выделим случайные факторы природного характера и факторы, связанные с человеческой деятельностью.

Неопределенности природного характера помогает исследовать статистика, к экспертизе, при оценке таких факторов, прибегают, обычно, в случае отсутствия достоверных статистических данных.

ГРНТИ 27.35.33 EDN OMZPOO

© Коростелева О.Н., Савинов Г.В., 2023

Ольга Николаевна Коростелева - старший преподаватель кафедры высшей математики Санкт-Петербургского государственного экономического университета.

Геннадий Володарович Савинов - доктор технических наук, профессор кафедры высшей математики Санкт-Петербургского государственного экономического университета.

Контактные данные для связи с авторами (Коростелева О.Н.): 191023, Санкт-Петербург, ул. Садовая, 21 (Russia, St. Petersburg, Sadovaya str., 21). Тел.: 8 (812) 500-43-08. E-mail: olnikol67@mail.ru. Статья поступила в редакцию 10.04.2023.

Деятельность же человека всегда содержит элемент неопределенности в силу разнообразия целей, которые он пытается достичь, уровня его компетенции и информированности. Поэтому экспертиза результатов человеческой деятельности или планов такой деятельности - это постоянно решаемая на практике задача, от качества выполнения которой многое зависит.

Методические основания исследования

В данной статье исследуется вопрос об анализе той информации, которая формируется при экспертизе объектов оценивания. Здесь под объектами оценивания понимаются качество и результаты функционирования различных систем, проектов, результатов научных исследований, социальных и иных процессов.

Так как к экспертизе прибегают в тех случаях, когда эффективность исследуемого объекта не может быть непосредственно измерена, то целью экспертизы является получение обоснованной количественной оценки, характеризующей рассматриваемый объект. Вопрос обоснованности результатов экспертизы является исключительно важным, и для его решения следует проводить детальный анализ всей информации, получаемой от экспертов. На практике же часто ограничиваются получением средних оценок, а вопросы их достоверности просто не рассматриваются.

Каждая экспертная группа может состоять из экспертов разной квалификации, информированности и заинтересованности в результатах экспертизы, которые по-разному оценивают качество объекта экспертизы. Очевидно, что количество привлекаемых экспертов не может служить мерой эффективности экспертной группы, поэтому возникает задача оценки достоверности полученных количественных оценок, характеризующих результаты экспертизы.

В первую очередь, качество экспертизы зависит от эффективности самой экспертной группы. Применительно к работе экспертных советов, вопрос об анализе состава экспертов на их эффективность исследовался в работах [1, 2]. Кроме того, достоверность полученной экспертной оценки зависит от методики обработки информации, получаемой в процессе экспертизы.

Под результатом проведения экспертизы обычно понимается единая обоснованная количественная оценка объекта экспертизы или констатация того факта, что мнения экспертов разошлись, поэтому получить обоснованную оценку невозможно. Однако на практике часто встречается такая ситуация, когда у части экспертов имеется особое мнение. Это означает, что всех экспертов можно разделить на две группы, у каждой из которых имеется обоснованная количественная оценка объекта экспертизы, но эти оценки разные. Таким образом, возникает проблема идентификации ситуации с особым мнением экспертов, а также определения объективных оценок объекта экспертизы для основной массы экспертов и тех, кто имеет особое мнение.

В данной работе будем рассматривать следующую схему организации экспертизы. Пусть для проведения экспертизы привлечено п экспертов. Каждый из них дает количественную оценку х^, (I = 1,2,...п) объекту экспертизы. Не умаляя общности, можно считать, что х^ 6 [0; 1], I = 1,2,...п. Будем также считать, что различия в оценках экспертов вызваны разным объемом информации у каждого эксперта по свойствам оцениваемого объекта и субъективностью при обработке этой информации. Предположим, что у оцениваемого объекта есть объективная оценка его эффективности а. Таким образом, исключается случай, когда у части экспертов имеется особое мнение. Тогда оценки экспертов можно представить в виде:

х; = а + , I = 1,2,... п,

где - ошибка в оценке, вызванная, как уже отмечалось, неполнотой информации и различиями в ее обработке.

Так как информация о причинах и механизме формирования каждой ошибки оценивания отсутствует, то оценки экспертов можно рассматривать, как реализации некоторой случайной величины X. Будем предполагать, что математическое ожидание этой случайной величины М(Х) = а, а дисперсия й(Х) = а2. Тогда, рассматривая оценки экспертов как отдельные независимые реализации случайной величины X, получаем, что среднее выборочное может быть оценено по формуле:

- _ 1 Х"1^

хв = х1-

Эта величина будет стремиться по вероятности к значению оценки а (см., например [3]). Это означает, что если эксперты независимо друг от друга дают свои оценки исследуемому объекту, то чем

больше будет привлечено экспертов, тем вероятнее, что ошибка в итоговой оценке будет незначительной. В данной работе ставится задача анализа полученной совокупности экспертных оценок для получения числовых характеристик, наиболее полно отражающих свойства оцениваемого объекта. В рамках описанной выше модели анализ результатов экспертизы сводится к анализу свойств случайной величины X и их правильной трактовке. Результаты

При анализе свойств случайных величин прежде всего исследуют свойства их закона распределения и затем оценивают числовые характеристики случайной величины. Будем считать, что количество экспертов достаточно большое, что позволяет провести полноценный статистический анализ случайной величины X. Пусть также задана необходимая точность экспертизы £. Тогда полученная в результате экспертная оценка ^ должна удовлетворять неравенству:

1а-^1<е, (1)

что равносильно утверждению, что объективная оценка лежит в пределах:

%-е<а<% + £.

Так как оценка ^ - величина случайная, то условие (1) выполняется с некоторой вероятностью. Эта доверительная вероятность р0 также должна быть задана. Таким образом, должно выполняться неравенство для вероятностей

р(1а-^<£)>ро. (2)

Если хотя бы одно из условий (1) или (2) не выполнено, то результаты экспертизы следует признать недостоверными.

Если число экспертов не позволяет исследовать закон распределения случайной величины X, то можно воспользоваться стандартной методикой построения доверительного интервала для нормально распределенной случайной величины на основе среднего выборочного хв = % и выборочной дисперсии йв (см., например [3]).

Рассмотрим случай, когда экспертов много и их оценок достаточно для анализа закона распределения случайной величины X. Пусть с доверительной вероятностью ро установлено на основе результатов экспертизы %1, (£ = 1,2,... п), что закон распределения случайной величины X имеет, например, вид: /(х) = (хв, ав, х), где функция /(хв, ав, х) задает нормальный закон распределения. Тогда естественно принять, что оценка % = хв, и строить доверительный интервал стандартным образом [3].

Особый интерес представляет случай, когда у части экспертов имеется мнение, отличное от мнения большинства. Если такие эксперты имеют консолидированное мнение и их достаточное количество, то можно говорить о наличии особого мнения у части экспертов. Таким образом, возникает проблема определения наличия особого мнения и оценки его значимости.

Для решения этой задачи представим исходную случайную величину, характеризующую мнение экспертов, как смесь двух случайных величин. Пусть законы распределения каждой случайной величины нормальные и имеют вид: Д (а1, аг, х) и /2(^2, °2,х), где а1 и а,2 - это математические ожидания, а а1 и а2 - средние квадратические отклонения, определяющие параметры законов распределения. Закон распределения такой смеси случайных величин будет представлять собой линейную комбинацию законов распределения составляющих. А именно:

/(Л,а,1,а2,01,02,х) = Л^а^ аъ х) + (1 — Л)^¡2(0,2,02, х), где 0 < Л < 1. Параметр Л определяет долю объектов, принадлежащих к первому классу, а величина (1 — Л) определяет долю объектов, принадлежащих второму классу.

Для определения параметров а1, а2 и Л необходимо ввести некоторый критерий, оценивающий меру расхождения выборочных данных и гипотетического распределения, определяемого равенством (1). Оптимизация выбранного критерия и позволит определить неизвестные параметры. В качестве такого критерия целесообразно использовать функцию правдоподобия или критерий Пирсона

Если воспользоваться принципом максимального правдоподобия, то будем выбирать параметры а1, а2 и Л так, чтобы функция правдоподобия была бы максимальной. Функция правдоподобия в данном случае будет следующей:

Р(Л,а1,а2) = П?=1(ЛГ1(а\хд + (1 — ЛШа2,х{)), а задача оптимизации для определения параметров примет вид:

тах¥(Л, а1, а2) = Р(Хори а1ори а1ор1). (3)

Если используется критерий Пирсона, то, задавшись уровнем значимости у и набором значений

кр

Л,а1,а2

ется критерий

параметров а1, а2 и Л, определяют критическое значения критерия х\п и сравнивают с х\аб (наблю-

даемым значением критерия). В случае, если выполнено условие:

Хнаб < X кр,

то считается, что выбранные значения параметров а1, а2 и Л не противоречат статистическим данным с выбранной вероятностью ошибки, определяемой уровнем значимости.

Для получения более достоверной информации о структуре исследуемых статистических данных, параметры закона распределения могут быть оптимизированы. Для этого следует вместо решения задачи (2) минимизировать значения критерия X2 наа, решая задачу:

На (4)

т1п2Х2(Л[(а1, х) + (1 — Л)12(а2,х)),Х) = Х2(Лор^а^р^а^р^Х).

Л,а1,а2

Задачи (3) и (4) могут быть решены методами прямой оптимизации. Рассмотрим теперь, какие же выводы можно сделать из полученной в результате структурного анализа информации. Если 0 < Л < 1, то тогда всю совокупность элементов рассматриваемой выборочной совокупности X можно представить, как объединение элементов из двух классов Х1 и Х2, т.е.:

X = Х1 их2.

Статистическая оценка числа элементов в первом классе п1 будет п1 = Лп, а оценка числа элементов второго класса П2 = (1 — Л)п, где п - общее число элементов в исходной выборочной совокупности. Таким образом, можно оценить число экспертов, имеющих особое мнение. Если принять параметры а1, а2 за результирующие экспертные оценки, то для каждой из них можно построить свой доверительный интервал на основе выбранной доверительной вероятности р0. Если эти интервалы не пересекаются, то есть если выполняются условия:

1а1 —е, 1а2 — ^1<£ и 1а1 — а21> е, то следует признать, что установлено, что у части экспертов имеется особое мнение. Если же доверительные интервалы пересекаются, то есть выполняется условие:

1а1 — а21< е,

то следует признать, что нет достаточных оснований считать, что особое мнение значимо отличается от мнения большинства экспертов.

Возможность выявить наличие особого мнения у части экспертов и оценить его значимость создает условия проведения экспертизы на качественно новом уровне. Так как излагаемая методика требует наличия достаточно большого числа экспертов, то она может быть применена для анализа результатов опросов или определения структуры данных. Последняя проблема исследовалась в работе [4]. Апробация предложенной методики

Рассмотрим пример. Пусть данные экспертизы представлены в виде интервального вариационного ряда, приведенного в таблице. Обработка данных таблицы дает значение для среднего выборочного Хв = 0.60 и выборочного среднего квадратического отклонения ав = 0.188.

Таблица

х1-1 х1 0.2-0.3 0.3-0.4 0.4-0.5 0.5-0.6 0.6-0.7 0.7-0.8 0.8-0.9 0.9-1.0

1 7 13 6 5 8 8 2

Будем предполагать, что случайная величина Х, определяющая результаты экспертизы, имеет нормальный закон распределения, заданный функцией [(а, а, х), где а - математическое ожидание, а а -среднее квадратическое отклонение. Проверка гипотезы о том, что случайная величина, заданная в таблице, имеет нормальный закон распределения с параметрами а = 0.60 и а = 0.188 по критерию Пирсона с уровнем значимости у = 0.05 дает значение Х2Наб = 13.03 и значение Х2кр = 11.07. Таким образом, не подтверждается гипотеза о том, что рассматриваемые данные имеют нормальный закон распределения.

Попробуем объяснить данные наблюдения, рассматривая их, как смесь двух случайных величин, имеющих нормальные законы распределения. Представим гипотетический закон распределения в виде:

/(х) = 0.6/(0.45,0.1,х) + 0.4/(0.75,0.1,х). Проверка гипотезы о том, что случайная величина, заданная в таблице 1, имеет указанный закон распределения по критерию Пирсона с уровнем значимости у = 0.05 дает значение Х2наб = 4.02 и значение х\р = 14.067. Таким образом, предложенный закон распределения не противоречит статистическим данным.

Из полученного результата следует, что с уровнем значимости 0.05 можно считать, что 60% экспертов дает оценку исследуемого объекта равную 0.45, а 40% экспертов имеет особое мнение и дает оценку 0.75. Доверительные интервалы с доверительной вероятностью 0.95 для оценок а1 и а2 будут следующими:

0.414 < а1 < 0.486 и 0.706 < а2 < 0.794. Так как эти интервалы не пересекаются, то следует признать факт наличия группы экспертов, имеющих особое мнение установленным. Что касается количественного состава группы экспертов, имеющих особое мнение, то здесь есть неопределенность. Действительно, если представить закон распределения экспертных данных в виде:

/(х) = 0.65/(0.45,0.1,х) + 0.35/(0.75,0.1,х), то проверка гипотезы о том, что случайная величина, заданная в таблице, имеет указанный закон распределения по критерию Пирсона с уровнем значимости у = 0.05 дает значение Х2наб = 5.76 и значение х\р = 14.067. Таким образом, и этот закон распределения не противоречит статистическим данным.

Из полученного результата следует, что с уровнем значимости 0.05 можно считать, что 65% экспертов дает оценку исследуемого объекта равную 0.45, а 35% экспертов имеет особое мнение и дает оценку

0.75. Полученный результат показывает, что количественный состав экспертов, имеющих особое мнение, определяется приближенно. Минимизируя Я2шб, можно получить наиболее вероятное значение параметра А, определяющего соотношение между экспертами разных групп, однако для практических целей это вряд ли целесообразно.

Заключение

С практической точки зрения, сам факт выявления особого мнения у части экспертов указывает на серьезные различия у экспертов в оценке какого-либо фактора, и возникает задача его выявления и специального анализа его свойств. После такого анализа можно понять причины возникновения особого мнения. Если такой причиной является различный уровень квалификации экспертов, то следует заменить данную группу экспертов на другую, не содержащую экспертов с низкой квалификацией. Если же выделенный фактор просто недостаточно изучен и информации о нем недостаточно для его объективной оценки, то следует предоставить экспертам необходимую дополнительную информацию и провести повторную экспертизу.

В заключение отметим, что предлагаемый подход к обработке результатов экспертизы должен быть особенно эффективным при экспертизе нестандартных объектов, так как он позволяет определить пути получения обоснованных экспертных оценок в случаях, когда у экспертов нет единого мнения.

ИСПОЛЬЗОВАННЫЕ ИСТОЧНИКИ

1. Коростелева О.Н. Оценка эффективности экспертных групп при проведении экспертизы научно-квалификационных работ // Социология науки и технологий. 2017. Т. 8, № 3. С. 87-99.

2. Коростелева О.Н. Математико-статистический анализ работы диссертационных советов // Известия СПбГЭУ. 2017. № 2. С. 135-138.

3. Гмурман В.Ю. Теория вероятности и математическая статистика. М.: Юрайт, 2023. 479 с.

4. Коростелева О.Н., Савинов Г.В. Анализ структуры экспертных групп для оценки эффективности их деятельности // Известия СПбГЭУ. 2021. № 1. С. 137-142