АНАЛИЗ СТРУКТУРЫ ЭКСПЕРТНЫХ ГРУПП ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИХ ДЕЯТЕЛЬНОСТИ Текст научной статьи по специальности «Экономика и бизнес»

Коростелева О.Н., Савинов Г.В.

АНАЛИЗ СТРУКТУРЫ ЭКСПЕРТНЫХ ГРУПП ДЛЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИХ ДЕЯТЕЛЬНОСТИ

Аннотация. В статье рассматриваются вопросы оценки качества работы экспертных групп, которые привлекаются для анализа проектов, результатов научных исследований, социальных процессов и т.п. В работе для получения количественной оценки эффективности экспертной группы был выполнен анализ процесса научной экспертизы. Показано, что объективная оценка эффективности такой экспертизы может быть получена только с помощью анализа структуры экспертной группы. В основе разработанной методики анализа структуры экспертных групп лежит идея анализа законов распределения показателей, характеризующих работу экспертов. Эффективность предлагаемой методики подтверждена выполненным анализом структуры диссертационных советов.

Ключевые слова. Экспертная группа, эффективность, структура, закон распределения, статистические данные, проверка гипотезы, диссертационный совет, показатель активности.

Korosteleva O.N., Savinov G.V.

ANALYSIS OF THE STRUCTURE OF EXPERT GROUPS TO ASSESS THE EFFICIENCY OF THEIR ACTIVITY

Abstract. The article presents the assessment of quality of the work performed by the expert groups that are involved in the analysis of projects, research results, social processes, etc. To obtain a quantitative assessment of the expert group efficiency, an analysis of the scientific expertise process was carried out. It is shown that an objective measurement of the efficiency of such an examination can be obtained only by analyzing the expert group structure. The analysis methodology is based on the idea of evaluation the distributive laws offactors specifying the work of experts. The efficiency of the proposed methodology is confirmed by the performed analysis of the dissertation councils' structure.

Keywords. Expert groups, efficiency, structure, distributive law, statistics, hypothesis testing, dissertation councils, activity index.

Введение

Экспертиза - это неотъемлемая часть любой деятельности. Её использование целесообразно в тех случаях, когда невозможно непосредственно количественно измерить результаты того или иного процесса. Такая ситуация возникает в силу целого ряда причин, среди которых выделим случайные факторы природного характера и факторы, связанные с жизнедеятельностью. Деятельность человека всегда содержит элемент неопределенности в силу разнообразия целей, которые он пытается достичь. Поэтому экспертиза результатов человеческой деятельности или планов такой деятельности - это постоянно решаемая на практике задача, от качества выполнения которой многое зависит. В данной ста-

ГРНТИ 27.35.33

© Коростелева О.Н., Савинов Г.В., 2021

Ольга Николаевна Коростелева - старший преподаватель кафедры высшей математики Санкт-Петербургского государственного экономического университета.

Геннадий Володарович Савинов - доктор технических наук, профессор кафедры высшей математики Санкт-Петербургского государственного экономического университета.

Контактные данные для связи с авторами (Коростелева О.Н.): 191023, Санкт-Петербург, ул. Садовая, д. 21 (Russia, St. Petersburg, Sadovaya str., 21). Тел.: 8 (812) 310-18-35. E-mail: olnikol67@mail.ru. Статья поступила в редакцию 01.02.2021.

тье исследуется вопрос об оценке качества работы экспертных групп, которые привлекаются для оценки проектов, результатов научных исследований, социальных процессов и т.п.

Методика исследования

Каждая экспертная группа состоит из экспертов разной квалификации, которые по-разному относятся к каждой конкретной экспертизе. Поэтому количество привлекаемых экспертов не может служить мерой эффективности экспертной группы: одно и то же количество экспертов может проводить экспертизы с разной эффективностью. Поэтому возникает задача получения количественных оценок, характеризующих эффективность работы экспертных групп.

В настоящее время чаще всего оценка качества каждой экспертной группы проводится на основе субъективных оценок других экспертов. Поэтому возникает необходимость использования формальных методов исследования для получения объективных оценок возможностей различных экспертных групп и качества проводимых ими экспертиз. Для получения количественной оценки эффективности экспертной группы был выполнен анализ процесса научной экспертизы. Показано, что объективная оценка эффективности такой экспертизы может быть получена только с помощью анализа структуры экспертной группы. Наличие структуры у экспертной группы связано с тем, что часть экспертов пассивно относится к своим обязанностям, вследствие чего вклад их в процесс экспертизы минимален. Экспертиза может быть эффективной только при разумной доле пассивных экспертов в составе экспертной группы.

На примере анализа работы диссертационных советов [1] установлено, что эффективность всего процесса экспертизы зависит от того, как проходит экспертиза у каждой выделенной группы экспертов, а также от структуры, определяемой различием величин вклада экспертных групп в основной процесс. В указанной работе предложены количественные оценки процесса экспертизы, учитывающие структуру привлеченных экспертов, а также методика оценки потенциальной возможности экспертной группы по проведению экспертизы научно-квалификационных работ, в основу которой положены идеи учета структуры постоянных членов диссертационных советов.

На основе идей дискриминантного анализа разработана методика выделения активных экспертов из постоянных членов экспертной группы, которые проявляют интерес к большинству проводимых экспертиз и принимают активное участие в обсуждении и формировании окончательной оценки. Полученная методика была применена к данным ряда диссертационных советов одного из университетов [2]. Выявленный качественный состав диссертационных советов показал, что в некоторых из них количество активных членов является недостаточным для эффективной экспертизы.

Получены оценки потенциальных возможностей диссертационных советов, из которых следует, что одна и та же экспертная эффективность диссертационного совета может быть достигнута при участии ограниченного числа экспертов. Количественные оценки потенциальной эффективности существующих диссертационных советов указывают на возможность сокращения числа постоянных членов диссертационных советов и замены их жюри без снижения общей эффективности оценивания диссертационных работ. Установлено необходимое число членов жюри, обеспечивающее такую же эффективность проведения процесса экспертизы научно-квалификационной работы, как и классический диссертационный совет.

В этой статье для выявления и анализа структуры экспертных групп предлагается другой подход, принципиально отличающийся от используемого в [1]. В основе разработанной методики лежит идея анализа законов распределения показателей, характеризующих работу экспертов. Результаты

Одной из основных задач, решаемых при анализе статистических данных, является задача определения закона распределения исследуемой случайной величины. Для ее решения, как правило, выдвигается гипотеза о виде закона распределения и значениях его параметров. Затем при заданном уровне значимости проверяется соответствующая гипотеза. И если нет оснований не принимать проверяемую гипотезу, то считается, что закон распределения определен. Если же при заданном уровне значимости гипотеза о выбранном законе распределения не подтверждается, то обычно возникает вопрос о замене гипотезы о виде закона распределения.

На наш взгляд такой путь весьма сомнителен. Вид закона распределения предлагался на основе знания свойств исследуемой случайной величины, и менять его нет оснований. Причину, приводящую

к такой ситуации, следует искать в свойствах статистических данных. Часто исходные статистические данные не являются однородными и представляют собой наблюдения не одной случайной величины, а нескольких, обычно двух или трех. Эти случайные величины могут быть неразличимы, и их рассматривают как значения одной и той же случайной величины.

Поясним сказанное на примере. Пусть случайная величина характеризует спрос на некоторый товар. Иными словами, случайная величина X - это годовые затраты одного потребителя на приобретение данного товара. Для большинства товаров закон распределения X можно приближенно считать нормальным законом распределения. Однако, есть товары, которые одни потребители приобретают в большом количестве, а другие в малом. К таким товарам можно отнести, например, модные вещи. Одни потребители активно следует моде, а другие не обращают на нее внимание.

Если потребителей промежуточной ориентации мало, то случайная величина X, по сути, является смесью двух случайных величин: Хг, определяющей спрос потребителей, следующих за модой и Х2, определяющей спрос потребителей, не следующих за модой. Заметим, что при статистическом анализе у проводивших исследование не было возможности отличить потребителей, следующих моде, от потребителей, не следующих моде. Даже если бы проводился предварительный опрос потребителей, он мог не помочь прояснить ситуацию, так как сами потребители в своем большинстве не задумываются, следуют они моде или нет.

Аналогичная ситуация может складываться в случае, когда выборочную совокупность образуют потребители из разных регионов или разного возраста. Таким образом, имеется фактор, который влияет на закон распределения исследуемой случайной величины. При разных уровнях такого фактора исследуемая случайная величина может иметь значимые различия в законе распределения, что и приводит к возникновению описанной выше ситуации. Применение методов дисперсионного анализа [3] позволило бы оценить степень влияния этого фактора, но в данном случае это невозможно сделать, так как нет возможности выделить наблюдения, подверженные влиянию рассматриваемого фактора.

Таким образом, можно сделать вывод о том, что смеси случайных величин образуются по объективным причинам, не позволяющим учитывать факторы, влияющие на свойства исследуемых случайных величин. Кроме того, статистические данные могут содержать грубые ошибки или аномальные наблюдения. В ряде случаев их появление связано с попаданием в статистические данные величин, аналогичных исследуемой величине, но наблюдаемых при других условиях. Следовательно, возникает задача изучения таких смесей. И ключевым вопросом является вопрос о структуре смесей, об определении доли каждой составляющей и ее свойствах. Иными словами, необходимо ответить на вопрос: имеют ли выборочные данные структуру, т.е. можно ли разделить их на две или более групп со значимо различными свойствами, в смысле параметров закона распределения, и оценить эти различия.

Рассмотрим некоторый набор выборочных данныхх^, I = 1,2,...п, хг сХ, характеризующих исследуемую случайную величину. Рассмотрим для простоты смесь двух случайных величин. Пусть законы распределения каждой случайной величины имеют вид: /1(а1,х) и /г(я2,х). Векторы а1 и а2 определяют параметры законов распределения. Закон распределения такой смеси случайных величин будет представлять собой линейную комбинацию законов распределения составляющих. А именно

/(Я,а1,а2,х) = Я/1(а1,х) + (1 - Я)/2(а2,х) , (1)

где 0<А < 1 - доля объектов, принадлежащих к первому классу.

Для определения параметров а1, а2 и А необходимо ввести некоторый критерий, оценивающий меру расхождения выборочных данных и гипотетического распределения, определяемого равенством (1). Оптимизация выбранного критерия и позволит определить неизвестные параметры. В качестве такого критерия целесообразно использовать функцию правдоподобия или критерий Пирсона х2. Если воспользоваться принципом максимального правдоподобия, то будем выбирать параметры а1, а2 и А так, чтобы функция правдоподобия была бы максимальной. Функция правдоподобия в данном случае будет:

F(Лa1,a2) = П7Г=1(АГ1(а1,х1) + (1 - А)/2(а2,х0) .

А задача оптимизации для определения параметров примет вид:

тах/(А, а1,а2)=F(/l0pt,аopt,а2pt) . (2)

Если используется критерий Пирсона, то, задавшись уровнем значимости у и набором значений параметров а1, а2 и А, определяют критическое значения критерия Х2кр и сравнивают с Х2нав ~

наблюдаемым значением критерия. В случае, если х2ав <Х2кр, то считается, что выбранные значения

параметров а1, а2 и А не противоречат статистическим данным с выбранной вероятностью ошибки, определяемой уровнем значимости.

Для получения более достоверной информации о структуре исследуемых статистических данных параметры закона распределения могут быть оптимизированы. Для этого следует вместо решения задачи (2) минимизировать значения критерия X2нав, решая задачу:

т1П7Х2(Л[1(а1,х) + (1-А)Ъ(а2,х)),Х) = . (3)

Л,а1,а2

Задачи (2) и (3) могут быть решены методами прямой оптимизации (см., например, [4]). Заметим, что на неизвестные параметры могут быть наложены ограничения, например, в виде требования равенства среднеквадратических отклонений заданному значению. Кроме того, можно рассмотреть ограничения в виде неравенств. Например, можно воспользоваться ограничением

\аг — а21 >с,

где с определяет уровень необходимого отличия одного класса от другого.

Наложение ограничений на оптимизируемые параметры, конечно, усложнит решение задачи и потребует использования методов нелинейного программирования.

Рассмотрим теперь, какие же выводы можно сделать из полученной в результате структурного анализа информации.

Во-первых, если 0<Л < 1, то тогда всю совокупность элементов рассматриваемой выборочной совокупности X можно представить, как объединение элементов из двух классов Хг и Х2, т.е.:

Я = Хг 11Х,.

Статистическая оценка числа элементов в первом классе щ будет щ = Ап, а оценка числа элементов второго класса п2 = (1 — А)п, где п - общее число элементов в исходной выборочной совокупности. Для каждого наблюдения хг, £ = 1,2, ...п можно определить вероятности р* и р? его принадлежности каждому из классов:

1 _ ЯДСаУО 9 _ (З-Л-Ша2,*!) (4)

Если же рассматривается новое наблюдение хг, то нет оснований использовать полученные оценки числа элементов каждого класса и следует считать А = 0.5, то есть исходить из равной возможности принадлежности рассматриваемого элемента к любому классу. В этом случае формулы (4) примут вид:

„1 _ АО1,*;) „2 _ АС"2,*;) (5)

Если, как это делается в дискриминантном анализе (см., например, [5, 6]), требуется сформулировать правило, которое позволяло бы отнести рассматриваемое наблюдение к определенному классу, то естественно определять принадлежность каждого наблюдения к определенному классу, сравнивая значения плотностей распределения. Если окажется, что:

Ъ(а1,х1)>Ъ(а2,х1) ,

то следует признать, что наблюдение принадлежит к первому классу. В противном случае объект признается принадлежащим ко второму классу. Заметим, что при решении этой задачи методами дискри-минантного анализа используются обучающие множества. Анализируя эти множества, находят дис-криминантную функцию, с помощью которой определяется принадлежность каждого объекта к определенному классу.

Предлагаемая в данной работе методика решения задачи классификации не использует обучающие множества, которые задаются исследователями, проводящими анализ статистических данных. Необходимость проведения классификации в рассматриваемом подходе и объемы классов определяются из анализа статистических данных. Заметим, что формулы (4) и (5) позволяют не просто классифицировать наблюдения, но и оценить вероятность такой классификации. Предлагаемая методика может использоваться и для анализа эффективности процесса экспертизы. Выявляя структуру в составе исследуемой группы, можно оптимизировать ее состав и повысить качество экспертизы.

Возможности предлагаемой методики были проверены на примере анализа структуры диссертационных советов. Целью такого анализа является выяснение количества активных членов совета, которые и определяют эффективность работы всего совета. Для этого примем в качестве характеристик активности каждого члена диссертационного совета два показателя.

Первый: VI = —, I = 1,2, ...М, где щ - общее число защит, в которых рассматриваемый член со-

п1

вета принимал участие, т; - число защит, на которых рассматриваемый член совета выступал или задавал вопросы (число защит, вызвавших интерес), а N - общее число исследуемых членов советов. Этот показатель определяет долю защит, вызвавших интерес у Ь — го члена совета.

Второй показатель: wi = а'+ь', £ = 1,2,... Ы, где аг - число выступлений на защитах, Ь^ - число за-

п1

данных вопросов. Показатель w определяет среднюю активность рассматриваемого члена совета на защитах.

Распределение показателей активности у исследуемой группы членов диссертационных советов было получено в работе [5] и приведено в таблицах 1 и 2.

Таблица 1

Показатель активности V = 0; 0,2) V = 0,2; 0,4) V = 0,4; 0,6) V = 0,6; 0,8) р = [0,8; 1]

Число членов советов 45 23 28 27 28

Доля членов советов от общего числа 0,29 0,15 0,19 0,18 0,19

Таблица 2

Показатель активности w = 0; 0,5) w = 0,5; 1) w = 1; 1,5) w= 1,5; 2) w> 2

Число членов советов 55 26 28 23 19

Доля членов советов от общего числа 0,36 0,17 0,19 0,15 0,13

Полученные данные указывают на то, что приведенные показатели активности могут иметь равномерный закон распределения. Обозначим через /(а, Ь, х) плотность распределения равномерного закона, заданного на интервале хб [а, Ь]. Проверим гипотезу о том, что закон распределения для показателя активности V задается плотностью /(0,1, х). Проверка этой гипотезы по критерию Пирсона с уровнем значимости у = 0.05 дает значение Х2наб=851 и значение Х2кр=949. Таким образом, гипотеза не может быть отвергнута. Однако, вероятность р(х2 — ХНав) =0.079.

Попробуем объяснить данные наблюдения, рассматривая их как смесь двух случайных величин, имеющих равномерный закон распределения. Представим гипотетический закон распределения в виде: /(х) = 0.3/(0.0,0.2, х) + 0.7/(0.2,1.0, х).

Проверка гипотезы о том, что случайная величина, заданная в таблице 2, имеет указанный закон распределения, по критерию Пирсона с уровнем значимости у = 0.05 дает значение Х2наб=063 и значение х2кр=9 49. Таким образом, предложенный закон распределения не противоречит статистическим данным и р(х2 >Хнав) =0.961.

Следовательно, формально оба закона распределения могут быть приняты, но высокая вероятность достоверности смешанного закона распределения указывает на целесообразность принятия именно этой гипотезы. Это означает, что на основе анализа показателя активности V деление членов диссертационных советов на активных и пассивных целесообразно.

Для показателя w были выполнены аналогичные расчеты. Вначале проверялась гипотеза о том, что закон распределения для показателя активности w задается плотностью /(0,2.5,х). Проверка этой гипотезы по критерию Пирсона с уровнем значимости у = 0.05 дает значение Х2наб =20.54 и значение X2кр=9.49. Таким образом, гипотеза не может быть принята.

Попробуем объяснить данные наблюдения, рассматривая их как смесь двух случайных величин, имеющих равномерный закон распределения. Представим гипотетический закон распределения в виде: /(х) = 0.36/(0.0,0.5, х) + 0.64/(0.5,2.5, х). Проверка гипотезы о том, что случайная величина, заданная в таблице 2, имеет указанный закон распределения, по критерию Пирсона с уровнем значимости у = 0.05 дает значение Х2наб =2.02 и значение х2кр=9.49. Таким образом, предложенный закон распределения не противоречит статистическим данным.

Выполненные расчеты указывают на необходимость деления всех членов ученых советов на два класса. К одному классу следует отнести пассивных членов советов, имеющих минимальные показатели активности, а ко второму классу - членов советов, имеющих большую активностью. При этом оценки числа пассивных членов советов по разным критериям близки и лежат в пределах от 30% до 40% от списочного состава совета. В работе [2] для целей более тонкого анализа структуры членов советов все члены были разделены на три класса. В работе [1] определялись структуры членов реальных советов; средняя доля пассивных членов советов согласуется с выводами данной работы, что подтверждает эффективность предлагаемой методики. Заключение

Выявление и анализ структуры статистически исследуемых случайных величин, на наш взгляд, является важной задачей. Знание структуры исследуемых объектов позволяет правильно понимать процессы, происходящие внутри этих объектов, и управлять ими. Для этих целей могут использоваться различные методики. Основное преимущество предлагаемого метода по сравнению с дискриминант-ным анализом - это отказ от использования обучающих множеств. Определение этих множеств носит субъективный характер и в ряде случаев такой подход нецелесообразен. Отказ от субъективизма при проведении классификации, безусловно, повышает достоверность получаемых результатов. Отметим также, что данный подход может быть применен и к анализу структуры многомерных случайных величин. Однако в этом случае вычислительные затраты возрастут.

ЛИТЕРАТУРА

1. Коростелева О.Н. Оценка эффективности экспертных групп при проведении экспертизы научно-квалификационных работ // Социология науки и технологий. 2017. Том 8, № 3. С. 87-99.

2. Коростелева О.Н. Математико-статистический анализ работы диссертационных советов // Известия СПбГ-ЭУ. 2017. № 2. С. 135-138.

3. Елисеева И.И. Эконометрика. М.: Финансы и статистика, 2001.

4. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике. М.: Мир, 1986.

5. Сошникова Л.А. Многомерные статистические методы. Минск: БГЭУ, 2015. 198 с.

6. Ким Дж.О., Мюллер Ч.У., Клекка У.Р. Факторный, дискриминантный и кластерный анализ. М.: Финансы и статистика, 1989. 215с.