CC BY
4РЕДАКЦИОННЫЙ КОММЕНТАРИЙ К СТАТЬЕ
В статье рассмотрена актуальная для образовательных организаций проблематика, связанная с управлением жизненным циклом электронных образовательных ресурсов (ЭОР). Изложение достаточно последовательное, охват материала соответствует названию работы, библиографический список адекватен ее содержанию.
Можно сделать следующие замечания. 1) В работе используются только диаграммы в нотациях ЦМЬ и ШEF0, а изложение «привязывается» к ним. Однако целесообразность использования именно этих типов диаграмм не обосновывается. Существуют ведь и другие типы диаграмм, которые потенциально для решения рассматриваемых в работе задач. 2) Недостаточно внимания в статье уделено изменениям нормативных документов, определяющих условия деятельности образовательных организаций - в частности постоянным корректировкам требований в Федеральных государственных образовательных стандартах (ФГОС) высшего образования. При этом отметим, что прямые (явные) требования к номенклатуре и содержанию именно ЭОР в ФГОС не ются. 3) В работе фактически не рассматриваются вопросы оценки целесообразности создания новых ЭОР на основе оценки «полноты и качества» совокупности уже существующих разработок - причем не в масштабе конкретного вуза, а России в целом. Это отражает сложившуюся практику, когда почти каждый вуз самостоятельно разрабатывает ЭОР и поддерживает их использование - в т.ч. для обеспечения процессов дистанционного 4) В статье вообще не затрагиваются вопросы «аудита качества» ЭОР, их аттестации независимыми экспертами. Между тем, для «учебников на бумаге», учебных пособий и пр. получение грифов учебно-методических объединений о «допуске» к использованию в учебном процессе является важным показателем, подтверждающим их качество. 5) При характеристике жизненного цикла ЭОР стоило бы что-то сказать и о необходимых усилиях по их информационному продвижению в образовательном пространстве, в т.ч. регистрации в соответствующих фондах. Такая регистрация, кроме того, является наиболее рациональным средством фиксации авторских прав на выполненные разработки. 6) Также в рамках анализа ЖЦ ЭОР можно было бы рассмотреть вопросы обмена ими между вузами-разработчиками и/или о взаимном обеспечении доступа к ЭОР на серверах; об использования ЭОР (включая тестирующие модули) не только для обучения, но и для сертификации (аттестации) специалистов и пр. 7) Вопросы «оптимизации решений», а также технологий проведения такой оптимизации, в работе представлены относительно слабо. Для расчетов в таблице 6 по формуле «1» используются только бинарные («да-нет») оценки показателей программных средств. При переходе к количественным оценкам этих показателей (по полноте/качеству реализации соответствующих функций в программных средствах), результаты выбора по таблице 6 могут измениться. Кроме того, для таблицы 6 будет целесообразно оценить «устойчивость» выбора оптимального решения по отношению к величинам экспертных оценок показателей. 9) В статье ничего не сказано о рисках, связанных с разработкой и использованием ЭОР; управлением этими рисками. Между тем, приведенные в статье диаграммы обеспечивают для этого достаточно удобные возможности - по крайней мере, на качественном уровне.
УДК 519.226 +004.9
КОМБИНАТОРНЫЕ МЕТОДЫ ОБНАРУЖЕНИЯ СОГЛАСОВАННОСТИ СУЖДЕНИЙ ЭКСПЕРТОВ ПРИ ЧИСЛОВОЙ ШКАЛЕ ОЦЕНИВАНИЯ
Статья поступила в редакцию 19.01.2018, в окончательном варианте — 19.02.2018.
Голик Феликс Валентинович, Новгородский филиал Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации. 173003, Российская Федерация, Новгородская область, г. Великий Новгород, ул. Германа, 31,
доктор технических наук, профессор, ORCID https://orcid.org/0000-0002-4208-456X, e-mail: felix.golik@mail.ru
Цель статьи - разработка процедур обнаружения согласованности суждений экспертов (ССЭ) в виде экспертных оценок, полученных при проведении групповых экспертиз в числовых шкалах; определение вероятностных характеристик предложенных процедур и результатов оценивания. Объект исследования - экспертные оценки, полученные в результате проведения групповой экспертизы объектов с оцениванием их на основе использования числовой шкалы. Предмет исследования - оценка ССЭ. В качестве мер согласованности оценок ССЭ при использовании числовой шкалы оценивания применяются среднее значение, медиана, коэффициент вариации величин экспертных оценок. При этом корректную проверку адекватности этих показателей выполнить не удается, поскольку неизвестен закон распределения вероятности оценок. Причина этого - существует связь между показателями ССЭ и видом закона распределения оценок. При полной ССЭ распределение вырожденное, а при его отсутствии - равномерное. В связи с этим предложено вместо количественной оценки ССЭ проверять факт ее наличия. Процедура сводится к проверке гипотезы о законе распределения экспертных оценок. Если распределение незначимо отличается от равномерного, то принимается решение об отсутствии ССЭ. В противном случае считают, что мнения экспертов согласованы. При решении поставленной задачи используется аппарат комбинаторной теории размещений, теории вероятностей и математической статистики. Оценки вероятностных характеристик процедур обнаружения ССЭ получены посредством компьютерного имитационного моделирования. Основные результаты исследования: разработаны конструктивные методы обнаружения ССЭ при использовании числовой шкалы оценивания; предложены процедуры обнаружения ССЭ относительно конкретных объектов и относительно групповой экспертизы в целом; путем компьютерного имитационного моделирования найдены оценки вероятностных характеристик процедур оценивания. Результаты работы могут найти применение при принятии управленческих решений, прогнозировании и долгосрочном планировании в различных сферах деятельности.
Ключевые слова: экспертная оценка, шкала оценивания, согласованность экспертных оценок, критерий «пустых ящиков», статистическая гипотеза, уровень значимости, доверительная вероятность, кривые Пирсона, расстояние полной вариации, компьютерное моделирование, принятие решений, информационные технологии
Графическая аннотация (Graphical annotation)
COMBINATORIAL METHODS FOR IDENTIFYING THE COHERENCE OF EXPERTS' JUDGMENTS WITH A NUMERICAL GRADING SCALE
The article was received by editorial board on 19.01.2018, in the final version — 19.02.2018.
Golik Felix V., Novgorod Branch of the Russian Presidential Academy of National Economy and Public Administration; 31 Germana Street, Veliky Novgorod, Novgorodskaya Oblast, 173003, Russian Federation, Doct. Sci. (Engineering), Professor, ORCID https://orcid.org/0000-0002-4208-456X, e-mail: felix.golik@mail.ru
The article aims at elaborating procedures for identifying coherence of experts' judgments (CEJ) in the form of expert estimates obtained from group assessment with numerical scales, as well as defining probabilistic characteristics of the proposed procedures and results of their assessment. The object of the study is experts' estimates obtained from group assessment with the use of a numerical scale. The subject is CEJ assessment. An average value, median and variation coefficient of experts' estimates were used as measures of CEJ estimates with the use of a numerical scale. However, it is not possible to verify the adequacy of these indicators correctly since the law of probability distribution of estimates is unknown as there is a link between the degree of CEJ and the distribution law type. With the complete CEJ the distribution is degenerate, and in its absence the distribution is flat. In this regard, it is proposed to verify the fact of coherence presence instead of its quantitative assessment. The procedure is reduced to testing the hypothesis about the law of distribution of experts' estimates. If the distribution differs insignificantly from the flat one, then a decision of CEJ lack is made. Otherwise, it is considered that the experts' opinions are coordinated. In order to solve the problem, the author used the system of combinatorial placement theory, probability theory and mathematical statistics. Estimates of the probability characteristics of CEJ identification procedures are obtained through computer simulation. The research results include the elaboration of constructive methods of CEJ identification with the use of a numerical scale for assessment; procedures of identifying CEJ in relation to specific objects and group assessment in general; estimates of the probability characteristics of assessment procedures through computer simulation. The results can be applied in management decision-making, forecasting and long-term planning in different fields.
Keywords: expert estimate, assessment scale, coherence of expert judgments (CEJ), "empty boxes" criterion, statistical hypothesis, significance level, confidence probability, Pearson curves, total variation distance, computer modeling, decision-making, information technologies
Введение. Экспертное оценивание объектов применяется в тех случаях, когда получить их количественные характеристики затруднительно или невозможно. При этом типично использование экспертных оценок в числовой форме (обычно - в баллах). Однако для того, чтобы понять, насколько этим оценкам
экспертов можно «доверять», важно определить степень согласованности суждений экспертов (ССЭ). При низком уровне ССЭ результаты экспертного оценивания могут быть поставлены под сомнение. Несмотря на то, что вопросы оценки ССЭ обсуждаются в ряде работ [1, 3, 8, 9, 13, 15, 16, 21 и др.], некоторые направления этой темы остаются разработанными недостаточно полно. Поэтому общей целью настоящей статьи является попытка обосновать целесообразность использования нового метода оценки согласованности, в котором вместо количественной оценки ССЭ проверяется сам факт ее наличия.
Общая характеристика предметной области. Возрастающая сложность управления современными экономическими системами требует проведения анализа целей и задач деятельности, средств их достижения, оценки влияния факторов на эффективность и качество работы. Перечисленные задачи относятся к классу неструктурированных и частично структурированных. Они не поддаются формализации, что приводит к необходимости применения специальных методов для их решения, к числу которых относятся экспертные методы.
Экспертиза как способ получения информации традиционно используется при принятии решений. Однако научные исследования по ее теоретическому обоснованию были начаты сравнительно недавно, всего несколько десятилетий назад [3, 23]. Результаты этих и последующих исследований позволяют сделать вывод о том, что современная теория экспертного оценивания является научным методом анализа сложных неформализуемых проблем [14, 15, 18, 20, 36].
Экспертные методы непрерывно развиваются и совершенствуются. Однако, несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, существует ряд проблем и задач, требующих дальнейших исследований и практической проверки. Одна из таких проблем связана с оценкой ССЭ.
Проверка ССЭ является стандартной процедурой обработки данных, полученных методом группового экспертного оценивания [1, 19]. Для оценки ССЭ вычисляется количественная мера, характеризующая степень близости индивидуальных оценок экспертов. Вид меры зависит от принятой шкалы оценивания [3, с. 39; 20, с. 85]. При измерении в порядковой шкале в качестве показателя ССЭ используют коэффициенты корреляции и конкордации Кендалла [20, с. 184], медиану Кемени [20, с. 152], энтропийный коэффициент конкордации [3, с. 430]. Если оценка производится по числовой шкале, то применяют методы точечного и интервального оценивания среднего значения, медианы, коэффициента вариации [3, с. 122; 30, 31].
Найденные в результате анализа экспертных данных показатели ССЭ являются случайными величинами, поскольку рассчитываются на основании экспертных оценок. Они зависят от многих факторов и содержат случайную составляющую. В связи с этим возникает проблема оценки значимости этих показателей, корректное решение которой, по-видимому, известно только для коэффициентов корреляции и конкордации Кендалла [11], используемых при экспертизах в порядковой шкале. При оценке значимости показателей ССЭ, применяемых в числовых шкалах, делается допущение о нормальности распределения оценок экспертов [3, с. 123]. Это допущение может быть справедливым при большом числе экспертов. Но в общем случае, когда нормальность оценок не доказана, его применение оправдывается лишь возможностью использования классических методов расчета границ доверительных интервалов. При этом неизбежно возникает сомнение в обоснованности выводов, которые делаются на основании результатов, полученных при некорректных допущениях. На наш взгляд, общего конструктивного решения проблемы оценки значимости показателей ССЭ в числовой шкале1, за исключением частного случая доказанной нормальности распределения оценок экспертов, не существует, поскольку закон распределения оценок и уровень ССЭ связаны между собой. Действительно, если оценки экспертов равномерно распределены в пределах числовой шкалы оценивания [А ,В], то однозначно можно утверждать, что суждения экспертов не согласованы. Полная ССЭ наступает, если оценки всех экспертов совпали. При этом распределение вырожденное. Следовательно, распределение зависит от степени ССЭ и изменяется в широких пределах. Тогда границы доверительного интервала для показателя согласованности придется находить с учетом конкретного вида распределения оценок экспертов (отличного от нормального), что связано с решением задач, до сих пор не решенных в рамках классической теории математической статистики.
Если проблему оценки значимости показателей ССЭ не удается решить, то ее можно обойти, изменив постановку задачи. Как было сказано выше, вероятностное распределение оценок экспертов и уровень ССЭ связаны между собой. Следовательно, судить о ССЭ можно как по показателям согласованности, так и по виду закона распределения оценок. Учитывая, что при полной несогласованности оценки распределены по равномерному закону, то по степени «близости» распределения к равномерному можно судить о степени ССЭ. Именно этот подход явно или косвенно используется при построении непараметрических критериев согласованности, в частности коэффициента конкордации Кендалла.
Если не учитывать степень согласованности, а говорить лишь о её наличии или отсутствии, то задача сводится к проверке статистической гипотезы Н0 о законе распределения вероятности оценок экспертов. Если принимается решение, что оценки распределены по равномерному закону, то суждения
1 Имеются в виду такие показатели, как среднее значение, медиана, коэффициент вариации.
экспертов не согласованы. При отклонении гипотезы считаем, что суждения согласованы. Результат проверки гипотезы Н0 можно трактовать как обнаружение или не обнаружение факта наличия согласованности экспертных оценок или коротко - обнаружение согласованности экспертизы.
Поэтому конкретной целью настоящей работы является разработка процедур обнаружения ССЭ (экспертных оценок), полученных при проведении групповых экспертиз в числовых шкалах; оценка вероятностных характеристик предложенных процедур и получаемых при их применении результатов. Достижение поставленной цели позволит повысить достоверность оценки ССЭ и сократить затраты времени на исследования, поскольку если ССЭ не обнаружена на заданном уровне значимости, то и последующий анализ степени согласованности не имеет смысла.
Как следует из цели исследования, основной задачей данной работы является разработка процедуры проверки статистической гипотезы о равномерности распределения оценок экспертов. Арсенал критериев, применяемых при решении этой задачи, достаточно велик. Различают критерии «специальные», непараметрические и энтропийные [13]. Специальные критерии, «приспособленные» для проверки именно гипотезы о равномерном распределении. К ним относятся критерии Шермана, Кимбелла, Мора-на, Ченга - Спиринга и др. В классе непараметрических критериев чаще всего используют критерии Колмлгорова и Крамера - Мизеса - Смирнова (омега-квадрат). [4, 13, 17, 21, 29. 35]. Статистики указанных критериев распределены по законам, существенно зависящим от объема выборки и аппроксимируются «стандартными» распределениями при достаточно жестких ограничениях1. В настоящей работе предложено проверять гипотезу о равномерном распределении по комбинаторному критерию «пустых ящиков», который отличается простотой и наглядностью [12]. Кроме того, статистика критерия достаточно точно аппроксимируется нормальным распределением уже при малых объемах выборки, что позволяет применять классические методы проверки статистических гипотез. В соответствии с этим критерием, для проверки гипотезы Н0 о том, что выборка, состоящая из п независимых величин хь х2,...,хп, извлечена из генеральной совокупности с равномерным распределением, разбивают интервал наблюдения [А,В] на N полуинтервалов zkл + А], k = 1, 2, ..., Ы, z0 = А, А = (В-А) / N и подсчитывают число 4 полуинтервалов, не содержащих ни одного элемента выборки хь х2, ..., хЫ. Гипотеза Н0 принимается, если статистика 4 < са и отклоняется, если 4 > са. Постоянная са выбирается из условия, что вероятность ошибки первого рода, т. е. вероятность отклонить верную гипотезу Н0, равна заданному значению а2.
Постановка задачи. Пусть Х-ц - численная оценка свойств у-го объекта, данная г-м экспертом, принадлежит интервалу [А,В],] = 1, 2, ..., К, г = 1, 2, ..., N. Будем считать, что оценки экспертову-го объекта взаимно независимы, и каждый эксперт предъявляет оценку каждого объекта.
Проверку гипотезы о ССЭ можно выполнить по оценкам конкретного объекта или по оценкам всех объектов в совокупности. В первом случае решение сводится к проверке статистических гипотез
где Fj(x) - функция распределения вероятности экспертных оценоку-го объекта; F0(x) - функция равномерного распределения вероятности; а - уровень значимости. В результате получим К решений, индикаторы которых обозначим
Каждое решение подтверждает (^ = 0) или отклоняет (^ = 1) допущение о ССЭ при оценке свойств у-го объекта.
Вторую задачу можно решить путем объединение индивидуальных решений ^ или посредством объединение экспертных оценокX, г, принадлежащих индивидуальным интервалам [АВ],у = 1, 2, ..., К, в общем интервале [А,В] и проверки гипотезы Н0: F(x) = F0(x),а, где F(x) - функция распределения объединенных оценок экспертов.
Обнаружение согласованности результатов экспертизы j-го объекта. Рассмотрим процедуру проверки согласованности экспертизы свойств j -го объекта. Результаты таких проверок будем называть индивидуальными решениями.
1 Статистики критерия Колмогорова при объеме выборки п>20 с достаточной для практики точностью можно аппроксимировать распределением %2 с двумя степенями свободы или распределением Колмогорова [4, с. 80]. Для статистики па2 существует предельное распределение при п ^ да [4, с. 83].
2 Здесь, в отличие от [12, с. 9], приведена упрощенная формулировка процедуры проверки гипотезы по критерию «пустых ящиков», адаптированная к проверке гипотезы о равномерном распределении.
Н 0у : Fj (х) = Fo(х), а , Н, у : FJ (х) Ф F0( х), а, у = 1,2,..., К,
0, если Н 0у отклонена 1, если Н 0. принята
] = 1,2,.,К .
Для обеспечения общности дальнейших рассуждений преобразуем экспертные оценки X/,г произвольной метрической числовой шкалы оценивания в интервале [А,В] к интервалу [0,1], применив к оценкам Х/г, линейное преобразование: х., г = (X/ г - А) / (В-А).
Разобьем интервал [0,1] на N полуинтервалов равной длины точками zk = к Д, к = 1, 2, ..., N, z0 = 0, Д = 1 / N. Тогда вероятность Р[гк-1 < х < zk] = F0(zk) - F0(zk_l) = 1 / N, где
F>( x) =
0, x < 0 x, 0 < x < 1
1, x > 1
- функция равномерного распределения вероятности случайной величины.
Для проверки гипотезы Не/ необходимо рассчитать вероятность р.к распределения статистики £, равной числу полуинтервалов ^к-1^к], в которые не попала ни одна из экспертных оценок /-го объекта. В [12, с. 10] доказано, что эта вероятность равна:
N!
=Р^ j = k ] =
_ k_jN^k (-1)1(N -k)! Nj % l!(N - k -l)!
1-
l
N-k
(1)
Учитывая, что все N экспертов оценивают каждый объект, распределение (1) не зависит от номера объекта и р.,к = рк.
Проверка гипотезы Н0 сводится к сравнению статистики £* с ее критическим значением са. Здесь £* - число пустых полуинтервалов zk], к = 1, 2, ..., N, не содержащих оценок х/-го объекта, а са - критическое значение статистики £ на уровне значимости а:
= Zif (Fk < 1 -« < Fk+1,kДЪ
(2)
где Рк = ^ рк - функция распределения вероятности случайной величины £, if(cond,x,y) - логическая
I=0
функция, которая равна х, если истинно логическое условие cond (не равно нулю), иначе равна у. В таблице 1 приведены критические значения са, рассчитанные по формуле (2).
Таблица 1 - Критические значения статистики £
N
c
а
k = 0
Уровень значимости а Количество экспе ртов N
3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0,1 1 1 1 2 2 3 3 4 4 5 5 5 6 6 7 7 8 8
0,05 1 1 2 2 3 3 4 4 5 5 5 6 6 7 7 8 8 8
0,01 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 8 9 9
Если £* < са, то принимается гипотеза Н0/. При £* > са гипотеза Н0/ отклоняется. Это означает, что генеральная совокупность случайных величин, из которой извлечена выборка V/= {х. г, I = 1, 2, ..., N}, распределена по закону, значимо отличающемуся от равномерного и суждения экспертов относительно свойств/-го объекта согласованы.
Индивидуальные решения равны индикаторам решений, принятых при проверке гипотез Н0/ относительно /-го объекта:
Г0, V > с
h =\ ! а, / = 1,2,..., К, (3)
. [1, V < Са " ' '
Вследствие дискретности статистики £, вероятность ошибки первого рода Р^а) = Р[£ > са|Н0 верна] может существенно превышать уровень значимости а, в соответствии с которым рассчитывается постоянная са. Это означает, что велика вероятность ошибочно принять решение о согласованности экспертизы, когда на самом деле суждения экспертов несогласованны. Приемлемые по надежности индивидуальные решения (3) можно получить лишь при достаточно большом числе N экспертов и (или) малой вероятности а (рис. 1). При этом следует иметь в виду, что при уменьшении а растет вероятность отклонения альтернативной гипотезы Н1 - правильного решения о наличии согласованности.
Большое число экспертов обычно встречается при оценке согласованности суждений респондентов в социологических исследованиях. Именно для подобных исследований и можно рекомендовать использование индивидуальных решений.
Рисунок 1 - Зависимость вероятности ошибки первого рода от числа N экспертов при различных значениях уровня значимости а
Аппроксимация вероятностного распределения рк. Точная формула (1) распределения статистики 4 неудобна для расчетов вероятности рь при больших N. Возникают трудности и при нахождении квантиля са путем решения уравнения Fk=а. Задача упростится, если удастся аппроксимировать распределение рь каким-либо стандартным непрерывным распределением. В настоящей работе исследуется аппроксимация кривыми Пирсона, универсальные свойства которых хорошо известны [16, 22]. Для подбора аппроксимирующей кривой необходимо найти моменты статистики 4 и по ним рассчитать коэффициенты Пирсона рь р2 [7].
Расчетные формулы для математического ожидания т и дисперсии д2 известны [12, с 12]:
т = N11 -
1 N
N
- N2 [1 - 1
Г 2^ Г
ц2 = N(N -1)1 1--I + N11--
2 \ N) у N) У N
Центральные моменты третьего и четвертого порядка найдем численно:
2 N
N
^3 = X(Ь - т) Рь ,
ь=0
N
Ц4 = X (к - т)4 РЬ
Ь=0
Коэффициенты Пирсона рассчитываются по формулам:
р.=4
^2
«Каппа» Пирсона равна
к =
р2
^2
Р1(Р2 + 3)2 4(2Р2 - 3р. - 6)(4Р2 - 3р.)
(4)
(5)
(6)
(7).
(8) (9)
(10)
Для качественной оценки близости распределения рь к нормальному, найдем в системе координат коэффициентов Пирсона расстояние от точки с координатами (Р., р2) до точки (0, 3), соответствующей нормальному распределению [7]
R ЧР2 + (Р2 - 3)2
(11)
Результаты численных расчетов по формулам (8.11) приведены на рисунке 2.
На основании анализа результатов расчета можно сделать следующие выводы:
1) при всех значениях И, при которых проводились расчеты, «каппа» Пирсона отрицательна к(Щ < 0, следовательно, распределение рь можно аппроксимировать кривой Пирсона типа I;
2) коэффициент Р^^) близок к нулю, а коэффициент Р^^) не слишком сильно отличается от 3, что говорит о возможности аппроксимации нормальным распределением;
3) с ростом N вывод 2) находит все большее подтверждение, расстояние R(N) убывает и стремится к 0, что совпадает с утверждением об асимптотической нормальности распределениярь [12, с. 32].
3x10
2x10
111
1x10
Рисунок 2 - Зависимость параметров кривых Пирсона от количества полуинтервалов N а) Р^Л) б) Рг(А0, в) к(Л0, г) К-(М)
Аппроксимация нормальным распределением имеет существенные преимущества по сравнению распределением Пирсона - в частности, благодаря свойству инвариантности относительно линейных преобразований, которое будет нами использовано в дальнейшем.
Для оценки точности аппроксимации распределения рк нормальным законом рассчитаем расстояние полной вариации с в вероятностном пространстве (с-метрику) [10, с. 33]. Значения с ограничены интервалом [0; 1]. При с = 0 ошибки аппроксимации нет, а при с = 1 между случайными величинами существует предельно возможное различие. По величине с можно судить насколько сильно распределения случайных величин X и У отличаются между собой по сравнению с предельно возможным случаем.
Расстояние полной вариации задается соотношением:
(X ,Y) = 2 {\d (Fx (x) - Fr (,y))|
2
где FX, FY - функции распределения вероятностей случайных величин X и У соответственно. В нашем случае
1 N
° =1XIРк - JN(к
2 и~г\
(12)
где
fN (x) =
л/2^2
exp
(x - m) 2^2
2
(13)
/Х(х) - плотность распределения вероятности нормальной случайной величины; т - математическое ожидание и дисперсия д2 рассчитываются по формулам (4) и (5) соответственно.
сг
1
Рисунок 3. Зависимость погрешности аппроксимации с от N и графики распределений вероятностей рк, £Ы(х): а) с^; б) ^ 3, с = 0,024; в) N = 5, с = 0,014; г) N = 10, с = 7,61110-3
Расчеты показывают, что даже при N=3 погрешность аппроксимации невелика и равна с = 0,024 (или 2,4 %). С ростом N ошибка аппроксимации убывает. Графики на рисунке 3 наглядно иллюстрируют хорошее совпадение вероятностей рк и значений плотности /Ы(х) в точках х = к. Таким образом, распределение рк с достаточной для практики точностью можно аппроксимировать нормальным законом /№(х).
Обнаружение согласованности результатов экспертизы для совокупности объектов. Комплексную проверку ССЭ можно выполнить одним из трех вариантов. 1) По индивидуальным решениям И/. 2) По индивидуальным статистикам £*. 3) По экспертным оценкам X/■,i, объединенным в одном интервале. Рассмотрим эти методы подробнее.
Обнаружение ССЭ по индивидуальным решениям ^. Сумма индивидуальных решений И = X И. равна числу объектов, суждения экспертов о свойствах которых оказались несогласованными (/)
(приняты нулевые гипотезы). Тогда g= К - И - количество согласованных решений и р* = g / К - оценка
вероятности принятия согласованной оценки. В силу сделанного ранее допущения о взаимной независимости решений можно считать, что число g распределено по биномиальному закону с параметрами р, К. Тогда границы доверительного интервала генеральной вероятностир равны [6, с. 332]:
и,
Р.,2 = "
1
+ —• 2 К
Р* (! - Р*) + 1 И1-а/2 +---
К
4 К2
(14)
1 +
1-а/2
К
где и.-а / 2 - квантиль нормального распределения, а уровень значимости.
В соответствии с принципом большинства, решение о ССЭ по всем объектам принимается, если генеральная вероятность Р > 0,5, то есть для нижней границы доверительной области выполняется неравенство р. > 0,5. Вероятность р. зависит от оценки р* и числа объектов К. Численно решив уравнение Р1(р*, К) = 0,5, найдем корни р0 и К0. Решение о согласованности принимается, если р* > р0(К) (рис. 4 г).
Рисунок 4 - Границы доверительной области для генеральной вероятности р (а, б, в) при а=0,05 и зависимость критической вероятности р0 от числа К объектов (г)
Минимальное число К0 объектов, при котором принимается решение о согласованности, зависит от вероятности р* (рис. 4). Так, при р* = 0,6 К0 = 96, а при р* = 0,7 К0 = 24. Даже при р* = 1 К должно быть не меньше К0 = 4. Количество объектов, подвергающихся экспертизе, обычно сравнительно невелико, что ограничивает возможность применения данного метода.
Обнаружение согласованности по индивидуальным статистикам ф. Введем новую статистику £ = — , где 4/' как и прежде равно числу полуинтервалов zk], Ь = 1, 2, ..., М, не содержа-К (])
щих экспертных оценок х-ц у-го объекта. Выше было показано, что вероятностное распределение статистик 4у можно считать нормальным. Полагая, что распределение индивидуальных решений не зависит от номерау объекта, получим, что статистика £ распределена по нормальному закону
( (х - т)2 ^
N (х) =
УК лД
жц2
^ехр
2М2
К
(15)
где т и ц2 по-прежнему рассчитываются по формулам (4) и (5) соответственно.
Решение о согласованности принимается по результатам проверки статистической гипотезы Но о равенстве генерального среднего т0 гипотетическому значению т при известной генеральной дисперсии д2 / К:
Н0 : т0 = т, а, , (16)
здесь т - математическое ожидание (4) статистики 4, а - уровень значимости.
Если гипотеза Н0 (16) не отклоняется, то принимается решение о несогласованности суждений экспертов. Согласованность считают обнаруженной, если гипотеза Н0 отклонена. Гипотеза проверяется по одностороннему критерию и не отклоняется, если ирасч < и.-а. Здесь и1-а - квантиль нормального распределения; ирасч - расчетное отклонение, распределенное по нормальному закону и равное
-т
4К;
(17)
4* - фактическое (наблюдаемое) значение статистики 4 относительно у-го объекта.
С* 1 \'>* = К
К (у)
Вероятность ошибки первого рода, как и в случае индивидуальных оценок, вследствие дискретности статистики £ может отличаться от а. Но это отличие существенно меньше (ср. рис. 1 и рис. 5). Вероятность слабо зависит от N и достаточно хорошо совпадает с теоретическими значениями уже при К = 5 (рис. 6).
1-а/2
и
0.8
Pi 0.6
§
0.1 0.4
0.2
0
1 г = 0.1
т тТ тТТ m
0.8
Pi 0.6
*
0.05 0.4
0.2
0
a = 3.05
FrfTv
10 15 20 N
10 15 20 N
0.2 0.15
Pi
* 0.1 0.01
0.05 0
a = ( 101
Тт -Trt^ Wt-
0
10 15 20 N
Рисунок 5 - Зависимость вероятности ошибки первого рода от числа N экспертов при различных значениях уровня значимости а и количестве объектов К = 3
Рисунок 6 - Зависимость вероятности ошибки первого рода от числа N экспертов при различных значениях уровня значимости а и количестве объектов К = 5
Обнаружение согласованности по объединенным экспертным оценкам. Объединение экспертных оценок состоит в преобразовании матрицы оценок Х={х, г},] = 1, 2, ..К, г = 1, 2, ..N в вектор Z = Z2,...,zn,...,ZQ], z„j■, г) = х, г. Индексы п элементов zn вектора Z связаны с индексами элементов х, г исходной матрицы X соотношением п(], г) = ] + (г - 1)К, п = 1, 2, ..., Q, Q = K•N.
В результате получаем, что совокупность К объектов рассматривается как один объект, а эквивалентное число экспертов равно.Q В этом случае применима процедура (3) проверки гипотезы о согласованности относительно эквивалентного объекта.
Имитационная модель. В настоящей работе все численные расчеты выполнялись в программе MathСad. В этой же среде была реализована имитационная модель, посредством которой найдены вероятностные характеристики процедур обнаружения согласованности экспертиз. Модель имитирует формирование оценок экспертов, распределенных по равномерному и нормальному законам. По выборке равномерно распределенных чисел проверялась работоспособность предложенных процедур и оценивалась вероятность Р ошибки первого рода. Случайные величины с нормальным распределением имитировали ситуацию согласованной экспертизы. Оценивалась вероятность D обнаружения согласованности.
Рассмотрим подробней основные процедуры, реализованные в модели.
Условные обозначения параметров модели:
I - объем выборки;
N - число экспертов;
К - число объектов;
д - математическое ожидание нормальной случайной величины;
5 - среднеквадратическое отклонение нормальной случайной величины;
а - уровень значимости.
Формирование массивов экспертных оценок:
хк,>=гпогт(Ы,д<5) - матрица случайных чисел размера с нормальным распределением;
функция гпогт()возвращает вектор из N случайных чисел, имеющих нормальное распределение со средним д и среднеквадратическим отклонением 5; г'=0,1,...,К1-1.
у<г>=гип/Д^0,1) - матрица случайных чисел размера NxK I с равномерным распределением; функция гитр() возвращает вектор из N случайных чисел, распределенных в интервале [0,1].
Элементом выборки является матрица случайных чисел размером^хК.
Границы интервалов и подсчет пустых полуинтервалов:
Д = 1 / N, zn = Д(п + 1) - границы интервалов, п = 0, 1, ..., N-1.
d0г = X/(0 << г0,0,1), dli = Хгг(^-1 <^ < гп,0,1),
п=0 п=0
уп, г = уп, г при имитации несогласованных и у„,г=хп,г согласованных оценок.
N-1
, = г/ (3 0г = N ,1,0) + Х г/ (^пг = N ,1,0) - количество пустых полуинтервалов. Вектор стати-
п=1
стик £ = (£), г = 0, 1, ..., К1 - 1.
Критические значения и индикаторы решений:
Критические значения са рассчитываются по формуле (2). А индикаторы решений находим из выражения (3). Вектор решений И = (И), г = 0, 1, ..., К7-1.
Результаты компьютерного моделирования. Моделирование проводилось с целью оценки вероятностных характеристик процедур обнаружения согласованности экспертиз. Во всех случаях объем выборки I принимался равным 104.
Характеристики обнаружения согласованности по индивидуальным решениям Решение о согласованности принимается по величине относительной частоты обнаружения согласованности при экспертизе К объектов
1 (г+1)К-1
рг=1 - к X Ип.
к п=гк
Затем по формуле (14) рассчитывается нижняя граница р1 доверительного интервала генеральной вероятности, и полученное значение сравнивается с критической вероятностью 0,5. Рассчитывается вероятность
Р =1X/(р > 0,5; 1;0).
1 (г)
Вероятность Р интерпретируется следующим образом:
• если имитируются экспертные оценки с равномерным распределением (у=у) , то это вероятность ошибки первого рода: Р = Р1;
• если экспертные оценки распределены по нормальному закону (V = х), то это вероятность правильного обнаружения согласованности: Р = D.
Результаты моделирования подтвердили предварительные выводы: приемлемые для практики значения вероятности D можно получить лишь при большом числе объектов и (или) большом уровне значимости а.
Характеристики обнаружения согласованности по индивидуальным статистикам £. Решение об обнаружении согласованности принимается по результатам проверки гипотезы (17) относительно среднего значения статистики оценка которого равна:
1 (г+1)К-1
т = — V,«
К '
Л п=г-к
Расчетное отклонение согласно (16) равно
г т - т
и =
4К,
где т и д2 - математическое ожидание и дисперсия статистики £, рассчитываются по формулам (4) и (5) соответственно.
По индикаторам И1г = /(и* > и1-а / 2,0,1) результатов проверки гипотезы (15) вычисляется вероятность
Р = 1 -1X И1г .
1 (г)
При V = х (оценки экспертов распределены по нормальному закону) Р = D - вероятность правильного обнаружения согласованности. Если V = у, то Р = Р1 - вероятность ошибки первого рода.
Результаты оценки вероятности Р1 приведены на рисунках 5 и 6. Эти вероятности примерно равны теоретическим значениям, равным уровням значимости а, поэтому детально не анализировались.
Вероятность D рассчитывалась при двух значениях среднеквадратического отклонения 5 оценок экспертов: 5 = 1/6 и 5 = 1/7. Это позволило косвенно оценить чувствительность метода. Очевидно, чем
меньше 5, тем выше степень согласованности оценок и тем больше должна быть вероятность D, в чем легко убедится, попарно сравнив рисунки 7 а), б), в) с рисунками 7 г), д), е). Отметим, что нерегулярный характер кривых на рисунке 7 обусловлен дискретностью статистик £ и
Характеристики обнаружения согласованности по объединенным экспертным оценкам. В
этом случае моделируется ситуация, когда Q экспертов, число которых равно N•K, оценивают свойства одного объекта, то есть реализуется индивидуальное оценивание. Вероятности D и Р1, как и прежде, являются частными случаями вероятности Р
Р = 1 - IX Иг ,
1 (г)
где Иг = г/(£г > са,0,1), а статистики £ рассчитывают отдельно для нормально (V = х) и равномерно (V = у) распределенных экспертных оценок.
При индивидуальном оценивании велика вероятность ошибки первого рода (см. рис 1). Вероятность пропуска факта согласованности тоже может оказаться значительной. Поэтому следует учитывать суммарную ошибку, вероятность которой в соответствии с критерием идеального наблюдателя равна
Е=Рг + (1 -£>).
Рисунок 8 - Зависимость вероятностей В и Е от числа Q экспертов при различных 5 и а
Вероятностные характеристики, приемлемые для практики, получаются уже при Q > 30.40. Эти условия не слишком обременительны. Действительно, Q = 40, когда, например, четыре эксперта оценивают свойства десяти объектов.
Пример расчета. Рассмотрим порядок расчета на конкретном примере. В качестве экспертных оценок используем данные о результатах аттестации студентов одной из учебных групп. Аттестация проводилась по балльной шкале. В соответствии с принятой в учебном заведении системой для каждой п-й дисциплины установлен свой диапазон шкалы оценивания [0; Ln]. Поэтому для обеспечения равной весовой значимости дисциплин, оценки Ьг ,п /-го студента по п-й дисциплине необходимо нормировать: хI п = Ь п/ Ln, I = 1, 2,., К, п = 1, 2, ..., N. Нормированные оценки приведены в таблице, размещенной в Интернете как дополнительный материал (http://hi-tech.asu.edu.ru/files/other/pdf_001.pdi). Отдельные фрагменты этой таблицы представлены в таблице 2. Данные содержат оценки К = 34 студентов по N = 10 дисциплинам. Диапазон шкалы оценивания [А = 50; В = 100]1. Будем рассматривать /-го студента как г-объект О, а п-ю дисциплину Дп как п-го эксперта Эп. Строго говоря, представление «дисциплины» в качестве «эксперта» не совсем корректно, поскольку результаты оценивания зависят не только от мнения преподавателя (эксперта), но и от многих других факторов - сложности дисциплины, качества преподавания, личных взаимоотношений студент - преподаватель и пр. Но для иллюстрации порядка расчета это не существенно.
Предварительные вычисления. Прежде всего, определим границы полуинтервалов. Для этого найдем шаг Д = (В - А) / N = 5 и рассчитаем границы z0 = А , zn = z0 + пА, п = 1,2,., N . Численные значения приведены в заголовке таблицы 3. Из таблицы 1 находим критическое значение са статистики 4,. При N = 10 и а = 0,05 са = 4. Это означает, что решение об отсутствии ССЭ = 1) принимается, если 4 < 4.
Таблица 2 - Нормированные оценки знаний студентов
Объекты Эксперты, Эп
Э1 Э2 Э3 Э4 Э5 Э6 Э7 Э8 Э9 Э10
С1 52,00 69,50 87,50 50,00 85,00 84,67 75,00 69,33 100,00 70,00
С2 88,00 76,00 100,00 89,33 85,00 71,33 92,00 70,00 93,33 96,67
С3 80,00 70,00 85,00 70,00 95,00 73,33 92,00 76,67 93,33 96,67
С9 80,00 50,00 69,00 50,00 90,00 56,00 51,00 70,00 50,00 69,33
С10 96,00 97,50 97,50 89,33 90,00 91,33 95,00 90,00 93,33 100,00
Обнаружение согласованности результатов экспертизы i-го объекта. Процедура сводится к вычислению статистик ^ и индикаторов ht. Рассмотрим три варианта расчета количества пустых интервалов: «ручным» методом, без применения вспомогательных вычислительных средств; с использованием возможностей программы MS Excel; в программе MathCad.
«Ручной» метод. Просматривая последовательно оценки каждого объекта, размещаем их в соответствующих интервалах. При этом можно записывать не численные значения, а «имена» экспертов, оценки которых попали в интервал. Так в интервал [50.55] относительно объекта С1 попали оценки экспертов Э1 и Э4 (см. табл. 3). Выполнив эту достаточно утомительную процедуру для всех объектов и всех интервалов, находим количество ^ пустых полуинтервалов и определяем значения индикаторов ht.
Таблица 3 - Результаты «ручного» заполнения полуинтервалов
Объекты Границы полуинтервалов h,
[50...55] (55.60] (60.65] (65.70] (70.75] (75.80] (80.85] (85.90] (90.95] (95.100]
С1 Э1, Э4 Э2, Э8, Э10 Э7 Э5, Э6 Э3 Э9 4 1
С2 Э8 Э6 Э2 Э5 Э1, Э4 Э7, Э9 Э3, Э10 3 1
С3 Э2 Э4, Э6 Э1, Э8 Э3 Э5, Э7, Э9 Э10 4 1
С9 Э2, Э4, Э7, Э9 Э6 Э3, Э8, Э10 Э1 Э5 5 0
С10 Э4, Э5, Э8 Э6, Э7, Э9 Э1, Э2, Э3, Э10 7 0
1 В таблице (http://hi-tech.asu.edu.ru/tiles/other/pdf_001.pdf) приведены результаты с учетом пересдач, т. е. нет неудовлетворительных оценок.
Заполнение полуинтервалов в таблице Excel. Процедура существенно упрощается благодаря применению функции СЧЕТЕСЛИ (диапазон; критерий). Эта функция подсчитывает количество ячеек, содержащих числа, удовлетворяющих условию. Пример ее использования приведен на рисунке 9.
А В С D Е F G Н J К L
1 Э1 Э2 ЭЗ Э4 Э5 Э6 37 Э8 Э9 эю
2 С1 52. 00 69.5Q 87.50 50.00 85.00 84.67 75.00 69.33 100.00 70.00
3
4 Объекты Границы полуинтервалов Si
5 [50.55] (55...60] (60...65] (65...70] (70...75] (75...80] (80...85] (85...90] (90...95] (95...100]
6 С1 S 2 Чч^ D 0 3 1 0 2 1 0 1 —4
7 У
=СЧЁТЕСПИ(В2 К2 "<=55") |=СЧЁТЕСЛИ(В2:К2;"<=65>СЧЁТЕСЛИ(В2:К2;'г<=6Сд
|=СЧЕТЕСПИ(В6:К6;'-0")|
Рисунок 9 - Подсчет числа пустых полуинтервалов в программе Excel
Расчеты в MathCad. Возможности программы значительно шире, чем MS Excel. Все расчеты легко автоматизировать. Листинг расчета количества пустых интервалов £ и индикаторов h приведен на рисунке 10.
Рисунок 10 - Программа расчета показателей ССЭ при индивидуальной экспертизе
Результаты обнаружения индивидуальной ССЭ для всех объектов приведены в таблице, размещенной в Интернете в качестве дополнительного материала (http://hi-tech.asu.edu.ru/files/other/pdf_001.pdf).
Обнаружение ССЭ групповой экспертизы. Обнаружение по индивидуальным индикаторам И/.
Частота согласованных индивидуальны решений равна (см. рис. 10) р * = 1 - И / К = 1 -13/34 = 0,618. Нижняя граница доверительного интервала, рассчитанная по формуле (14) при уровне значимости а = 0,05 и объеме выборки К = 34 равна 0,275. Эта вероятность меньше 0,5, следовательно, для принятия решения о ССЭ недостаточно информации.
Обнаружение по индивидуальным статистикам 6. Статистика ^ = — X^i = 164 / 34 = 4,824 .
^ (г)
K
Математическое ожидание числа пустых интервалов (4) m1 = 3,487, а дисперсия (5) д2 = 0,993. Расчетное
4 824 - 3 487 /—
отклонение (17) равно ирасч = ——. '— V34 = 7,823. Критическое значение u1-a/2 = 1,96 при а = 0,05.
д/0,993
Расчетное отклонение больше критического. Гипотеза о равномерном распределении экспертных оценок отклоняется. Следовательно, суждения экспертов согласованы. При этом достигнутый уровень значимости (p-value) равен 2,665 10-15 [28].
Обнаружение по объединенным экспертным оценкам. В результате объединения матрица оценок преобразуется в вектор, размерность которого равна Q = KN = 340. При этом число полуинтервалов также рано Q. Ясно, что при таком большом числе интервалов подсчет пустых полуинтервалов «ручным» методом и средствами Excel становится малопродуктивным. Однако в программе MathCad решение находится достаточно просто (см. рис. 11). Расчетное отклонение больше критического, гипотеза о равномерном распределении оценок отклоняется. Принимается решение «суждения экспертов согласованы».
О := N - К = 340 q := 0..Q - 1 s := 1.. Q - 1 Л :=
мл ______ллллл
В-А
= 0147 ширина интервала ¡^ := Л - й + 1) + А границы интервалов
dO :=
У (У^ »(а < < го, = 17 количество оценок ,115 := V |'У ги,-! <цп< ; I „ ' I в первом интервале
матрица количества оценок в б-м интервале
. := if (dO = 0.1.0) + У if (dls = 0.1.0) = 256 количество mi =0 -11-— t =124895
' ' пустых интервалов V Qy
математическое ожидание числа пустых интервалов
H2:=Q-(Q-L)-| 1--J -Q
2-Q
33.07
t - И]
t„ := - = 24.537
расчетное отклонение
plv := 1 — pnorm(ulp.0.1 ] = 0
дисперсия числа пустых интервалов
достигнутый уровень значимости
Рисунок 11 - Программа расчета показателей ССЭ при групповой экспертизе
Обсуждение результатов. 1. Примером расчета подтверждена реализуемость предложенных процедур обнаружения ССЭ.
2. Методика расчета позволяет оценить адекватность полученных результатов на заданном или достигнутом уровне значимости.
Оценивая итоги анализа конкретных данных, приведенных в качестве дополнительного материала (http://hi-tech.asu.edu.ru/files/other/pdf_001.pdf), следует отметить, что согласованность групповой экспертизы подтверждена на очень высоком уровне значимости. В достоверности этого вывода легко убедиться, сравнив гистограмму распределения числа оценок по интервалам с плотностью равномерного распределения (рис. 12а). Отличие распределения оценок от равномерного еще наглядней подтверждается сравнением кумулятивной кривой и функции распределения равномерного закона (рис. 12б).
Рисунок 12 - Распределение числа оценок экспертов по интервалам; а) 1- гистограмма, 2- плотность распределения; б) 1- кумулятивная кривая, 2 - функция распределения
Для сравнения полученных результатов с традиционными по данным из приложенной таблицы (http://hi-tech.asu.edu.ru/files/other/pdf_001.pdf) был рассчитан коэффициент конкордации Кендалла. Он
оказался равным W = 0,476 при расчетном отклонении %2расч = 156,974 и критическом значении
х2р = 47,4 на уровне значимости а=0,05. Принято считать, что суждения экспертов согласованы, если
W > 0,5. Следовательно, экспертные оценки по данным из приложенной таблицы (http://hi-tech.asu.edu.ru/ iiles/other/pdf_001.pdi) не согласованы. Это противоречит сделанным ранее выводам. Расхождение объясняется, на наш взгляд, тем, что при расчете коэффициента конкордации числовые оценки преобразуются в ранги. Это приводит к потере информации, и, следовательно, к снижению достоверности и точности результата. Кроме того, критерий W > 0,5 не имеет какого-либо серьезного статистического обоснования. Смысловая интерпретация коэффициента W достаточно произвольна, что затрудняет принятие решения. Предложенный автором подход исключает неопределенность, поскольку по результатам исследования принимается одно из конкретных решений: суждения экспертов согласованы или не согласованы.
Заключение. Научная новизна исследования состоит в предложении вместо количественной оценки степени ССЭ использовать альтернативную оценку, состоящую в обнаружении факта согласованности путем проверки статистической гипотезы о вероятностном распределении экспертных оценок. Эту гипотезу предложено проверять по комбинаторному критерию «пустых ящиков». В свою очередь, это дает возможность найти корректные, строго обоснованные вероятностные характеристики процедур обнаружения согласованности.
Основными результатами проведенного исследования являются разработанные конструктивные методы обнаружения ССЭ при использовании числовой шкалы оценивания. Предложены процедуры обнаружения ССЭ относительно конкретных объектов (индивидуальная согласованность) и относительно групповой экспертизы в целом. Путем компьютерного имитационного моделирования найдены оценки вероятностных характеристик процедур.
Результаты работы ориентированы на использование при решении широкого круга задач, когда применяется неформализуемая информация, полученная в результате экспертного оценивания. Такие ситуации возникают при прогнозировании и долгосрочном планировании в различных сферах деятельности: экономики и финансов [1, 3, 8, 9, 14, 15, 25], социологии [24, 27], экологии [32, 33], архитектуре [34], медицине [5], международных отношений и многих других.
Применение предложенных методов позволит сократить затраты времени на исследования, поскольку если ССЭ не обнаружена на заданном уровне значимости, то и последующий анализ степени согласованности не имеет смысла. В случае обнаружения согласованности на заданном уровне значимости анализ может быть продолжен с применением других известных методов [18].
Список литературы
1. Афоничкин А. И. Управленческие решения в экономических системах : учебник / А. И. Афоничкин, Д. Г. Михаленко. - Санкт-Петербург : Питер, 2009. - 480 с. - (Серия «Учебник для вузов»). - ISBN 978-5-388-00405-5.
2. Балдин К. В. Концептуальные основы применения метода экспертного оценивания в предпринимательстве : монография / К. В. Балдин. - Ухта : УГТУ, 2016. - 110 с.
3. Бешелев С. Д. Математико-статистические методы экспертных оценок / С. Д. Бешелев, Ф. Г. Гурвич. -Москва : Статистика, 1980. - 263 с.
4. Большев Л. Н. Таблицы математической статистки / Л. Н. Большев, Н. В. Смирнов. - Москва : Наука, 1983. - 416 с.
5. Брумштейн Ю. М. Парк медоборудования в медицинских учреждениях: анализ целей и подходов к управлению; состава информации, учитываемой при принятии решений / Ю. М. Брумштейн, Е. В. Пфандер // Прикаспийский журнал: управление и высокие технологии. - 2017. - № 3. - С. 19-35.
6. Вентцель Е. С. Теория вероятностей / Е. С. Вентцель. - Москва : Наука, 1964. - 576 с.
7. Голик Ф. В. Аппроксимация кривыми Пирсона плотности распределения суммы независимых одинаково распределенных случайных величин / Ф. В. Голик // Кибернетика и программирование. - 2017. - № 2. - С. 17-41. -DOI: 10.7256/2306-4196.0.0.22583. - Режим доступа: http://e-notabene.ru/kp/article_22583.html (дата обращения 29.09.2017).
8. Данелян Т. Я. Формальные методы экспертных оценок / Т. Я. Данелян // Экономика, статистика и информатика. - 2015. - № 1. - С. 184-187.
9. Евланов Л. Г. Экспертные оценки в управлении / Л. Г. Евланов, В. А. Кутузов. - Москва : Экономика, 2013. - 466 с.
10. Золотарев В. М. Современная теория суммирования независимых случайных величин / В. М. Золотарев. -Москва : Наука, 1986. - 416 с.
11. Кендэл М. Ранговые корреляции / М. Кендэл. - Москва : Статистика, 1975. - 45 с.
12. Колчин В. Ф. Случайные размещения / В. Ф. Колчин, Б. А. Севастьянов, В. П. Чистаков. - Москва : Наука, 1976. - 224 с.
13. Лемешко Б. Ю. Непараметрические критерии согласия : руководство по применению / Б. Ю. Лемешко.-Москва : НИЦ ИНФРА-М, 2014. - 163 с.
14. Литвак Б. Г. Экспертные технологии управления / Б. Г. Литвак. - 2-е изд. - Москва : Дело, 2004. - 398 с.
15. Лукашин Ю. П., Рахлина Л. И. Современные направления статистического анализа взаимосвязей и зависимостей / Ю. П. Лукашин, Л. И. Рахлина. - Москва : ИМЭМО РАН, 2012. - 54 с. - ISBN 978-5-9535-0332-7.
16. Митропольский А. К. Техника статистических вычислений / А. К. Митропольский. - Москва : Наука, 1971. - 576 с.
17. Орлов А. И. Непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат и ошибки при их применении / А. И. Орлов // Научный журнал КубГАУ. - 2014. - № 97 (03). - С. 1-28.
18. Орлов А. И. Прикладная статистика / А. И. Орлов. - Москва : Экзамен, 2006. - 671 с.
19. Орлов А. И. Структура непараметрической статистики (обобщающая статья) / А. И. Орлов // Заводская лаборатория. Диагностика материалов. - 2015. - № 7, т. 81. - С. 62-72.
20. Орлов А. И. Организационно-экономическое моделирование: теория принятия решений : учебник / А. И. Орлов. - Москва : КНОРУС, 2011. - 568 с.
21. Переверзев Е. С. Случайные процессы в параметрических моделях надежности / Е. С. Переверзев. - Киев : Наук. думка, 1987. - 240 с.
22. Рыжиков Ю. И. Управление запасами / Ю. И. Рыжиков. - Москва : Наука, 1969. - 344 с.
23. Статистические методы анализа экспертных данных. Ученые записки по статистике / отв. ред. Т. В. Ря-бушкин. - Москва : Наука, 1977.
24. Толстова Ю. Н. Анализ социологических данных / Ю. Н. Толстова. - Москва : Научный мир, 2000.
25. Усманова З. А. Системный анализ факторов и процессов принятия решений при управлении портфелем проектов коммерческого банка с учетом развития информационно-телекоммуникационных технологий / З. А. Усманова, А. А. Ханова // Прикаспийский журнал: управление и высокие технологии. - 2017. - № 2. -С. 58-71
26. Четыркин Е. М. Статистические методы прогнозирования / Е. М. Четыркин. - 2-е изд., перераб. и доп. -Москва : Статистика, 2007. - 650 с.
27. Шуткин А. Н. Теоретические и экспериментальные модели прогнозирования профессиональной пригодности работников экстремальных профессий / А. Н. Шуткин // Прикаспийский журнал: управление и высокие технологии. - 2017. - № 3. - С. 36-45.
28. Arsham H. Kuiper's. P-value as a measuring tool and decision procedure for the goodness-of-fit test / H. Ar-sham Kuiper's // J. Appl. Statist. - 1988. - Vol. 15, № 2. - P. 131-135.
29. Bagdonavicius V. Non-parametric tests for complete sample / V. Bagdonavicius, J. Kruopis, M. Nikulin. -ISTE-Wiley : Hoboken, 2011. - 308 р.
30. Durre, Alexander. Spatial sign correlation / Alexander Durre, Daniel Vogel, Roland Fried // Journal of Multivariate Analysis. - 2015. - № 135. - P. 89-105
31. Genton Marc G. Robustness properties of dispersion estimators / Marc G. Genton, Yanyuan Ma // Statistics & Probability, Letters. - 1999. - № 44. - P. 343-350.
32. Gong, Zaiwu. On Consistency Test Method of Expert Opinion in Ecological Security Assessment / Zaiwu Gong, Lihong Wang // International journal of environmental research and public health. - 2017. - Vol. 14, № 9.
33. Huber, Julia. Two experts, three opinions: volatile organic compounds' testing methods and regulative systems / Julia Huber, Daniel-Johann, Franziska Hesser // European Journal of wood and wood Products. - 2018. - Vol. 76, issue 1. -P. 5-12.
34. Tsuboi Tsuboi, Shirou. Method for the proposal and evaluation of urban structures for compact cities using an expert system / Tsuboi Tsuboi, Shirou; Ikaruga, Shinji; Kobayashi, Takeshi // Frontiers of Architectural research. - 2016. -Vol. 5, № 4. - P. 403-411.
35. Zhang J. Powerful goodness-of-fit tests based on the likelihood ratio / J. Zhang // Journal of the Royal Statistical Society: Series B. - 2002. - V. 64, № 2. - P. 281-294.
36. Veen, Duco. Proposal for a Five-Step Method to Elicit Expert Judgment / Veen, Duco; Stoel, Diederick; Zondervan-Zwijnenburg, Marielle // Frontiers in Psychology. - 2017. - Vol. 8, № 2110.
References
1. Afonichkin A. I., Mihalenko D. G. Upravlencheskie resheniya v ekonomicheskikh sistemakh [Management solutions in economic systems], Saint Petersburg, Piter Publ., 2009. 480 p.
2. Baldin K. V. Kontseptualnye osnovy primeneniya metoda ekspertnogo otsenivaniya v predprinimatelstve [Conceptual bases of application of a method of expert estimation in business], Uhta, UGTU Publ. House, 2016. 110 p.
3. Beshelev S. D., Gurvich F. G. Matematiko-statisticheskie metody ekspertnykh otsenok [Mathematical and statistical methods of expert evaluations], Moscow, Statistika Publ., 1980. 263 p.
4. Bolshev L. N., Smirnov N. V. Tablitsy matematicheskoy statistki [Tables of Mathematical Statistics], Moscow, Nauka Publ., 1983. 416 p.
5. Brumshteyn Yu. M., Pfander E. V. Park medoborudovaniya v meditsinskikh uchrezhdeniyakh: analiz tseley i pod-khodov k upravleniyu; sostava informatsii, uchityvaemoy pri prinyatii resheniy [The equipment stock in Russian medical institutions: the analysis of goals and approaches to administration; as well as information to be used in decision-making]. Pri-kaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Control and High Technologies], 2017, no. 3, pp. 19-35
6. Ventcel E. S. Teoriya veroyatnostey [Probability Theory], Moscow, Nauka Publ., 1964. 576 p.
7. Golik F. V. Approksimatsiya krivymi Pirsona plotnosti raspredeleniya summy nezavisimykh odinakovo raspre-delennykh sluchaynykh velichin [Approximation by Pearson curves of the distribution density of a sum of independent identically distributed random variables]. Kibernetika i programmirovanie [Cybernetics and Programming], 2017, no. 2, pp. 17-41. DOI: 10.7256/2306-4196.0.0.22583. Available at: http://e-notabene.ru/kp/article_22583.html (accessed 29.09.2017).
8. Danelyan T. Ya. Formalnye metody ekspertnykh otsenok [Formal methods of expert evaluation]. Ekonomika, statistika i informatika [Economics, Statistics and Informatics], 2015, no. 1, pp. 184-187.
9. Evlanov L. G., Kutuzov V. A. Ekspertnye otsenki v upravlenii [Expert assessments in management], Moscow, Ekonomika Publ., 2013, 466 p.
10. Zolotarev V. M. Sovremennaya teoriya summirovaniya nezavisimykh sluchaynykh velichin [The modern theory of summation of independent random variables], Moscow, Nauka Publ., 1986. 416 p.
11. Kendehl M. Rangovye korrelyatsii [Rank correlations], Moscow, Statistika Publ., 1975. 45 p.
12. Kolchin V. F., Sevastyanov B. A., Chistakov V. P. Sluchaynye razmeshcheniya [Random placements], Moscow, Nauka Publ., 1976. 224 p.
13. Lemeshko B. Yu. Neparametricheskie kriterii soglasiya: Rukovodstvo po primeneniyu [Nonparametric acceptance criteria], Moscow, NIC INFRA Publ., 2014. 163 p.
14. Litvak B. G. Ekspertnye tekhnologii upravleniya [Expert technologies of management], Moscow, Delo Publ., 2004. 398 p.
15. Lukashin Yu. P., Rahlina L. I. Sovremennye napravleniya statisticheskogo analiza vzaimosvyazey i zavisi-mostey [Modern directions of statistical analysis of relationships and dependencies], Moscow, IMEHMO RAN Publ. House, 2012. 54 p. ISBN 978-5-9535-0332-7.
16. Mitropolskiy A. K. Tekhnika statisticheskikh vychisleniy [Technique statistical calculations], Moscow, Nauka Publ., 1971. 576 p.
17. Orlov A. I. Neparametricheskie kriterii soglasiya Kolmogorova, Smirnova, omega-kvadrat i oshibki pri ikh primenenii [Non-parametric criteria of Kolmogorov's agreement Smirnov's agreement omega-square and errors in their application ] Nauchnyy zhurnal KubGAU [Scientific Journal of KubSAU], 2014, no. 97 (03), pp. 1-28.
18. Orlov A. I. Prikladnaya statistika [Applied Statistics], Moscov, Ekzamen Publ., 2006. 671 p.
19. Orlov A. I. Struktura neparametricheskoy statistiki (obobshchayushchaya statya). [Structure of nonparametric statistics (generalizing article)]. Zavodskaya laboratoriya. Diagnostika materialov [Industrial laboratory. Diagnostics of materials], 2015, no. 7, vol. 81, pp. 62-72.
20. Orlov A. I. Organizatsionno-ekonomicheskoe modelirovanie [Organizational and economic modeling], Moscow, KNORUS Publ., 2009.
21. Pereverzev E. S. Sluchaynye protsessy v parametricheskikh modelyakh nadezhnosti [Random processes in parametric models of reliability], Kiev, Nauk. dumka Publ., 1987. 240 p.
22. Ryzhikov Yu. I. Upravlenie zapasami [Inventory Management], Moscow: Nauka Publ., 1969. 344 p.
23. Ryabushkin T. V. (ex. ed.) Statisticheskie metody analiza ekspertnykh dannykh. Uchenye zapiski po statistike [Statistical methods of analysis of expert data. Scientific notes on statistics], Moscow, Nauka Publ., 1977.
24. Tolstova Yu. N. Analiz sotsiologicheskikh dannykh [Analysis of sociological data], Moscow, Nauchnyy mir Publ., 2000.
25. Usmanova Z. A., Khanova A. A. Sistemnyy analiz faktorov i protsessov prinyatiya resheniy pri upravlenii port-felem proektov kommercheskogo banka s uchetom razvitiya informatsionno-telekommunikatsionnykh tekhnologiy [The system analysis of factors and processes of decision-making at control over commercial bank projects portfolio in the environment of information and telecommunication technologies development]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Control and High Technologies], 2017, no. 2, pp. 58-71.
26. Chetyrkin E.M. Statisticheskie metody prognozirovaniya [Statistical methods of forecasting], Moscow, Statisti-ka Publ., 2007. 650 p.
27. Shutkin A. N. Teoreticheskie i eksperimentalnye modeli prognozirovaniya professionalnoy prigodnosti rabot-nikov ekstremalnykh professiy [Theoretical and experimental forecasting model of professional suitability of employees of extreme professions]. Prikaspiyskiy zhurnal: upravlenie i vysokie tekhnologii [Caspian Journal: Control and High Technologies], 2017, no. 3, pp. 36-45.
28. Arsham H. Kuiper's P-value as a measuring tool and decision procedure for the goodness-of-fit test. J. Appl. Statist., 1988, vol. 15, no.2, pp. 131-135.
29. Bagdonavicius V., Kruopis J., Nikulin M. Non-parametric tests for complete sample, ISTE-Wiley, Hoboken Publ., 2011. 308 р.
30. Durre, Alexander; Vogel, Daniel; Fried, Roland. Spatial sign correlation. Journal of Multivariate Analysis, 2015, no. 135, pp. 89-105.
31. Genton Marc G., Ma Yanyuan. Robustness properties of dispersion estimators. Statistics & Probability, Letters, 1999, no. 44, pp. 343-350.
32. Gong, Zaiwu; Wang, Lihong. On Consistency Test Method of Expert Opinion in Ecological Security Assessment. International journal of environmental research and public health, 2017, vol: 14, no. 9.
33. Huber, Julia; Daniel-Johann; Hesser, Franziska. Two experts, three opinions: volatile organic compounds' testing methods and regulative systems. European Journal of wood and wood Products, 2018, vol. 76, issue 1, pp. 5-12.
34. Tsuboi Tsuboi, Shirou; Ikaruga, Shinji; Kobayashi, Takeshi. Method for the proposal and evaluation of urban structures for compact cities using an expert system. Frontiers of Architectural research, 2016, vol. 5, no. 4, pp. 403-411.
35. Zhang J. Powerful goodness-of-fit tests based on the likelihood ratio. Journal of the Royal Statistical Society: Series B, 2002, vol. 64, no. 2, pp. 281-294.
36. Veen, Duco; Stoel, Diederick; Zondervan-Zwijnenburg, Marielle. Proposal for a Five-Step Method to Elicit Expert Judgment. Frontiers in Psychology, 2017, vol. 8, no. 2110.
РЕДАКЦИОННЫЙ КОММЕНТАРИЙ К СТАТЬЕ
Задачи экспертного оценивания различных объектов (в т.ч. и возможных вариантов управленческих, технических и иных видов решений) используется очень широко: прежде всего, в тех случаях, когда эти объекты нельзя оценить по совокупности измеримых параметров на основе некоторых интегральных критериев.
При этом важно определить, насколько согласованы мнения экспертов. Если эти мнения сильно различаются, то усредненные (в т.ч. и с применением экспертных коэффициентов) результаты оценивания использовать не целесообразно, т.к. они вряд ли являются показательными. При плохой согласованности мнений экспертов типичными решениями специалистов, организующих экспертное оценивание, обычно являются следующие. (1) Исключение из числа экспертов тех лиц, мнения которых резко отличаются от остальных - если этих лиц немного. (2) Формирование экспертной группы заново и повторное проведение экспертного оценивания.
Основная идея данной статьи является оригинальной, методы достижения поставленной цели используются классические. Изложение носит достаточно подробный характер. Использование математического аппарата и программных средств представлено исчерпывающе.
Теоретическая часть работы дополнена конкретным примером. Расчеты по нему доведены до получения итоговых результатов.
По статье в целом можно сделать следующие замечания. 1) Большое количество источников в списке литературы типа книг, причем некоторые из них имеют достаточно давние года издания. 2) В работе вообще не рассматриваются функциональные возможности программных пакетов, предназначенных для поддержки принятия решений (в т.ч. на основе данных экспертного оценивания), а также пакетов статистического анализа данных. Между тем, на практике большинство пользователей обычно ориентируется на возможности уже существующих общераспространенных программных средств.
