Об автоматизации экспертных оценок Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 519.816+004.67

Ю.М. ЛИСЕЦКИЙ, Н.П. КАРЕВИНА

ОБ АВТОМАТИЗАЦИИ ЭКСПЕРТНЫХ ОЦЕНОК

Abstract: The problem of automation of expert evaluation tasks of solutions is examined. The mathematical-statistical methods of information processing, obtained from experts and the analysis of its correspondence and authenticity are given. The program-algorithmical complex for generalization and expert information analysis is described.

Key words: expert estimations, mathematical-statistical methods, analysis of expert information, program-algorithmical complex.

Анотація: Розглядається проблема автоматизації рішення завдань експертного оцінювання. Приводяться математико-статистичні методи обробки інформації, що отримується від експертів, і аналізу її узгодженості й достовірності. Описується програмно-алгоритмічний комплекс для узагальнення й аналізу експертної інформації.

Ключові слова: експертні оцінки, математико-статистичні методи, аналіз експертної інформації, програмно-алгоритмічний комплекс.

Аннотация: Рассматривается проблема автоматизации решения задач экспертного оценивания. Приводятся математико-статистические методы обработки информации, получаемой от экспертов, и анализа ее согласованности и достоверности. Описывается программно-алгоритмический комплекс для обобщения и анализа экспертной информации.

Ключевые слова: экспертные оценки, математико-статистические методы, анализ экспертной информации, программно-алгоритмический комплекс.

1. Введение

Рост масштабов и темпов развития экономики, необходимость повышения ее эффективности и качества работы предъявляют новые более высокие требования к методам управления. В процессе управления мы непрерывно сталкиваемся с необходимостью принимать решения на различных иерархических уровнях. Обычно задача выбора решается в условиях неопределенности либо неопределенность составляет существо задачи (например, при анализе многоуровневых и многофакторных систем).

Существенным фактором повышения качества принимаемых решений является применение математических методов и моделей. Однако полная математическая формализация технико-экономических задач часто неосуществима вследствие их новизны и сложности. В таких ситуациях, когда необходимо сделать правильный выбор, а обоснование и оценка последствий решений не могут быть выполнены на основе точных расчётов, применяются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений [1] .

В настоящее время разработано достаточно большое количество математикостатистических методов экспертных оценок и вычислительных алгоритмов [1-7]. В данной статье рассматривается задача создания автоматизированной вычислительной системы, объединяющей различные методы обработки информации, получаемой от экспертов и анализа согласованности и достоверности экспертных оценок.

2. Методы обработки информации

Данные методы решают задачу преобразования информации, получаемой от экспертов, в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие рационального

решения. Обработка информации, получаемой от экспертов, наиболее часто производится методами непосредственной оценки, ранжирования и парных сравнений, краткое описание которых приведено ниже. Также описан метод комплексной экспертной оценки, разработанный автором [7]. Данный алгоритм позволяет проводить комплексную оценку по результатам обработки информации перечисленными методами.

Метод непосредственной оценки

Метод непосредственной оценки используется в случаях, когда обеспечивается чёткое различие между альтернативами и (или) альтернативы поддаются непосредственному измерению, так как имеют одинаковую природу.

Диапазон изменения какой-либо качественной переменной разбивается на несколько интервалов, каждому из которых присваивается определённая оценка (балл), например, от 0 до 10. Задача эксперта заключается в помещении каждой из рассматриваемых альтернатив в определённый оценочный интервал в соответствии со степенью обладания тем или иным свойством либо в соответствии с предположениями эксперта об их значимости. Заметим, что число интервалов, на которые разбивается весь диапазон изменения качества, не обязательно должно быть одинаково для каждого эксперта. Кроме того, каждому эксперту разрешается давать одну и ту же оценку двум (или нескольким) качественно различным альтернативам. Составляется матрица "эксперты - альтернативы", в которой проставляются полученные от каждого эксперта оценки альтернатив по шкале от 0 до 10. Рассчитывается относительная значимость всех альтернатив в отдельности для каждого эксперта. С этой целью оценки, полученные от каждого эксперта, по всем альтернативам суммируются, а затем нормируются. Нормирование любой меры означает, что представляющее её число для всего множества в целом принимается равным единице. Нормирование позволяет установить более тесную связь между оценками, приписанными экспертами отдельным альтернативам. Вычисляется усреднённая оценка, данная всеми экспертами по каждой альтернативе. Для этого нормированные оценки каждой альтернативы, полученные в предыдущем шаге, суммируются, а затем полученная сумма делится на число экспертов. Таким образом рассчитывается средняя арифметическая оценка для каждой альтернативы по формуле

где - оценка альтернативы і, данная экспертом ] , п - число альтернатив, т - число экспертов.

т

(1)

}=\ 1=1

где Ж. - вес г -й альтернативы, подсчитанный по оценкам всех экспертов.

Метод ранжирования

Может применяться в следующих ситуациях:

• когда необходимо упорядочить альтернативы во времени или пространстве. Это ситуация, когда интересуются не сравнением степени выраженности какого-либо их качества, а лишь взаимным пространственным или временным расположением этих альтернатив;

• когда нужно упорядочить альтернативы в соответствии с каким-либо качеством, но при этом не требуется производить его точное измерение;

• когда какое-либо качество в принципе измеримо, однако в настоящий момент не может быть измерено по причинам практического или теоретического характера.

Метод ранжирования редко используется "в чистом виде". Чаще всего он сочетается с другими методами, обеспечивающими более чёткое различие между альтернативами. Одним из них является метод непосредственной оценки. В некоторых случаях оказывается удобнее для выбора наиболее предпочтительной альтернативы сначала произвести оценку, а затем -ранжирование.

Суть процедуры ранжирования заключается в том, что эксперт располагает альтернативы в порядке, который представляется ему наиболее рациональным, и приписывает каждой из них числа натурального ряда - ранги. При этом ранг 1 получает наиболее предпочтительная альтернатива, а ранг N - наименее предпочтительная.

Следовательно, порядковая шкала, получаемая в результате ранжирования, должна удовлетворять условию равенства числа рангов N числу ранжируемых альтернатив п .

Эксперт может присваивать один и тот же ранг нескольким альтернативам, и в результате число рангов N оказывается не равным числу ранжируемых альтернатив п. В таких случаях альтернативам приписывают "стандартизованные" ранги. С этой целью общее число стандартизованных рангов полагают равным п , а альтернативам, имеющим одинаковые ранги, присваивают стандартизованный ранг, значение которого представляет среднее суммы мест, поделенных между собой альтернативами с одинаковыми рангами.

Вычисляется усреднённая оценка, данная всеми экспертами по каждой альтернативе:

где Хі}- - оценка альтернативы і, данная экспертом ] , п - число альтернатив, т - число экспертов.

т

(2)

}-\ г=1

где Ж. - вес г -й альтернативы, подсчитанный по оценкам всех экспертов.

У

Наиболее предпочтительным будет альтернатива, имеющая наименьшую усреднённую оценку (вес).

Метод парных сравнений

Парное сравнение производится, когда число альтернатив велико, и в тех случаях, когда различия между альтернативами настолько малы, что непосредственная оценка или ранжирование не обеспечивают их разумного упорядочения.

Таким образом, метод парных сравнений имеет некоторое преимущество перед другими методами упорядочения в случаях, когда альтернатив много и (или) они трудно различимы.

В методе парных сравнений альтернативы сопоставляются попарно экспертом (экспертами), а затем выбирается одна из них наиболее важная. В этом случае эксперт предпочитает данную альтернативу, хотя выбор не обязательно будет выражать его предпочтение. В общем случае эксперт может установить равенство альтернатив или зафиксировать свои предпочтения на некоторой шкале. За основу берут результаты ранговой оценки альтернатив. Основной элементарный акт - сравнение двух альтернатив А и В одним экспертом - можно распространить на случай, когда несколько экспертов рассматривают более чем две альтернативы. Результаты этой процедуры можно представить в виде матрицы А предпочтений с элементами X,,, равными числу случаев, когда А предпочтительней, чем А.. На основе матрицы А строится

У г ]

матрица Р, показывающая соотношение случаев, когда альтернатива г более предпочтительна,

X

чем альтернатива , . Элементы матрицы Р обладают тем свойством, что РР, = —, где т -

1 т

число экспертов, а также Р, + Р,г = 1. В матрице Р элементы Р, представляют относительное

число предпочтений, полученных от всех экспертов по каждой альтернативе перед каждой другой альтернативой. Разности между шкальными оценками двух альтернатив можно выразить с помощью модели шкалы

Я - Я1 = г, о,,

где Я, Я, - шкальные оценки альтернатив;

‘ 1

г, - нормированное отклонение, соответствующее 1 (для случаев предпочтения альтернативы г альтернативе ,);

О,, - стандартное (среднее квадратичное) отклонение предполагаемого распределения различий между Я и Я,.

‘ ]

При этом предполагается, что О = 1 и тогда Я, — Я, = 2,. Затем по таблицам

, , , нормированного нормального распределения ищут значение 2, для величины Р, = Р, — 0,500 и

, , ,

составляется матрица 2 основного преобразования. Конструируется следующая матрица, значения оценок которой находятся путём вычитания каждой записи , ряда матрицы 2, из

полученной оценки Sj . Средняя величина ряда в этой матрице - это шкальная оценка соответствующей альтернативы.

Метод комплексной экспертной оценки

Применяется во всех случаях, когда из исследуемой совокупности альтернатив необходимо выбрать наиболее существенный, а выбор конкретного метода решения затруднителен [7].

Для получения комплексной экспертной оценки составляется матрица “эксперты -альтернативы", где в роли экспертов выступают методы решений (непосредственная оценка, ранжирование и парные сравнения), а в качестве их оценок - результаты решений этими методами. Затем, в качестве метода «вторичной» обработки полученной информации, применяется метод ранжирования, если количество оцениваемых альтернатив к < 10, либо метод парных сравнений, если к > 10 .

3. Анализ экспертной информации

Анализ согласованности ответов экспертов предназначен для проверки достоверности экспертных оценок и выявления причин их неоднородности с помощью статистической обработки информации, полученной от экспертов [8].

Статистические характеристики

Полученные от экспертов оценки могут рассматриваться как случайная переменная. Поэтому для анализа разброса и согласованности оценок применяются обобщённые статистические характеристики:

а) среднее значение оценок (точечная оценка для данной группы экспертов), которое характеризует обобщённое мнение экспертов по альтернативам. Для альтернативы £

Л і »

у э =— £ Уі ; (3)

т і=і

б) среднее квадратичное отклонение, характеризующее разброс мнения отдельных

Л

экспертов относительно среднего значения уэ. Для альтернативы £

^Щу);

(4)

в) коэффициент вариации, характеризующий вариабельность, рассчитываемую в виде отношения среднего квадратичного отклонения к средней арифметической. Для альтернативы £

V = ^~. (5)

У э

Аналогично вычисляются результаты по другим альтернативам.

Противоречивость мнений

С точки зрения математической статистики, исходные оценки у, далеко отстоящие от среднего

А

значения уэ, могут считаться случайными. Введём понятие противоречивости мнения эксперта к

обобщённому мнению всех экспертов. Допустим, что мнение ук эксперта к является крайним

среди мнений т экспертов. Анализ противоречивости мнения эксперта к проводится с использованием оценки анормальности результатов при неизвестной генеральной дисперсии, суть которого заключается в следующем. Сначала вычисляется вероятность того, что величина

л/я (у)

превзойдёт некоторый заданный максимум / :

а = А Ук -У э <рЩу) 1. (7)

Если эта вероятность достаточно велика (например, больше 0,05 - 0,10), то гипотеза об анормальности ук может быть отброшена, в противном случае - принята. В связи с этим

"противоречивым" будем считать мнение эксперта ук, при котором выполняется неравенство

Ук - Уэ <рЩу), (8)

с вероятностью, меньшей некоторого предела а . Обычно за а принимают величину порядка 0,05 и менее. Если неравенство не выполняется, значит, мнение эксперта не противоречиво.

Коэффициенты ассоциации (по Устюжанинову)

Используются для оценки меры сходства мнений каждой пары экспертов. С помощью коэффициентов ассоциации учитывается лишь число совпадающих или несовпадающих ответов и не учитывается их последовательность [1].

Информационная мера близости ответов двух экспертов, предложенная В.Л.

Устюжаниновым, вычисляется по следующей формуле:

2т..

^, <9>

* 1о§2

1 + *-*

+ ti 1о§2

1 +

V и ^ г''

где т. - количество признаков, одинаково оценённых . — т и . - т экспертами;

* - количество признаков, оценённых . - т экспертом;

* - количество признаков, оцененных . - т экспертом.

Величина меняется в пределах от 1 до 0, причём = 1 указывает на полное

У У

совпадение мнений опрашиваемых, а = 0 - на полное различие мнений.

У

£ =------^------, N - число элементов выборки, для которых одновременно . < I и г. < г..

Коэффициент ранговой корреляции Кендалла

Одна из выборочных мер зависимости двух случайных величин (признаков) X и У основана на ранжировании элементов выборки (Х1з У1),..., (Хп, Уп). Коэффициент ранговой корреляции Кендалла [9] относится, таким образом, к ранговым статистикам и определяется формулой

к =2*^, (10,

п(п -1)

где г. - ранг У, принадлежащий той паре (X, У), для которой ранг X равен /,

2N - п(п -1)

2

Всегда -1 < к < 1.

Коэффициент ранговой корреляции Кендалла применяется для проверки гипотезы независимости случайных величин.

2(2п+5)

Если гипотеза независимости верна, то Ек = 0 и Ок =^.

9п(п -1)

При небольшом объёме выборки (4 < п < 10) проверка статистической гипотезы независимости производится с помощью специальных таблиц. При п > 10 пользуются нормальным приближением для распределения к .

Коэффициент ранговой корреляции Кендалла, как и любая ранговая статистика, может использоваться для обнаружения зависимости двух качественных признаков, если только элементы выборки можно упорядочить относительно этих признаков.

Коэффициент ранговой корреляции Спирмена

Мера зависимости двух случайных величин (признаков) X и У, основанная на ранжировании независимых результатов наблюдений (X1, У1),..., (Xn,Уп). Если ранги значений X расположены

в естественном порядке . = 1,..., п, а Я. - ранг У, соответствующий той паре (X, У), для которой

ранг X равен ., то коэффициент ранговой корреляции Спирмена [1] определяется формулой

б£</!

Л =1 - п-п-1) ■ <11)

где di - разность между рангами X. и У.. Значение Л меняется от -1 до +1, причём

Л =+1, когда последовательности рангов полностью совпадают, т.е. г = Я., г = 1,..., п. Коэффициент ранговой корреляции Спирмена, как и любая другая ранговая статистика,

применяется для проверки гипотезы независимости двух признаков. Если признаки независимы, то

Ег = 0, Вт = 1 -1. Таким образом, по величине отклонения г от нуля можно сделать вывод о п

зависимости или независимости признаков.

Конкордация

При анализе оценок, полученных от экспертов, часто возникает необходимость выявить согласованность их мнений по нескольким альтернативам, оказывающим влияние на один конечный результат. В этом случае согласованность мнений экспертов оценивается с помощью коэффициента конкордации, т.е. общего коэффициента ранговой корреляции для группы, состоящей из т экспертов [1].

Ранжированные оценки

Коэффициент конкордации определяют по формуле

Ж----------------—-------------, (12)

т

т2 (п3 - п)- т£ £ (3, - )

,-1 о

где £ - сумма квадратов разностей /отклонений/;

/ \ 2

п / т _ \ _ пО т

5 = £ £X,-£ ; 5 = £п; 5,= £X, ;

¿=1 ^ ,=1 ) п

п - число альтернатив; т - число экспертов;

X, - ранг ,-й альтернативы, присвоенный ему ,-м экспертом;

tj - число одинаковых рангов, которые присваивает разным альтернативам ,-й

эксперт.

Таким образом, для того чтобы оценить значимость коэффициента конкордации, пользуются критерием X-квадрат:

X2 =-----------------5---------------- (13)

Л 1 1 т ч

1 тп(п +1)-££ ( t; -,)

12 п -1 ¿=1 .

или

X2 = (п - 1)хт хЖ. (14)

Найденное значение должно быть больше табличного X-квадрат, определяемого числом степени её свободы и уровнем доверительной вероятности. Это подтверждает значимость коэффициента конкордации.

Парные сравнения

Для определения коэффициента конкордации составляется матрица предпочтений, в которой числа Р, показывают, сколько раз альтернатива , была предпочтительнее альтернативы , по

мнению т экспертов. В результате проведения Сп2 таких сравнений отдаётся предпочтение

каким-то 1 Сп2 альтернативам по сравнению с остальными 1 Сп2 альтернативами. Очевидно, 22

что при полном согласии т экспертов Сп2 ячеек матрицы будут содержать число q = т , а в

остальных ячейках будут нули. При минимальном согласии каждая ячейка будет содержать

11

q = — т, если число экспертов чётное, и q = ~(т + -1), если оно нечётное. Исходя из этого,

коэффициент согласия при парном сравнении определяется по формуле

4 п С 2Р

V = ! \ £ / \ . (15)

т(т -1),=1 п(п -1)

,=1

Таким образом, для того чтобы оценить значимость коэффициента конкордации, пользуются критерием X-квадрат:

X2 =(п - 1)хт х V . (16)

Найденное значение должно быть больше табличного X-квадрат, определяемого числом степеней свободы и уровнем доверительной вероятности. Это подтверждает значимость коэффициента конкордации.

4. Программно-алгоритмический комплекс

Для практической реализации математико-статистических методов, применяемых для обобщения и анализа информации, получаемой от экспертов, разработан программно-алгоритмический комплекс. Комплекс работает на компьютерах под управлением операционных систем семейства

Windows (95/98/2000/ХР). Для разработки была использована интегрированная среда Бог!апЬ С+.

При разработке в основу положен ряд принципов, необходимых для обеспечения высокой эффективности программного обеспечения:

• полнота классов научно-практических задач, математических методов и алгоритмов;

• возможность гибкого задания методики исследования и автоматического выбора метода решения, исходя из имеющейся информации о задаче;

• модульная структура, обеспечивающая гибкость и возможность модификации комплекса с целью дальнейшего расширения круга решаемых задач или усовершенствования уже реализованных алгоритмов;

• поддержка возможностей визуализации и интерактивного диалога с пользователем, который позволяет пользователю обеспечить максимальную свободу в процессе проведения расчетов и анализа полученных результатов;

• наличие внешних интерфейсов, позволяющих проводить обмен данными с другими приложениями;

• поддержка механизма сценариев (скриптов), протоколирования и автоматической генерации отчетов.

Функциональная структура программно-алгоритмического комплекса представлена на

рис.1.

Рис. 1. Функциональная структура комплекса

Программный комплекс состоит из 7 основных модулей: управления, ввода и хранения данных, анализа, обработки, визуализации, протоколирования и справочной информации.

Модули отражают общие функции (процессы), выполняемые программным комплексом.

Модуль управления - предназначен для согласования работы всех остальных модулей комплекса и организации взаимодействия с пользователем. С его помощью задается методика проведения исследования путем указания перечня используемых методов. Позволяет исследователю создавать удобную для работы конфигурацию программного комплекса.

Модуль ввода и хранения данных - позволяет подготавливать и корректировать исходные данные (оценки экспертов), представленные в виде А3С11 файла. Дает возможность пользователю вводить данные, подготовленные вне программного комплекса, а также сохранять и восстанавливать заданную конфигурацию программного комплекса и результаты обработки исходных данных.

Модуль анализа - осуществляет проверку согласованности и достоверности экспертных оценок, оценивает корректность выбранной методики исследования.

Модуль обработки - служит для проведения обработки информации, получаемой от экспертов математическими методами.

Модуль визуализации - предназначен для графического отображения результатов анализа и обработки экспертных оценок.

Модуль справочной информации - служит для оказания пользователю помощи в его работе с программным комплексом. Он позволяет узнать, какие действия реализуемы в текущей ситуации, а также предупреждает о возможных ошибках.

Модуль протоколирования - предоставляет возможность документировать исходные данные, результаты анализа и обработки выводом в текстовые файлы (в виде А3С11 кодов) или на принтер.

Основные функции и процессы, реализованные в программном комплексе:

- подготовка данных - мнений экспертов, выраженных количественными показателями;

- задание методики проведения исследования;

- математические методы анализа и обработки оценок экспертов;

- визуализация результатов анализа и расчетов.

Кроме того, реализованы сервисные процедуры, обеспечивающие исследователю удобство работы с программным комплексом.

Исследование состоит из нескольких этапов: ввод исходных данных, анализ их согласованности и достоверности, обработка мнений экспертов (решение), визуализация.

Анализ проводится непосредственно пользователем с целью определения качества исходных данных. В первую очередь необходимо оценить согласованность мнений экспертов. Согласованность показывает, являются ли мнения экспертов "белым шумом" или отражают некоторую существующую устойчивую закономерность.

Для оценки согласованности применяется коэффициент конкордации:

- коэффициент согласия при парном сравнении;

- дисперсионный коэффициент - для ранжированных рядов.

Если расчетное значение критерия " X-квадрат" для данного коэффициента конкордации

больше табличного, то мнения экспертов согласованы.

В случае, если мнения оказались согласованы, то дальнейший анализ можно не проводить при условии, что у пользователя нет на то особых причин. При наличии несогласованности мнений экспертов целесообразно продолжить анализ для выявления причин их неоднородности.

Проводится проверка на непротиворечивость мнений, в ходе которой выявляются эксперты, мнения которых существенно отличаются от общего мнения группы.

Для оценки меры сходства мнений каждой пары экспертов могут быть использованы различные методы.

Наиболее грубый подход основан на расчете коэффициентов ассоциации, с помощью которых учитывается лишь число совпадающих и несовпадающих ответов и не учитывается их последовательность.

Более точную проверку согласованности пар мнений экспертов можно провести, используя методы ранговой корреляции Кендалла и Спирмена. Отметим, что метод расчета коэффициента ранговой корреляции, предложенный Спирменом, вычисляется проще и быстрее.

Кроме того, при необходимости пользователь может оценить часто используемые статистические характеристики:

- математическое ожидание;

- среднее квадратичное отклонение;

- коэффициент вариации.

Обработка экспертных оценок производится одним из методов, реализованных в программном комплексе, в соответствии с выбранной методикой исследования. Выбор конкретного метода определяется условиями решаемой задачи.

В случае, если пользователь затрудняется в выборе метода оценки, то рекомендуется применять обобщенную экспертную оценку, обеспечивающую минимальный риск принятия нерационального решения за счет комплексного использования различных методов обработки информации.

Для выбранного метода результатом решения будет вектор оценок, присвоенный каждой альтернативе. Эта информация является основой для принятия решения о предпочтительности той или иной рассмотренной альтернативы.

5. Выводы

Описанный программный комплекс представляет собой новое средство для обработки информации, полученной от экспертов. Используется в ситуациях, когда необходимо сделать правильный выбор, а обоснование и оценка последствий решений не могут быть выполнены на основе точных расчётов.

Для решения данной задачи программный комплекс оснащён процедурами создания и обработки информации, средствами графической визуализации, дополнительными системными и сервисными средствами для работы с оценками экспертов и результатами их анализа, функциями ввода-вывода.

Проблемная ориентированность и широкий класс реализованных алгоритмов обуславливают высокую эффективность при решении задач экспертного оценивания, а дружественный интерфейс и средства визуализации обеспечивают простоту и удобство работы с комплексом.

Трудно охватить все области применения комплекса. Это исследования при разработке современных систем, решение проблем управления производством и особенно при прогнозировании и долгосрочном планировании науки, техники и экономики.

СПИСОК ЛИТЕРАТУРЫ

1. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980. -С. 263.

2. Бешелев С.Д., Карпова И.В. Выбор перспективной техники с помощью метода экспертных оценок // Экономика и математические методы. - 1972. - Т. VIII. - Вып. 1. - С. 82.

3. Теория выбора и принятия решений / И.М. Макаров, Т.М. Виноградская, А.А. Рубчинский и др. - М.: Наука, 1982. - С. 328.

4. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М.: Экономика, 1978. - С. 133.

5. Китаев Н.Н. Г рупповые экспертные оценки. - М.: Экономика, 1975. - С. 64.

6. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки в принятии плановых решений. - М.: Экономика, 1976. - С. 79.

7. Лисецкий Ю.М. Метод комплексной экспертной оценки для проектирования сложных технических систем // Математичні машини і системи. - 2006. - № 2. - С. 141-146.

8. Литвак Б.Г. Экспертная информация: Методы получения и анализа. - М.: Радио и связь, 1984. - С. 118.

9. Кендалл М. Ранговые корреляции. - М.: Статистика, 1975. - С. 174.

Стаття надійшла до редакції 11.10.2007