МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ ОЦЕНКИ КАЧЕСТВА КОЛЛЕКТИВНОГО РЕШЕНИЯ Текст научной статьи по специальности «Математика»

УДК 519.816

DOI 10.18413/2687-0932-2020-47-3-573-582

Математическое моделирование оценки качества коллективного решения

А.В. Ганичева1, А.В. Ганичев2

1)1 Тверская государственная сельскохозяйственная академия, Россия, 170904, Тверь, ул. Маршала Василевского, 7 2) Тверской государственный технический университет, Россия, 170026, Тверь, наб. Аф. Никитина, 22 E-mail: alexej.ganichev@yandex.ru

Аннотация

Проблема принятия коллективного решения группой экспертов является одной из важнейших в системном анализе информационных процессов. Для ее решения необходимо оценить качество коллективного решения (точность, достоверность, надежность, количество экспертов и их характеристики). В статье рассматриваются вопросы надежности и достоверности оценок, выставляемых группой экспертов. Определена оценка оптимального количества экспертов в зависимости от точности и надежности оценки. Показан новый подход к определению числовых характеристик ошибок оценивания. Разработан метод вычисления относительной ошибки оценивания фактора, рассмотрен вопрос качества оценки нескольких факторов. Для реализации методов определения оптимальной численности экспертов разработаны детальные алгоритмы. Полученные результаты могут использоваться для решения задач планирования деятельности, прогнозирования результатов, выбора перспективных технологий и т. д.

Ключевые слова: эксперт, фактор, выборка, относительная ошибка оценивания, разброс, плотность распределения, доверительный интервал.

Для цитирования: Ганичева А.В., Ганичев А.В. 2020. Математическое моделирование оценки качества коллективного решения. Экономика. Информатика. 47 (3): 573-582. DOI 10.18413/2687-09322020-47-3-573-582.

Mathematical modeling of collective decision quality assessment

A.V. Ganicheva1, A.V. Ganichev2

1) Tverskaya state agricultural Academy, Russia, 170904, Tver, St. Marshal Vasilevsky, 7 2) Tverskoy state technical University, Russia, 170026, Tver, nab. AF. Nikitin, 22 E-mail: alexej.ganichev@yandex.ru

Abstract

The problem of making decisions by a group of experts is one of the most important in the system analysis of information processes. To solve it, it is necessary to assess the quality of the collective decision (accuracy, reliability, reliability, the number of experts and their characteristics). The article deals with the issues of reliability and reliability of estimates made by a group of experts. The estimation of the optimal number of experts is determined depending on the accuracy and reliability of the assessment. A new approach to determining the numerical characteristics of estimation errors is shown. A method for calculating the relative error of a factor assessment has been developed, the issue of the quality of evaluating several factors has been considered. Detailed algorithms have been developed to implement methods for determining the optimal number of experts. The results obtained can be used to solve tasks of activity planning, results forecasting, selection of promising technologies, etc.

Keywords: expert, factor, sample, relative error of estimation, spread, distribution density, confidence interval.

For citation: Ganicheva A.V., Ganichev A.V. 2020. Conceptual model of critical infrastructures resilience in the context of modern theory of complex system security. Economics. Information technologies. 47 (3): 573582 (in Russian). DOI 10.18413/2687-0932-2020-47-3-573-582.

Введение

Возрастающий уровень сложности, неопределенности и ответственности принимаемых решений во многих предметных областях вызывает необходимость использования коллективного мнения экспертов. Вопросам экспертных оценок уделяется большое внимание в научных исследованиях. Так, в статье [Михалева, Подвесовский, 2019] рассмотрена технология групповой экспертизы в распределенной среде, в работах [Крянев, Семенов, 2013; Рупосов, 2015; Слепцова, 2015] изложены вопросы определения числа экспертов для надежного обоснования принятия решения. В статье [Халафян и др., 2016] предложен альтернативный суммированию баллов метод оценки результатов экспертных оценок. Технология организации экспертного опроса, основные этапы проведения экспертизы и методы их реализации показаны в работе [Кошевой и др., 2012]. В статьях [Yang et. al., 2000; Халикова, Рыжкова, 2016] предлагается использовать для экспертной оценки метод моделирования. Вопросы применения коллективных экспертных оценок в системах поддержки принятия решений рассмотрены в работах [Turban, Aronson, 2000; Cojocariu et. al., 2005; Velychko et. al., 2014; Данелян, 2015; Kirichek, Morozova, 2018]. Оригинальным является подход, использующий для расчета коэффициента значимости экспертного оценивания алгебраические методы теории постановок [Попов и др., 2016]. Как отмечается в фундаментальном исследовании современной теории экспертных оценок [Орлов, 2011], в этой области есть еще много неисследованных вопросов.

Целью работы является определение характеристик коллективного решения экспертов. Для реализации поставленной цели решены следующие задачи:

1) определены числовые характеристики ошибок оценивания;

2) показано вычисление относительной ошибки оценивания;

3) разработан метод определения точности оценки нескольких факторов.

Числовые характеристики ошибок оценивания

Предположим, что n независимых экспертов оценивают некоторый фактор В. Пусть

/ _\ _ i n

x (i = i, n I - оценка /-го эксперта, x = — V x - средняя оценка. Все возможные оценки фактора

nj~—

В образуют генеральную совокупность некоторой случайной величины Х, которая представлена выборкой X I i = n] и средней выборочной x = — ^хг .

До проведения эксперимента элементы выборки являются случайными величинами Х1,X,...,Хп Будем рассматривать случай, когда Х1,Х2,...,Хп попарно независимые случайные величины, имеющие один и тот же закон распределения. Пусть х - произвольное значение случайной величины Х, х — х представляют собой ошибки оценивания. Пусть шх и ох - соответственно математическое ожидание и среднее квадратическое отклонение

случайной величины Х. Величина х является случайной, т. к. определяется выборкой. Допустим, что Х имеет нормальное распределение. При этом будем считать, что интервал (Хщт> хтах) (здесь хтп и хтах - соответственно минимальное и максимальное значение

случайной величины X) совпадает с интервалом (х — 4е — 35^, х + + ), где а - точность

оценки х для т и оценки 52 =-(X — X) для а . Если первый интервал меньше

п — 1£т '

второго, то растягиваем его в соответствующее число раз, переходя к новым хтк1 и хтах . Случайная величина х также имеет нормальное распределение (как сумма нормально

распределенных величин), причем М

х

= m, D

х

а

В работе [Вентцель, 2018] рассмотрен приближенный метод построения

2

доверительного интервала для дисперсии ах, когда число наблюдений п > 30. Это интервал

Sß -е-1

( -е) , +е + tß^ (^ + e)j,

где 8 - точность оценки, ^ - аргумент

функции Лапласа для доверительной вероятности р. Отсюда находим

(5х2 +8)2 +1

П >■

е

(1)

В [Михин, 2016] рассмотрен метод построения доверительного интервала для дисперсии когда п > 30 . Доверительный интервал имеет вид:

Тогда

Отсюда

(

( п - 1) S2

( П - 1) S2

Л

(п- 1) + tpJ2(п-1)' (П- 1)-2(П-1)

S

2-а2<

2(п-1)S2tßJ2(п-1) _2SX%V2(П-1) (п-1)2 -2tß(n-1) п-1 -2tß

< е.

п >■

8tß s:

+ 4tß - 0,52t4 +1.

(2)

Пусть, например, 8 = 0,0152. Для Р = 0,9 имеем ^ = 2,72 и если N1 - число опытов согласно первому методу, N2 - согласно второму, то 1N + 4,03 = N . Следовательно, для этих

данных предпочтительнее первый метод. При Р = 0,95 и Х2р = 3,84 результат будет почти

такой же, как и в первом случае, т. е. для этих данных предпочтительнее первый метод. Будем использовать первый метод.

Приведем алгоритм нахождения и, когда не задано, и происходит итерационный

процесс определения такого значения 5 , чтобы выполнялось неравенство (1). Шаги алгоритма (назовем его Алгоритм 1).

1. Дано: а=1-в, £, п0, птах - максимально возможное в данной ситуации число экспертов.

2

1 п / -Ч2 — 1 п

2. Находим правую часть неравенства (1), когда 52 =-х — х) и х = — ^ х{ . Для

п — 1 1=1

П

i=1

этого рассматриваются оценки п независимых экспертов.

2

2

е

3. Если полученная на шаге 2 правая часть (1) будет не меньше по и не больше птах, то получаем оценку для числа экспертов п, удовлетворяющую неравенству: п0 < п < птх. Переход на Конец.

4. Если правая часть (1) меньше, чем п0, то полагаем п0 = п0 +1. Если при этом п0 < п^, то переходим на шаг 2.

5. В противном случае надо уменьшать значения а и е.

Рассмотрим нормально распределенную случайную величину У = X — х. При вычитании случайных величин вычитаются их математические ожидания. Поэтому т [У ] = 0

. Найдем Б Тогда

X - х

= D [ X ] + D

х

- =

n +1

X ,х

n

Dx, если х £{Xj,..., хп},

f ( y) = f ( X-X) = <

4П

Dx, если х e{xj,...,хп}.

(х-х) -n

V2W n+1 о

2( n+1).

если х £ {х1з...,хп}

«Jn

(х-х) -n

~2(n+2)o2, если х е{х,...,х„}

л/2^ Л/n + 2 о

(3)

Заметим, что л/п ^ Vп + 2 , л/п « л/п + 1 с точностью 3,3 % при п > 40 Формула (3) при п > п0 = 40 преобразуется в формулу

fl (y )=fl (х - e

1х=хГ

(4)

поскольку при этих значениях п с вероятностью 1 — а с точностью е а2 « .

Одна из важных задач заключается в определении доли (процента) / возможных ошибок оценивания, заключенных в промежутке (— Ь, Ь). Для этого, с учетом (4) при п > п0, можно использовать формулу

P(- b < 7 < b) = Ф

V ^х у

= Р-

(5)

Отсюда при заданных Ь и / определяется соответствующая Бх, и выносятся рекомендации по экспертизе. При известных Ь и Бх находится доля /, при заданных Бх и / находится граница Ь .

Относительная ошибка оценивания

При оценке ошибок экспертов важная роль отводится относительной ошибке

х - х

х - х

оценивания, которую можно определить либо как 8 = —=—, либо через 8 = —=— (случай

х х

х х

—=— симметричен 81). х

<

e

e

2

х

X х х х

Пусть 5 = —=--относительная ошибка. Если —=— > 1, то оценка х не согласована

х х

с х,если

x - х

х

< 1, то х согласована с х и тем лучше, чем меньше относительная ошибка.

Если 5 составляет не более 3 %, то оценка х имеет повышенную точность, если 5 находится в границах 3 % - 10 %, то это обычная точность, при значениях 5 от 10 % до 20 % имеем приближенную оценку [Ганичева, 2017].

Рассмотрим в качестве относительной ошибки 5Х = 'х—х. Это значение случайной

х

- - 1 п

величины Д1, представленной отношением величин У = X — х и х = — ^ хг , которые имеют

n

t=i

нормальное распределение, причем М[У] = 0, М [х] = тх, при п > п0 с вероятностью 1 — а и

£2

s n

с точностью — D n

х

х

n

Неизвестное значение тх можно заменить точечной оценкой х, удовлетворяющей условию:

- -

(6)

- S

х Г~ tß,n-l < mx < х + ¡— ßn-1,

"Jn л/n

где ^рп—1 - аргумент функции Стьюдента ,к) такой, что п — \) = р = 1 — а и

n2f2

_ , Sx^ß,n0 -1

n > n = max -j n0,-

(7)

Произведем разложение функции У = = в ряд Тейлора в окрестности точки тх,

х

ограничиваясь тремя слагаемыми:

К= —---^—г (х — т-)н--(х — т-) .

1 т)! ( ') (т-) ( ■)

mX

(8)

Погрешность такого представления равна остаточному члену Я2 (х) ряда Тейлора,

причем

- 1 \3 -^ (х) = —-(х — т- ) , <; заключено между х и тх . Из (6) вытекает, что при п > щ

отличается от тх не более, чем на 8, с вероятностью Р = 1 — а. Поэтому (х) будет сравнительно небольшим. Пусть е = т-, если т-, е = т — а , если т- .

Из формулы (8) с точностью M

[|*2 (х)|]

< M

Г \-s3! =1 s3M ' 1 "

2 J _

3/4

<s / e найдем

1 1 n

m = — +--- D- .

y 1

тх ( m-

( m)

По определению, \= У • У, или 51= у • у.

Разлагая функцию 51 в ряд Тейлора в окрестности точки (ту,т ) получим:

51 = ту • ту1 + ту, '(у — ту ) + ту-(У1— ту,) .

х

Данное представление 81 является точным, т. к. все частные производные высших порядков равны нулю.

Поскольку т = 0, с учетом (9) находим

(

31 = my, • У =

-L ■ d

Л

m

( mx )

У •

(10)

Отсюда следует, что 8Х имеет нормальное распределение, причем

m =

si

1

R7 x

m- (mV x v x

• my = 0 ,

f

D3 =

i

V

1 1 n

— +--• D

m (m, ) X

•D

У

V

11

— +--• D

m (m, ) X

• Si.

(11)

(12)

У

1 , 1 n

m- (m- ) x

V x V x> У

Равенство (12) получено с учетом (9) и выполняется с точностью при п > п •

Значение тх оценивается по указанному выше способу.

С учетом того, что Б Бх с точностью до —, из (10) по правилу отыскания

х п п

плотности распределения монотонной функции находим

/2 (3 ) =

(3 )2

2S 2с2

Л& S • <

где

Тогда

1 1 S

c = — +

m-

( mx)

n

P(- d <3 < d) = Ф

' d > V Sx • С y

(13)

(14)

(15)

Итак, формулы (10)-(13), (15) дают достаточно точное значение, соответственно, относительной ошибки оценивания, её среднего значения, разброса, плотности распределения и вероятности попадания на участок (— ё, ё).

Приведем алгоритм решения данных задач.

1. Сначала применяется Алгоритм 1. Если заканчивается переходом на Конец, то переход на шаг 2.

2. Вычисляется т по формуле (7) для числа шагов по, полученного при завершении Алгоритма 1.

3. Если щ не меньше, чем по, то п > п . Переход на 4.

В противном случае полагаем п = П +1 и переходим на шаг 2 Алгоритма 1.

4. Расчет разброса относительной ошибки оценивания.

4.1. Сначала вычисляем «с» по формуле (14).

4.2. Используем правую часть (14) для п = щ.

2

1

5. Расчет вероятности попадания относительной ошибки в интервал (— d, d), где d -

задано.

5.1. Вычисляется «с» по формуле (14).

d

5.2. Вычисляется значение функции Лапласа в точке-.

SxC

Точность оценки m факторов

Рассмотрена точность оценки применительно к одному фактору. В случае m факторов Bi, B2, ..., Bm вместо x будет рассматриваться вектор (xi,x2,...,Xm). Рассматривается вектор оценок X = (Х1, Х2,..., Xn ) и вектор оценок ошибок Y = (Y, Y ,-•, Ym ) нормально распределенных случайных величин Y ,Y,-•, Ym, где Y. = X. — x., j = 1, m, хц - оценка y-го

__j m

фактора z'-ым экспертом, x у = — y x. . Вероятность в определяется как вероятность

m 1=1 j

выполнения совместных условий: — b < Y < b ( = 1,m).

Точность целесообразно вычислять для каждой координаты.

Будем считать координаты вектора Y независимыми нормально распределенными величинами. Тогда распределение вектора Y запишется в виде:

f(y)=-l—— 2S4 , (16)

(2^)"/2 IIS

(xj —xj f

здесь Б2 « а2 с точностью до г и число экспертов и > щ. Вероятность того, что будут выполнятся совместные условия 0 < Г1 < Ь, .. .,0 < Ут < , запишется в виде:

m

f((-M г, <МН <»=)-Н, si, <».))=пф

V

v s*i j

= £. (17)

Формула (17) дает возможность при заданных Д корректировать значение (j = 1,т) . Например, если ^ = 0,9, т = 30, А. = 0,1 для всех / = 1,т и все равны

между собой, то 0,9 =

Ф

f У30 ' 0,1

V SXi J

Отсюда -01 ~ 5 и S = 0,1 = 0,02, т. е.

S, Xi 5 ' ,

-1У (ху — xj ) = 0,02 для любого j = 1,30.

30

У

29 У

Заключение

Разработка надежных и качественных методов коллективных решений является актуальным направлением современных исследований. Разработанный метод определения характеристик коллективного решения экспертов позволяет:

1) рассчитывать числовые характеристики ошибок оценивания (среднее значение и дисперсию);

2) вычислять относительную ошибку оценивания и определять ее характеристики;

3) определять точность оценки нескольких факторов (параметры вектора оценок и вектора ошибок).

Перспективными направлениями применения групповых экспертных оценок являются, прежде всего, инженерный бизнес, менеджмент, экономика, социология, экология, планирование производства продукции, прогнозирование, нормирование труда, научные и технические исследования и т. д. [Орлов, 2011]. Дальнейшие направления исследований связаны c объектами нечисловой природы, учетом неопределенности [Chakraborty, 2001] и нечеткости [Yu, Park, 2000] экспертных заключений.

Список литературы

1. Вентцель Е.С. 2018. Теория вероятностей. М., ЮСТИЦИЯ, 658.

2. Ганичева А.В. 2017. Математика для юристов. СПб., «Лань», 204.

3. Данелян Т.Я. 2015. Формальные методы экспертных оценок. Экономика, статистика и информатика. 1, 183-187.

4. Кошевой О.С., Голосова Е.С., Сеидов Ш.Г. 2012. Организация экспертного опроса с привлечением специалистов органов государственного и муниципального управления. Известия высших учебных заведений. Поволжский регион. Общественные науки. 1 (21): 98-107.

5. Крянев А.В., Семенов С.С. 2013. К вопросу о качестве и надежности экспертных оценок при определении технического уровня сложных систем. Надежность. (4): 90-109.

6. Михалева О.А., Подвесовский А.Г. 2019. Модели и алгоритмы обработки результатов групповой экспертизы в распределенной среде. Информационные системы и технологии. 6 (116): 30-38.

7. Михин М.Н. 2016. Математическая статистика. М., МИРЭА, 60.

8. Орлов А.И. 2011. Организационно-экономическое моделирование: учебник: в 3 ч. Ч. 2: Экспертные оценки. М. Изд-во МГТУ им. Н.Э. Баумана, 486.

9. Попов Г.А., Попова Е.А., Попова М.Г. 2016. Альтернативный вариант оценки значимости результатов экспертного оценивания в методе строгого ранжирования. Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. (4): 109-117.

10. Рупосов В.Л. 2015. Методы определения количества экспертов. Вестник ИрГТУ. 3 (98): 286-292.

11. Слепцова М.В. 2015. Определение оптимального числа экспертов для проведения экспертизы в области непрерывного технологического образования. Известия ВГПУ. Педагогические науки. 4 (269): 21-23.

12. Халафян А.А., Темердашев З.А., Якуба Ю.Ф., Гугучкина Т.И. 2016. Использование многомерного анализа для итоговой оценки результатов экспертных оценок. Заводская лаборатория. Диагностика материалов. 82 (10): 71-77.

13. Халикова К.С., Рыжкова С.К. 2016. Оценка влияния факторов на основе когнитивного моделирования и экспертной оценки. Гуманитарные научные исследования. 2 (54): 300-303.

14. Chakraborty D. 2001. Structural quantization of vagueness in linguistic expert opinions in an evaluation programme. Fuzzy Sets and Systems. 119 (1): 171-186.

15. Cojocariu A., Munteanu A., Sofran O. 2005. Verification, Validation and Evaluation of Expert Systems in Order to Develop a Safe in the Processo f Decison Making, Computational Economics 0510002, EconWPA: 98-106.

16. Kirichek A., Morozova A. 2018. Review as a procedure of expert evaluation of the quality of scientific articles Article (PDF Available) in Ergodesign: 3-7.

17. Turban E., Aronson J.E. 2000. Decision Support and Intelligent Systems, 6th edn. Prentice Hall, New Jersey, 960.

18. Velychko O.M., Gordiyenko T.B., Kolomiets L.V. 2014. Methodology of expert estimation taking into account the expert's competence. Metallurgical and Mining Industry. 5 (290): 106 111.

19. Yang C., Kose S., Phan S., Kuo P. 2000. A Simulation-based Procedure for Expert System Evaluation. In: Proceedings of the IEA/AIE 13th International Conference, New Orleans (June 19-22): 149-160.

20. Yu D., Park W.S. 2000. Combination and evaluation of expert opinions characterized in terms of fuzzy probabilities Annals of Nuclear Energy. 27 (8): 713-726.

References

1. Venttsel' E.S. 2018. Teoriya veroyatnostey [Probability theory], Moscow, YUSTITSIYA, 658 p.

2. Ganicheva A.V. 2017, Matematika dlya yuristov [Math for lawyers]. Saint Petersburg, «Lan'», 204 p.

3. Danelyan T.YA. 2015. Formal'nyye metody ekspertnykh otsenok [Formal methods of expert evaluations], Ekonomika, statistika i informatika, 1: 183-187.

4. Koshevoy O.S., Golosova E.S., Seidov SH.G. 2012. Organizatsiya ekspertnogo oprosa s privlecheniyem spetsialistov organov gosudarstvennogo i munitsipal'nogo upravleniya [Organization of an expert survey with the involvement of specialists from state and municipal authorities]. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Obshchestvennyye nauki, 1 (21): 98 -107.

5. Kryanev A.V., Semenov S.S. 2013. K voprosu o kachestve i nadezhnosti ekspertnykh otsenok pri opredelenii tekhnicheskogo urovnya slozhnykh system [Organization of an expert survey with the involvement of specialists from state and municipal authorities]. Nadezhnost', 4: 90-109.

6. Mikhaleva O.A., Podvesovskiy A.G. 2019. Modeli i algoritmy obrabotki rezul'tatov gruppovoy ekspertizy v raspredelennoy srede [ Models and algorithms for processing group examination results in a distributed environment]. Informatsionnyye sistemy i tekhnologii, 6 (116): 30-38.

7. Mikhin M.N. 2016. Matematicheskaya statistika [Mathematical statistics]. Moscow, MIREA, 60 p.

8. Orlov A.I. 2011. Organizatsionno-ekonomicheskoye modelirovaniye: uchebnik: v 3 ch. CH. 2: Ekspertnyye otsenki [Organizational and economic modeling: textbook: in 3 p. P. 2: Expert assessments]. Moscow, Izd-vo MGTU im. N.E. Baumana, 486 p.

9. Popov G.A., Popova E.A., Popova M.G. 2016. Al'ternativnyy variant otsenki znachimosti rezul'tatov ekspertnogo otsenivaniya v metode strogogo ranzhirovaniya [ An alternative way to assess the significance of the results of expert evaluation in the strict ranking method]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Seriya: Upravleniye, vychislitel'naya tekhnika i informatika, 4: 109-117.

10. Ruposov V.L. 2015. Metody opredeleniya kolichestva ekspertov [Methods for determining the number of experts]. Vestnik IrGTU, 3 (98): 286-292.

11. Sleptsova M.V. 2015. Opredeleniye optimal'nogo chisla ekspertov dlya provedeniya ekspertizy v oblasti nepreryvnogo tekhnologicheskogo obrazovaniya [ Determination of the optimal number of experts to conduct expertise in the field of continuing technological education]. Izvestiya VGPU. Pedagogicheskiye nauki, 4 (269): 21-23.

12. Khalafyan A.A., Temerdashev Z.A., Yakuba YU.F., Guguchkina T.I. 2016. Ispol'zovaniye mnogomernogo analiza dlya itogovoy otsenki rezul'tatov ekspertnykh otsenok [Using multivariate analysis for the final evaluation of the results of expert evaluations]. Zavodskaya laboratoriya. Diagnostika materialov, 82 (10): 71-77.

13. Khalikova K.S., Ryzhkova S.K. 2016. Otsenka vliyaniya faktorov na osnove kognitivnogo modelirovaniya i ekspertnoy otsenki. Gumanitarnyye nauchnyye issledovaniya. 2 (54): 300 303.

14. Chakraborty D. 2001. Structural quantization of vagueness in linguistic expert opinions in an evaluation programme. Fuzzy Sets and Systems, 119 (1): 171-186.

15. Cojocariu A., Munteanu A., Sofran O. 2005. Verification, Validation and Evaluation of Expert Systems in Order to Develop a Safe in the Processo f Decison Making, Computational Economics 0510002, EconWPA: 98-106.

16. Kirichek A., Morozova A. 2018. Review as a procedure of expert evaluation of the quality of scientific articles Article (PDF Available) in Ergodesign: 3-7.

17. Turban E., Aronson J.E. 2000. Decision Support and Intelligent Systems, 6th edn. Prentice Hall, New Jersey, 960.

18. Velychko O.M., Gordiyenko T.B., Kolomiets L.V. 2014. Methodology of expert estimation taking into account the expert's competence. Metallurgical and Mining Industry, 5 (290): 106-111.

19. Yang C., Kose S., Phan S., Kuo P. 2000. A Simulation-based Procedure for Expert System Evaluation. In: Proceedings of the IEA/AIE 13th International Conference, New Orleans (June 19-22): 149-160.

20. Yu D., Park W.S. 2000. Combination and evaluation of expert opinions characterized in terms of fuzzy probabilities. Annals of Nuclear Energy, 27 (8): 713-726.

ИНФОРМАЦИЯ ОБ АВТОРАХ

Ганичева Антонина Валериановна, кандидат физико-математических наук, доцент, доцент кафедры физико-математических дисциплин и информационных технологий ФБГОУ ВО Тверская государственная сельскохозяйственная академия, г. Тверь, Россия

Ганичев Алексей Валерианович, доцент кафедры информатики и прикладной математики ФБГОУ ВО Тверской государственный технический университет, г. Тверь, Россия

INFORMATION ABOUT THE AUTHORS

Antonina V. Ganicheva, Candidate of Physical and Mathematical Sciences, Associate Professor, Associate Professor of «Physical and Mathematical Disciplines and Information Technologies» Department, Federal State Budgetary Educational Institution of Higher Education Tver «State Agricultural Academy», Tver, Russia

Alexey V. Ganichev, Associate Professor of «Informatics and Applied Mathematics» Department, Federal State Budgetary Educational Institution of Higher Education Tver State Technical University, Tver, Russia