CC BY
35
МАТЕМАТИЧЕСКАЯ МОДЕЛЬ ОБРАБОТКИ ЭКСПЕРТНЫХ ОЦЕНОК
О.М. ПОЛЕЩУК, проф. каф. высшей математикиМГУЛ, канд. физ.-мат. наук, д-р техн. наук
В статье рассматриваются результаты эксперимента, согласно которому шесть независимых экспертов оценивали характеристику качества «соответствие учебным планам» у двадцати образцов учебных пособий. Оценивание проводилось в рамках вербальной шкалы с шестью уровнями: «отсутствие соответствия плану», «соответствие плану по вспомогательным разделам», «соответствие по части основных разделов», «соответствие по большинству основных разделов», «соответствие по всем основным разделам», «полное соответствие плану». Оценки экспертов в виде номеров уровней вербальной шкалы занесены в табл. 1.
Относительные результаты оценивания экспертов в рамках каждого уровня занесены в табл. 2. Номер строки соответствует номеру уровня.
Построены шесть ПОСП Х1,1 = 1,6, формализующие критерии экспертов оценивания соответствия учебной литературы учебным планам [1]. При построении использовались данные табл. 2. Параметры функций принадлежности ¡лй (х), /' = 1,6,1 = 1,6 терм-множеств ПОСП занесены в табл. 3, а параметры функций принадлежности формализованных экспертных результатов занесены в табл. 4.
Таблица 1
Результаты экспертного оценивания
1 экс. 2 экс. 3 экс. 4 экс. 5 экс. 6 экс.
1 6 5 6 5 5 6
2 4 4 3 3 4 4
3 1 1 2 1 1 1
4 6 5 5 5 5 6
5 2 2 3 2 3 2
6 5 4 5 4 4 5
7 1 1 1 2 2 1
8 6 6 6 6 6 6
9 5 4 5 5 5 5
10 3 3 3 3 3 3
11 3 2 3 2 2 3
12 5 5 5 5 5 5
13 6 6 6 6 6 6
14 6 5 6 4 5 6
15 3 3 3 1 3 3
16 4 4 4 4 4 4
17 4 3 4 3 2 4
18 6 6 6 6 5 6
19 6 6 6 6 5 6
20 4 3 3 3 2 4
Таблица 2
Относительные результаты экспертного оценивания
1 экс. 2 экс. 3 экс. 4 экс. 5 экс. 6 экс.
1 0,1 0,1 0,05 0,1 0,05 0,1
2 0,05 0,1 0,05 0,15 0,2 0,05
3 0,15 0,2 0,3 0,2 0,15 0,15
4 0,2 0,2 0,1 0,15 0,15 0,2
5 0,15 0,25 0,2 0,2 0,35 0,15
6 0,35 0,15 0,3 0,2 0,1 0,35
Таблица 3
Параметры функций принадлежности терм-множеств
формализованных экспертных подходов
Х1 Х2 Хз Х4 Х5 Х6
М*) (0; 0,075; 0; 0,05) (0; 0,05; 0; 0,1) (0; 0,025; 0; 0,05) (0; 0,05; 0; 0,1) (0; 0,025; 0; 0,05) (0; 0,075; 0; 0,05)
/МХ) (0,125; 0,05; 0,05) (0,15; 0,1; 0,1) (0,075; 0,05; 0,05) (0,15; 0,175; 0,1; 0,15) (0,075; 0,175; 0,05; 0,15) (0,125; 0,05; 0,05)
Ма(х) (0,175; 0,225; 0,05; 0,15) (0,25; 0,3; 0,1; 0,2) (0,125; 0,35; 0,05; 0,1) (0,325; 0,375; 0,15; 0,15) (0,325; 0,15; 0,15) (0,175; 0,225; 0,05; 0,15)
М*) (0,375; 0,425; 0,15; 0,15) (0,5; 0,2; 0,2) (0,45; 0,1; 0,1) (0,525; 0,15; 0,15) (0,475; 0,15; 0,15) (0,375; 0,425; 0,15; 0,15)
М*) (0,575; 0,15; 0,15) (0,7; 0,775; 0,2; 0,15) (0,55; 0,6; 0,1; 0,2) (0,675; 0,7; 0,15; 0,2) (0,625; 0,85; 0,15; 0,1) (0,575; 0,15; 0,15)
Мб(х) (0,725; 1; 0,15; 0) (0,925; 1; 0,15; 0) (0,8; 1; 0,2; 0) (0,9; 1; 0,2; 0) (0; 95; 1; 0,1; 0) (0,725; 1; 0,15; 0)
Таблица 4
Параметры функций принадлежности формализованных результатов экспертов
м М2 М3 М4 М5 М6
(0,725; 1; 0,15; 0) (0,7; 0,775; 0,2; 0,15) (0,8; 1; 0,2; 0) (0,675; 0,7; 0,15; 0,2) (0,625; 0,85; 0,15; 0,1) (0,725; 1; 0,15; 0)
(0,375; 0,425; 0,15; 0,15) (0,5; 0,2; 0,2) (0,125; 0,35; 0,05; 0,1) (0,35; 0,375; 0,2; 0,15) (0,475; 0,15; 0,15) (0,375; 0,425; 0,15; 0,15)
(0; 0,075; 0; 0,05) (0; 0,05; 0; 0,1) (0,075; 0,05; 0,05) (0; 0,05; 0; 0,1) (0; 0,025; 0; 0,15) (0; 0,075; 0; 0,05)
(0,725; 1; 0,15; 0) (0,7; 0,775; 0,2; 0,15) (0,55; 0,6; 0,1; 0,2) (0,675; 0,7; 0,15; 0,2) (0,625; 0,85; 0,15; 0,1) (0,725; 1; 0,15; 0)
(0,125; 0,05; 0,05) (0,15; 0,1; 0,1) (0,125; 0,35; 0,05; 0,1) (0,15; 0,1; 0,2) (0,325; 0,15; 0,15) (0,125; 0,05; 0,05)
(0,575; 0,15; 0,15) (0,5; 0,2; 0,2) (0,55; 0,6; 0,1; 0,2) (0,525; 0,15; 0,15) (0,475; 0,15; 0,15) (0,575; 0,15; 0,15)
(0; 0,075; 0; 0,05) (0; 0,05; 0; 0,1) (0; 0,025; 0; 0,05) (0,15; 0,1; 0,2) (0,075; 0,175; 0,05; 0,15) (0; 0,075; 0; 0,05)
(0,725; 1; 0,15; 0) (0,925; 1; 0,15; 0) (0,8; 1; 0,2; 0) (0,9; 1; 0,2; 0) (0; 95; 1; 0,1; 0) (0,725; 1; 0,15; 0)
(0,575; 0,15; 0,15) (0,5; 0,2; 0,2) (0,55; 0,6; 0,1; 0,2) (0,675; 0,7; 0,15; 0,2) (0,625; 0,85; 0,15; 0,1) (0,575; 0,15; 0,15)
(0,175; 0,225; 0,05; 0,15) (0,25; 0,3; 0,1; 0,2) (0,125; 0,35; 0,05; 0,1) (0,35; 0,375; 0,2; 0,15) (0,325; 0,15; 0,15) (0,175; 0,225; 0,05; 0,15)
(0,175; 0,225; 0,05; 0,15) (0,15; 0,1; 0,1) (0,125; 0,35; 0,05; 0,1) (0,15; 0,1; 0,2) (0,075; 0,175; 0,05; 0,15) (0,175; 0,225; 0,05; 0,15)
(0,575; 0,15; 0,15) (0,7; 0,775; 0,2; 0,15) (0,55; 0,6; 0,1; 0,2) (0,675; 0,7; 0,15; 0,2) (0,625; 0,85; 0,15; 0,1) (0,575; 0,15; 0,15)
(0,725; 1; 0,15; 0) (0,925; 1; 0,15; 0) (0,8; 1; 0,2; 0) (0,9; 1; 0,2; 0) (0; 95; 1; 0,1; 0) (0,725; 1; 0,15; 0)
(0,725; 1; 0,15; 0) (0,7; 0,775; 0,2; 0,15) (0,8; 1; 0,2; 0) (0,525; 0,15; 0,15) (0,625; 0,85; 0,15; 0,1) (0,725; 1; 0,15; 0)
(0,175; 0,225; 0,05; 0,15) (0,25; 0,3; 0,1; 0,2) (0,125; 0,35; 0,05; 0,1) (0; 0,05; 0; 0,1) (0,325; 0,15; 0,15) (0,175; 0,225; 0,05; 0,15)
(0,375; 0,425; 0,15; 0,15) (0,5; 0,2; 0,2) (0,45; 0,1; 0,1) (0,525; 0,15; 0,15) (0,475; 0,15; 0,15) (0,375; 0,425; 0,15; 0,15)
(0,375; 0,425; 0,15; 0,15) (0,25; 0,3; 0,1; 0,2) (0,45; 0,1; 0,1) (0,35; 0,375; 0,2; 0,15) (0,075; 0,175; 0,05; 0,15) (0,375; 0,425; 0,15; 0,15)
(0,725; 1; 0,15; 0) (0,925; 1; 0,15; 0) (0,8; 1; 0,2; 0) (0,9; 1; 0,2; 0) (0,625; 0,85; 0,15; 0,1) (0,725; 1; 0,15; 0)
(0,725; 1; 0,15; 0) (0,7; 0,775; 0,2; 0,15) (0,8; 1; 0,2; 0) (0,9; 1; 0,2; 0) (0,625; 0,85; 0,15; 0,1) (0,725; 1; 0,15; 0)
(0,375; 0,425; 0,15; 0,15) (0,25; 0,3; 0,1; 0,2) (0,125; 0,35; 0,05; 0,1) (0,35; 0,375; 0,2; 0,15) (0,075; 0,175; 0,05; 0,15) (0,375; 0,425; 0,15; 0,15)
Таблица 5
Элементы матрицы парного сходства формализованных результатов экспертов
1 0,57 0,75 0,54 0,48 1
0,57 1 0,61 0,84 0,79 0,57
0,75 0,61 1 0,59 0,59 0,75
0,54 0,84 0,59 1 0,75 0,54
0,48 0,79 0,59 0,75 1 0,48
1 0,57 0,75 0,54 0,48 1
Таблица
Нечеткая кластеризация результатов экспертов по отношению подобия Д
Уровень доверия Кластеры
0,61 {1,2,3,4,5,6}
0,75 {1,3,6}, {2,4,5}
0,79 {1,6}, {2,4,5},{3}
0,84 {1,6}, {2,4,},{3},{5}
1 {1,6}, {2}, {3}, {4}, {5}
Таблица 7
Формализованный обобщенный результат оценивания
М Дефаззификация М Уровень шкалы
и1 (0,6790; 0,7630; 0,1750; 0,1580) 0,7158 5
и2 (0,4380; 0,4545; 0,1750; 0,1750) 0,4462 4
и3 (0; 0,0457; 0; 0,0916) 0,0469 1
и4 (0,6790; 0,7630; 0,1750; 0,1580) 0,7158 5
и5 (0,1798; 0,1880; 0,01085; 0,1250) 0,1893 2
и6 (0,5040; 0,1580; 0,1750) 0,5040 4
и7 (0,0623; 0,1125; 0,0415; 0,1250) 0,1127 2
и8 (0,9210; 1; 0,1580; 0) 0,9171 6
и9 (0,57590; 0,6225; 0,1750; 1830) 0,6047 5
и10 (0,2875; 0,3290; 0,1250; 0,1750) 0,3240 3
и11 (0,1373; 0,1625; 0,0916; 0,1250) 0,1605 2
и12 (0,6790; 0,7630; 0,1750; 0,1580) 0,7158 5
и13 (0,9210; 1; 0,1580; 0) 0,9171 6
и14 (0,6295; 0,7053; 0,1750; 0,1415) 0,6571 5
и15 (0,1803; 0,2218; 0,0755; 0,1584) 0,2267 2
и16 (0,5040; 0,1580; 0,1750) 0,5040 4
и17 (0,2450; 0,3035; 0,1080; 0,1750) 0,2949 3
и18 (0,8658; 0,9745; 0,1665; 0,1700) 0,8769 6
и19 (0,8658; 0,9745; 0,1665; 0,1700) 0,8769 6
и20 (0,2450; 0,3035; 0,1080; 0,1750) 0,2949 3
Аддитивный показатель общей согласованности результатов равен 0,218, мультипликативный показатель общей согласованности равен 0, что свидетельствует о наличии сильно различающихся результатов [2]. Для сравнения коэффициент конкорда-ции, вычисленный в рамках ранжирований экспертов, равен 0,07.
Элементы матрицы парного сходства формализованных экспертных результатов [3] представлены в табл. 5.
Поскольку найденная матрица не являются транзитивной, то найдено ее транзитивное замыкание и тем самым определено отношение подобия Д. Пользуясь теоремой о декомпозиции, Д декомпозированы на от-
ношения эквивалентности и получены результаты, представленные в табл. 6.
Как видно из результатов этой таблицы, полностью совпадают результаты первого и шестого экспертов. Похожи между собой результаты второго, четвертого и пятого экспертов, но они отличаются от результатов первого и шестого экспертов. Результаты третьего эксперта отличаются от результатов всех экспертов, но ближе они к результатам первого и шестого экспертов.
Исходя из проведенного исследования, сделан вывод, что существенно отличается от всех результатов результат третьего эксперта. Этот вывод подтвержден тем, что система результатов без результатов третьего эксперта имеет аддитивный показатель общей согласованности 0,266, мультипликативный показатель общей согласованности 0,252. Учитывая то, что результаты экспертов распадаются на две группы похожих между собой результатов, найдены показатели согласованности двух подсистем {2, 4, 5}, {1, 3, 6}. Первая подсистема имеет аддитивный и мультипликативный показатели соответственно 0,522 и 0,5204, а вторая подсистема соответственно 0,503 и 0.
В соответствии с проведенным исследованием рассмотрена система результатов второго, четвертого и пятого экспертов и в рамках их результатов найден обобщенный результат оценивания. Весовые коэффициенты экспертов определены равными
1 1 1
Обобщенный результат оценивания определен в виде линейной комбинации результатов второго, четвертого и пятого экспертов. Этот результат занесен в табл. 7 в виде параметров функций принадлежности нечетких оценок каждого объекта, четких оценок, полученных в результате дефаззи-фикации нечетких оценок по методу центра тяжести и уровней вербальной шкалы, присвоенных каждому из объектов.
Таким образом, применение разработанных ранее автором показателей согласованности экспертной информации и известного коэффициента конкордации дает одинаковые результаты, однако представленная в работе математическая модель обработки экспертных оценок позволяет осуществить расширенный анализ полученной информации по сравнению с методами теории экспертного оценивания.
Работа выполнена при поддержке гранта РФФИ № 04-07-90131.
Библиографический список
1. Полещук О.М. Методы предварительной обработки нечеткой экспертной информации на этапе ее формализации // Вестник МГУЛ - Лесной вестник. - М.: МГУЛ, 2003. - № 5(30). - С. 160-167.
2. Полещук О.М. О развитии систем обработки нечеткой информации на базе полных ортогональных семантических пространств // Вестник МГУЛ -Лесной вестник. - М.: МГУЛ, 2003. - № 1(26). -С. 112-117.
3. Полещук О.М., Полещук И. А. Нечеткая кластеризация элементов множества полных ортогональных семантических пространств // Вестник МГУЛ - Лесной вестник. - М.: МГУЛ, 2003. -№ 1(26). - С. 117-127.
