CC BY
22
Белоус В.В.,
МГТУ им. Н.Э. Баумана, доцент, walentina.belous@gmail.com;
Бобровский А.В.,
МГТУ им. Н.Э. Баумана, аспирант, alex.bobrovsky@mail.ru;
Добряков А.А.,
МГТУ им. Н.Э. Баумана, зам. нач. управления качества,
aadobrjkov@mail.ru,
Карпенко А.П.,
МГТУ им. Н.Э. Баумана, зав. кафедрой, apkarpenko@mail.ru,
Смирнова Е.В.
МГТУ им. Н.Э. Баумана, доцент, elena.galiamova@mail.ru
Ментально-структурированное интегральное оценивание качества обучения
Аннотация
Статья продолжает цикл статей тех же авторов на означенную тему. Рассматривается задача многокритериального интегрального оценивания альтернативных вариантов. Предложена формализация задачи в виде задачи глобальной условной многомерной оптимизации. Для решения этой задачи авторы использовали алгоритм эволюции разума MEC, и реализовали его в программном коде. В работе представлены результаты исследования эффективности метода и его программной оеализхации.
Ключевые слова: Компетентность, Многомерная оптимизация (Multi Dimensional Optimization MDO), алгоритм эволюции разума (Mind Evolutionary Computation MEC), простой алгоритм эволюции разума (Simple Mind Evolutionary Computation SMEC) лицо, принимающее решение (ЛПР), главное лицо, принимающее решение (ГЛПР)
Введение
В статье рассматривается задача многокритериального интегрального оценивания альтернативных вариантов. Первая часть статьи описывает ментально-структурированный подход к образованию и постановку задачи. Во второй части приводим метод решения задачи. В третьей части даны результаты исследования эффективности (производительности) алгоритма MEC. Четвертая часть представляет
результаты численных экспериментов и их обсуждение. В заключении приводятся основные результаты работы и перспективы ее продолжения.
1. Ментально-структурированный подход к образованию Ментально-структурированный подход к обучению [1] порождает
значительное число задач многокритериального принятия решений. Приведем два примера.
Пример 1. Оценка компетентности учащегося требует оценивания пяти следующих составляющих компетентности (пяти ключевых компетенций):
• знаниевая грамотность, то есть способность воспринимать, понимать и самостоятельно приобретать знания,
• функциональная грамотность, то есть способность «грамотно» применять знания,
• креативная грамотность, которая включает в себя технологические навыки порождения нового, способность к продуктивному мышлению и инновационной деятельности,
• корпоративная грамотность, то есть способность к саморазвитию, неконфликтности групповых коммуникаций, умения принимать организационные и управленческие решения, способности доводить общее дело до конца,
• социальная грамотность, включающая навыки духовно-нравственного межличностного общения, способность принимать социально, экономически и экологически оправданные решения. Пример 2. Качество изложения предмета изучения определяют
следующие критерии:
• антропоцентричность, то есть опора на личностно ориентированный подход «от человека к изучаемой проблеме»,
• ментальность, то есть изложение учебных материалов в соответствие с содержательной структурой и особенностями функционирования мозговых механизмов, в частности, в виде когнитивных карт в едином пентадно-структурированном формате,
• визуализированность, как оптимальное сочетание вербальной 75% и визуальной 25% информации,
• технологичность элементов обучающих технологий, опирающихся как на функциональную асимметрию полушарий головного мозга, так и на особенности содержательного взаимодействия сознания и подсознания,
• управляемость, подразумевающая корректировку структурного содержания учебного процесса с позиций генетической пентадности, использование в учебных процедурах функциональных тренингов и органайзера мыслительной деятельности.
2. Постановка задачи
В соответствии с терминологией, принятой в теории
многокритериального принятия решений [3], называем рассмотренные и иные показатели качества частными критериями оптимальности, а их совокупность - векторным критерием оптимальности.
Оценку значений различных частных критериев оптимальности производят, вообще говоря, разные лица, принимающие решения (ЛПР). Полагаем, что интегральную оценку на основе этих значений формирует главное лицо, принимающее решения (ГЛПР). Если способ свертки частных критериев фиксирован, то задача формирования этой оценки сводится к определению весов частных критериев оптимальности. Можно сказать, что значения этих весов формализуют функцию предпочтений ГЛПР [4].
Задачу определения весовых коэффициентов частных критериев можно рассматривать в двух постановках - априорной и апостериорной. В первом случае ГЛПР назначает веса заранее, до формирования интегральных оценок. Рассматриваем второй случай, когда ГЛПР на основе представленных ему частных оценок выставляет интегральные оценки некоторой обучающей выборке субъектов или объектов. На этой основе определяем веса частных критериев таким образом, чтобы минимизировать некоторую норму погрешности соответствующей теоретической оценки.
Апостериорный метод формирования значений весовых коэффициентов приводит к задаче глобальной условной многомерной оптимизации. Для решения этой задачи может быть использовано большое число детерминированных и стохастических алгоритмов [5]. Хорошо известно, что в случае отсутствия априорной информации о ландшафте целевой функции, наиболее эффективны стохастические алгоритмы глобальной оптимизации. Из числа этих алгоритмов наибольшую известность получили популяционные (метаэвристические) алгоритмы такие, как генетический алгоритм (Particle Swarm Optimization PSO), алгоритм роя частиц, алгоритм колонии муравьев (Ant Colony Optimization ACO) и т.д. Новизна данной работы заключается, в частности, в использовании для решения указанной задачи глобальной оптимизации перспективного алгоритма эволюции разума (Mind Evolutionary Computation, MEC) [7].
Алгоритм MEC моделирует скорее некоторые аспекты поведения человека в обществе, чем, как можно было бы предположить, работу человеческого мозга. В алгоритме MEC каждый индивид рассматривается как разумный агент, функционирующий в некоторой группе людей. При принятии решений он ощущает влияние, как со стороны членов своей группы, так и со стороны членов других групп. Точнее говоря, чтобы достичь высокого положения в обществе, индивиду приходится учиться у наиболее успешных индивидов в своей группе. В то же время, для того чтобы группа, которой принадлежит данный индивид, становилась более успешной по сравнению с другими группам, этот индивид, как и все индивиды его группы, должны руководствоваться тем же самым
принципом в межгрупповой конкуренции.
Математическое описание задачи оптимизации представлено в таблице 1 [2].
_Табл. 1. Математическое описание задачи оптимизации.
F = (Л,'6 [1: |И|]) - вектор частных критериев оптимальности г - число критериев /г - величина критерия оценивания
ф(И , Л) 6 R1 - скалярная свертка критериев Л = г 6 [1: |И|]) - вектор весовых вещественных коэффициентов
0 = (о1,02,..., Оо) - совокупность рассматриваемых субъектов или объектов \0\ - число субъектов или объктов
01,0 с 0 - обучающая и тестовая выборки соответственно; = \0\+\0т\
И1= [Кг; к+ ] - числовая шкала для оценки значений критерия /, г 6 [1: |И|] К, К - нижняя и верхняя оценки соответственно
; г 6 [1: |и|] - нормализованная (см. ниже) оценка элемента О] 6 0 по шкале н 1
И] = (/и,16 [1: |и|]) - вектор всех нормализованных оценок ] 6 [1: ] - число оценок
ф(И], Л) = ф] - формальная оценка элемента О] 6 0
Ф(0) = (ф], ] 6 [1: |о| ]) - набор формальных оценок всех элементов множества 0
е] - интегральная экспертная оценка элемента О] 6 0, назначенная ГЛПР и определенная на целочисленной шкале н0 = ^ ^и —К,\н„Р К„,1, V„| - нижняя и верхняя оценки соответственно
Оценка е] является нечеткой и имеет функции принадлежности А (ф), k 6 [1: \Но|] к - число оценок, К„,1, К„,2,. .,К\н„\ - ядра нечеткой переменной е [9]
Выполнена нормализация оценок Л], так что все оценки принадлежат интервалу [К„,1; К^; ' 6 [1: И], ] 6 [1: |0|]
А(ф]) = А,] - значение функции принадлежности, соответствующей формальной оценке, ь 6 [1: |н„|] О] 6 0 - элемент множества ф] - формальной оценка элемента; ь - число элементов
А = м",] - приведенная экспертная оценкая элемента О] 6 0 ] 6 [1: |И|] - номер элемента
М = (А], ] 6 [1:0 ]) - набор указанных оценок для всех элементов множества 0
™(ф], А) = , ] 6 [1: °|] - мера близости ] - номер элемента в множестве 0
формальной и приведенной экспертной оценок j - го элемента множества
W1~2,...,т~|0) = W е ^ - мера близости наборов формальных и экспертных оценок всех элементов указанного множества, = ¿~(Л)
пипW (Л) =W (Л*) - задача определения оптимального вектора весовых Л* коэффициентов Л
п - параллелепипед допустимых значений компонентов вектора л : П = (1 | rm < 1 < Г" Je [1 : F ]) omin л max 1 , 1 - заданные константы
3. Исследование эффективности алгоритма MEC
Программная реализация метода выполнена на языке Python с использованием библиотек matplotlob, numpy, scipy и os. Созданная программа названа MEC-Python. Результаты исследования эффективности алгоритма MEC подробно описаны авторами в [2].
Исследование выполнено для одноэкстремальной, но овражной функции Розенброка (Rozenbrock)
f (X) = '£(100 (X2 - x+1 ) + (X -1)2 ) ^ mm ,
¿=1
минимальное значение f (X *) = f ' которой достигается в точке с координатами X ' = (0;0;...;0) и равно нулю, а также для многоэкстремальной функции функция Растригина (Rastrigin)
f ( x ) = Î X
-10 cos (2л Xt ) +10) ^ min,
i =1
глобальный минимум которой f ' = о также достигается в точке x * = (0;0;...;0). В обоих случаях задача глобальной оптимизации решалась в области
П = {X | x¿ е [-10; 10], ¿ е [1 : |x|]} .
В качестве критерия эффективности алгоритма использована близость найденного с его помощью решения f' к точному решению f *. Для рассматриваемых функций f * = 0, мерой эффективности алгоритма являлась величина f'.
Одной из целей проведенного исследования было изучение влияния значений таких свободных параметров, как размерность задачи, число групп, число индивидов в группе и когнитивного параметра на эффективность алгоритма. Результаты исследований как для функции Розенброка, так и для функции Растригина показали высокую эффективность применения алгоритма MEC для решения таких задач. В том числе, результаты исследования показывают, что в случае высокой размерности пространства поиска для обеспечения локализации минимума целевой функции с приемлемой точностью нужно использовать большие числа групп и индивидов в них. Результаты показывают также сильную
зависимость достигнутой точности локализации от величины когнитивного параметра. Данный факт обусловлен тем, что при когнитивном параметре, стремящемся к единице, повышаются диверсификационные свойства алгоритма, так что стагнация наблюдается позже.
4. Вычислительный эксперимент
С использованием программы MEC-Python выполнено два вычислительных эксперимента. Во всех случаях использованы следующие значения основных входных данных. Входные данные задачи:
• скалярная аддитивная свертка;
• пятибалльные шкалы н, =(0,12 3 4 5) 'е [0: |И|];
• гауссовы функции принадлежности с ядрами 0,12,3,4,5 и средним квадратичным отклонением 0,2821;
• мера близости $ формальной и приведенной экспертной оценок;
• мера близости и~ наборов формальных и экспертных оценок;
• константы = -0,3 , Г" = 1,3 ; I е [1: |И|]. Входные данные метода:
• константа sw = 0,3;
• максимально допустимое число итераций 1м = 5. Входные данные алгоритма:
• число групп И =10;
• число индивидов в группе И =10;
• среднее квадратичное отклонение ° = 0,2821;
• максимально допустимое число итераций алгоритма 1а = 20;
• критерий стагнации алгоритма ыа = 4;
• константа стагнации ба = 0,00001;
• число мультистартов =30;
• когнитивный параметр р = 0,99.
Эксперимент 1 (И = 5) выполнен с целью тестирования метода и его программной реализации. Мощность множества о в эксперименте прията равной |о| =20, а мощность обучающей и тестовой выборок равной ° =20, |°г| =0 соответственно. Набор формальных оценок Ф(О) элементов множества о, а также набор соответствующих интегральных экспертных оценок е (таблица 2) получены по следующей схеме:
• генерируем для данного элемента Ое о, 1е [1: |°|] случайную экспертную оценку е, равномерно распределенную на дискретном множестве (0;1;2;3;4;5);
• генерируем случайные величины ,'е [1:5], распределенные по нормальному закону с математическим ожиданием, равным е1, и средним квадратичным отклонением, равным 1,22;
• величины Л] получаем путем округления по математическим правилам величин Л]; '6[1:5].
Вычисленные программой приведенные экспертные оценки А, а также невязки ~ представлены в таблице 2. Найденные оптимальные значения весовых множителей приведены в таблице 3. Таблицу 2 иллюстрирует рисунок 1, на котором представлена гистограмма невязок .
Результаты эксперимента 1 показывали работоспособность метода и его программного обеспечения.
Табл.2. Исходные и результирующие оценки: эксперимент 1.
) Л] Л] ?] Л] Л] е ] А ]
1 3 4 5 3 3 4 3,94 0,06
2 5 3 5 3 2 4 3,11 0,89
3 4 5 4 2 3 3 3,86 0,86
4 3 4 5 3 4 5 4,97 0,03
5 4 5 3 5 4 4 3,99 0,01
6 5 2 2 5 4 5 3,94 1,06
7 2 2 3 4 2 2 2,15 0,15
8 2 3 2 4 3 3 2,83 0,17
9 2 5 4 4 2 2 2,27 0,27
10 4 3 2 3 2 2 2,15 0,15
11 3 3 2 4 5 5 4,97 0,03
12 4 2 2 4 2 2 2,00 0
13 3 3 2 4 5 5 4,97 0,03
14 3 5 4 5 4 3 4,20 1,2
15 4 5 4 5 2 3 2,21 0,79
16 4 3 5 2 2 3 3,24 0,76
17 4 2 3 5 2 2 2,08 0,08
18 3 3 2 3 5 5 5,18 0,18
19 2 2 3 4 2 2 2,15 0,15
20 3 3 2 2 2 2 2,28 0,28
Табл. 3. Оптимальные значения весовых множителей: эксперимент 1.
4 4 4 4 4
0,074 -0,058 0,293 -0,207 1,033
Эксперимент 2 выполнен в рамках апробации ментально-структурированной образовательной технологии [1, 11]. В эксперименте использованы количественные показатели качества образовательного процесса в ВУЗе, полученные, в частности, с помощью системы автоматизированного анализа структурированных электронных документов [12]. Точнее говоря, использованы следующие показатели качества расчетно-пояснительной записки (РПЗ) к курсовой работе по
дисциплине «Технология программирования» тринадцати студентов одной из учебных групп второго курса МГТУ им. Н.Э. Баумана: А - новизна, Аг -трудоемкость, Л - сложность, Л - системность, А - структурированность.
12 10
0
I
W
0 0,24 0,48 0,72 0,96
Рис.1. Гистограмма невязок wj: эксперимент 1.
Новизна работы fi оценивалась на основании того, какая часть (в процентном отношении) от общего объема понятийного тезауруса указанной учебной дисциплины использована студентом в его РПЗ. Трудоемкость работы Л получена на основе количества времени, которое студент потратил на формирование своей РПЗ, и объема РПЗ, измеренного числом знаков в документе. Указанные величины формируют современные редакторы документов, например, в Microsoft Word. Для оценки сложность работы f3 использована колмогоровская сложность файла, содержащего РПЗ, как количественная мера информации, заключенной работе. В качестве меры системности работы f использована связность семантической сети соответствующей РПЗ. Наконец, структурированность работы f5 оценивалась с помощью нормированного интегрального показателя, построенного на основе чисел разделов, рисунков, таблиц, формул и библиографических источников в РПЗ.
Итого, в эксперименте 2 мощности множеств о, °L, °Т приняты равными 13, 13, 0, соответственно, число частных критериев оптимальности И = 5. Наборы исходных формальных и соответствующих интегральных экспертных оценок представлены в таблице 4. Те же нормализованные данные приведены в таблице 5.
Результаты работы программы представлены в таблицах 6, 7. Таблицу 6 иллюстрирует рисунок 2, аналогичный рисунку 1.
Табл. 4. Исходные оценки: эксперимент 2.
j fi, j Л, f3,j k, f5,j ej
1 0 0 53,79 108 20 4
2 7,70 35,8 52,34 142 24 5
3 9,62 24,83 8,53 199 24 5
4 7,69 34,80 13,74 128 26 5
5 0 46,04 146,46 166 22 5
6 3,85 24,08 60,19 143 17 5
7 3,85 30,00 45,36 152 14 5
8 3,85 46,04 53,79 162 32 5
9 7,69 28,72 3,37 139 7 5
10 3,85 237,57 5,43 96 18 3
11 5,77 21,12 68,20 201 25 5
12 5,77 68,24 31,88 144 25 5
13 1,79 73,60 21,18 112 21 4
Табл. 5. Нормализованные входные данные: эксперимент 2.
) е] Л] Л] Л] к, Л] е]
1 4 2,00 5,00 3,95 2,68 3,13 4
2 5 4,01 4,25 3,84 3,53 3,75 5
3 5 5,00 4,48 2,00 4,95 3,75 5
4 5 3,99 4,26 2,00 3,18 4,06 5
5 5 2,00 4,03 5,00 4,13 3,44 5
6 5 2,00 4,49 4,43 3,56 2,66 5
7 5 2,00 4,36 3,34 3,78 2,19 5
8 5 2,00 4,03 3,96 4,03 5,00 5
9 5 3,99 4,39 2,00 3,48 2,00 5
10 3 2,00 2,00 2,00 2,39 2,81 3
11 5 2,99 4,56 5,00 5,00 3,91 5
12 5 2,99 3,56 2,00 4,00 3,91 5
13 4 2,00 3,45 2,00 2,79 3,28 4
Табл. 6. Исходные и результирующие оценки: эксперимент 2.
) е] А
1 4 3,23 0,77
2 5 4,86 0,14
3 5 4,73 0,27
4 5 4,85 0,15
5 5 4,15 0,85
6 5 3,35 1,65
7 5 2,42 2,58
8 5 4,73 0,27
9 5 2,98 2,02
10 3 3,75 0,75
11 5 4,59 0,41
12 5 4,31 0,69
13 4 3,28 0,72
Табл. 7. Оптимальные значения весовых множителей: эксперимент 2.
4 4 4 4 4
0,3 - 0,2 - 1,05
0 0,19 4 0,17
п
i I
0,14 0,628 1,116 1,604 2,092
Рис.2. Гистограмма невязок wj: эксперимент 2
Заключение
В работе предложен метод получения интегральных оценок многокритериальных альтернатив в ментально-структурированном походе к обучению. Метод предполагает сведение задачи получения указанных оценок к задаче глобальной условной оптимизации. Для решения данной задачи предложено использовать алгоритм эволюции разума MEC, как один из относительно новых и перспективных алгоритмов глобальной оптимизации.
На языке программирования Python разработана программа, реализующая предложенный метод получения интегральных оценок. С помощью данной программы выполнено исследование эффективности метода и его программной реализации. Вычислительные эксперименты показали эффективность принятых алгоритмических и программных решений.
Работа выполнена в рамках Государственного контракта № 16.740.11.0407 от 26 ноября 2010 г.
Литература
1. Добряков А.А., Карпенко А.М., Смирнова Е.В. Основные принципы ментально-структурированной образовательной технологии, ориентированные на формирование компетентности специалиста технического профиля // Наука и образование: электронное научно- техническое издание, 2011, № 10 fhttp://technomag.edu.ru/doc/237464.html).
2. Valentina V. Belous etc. Multi-criterion integral alternatives' estimation: mentally-structured approach to Education // Education and Education Management Conference 2012, Hong Kong, China. - pp. 325-334
3. Черноруцкий И.Г. Методы принятия решений. - СПб.: БХВ-Петербург, 2005.- 416с.
4. Карпенко А.П., Федорук В.Г. Один класс прямых адаптивных методов
многокритериальной оптимизации // Информационные технологии.- 2009.- №5.- С. 2430.
5. Орлянская И.В. Современные подходы к построению методов глобальной оптимизации // Электронный журнал «Исследовано в России» (http: / / zhurnal.ape.relarn.ru/articles /2002/189.pdf).
6. Engelbrecht A. P. Computational Intelligence. An Introduction (second edition).- John Wiley & Sons, 2007. - 597 p.
7. Jie J., Han Ch., Zeng J. An Extended Mind Evolutionary Computation Model for Optimizations // Applied Mathematics and Computation, 2007, No. 185(2), pp. 1038 - 1049.
8. Jie J., Zeng J. Improved mind evolutionary computation for optimizations / Proceedings of the 5th World Congress on Intelligent Control and Automation, WCICA 2004, Hangzhou, China 3, Vol. 3, pp. 2200-2204.
9. Lui J., Li N., Xie K. Application of Chaos Mind Evolutionary Algorithm in Antenna Arrays Synthesis / / Journal of computers, 2010, Vol. 5, No. 5, pp. 717-724.
10. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику / С.Д. Штовба.- Режим доступа: http//www.matlab.exponenta.ru, свободный.
11. Д. Рутковская, М. Пилиньский, Л. Рутковский. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польского И. Д. Рудинского. — М.:Горячая линия — Телеком, 2004. — 452 с.
12. Галямова Е.В., Карпенко А.П., Соколов Н.К. Методика контроля понятийных знаний субъекта обучения в обучающей системе /Наука и образование: электронное научно-техническое издание, 2009, 2, 042090025\0007 (http://technomag.edu.ru/doc/115086.html )
13. Смирнова Е.В., Панов А.С. Система автоматического анализа структурированного электронного документа / Свидетельство о государственной регистрации Программы для ЭВМ № 2011615171 от 01 июля 2011 г.
