CC BY
139
УДК 519.7 ББК 74
Р.Р. ФАТХУЛЛИН, И Г. СИДОРКИНА
МЕТОДЫ СТОХАСТИЧЕСКОЙ ОПТИМИЗАЦИИ ПРИ ОЦЕНКЕ КАЧЕСТВА ДЕЯТЕЛЬНОСТИ ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ
Ключевые слова: оценка качества образования, многокритериальная оптимизация, свертка критериев, нейронные сети, образовательная квалиметрия. Одной из ведущих тенденций развития образования в мире является создание системы комплексной оценки качества образования. В настоящее время активно разрабатываются подходы к определению качества образования, исследуются различные его аспекты, индикаторы и показатели. Комплексная оценка эффективности деятельности образовательных организаций - это многокритериальная задача, для решения которой необходимо установить критерии и процедуру их оценки. В данной статье проводится анализ методов многокритериальной оптимизации, которые могут быть одной из составляющих комплексной оценки качества образовательной деятельности. Дан анализ методов многокритериальной оптимизации и теории нейронных сетей. Для комплексной оценки качества деятельности образовательной организации рассмотрены многокритериальные статистические модели. Одна из них основана на образовательной квалиметрии и предусматривает использование методов свертки доминирующих и компенсируемых индикаторов в интегрированный показатель. Другая модель предполагает использование нейронных сетей и базируется на технологии аналитической обработки данных. При реализации рассмотренных моделей могут вырасти такие важные качественные показатели комплексной оценки качества эффективности деятельности образовательных организаций, как объективность оценки, масштабируемость, простота и удобство использования. Полученные результаты могут использоваться при комплексной оценке качества деятельности образовательных организаций на различных уровнях образования.
R. FATKHULLIN, I. SIDORKINA METHODS OF STOCHASTIC OPTIMIZATION IN QUALITY ASSESSMENT OF EDUCATIONAL ORGANIZATIONS
Key words: quality assessment of education, multicriteria optimization, convolution of criteria, neural networks, education qualimetry.
One of the major trends in the development of education in the world is to create a comprehensive system of quality assessment of education. Nowadays there are actively developed approaches to determining the quality of education, investigated various aspects, indicators and indices. Integrated assessment of the educational institutions efficiency is a multicriteria problem which can be solved by establishing criteria and procedures for their evaluation. This article analyzes the methods of multicriteria optimization, which can be a component of a comprehensive quality assessment of educational activities, as well as other methods of multicriteria optimization and theories of neural networks. Multicriteria statistical models are considered as means of comprehensive quality assessment of educational institutions activities. One of them is based on education qualimetry and involves employing methods of compressing dominant and compensated indicators into the integrated index. Another model involves the use of neural networks and it is based on the analytical data processing technology. Implementation of the examined models can boost such important quality indicators of integrated quality assessment of educational institutions efficiency as assessment objectivity, scalability, simplicity and ease of use. The obtained results can be widely used in the integrated quality assessment of the educational institutions at various levels of education.
При оценке качества образования мы сталкиваемся с огромным количеством различных критериев, каждый из которых может состоять из множества подкритериев, следовательно, задача оценки качества образования в ее матема-
тической постановке является многокритериальной. При высоких темпах развития образовательных стандартов количество таких задач постоянно растет.
При решении многокритериальных задач часто используются различные методы свертки критериев в один обобщенный (комплексный) критерий. Поиск решения оптимальной свертки показателей многокритериальной задачи не представляет особых сложностей, если предпочтение по одному критерию влечет за собой такое же предпочтение по другому критерию, т.е. критерии кооперируются. Решение многокритериальной задачи также не представляет особых сложностей, если критерии нейтральны по отношению друг к другу, т.е. поиск решения по одному критерию никаким образом не отражается на поиске решения по другому критерию.
В случае, если мы рассматриваем оценку качества образования, относящуюся к классу многокритериальных задач, наиболее оптимальным вариантом является использование методов свертки по критериям [1]. Рассмотрим модель комплексной оценки качества деятельности образовательной организации (ОО), основанную на образовательной квалиметрии, с использованием различных сверток.
Модель комплексной оценки качества. В оценке качества деятельности общеобразовательной организации доминирующая роль принадлежит оценке результатов образовательной деятельности, количественная оценка которых основывается в основном на результатах обучения (ЕГЭ и ГИА). Но при оценке результатов следует учитывать и другие показатели, влияющие на оценку результатов образовательной деятельности.
Расчет комплексного показателя качества деятельности общеобразовательной организации состоит из двух этапов:
1. Оценка единичных показателей в интервале от 0 до 1;
2. Свертка оценок показателей в единую числовую комплексную оценку по специальным расчетным формулам.
Показано [3], что формула свертки доминирующих показателей:
В = ^ 1 хd2 х...хdn , (1)
где В - оценка группового доминирующего показателя, di - оценка единичного доминирующего показателя.
Свертка компенсируемых показателей задается формулой
К = £ю,к,, (2)
1=1
где К - оценка группового компенсируемого показателя; к - оценка единичного компенсируемого показателя; ю, - коэффициент весомости единичного
п
компенсируемого показателя, причем = 1.
1=1
Логическая формула свертки доминирующего (В) и компенсируемого (К) показателей в комплексную оценку (О) по [5] имеет вид
О = В & К и В.
Арифметическая формула свертки доминирующего и компенсируемого показателей в комплексную оценку имеет вид [3]:
л/В х К + В
О = ■
При схожих единицах измерения показатели могут иметь различные масштабы. Как количество компьютеров, так и количество обучающихся в образовательных организациях (ОО) являются абсолютно измеряемыми, но только число компьютеров может быть порядка 15 единиц, а число обучающихся порядка 400-500. Для избежания данных несоответствий оценки по критериям делают безразмерными, такими, чтобы они принимали значения от 0 до 1. Один из способов нормирования по эталону осуществляется по формуле:
а (а)=^,
. с
где С - эталонное значения критерия, С,(а) - значения 7-го критерия.
Покажем, что показатель требуется не максимизировать, а минимизировать. Например, если показатель «численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов», тогда необходимо взять обратную величину, т. е. отношение эталонного значения к измеренному. В случае, когда идеальный вариант по данному показателю определить сложно, рассмотрим несколько вариантов.
Оценка максимального показателя качества составляет с (а) , минимального - С (а). Тогда нормирование для С(а) выполняется следующим образом:
ч С (а) - С (а)
С, (а) =
С7 (а) - С, (а)
где С1 (а), С7 (а) - минимально и максимально возможные значения 7-го
критерия, соответственно; С (а) - промежуточное значение.
Если же нам нужна минимизация, то вычисляем нормированные оценки следующим образом:
С(а) = С, (а) - С, (а) 7 С, (а) - С, (а)
Результаты моделирования реализованы на примере модели комплексной оценки качества деятельности общеобразовательной организации (таблице).
Показатели деятельности общеобразовательной организации
Шифр Показатель Нормированная оценка Вес
Качество основных условий
к Численность педагогических работников, имеющих среднее профессиональное образование 0,8786 0,1142
d1 Численность учителей, получивших в установленной форме (по новой форме аттестации) подтверждение соответствия занимаемой должности 0,1312 0,001
к2 Численность обучающихся, получающих услуги дополнительного образования в образовательной организации 0,0702 0,0971
кз Численность обучающихся, занимающихся в школе полного дня 0,2907 0,0928
Качество реализации образовательного процесса
d1 Количество кабинетов для учащихся начальных классов, обучающихся по ФГОС 0,1008 0,0714
Окончание табл. 1
Шифр Показатель Нормированная оценка Вес
ki Численность педагогических работников - участников конференций, семинаров, образовательных форумов, круглых столов, марафонов, соревнований (региональный, федеральный и международный уровни) за истекший учебный год 0,6558 0,1085
къ Численность обучающихся, ставших призёрами и победителями научных и научно-практических конференций 0,2951 0,0357
Качество результатов
к1 Численность обучающихся, успевающих на «4» и «5» по результатам промежуточной аттестации 0,151 0,0133
к2 Численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов ЕГЭ по русскому языку 0,3772 0,1066
кз Численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов ЕГЭ по математике 0,1576 0,1343
к4 Средний балл по результатам ЕГЭ по русскому языку 0,6008 0,0934
d1 Средний балл по результатам ЕГЭ по математике 0,9981 0,0166
к5 Средний балл по результатам ГИА выпускников 9 класса по русскому языку 0,3963 0,0555
кб Средний балл по результатам ГИА выпускников 9 класса по математике 0,6960 0,0472
к7 Численность/доля обучающихся, продолживших обучение после 11 класса в образовательных организациях профессионального образования (ВПО, НПО, СПО) от общего числа выпускников 0,5789 0,0124
Метод расчета комплексного показателя качества образовательной организации, основанный на образовательной квалиметрии и методе экспертных оценок, предполагает использование одного доминирующего показателя в каждой группе, остальные показатели являются компенсируемыми.
По формуле (1) свернем групповые доминирующие показатели (табл. 1): В = 0,2364. По формуле (2) свернем групповые компенсируемые показатели (табл. 1): К = 0,3973.
Свернем оценки по доминирующим и компенсируемым оценкам в единый комплексный показатель качества:
0 V0,2364 х 0,3973 + 0,2364 _ 0 2715
_ 2 _ , .
Расчет и сравнение данного показателя по отдельным ОО позволяют определить организацию с высоким и низким уровнем качества образовательной деятельности.
Подход к разработке модели комплексной оценки качества деятельности ОО при помощи нейронных сетей. Активное развитие аналитических систем, в основе которых - технологии искусственного интеллекта, имитирующие природные процессы. Отмечено, что наиболее популярными и проверенными из этих технологий являются нейронные сети1. Поэтому с их помощью успешно
1 Компания НейроПроект, программные продукты и алгоритмы искусственного интеллекта [Электронный ресурс]. URL: http://www.neuroproject.ru/oglavl.htm (дата обращения: 04.10.2014).
решаются разнообразные «нечеткие» задачи - прогнозирование, классификация, распознавание рукописного текста, речи, образов. В данных задачах, где традиционные технологии бессильны, нейронные сети часто выступают как единственная эффективная методика решения. Проиллюстрируем примером их использование для решения задачи комплексной оценки качества ОО.
Например, имеются показатели деятельности общеобразовательной организации, подлежащей самообследованию2. Пронормировав данные показатели, необходимо сформировать комплексную оценку ОО. Таким образом, необходимо спроектировать нейронную сеть, способную анализировать показатели ОО и правильно получать комплексную оценку.
Используем пакет прикладных программ Neural Network Toolbox (Нейронные сети) среды математического моделирования MATLAB.
Следует обратить внимание на структуру сети, проектирование которой будет проводиться. Очевидно, для формирования нейронной сети необходимо определить ее топологию, механизм обучения и процедуру тестирования. Кроме того, для ее обучения нужны входные данные - выборка ОО с достоверными комплексными показателями качества.
Конфигурация нейросети прямого распространения выбрана на основе эвристического правила: «количество нейронов скрытого слоя равно половине суммарного количества входных и выходных нейронов» [4]. В нашем случае количество входных нейронов (соответствующих числу показателей) выбрано равным 15, выходных нейронов (соответствующих комплексному показателю качества) - 1, следовательно, количество скрытых нейронов равно 8.
Параметры нейронной сети:
- первый слой - 15 входных нейронов, соответствует числу входных данных - единичных показателей качества;
- второй слой (скрытый) - 8 нейронов;
- третий слой - 1 выходной нейрон, так как требуется один выходной параметр - показатель уровня качества K;
- алгоритм обучения: обратное распространение;
- нелинейная функция активации - сигмоидальная функция f =-,
1 + е-а
с параметром а = 1.
Сформируем обучающий набор индикаторов качества. Всего векторов 154, соответствует числу ОО. Обучающая последовательность представлена 100 входными образами (соответствует ста ОО) и таким же числом ожидаемых показателей качества {P; T}, где P - векторы входов, T - вектор целей. Оставшиеся 54 вектора будут использованы для тестирования нейросети.
Для нейронов скрытого и выходного слоев выберем логарифмические сигмоидальные функции активации, потому что диапазон выходных сигналов для этой функции определен от 0 до 1.
2 Об утверждении показателей деятельности образовательной организации, подлежащей самообследованию: приказ Министерства образования и науки РФ от 28.01.2014 г. № 1324 // Российская газета. Фед. вып. 2014. № 6310, 19 фев.
Создадим трехслойную нейронную сеть с параметрами, описанными выше:
net=newff(minmax(P),[8 1],{'logsig','logsig'},'trainbfg'); Нейросеть использует один вектор входа с 15 элементами, имеющими одинаковые допустимые границы значений от 0 до 1; использует 2 слоя с 8 нейронами в первом (скрытом) слое и 1 нейроном во втором (выходном) слое; используемые функции активации: logsig - в первом слое, logsig - во втором слое; используемая функция обучения - trainbfg (функция тренировки сети, использующая BFGS квазиньютоновский метод [2]). Теперь следует настроить некоторые параметры алгоритма обучения:
net.trainParam.show=2000; net.trainParam.epochs=50000; net.trainParam.goal=0.0000001; net.trainParam.lr=0.15; net.trainParam.mc=0.7;
Здесь show - интервал вывода информации, epochs - максимальное количество итераций обучения, goal - предельное значение критерия обучения (ошибка сети), lr - скорость обучения, mc - постоянная момента.
Обучающая последовательность представляет собой 100 векторов входа из 15 элементов каждый и один выходной вектор, состоящий из 100 элементов.
P
0,1663 0,4962 0,6226 0,9559 0,3334 0,2113 0,4417
0,4074 0,4383 0,4741 0,0000 0,5045 0,7522 0,3339
0,0000 0,8758 0,5177 0,4626 0,3660 0,1542 0,1113
0,8845 0,0722 0,9618 0,3217 0,5970 0,3916 0,5611
0,4828 0,2106 0,7726 0,6988 1,0000 0,1469 0,0770
0,6143 0,6661 0,0568 0,1860 0,6973 0,6951 0,6214
0,9148 0,6077 0,9943 0,4352 0,8728 0,3038 0,6008
0,5347 0,6085 0,2092 0,6123 0,2470 0,8857 0,6751
0,0000 0,6927 0,8894 0,9078 0,4426 0,6811 0,1076
0,5985 0,1937 0,2800 0,9758 0,6086 0,1084 0,0914
0,4436 0,7456 0,6074 0,6651 0,3990 0,1957 0,0755
0,0000 0,6091 0,9831 0,9551 0,5346 0,9937 0,4382
0,7699 0,1847 0,8751 0,5758 0,6353 0,3649 0,8290
0,5441 0,8793 1,0000 0,0167 0,1437 0,7346 0,7867
0,4767 0,2138 0,0602 0,6756 0,4826 0,1003 0,0610
T = 0,4385
0,4999 0,6127 0,6246
0,5341
0,3628 0,3390
0,2443 0,3206 0,0605 0,8216 0,5914 0,3196 0,9845 0,5209 0,0978 0,4267 0,5918 0,3816 0,5646 0,8897 0,3545
0,4364
Сеть построена, сформирована обучающая последовательность, выбран алгоритм обучения и настроены его параметры. Приступим к процессу обучения:
пе1=1шп(пе1,Р,Т);
После выполнения данного выражения в системе МЛТЬЛБ открылось окно процесса обучения, показанное на рис. 1. Здесь показано, что процесс обучения завершился по достижении заданной точности за 799 итераций, время, затраченное на обучение сети, - 11 с.
Neural Network Triaining (nntraintool) Neural Network
! H @
Layer Layer
Q^BHl^HP
Algorithms—
Training: BFGS Quasi-Newton (trainbfg) Performance: Mean Squared Error (mse) Derivative: Default (defaultderiv)
Progress
Epoch: 0 HZ 799 iterations ] 50000
Time: d 0:00:11
Performance: 0.175 [I ' 58é-06 D 1.00e-07
Gradient; 0,0912 Q 7.02e-07 ] 1.00 e-06
Validation Checks: 0 Г 0 H 6
Resets: 0.00 f 0.00 4.00
Plots
[ Performance "] (plotperform)
jj Training State j (plottrainstate)
Regression ~j (plotregression)
Plot Interval: U
1 epochs
^gji^ Opening Performance Plot
[ ^ Stop Training ] [ Щ Cancel J Рис. 1. Окно процесса обучения
После обучения перейдем к тестированию нейросети. Из имеющихся 154 вариантов векторов входа в процессе обучения не использовались 54.
Тестовая выборка TEST=
0,8787 0,3510 0,2856 0,6520 0,5661 0,2723 0,9728 0,4080 0,6316
0,1313 0,0290 0,9445 0,4665 0,9117 0,8907 0,9869 0,6609 0,4580
0,0703 0,9174 0,2279 0,7743 0,6017 0,6838 0,8479 0,7795 0,5517
0,2908 0,9576 0,5993 0,7142 0,1125 0,4988 0,2339 0,1148 0,1277
0,1009 0,7793 0,2150 0,5098 0,8536 0,3270 0,5586 0,2631 0,1555
0,6558 0,0727 0,2388 0,8061 0,6383 0,2498 0,0207 0,5552 0,0464
0,2951 0,0858 0,6956 0,9422 0,5082 0,3141 0,0058 0,2260 0,7910
0,1511 0,5253 0,2338 0,6593 0,0802 0,1665 0,1490 0,9388 ... 0,7282
0,3772 0,1274 0,8745 0,7717 0,6054 0,0105 0,3646 0,5111 ... 0,3322
0,1577 0,7288 0,0106 0,9544 0,6550 0,9698 0,5142 0,5072 . 0,6714
0,6008 0,2659 0,0029 0,8414 0,8448 0,7742 0,9918 0,4946 . 0,9501
0,9982 0,8313 0,1942 0,9194 0,4681 0,7742 0,4110 0,8992 . 0,9783
0,3964 0,0968 0,7689 0,0064 0,1842 0,9573 0,8262 0,3318 . 0,9103
0,6961 0,3996 0,4126 0,3343 0,9152 0,0652 0,4777 0,3274 . 0,2620
0,5789 0,6226 0,8358 0,9932 0,9993 0,7809 0,3168 0,3552 . 0,4512
Ожидаемая оценка ЛЫБ= 0,4213 0,4737 0,3511 0,7154 0,5888 0,4909 0,5401 0,4552
0,4912
Выход сети
Л№=81т(пе1,ТЕ8Т);
Л№ =
0.4166 0.4877 0.3453 0.7052 0.5838 0.4994 0.5363 0.4579
0.5058
В результате тестирования нейронной сети выходные значения оказались близки к значениям тестовой выборки. Погрешность вычисления 0,01. Представленный анализ показал, что задача комплексной оценки качества образования по большому множеству показателей может быть адекватно решена и с помощью нейронной сети (многослойный персептрон прямого распространения). Однако сложность данного метода может быть в выборе архитектуры нейронной сети и подготовке обучающей выборки для настройки нейронной сети.
Выводы. Таким образом, в работе исследованы универсальные многокритериальные статистические модели для оценки качества деятельности образовательных организаций. Одна из них основана на образовательной ква-лиметрии и предусматривает использование методов свертки доминирующих и компенсируемых индикаторов в интегрированный показатель. Другая модель предполагает использование нейронных сетей и базируется на технологии аналитической обработки данных.
Доказана инвариантность полученных решений, основанных на образовательной квалиметрии и теории нейронных сетей при оценке качества деятельности образовательных организаций. Проведены расчеты комплексных показателей качества на примере общеобразовательной организации при помощи данных моделей с использованием методов многокритериальной оптимизации.
Расчет комплексного показателя по первой модели предполагает использование доминирующих и компенсируемых показателей, что позволяет более полно и детально оценить качество деятельности ОО. Для другой модели расчет комплексного показателя позволяет оценить ОО более обще, так как все показатели равнозначны между собой. По вычисленным комплексным показателям можно определить также ОО с низким и высоким уровнем качества образования. Комплексный показатель, рассчитанный по одной и той же ОО с использованием первой модели, равен 0,2715, что соответствует низкому уровню качества, с использованием второй модели он равен 0,4213 -средний уровень качества. Таким образом, чем ближе значение комплексного показателя к единице, тем выше уровень качества ОО.
1. Ажмухамедов И.М., Ажмухамедов А.А. Формирование рейтинговой оценки качества образования на основе нечеткой графовой модели // Вестник Астраханского государственного технического университета. Сер. Управление, вычислительная техника и информатика. 2012. № 1. С. 150-157.
Литература
2. Квазиньютоновские методы минимизации, основанные на принципах обучения. URL: http://www.math.kemsu.rU/kmk/subsites/Krutikov_RelaxMeth/pages/2_1glava.htm#2_4 (дата обращения: 15.10.2014).
3. Корнещук Н.Г. Теоретико-методологиеские основы комплексной оценки качества деятельности образовательной системы: автореф. дис. ... док. пед. наук. Магнитогорск, 2007. 49 с.
4. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6. / под общ. ред. В.Г. Потемкина. М.: ДИАЛОГ-МИФИ, 2001. 630 с.
5. Рубин Г.Ш. Развитие квалиметрии метизного производства на основе методологии функционально-целевого анализа: автореф. дис. ... док. тех. наук. Магнитогорск, 2011. 31 с.
References
1. Azhmukhamedov I.M., Azhmukhamedov A.A. Formirovanie reitingovoi otsenki kachestva obrazovaniya na osnove nechetkoi grafovoi modeli [Formation of a rating mark of education quality on the basis of a fuzzy graph model]. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo uni-versiteta. Ser. Upravlenie, vychislitel'naya tekhnika i informatika [Bulletin of the Astrakhan State Technical University. A series of «Management, Computer Science and Informatics»], 2012, no. 1, pp. 150-157.
2. Kvazin'yutonovskie metody minimizatsii, osnovannye na printsipakh obucheniya [Quasi-Newtonian minimization methods based on the principle training]. Available at: http://www.math.kem-su.ru/kmk/subsites/Krutikov_RelaxMeth/pages/2_1glava.htm#2_4 (accessed 15 October 2014).
3. Korneshchuk N.G. Teoretiko-metodologieskie osnovy kompleksnoi otsenki kachestva deya-tel'nosti obrazovatel'noi sistemy. Avtoref. dis. ... dok. ped. nauk [Theoretical and methodological background of a comprehensive quality assessment of educational system. Abstract of PhD thesis]. Magnitogorsk, 2007, 49 p.
4. Medvedev V.S., Potemkin V.G. Neironnye seti. MATLAB 6 [Neural networks. MATLAB 6] Moscow, DIALOG-MIFI Publ., 630 p.
5. Rubin G.Sh. Razvitie kvalimetrii metiznogo proizvodstva na osnove metodologii funktsion-al'no-tselevogo analiza. avtoref. dis. . dok. tekh. nauk [Development of quality control metalware production based on the methodology of functional and target analysis. Abstract of PhD thesis]. Magnitogorsk, 2011, 31 p.
ФАТХУЛЛИН РОБЕРТ РИФОВИЧ - аспирант кафедры прикладной математики и информатики, Марийский государственный университет, Россия, Йошкар-Ола (fatkhullin.robert@gmail. ru).
FATKHULLIN ROBERT - post-graduate student of Applied Mathematics and Informatics Chair, Mari State University, Russia, Yoshkar-Ola.
СИДОРКИНА ИРИНА ГЕННАДЬЕВНА. См. с. 180._
