CC BY
13
УДК 378.147
DOI 10.21685/2072-3059-2018-2-6
Е. А. Дементьев, В. В. Кан, Б. Л. Свистунов
ПРИНЯТИЕ РЕШЕНИЙ О СТЕПЕНИ СФОРМИРОВАННОСТИ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ СТУДЕНТОВ НА ОСНОВЕ МОНИТОРИНГА ОСТАТОЧНЫХ ЗНАНИЙ
Аннотация.
Актуальность и цели. Предметом исследования является синтез алгоритмов оценки качества обученности студентов вузов как степени сформирован-ности предписанных компетенций. Цель работы - описание и обсуждение предложенного алгоритма выявления актуального состояния обучающегося как объекта мониторинга и процедуры отнесения выявленного состояния к заданному априори классу состояний с использованием байесовского решающего правила.
Материалы и методы. В основу исследования положен системный подход, а именно рассмотрение обучающегося (объекта мониторинга) как сложной стохастической многосвязной системы. Для оценки состояния системы используются методы распознавания с обработкой результатов распознавания в соответствии с классификатором Байеса.
Результаты. Предложен и обоснован алгоритм распознавания состояния объекта мониторинга и методика формирования решающего правила отнесения состояния объекта к некоторому классу состояний, соответствующему адекватности объекта предъявляемым нормативными документами требованиям. Оценены риски процедур распознавания и классификации.
Выводы. Предложен подход к оценке качества обученности студентов, основанный на методике определения состояния сложных систем, адаптированной для исследуемой предметной области с учетом сложности поведения исследуемых объектов. На основании этого подхода предложен простой, универсальный, адаптированный для практического применения алгоритм, относительно легко реализуемый с применением стандартных программно-аппаратных средств.
Ключевые слова: компетенция, мониторинг, обучающийся, распознавание, классификатор Байеса.
E. A. Dement'ev, V. V. Kan, B. L. Svistunov
DECISION-MAKING OF THE DEGREE OF PROFESSIONAL FORMATION COMPETENCES OF STUDENTS BASED ON MONITORING RESIDUAL KNOWLEDGE
Abstract.
Background. The subject of the research is the synthesis of algorithms for assessing the quality of training of university students as the degree of formation of prescribed competences. The purpose of this work is to describe and discuss the proposed algorithm for identifying the actual status of the learner as a monitoring
© 2018 Дементьев Е. А., Кан В. В., Свистунов Б. Л. Данная статья доступна по условиям всемирной лицензии Creative Commons Attribution 4.0 International License (http://creativecommons.Org/licenses/by/4.0/), которая дает разрешение на неограниченное использование, копирование на любые носители при условии указания авторства, источника и ссылки на лицензию Creative Commons, а также изменений, если таковые имеют место.
object and the procedure for classifying the detected state to a given a priori class of states using the Bayesian decision rule.
Materials and methods. The research is based on a systematic approach, namely, the study of a learner (monitoring object) as a complex stochastic multiply connected system. To assess the state of the system, recognition methods are used with recognition results processing according to the Bayesian classifier.
Results. An algorithm for recognizing the state of a monitoring object and a method for forming a decisive rule for assigning the state of an object to a certain class of states corresponding to the adequacy of the object to the requirements of regulatory documents are proposed and justified. The risks of recognition and classification procedures are assessed.
Conclusions. An approach is proposed for assessing the quality of students' training, based on the technique for determining the state of technical systems adapted for the researched subject area, taking into account the complexity of the behavior of the researched objects. On the basis of this approach, a simple, universal, adapted for practical application algorithm is proposed, relatively easily implemented using standard software and hardware.
Key words: competence, monitoring, learner, recognition, Bayesian classifier.
Введение
Задача оценки качества обученности как степени сформированности предписанных федеральными образовательными стандартами компетенций имеет первостепенное значение на всех уровнях образования. Особенно актуальна эта проблема в высшем образовании в связи с внедрением компетент-ностного подхода в рамках федеральных государственных образовательных стандартов высшего образования третьего поколения и необходимостью согласования его требований с профессиональными стандартами.
Поставленной задаче посвящены многочисленные исследования [1, 2], количество которых постоянно растет. Вместе с тем указанная проблема в большинстве известных авторам работ, как правило, рассматривается односторонне, с сугубо гуманитарной точки зрения, прежде всего педагогики, психологии, социологии. При этом публикуемые результаты зачастую отличаются декларативностью, недостаточной математической формализованно-стью, прогностической способностью, что, как следствие, приводит к затруднениям при их практическом использовании в реальном учебном процессе.
Это обстоятельство, на наш взгляд, определяет необходимость внедрения в данную область методики и инструментария теории систем, адекватного математического аппарата, использования информационных технологий, что обеспечит возможность реализации соответствующей требованиям времени образовательной парадигмы [3].
Постановка задачи исследования
В теории систем хорошо разработаны способы оценки актуального состояния исследуемого (управляемого) объекта как системы, его прогнозируемого ресурса, времени и качества «жизни», направления и скорости эволюции. Анализ объективной информации о состоянии и поведении (в системном смысле) обучающегося как объекта мониторинга позволяет принимать обоснованные управленческие решения, приводящие к достижению заданной цели - обеспечению качества образования как основы компетентности, т.е.
профессиональной пригодности и, соответственно, востребованности выпускника вуза. Отметим, что эти системные качества выпускника в первую очередь интересуют его потенциального работодателя.
Основная проблема трансляции понятийного и математического аппарата теории систем, а также ее методологического инструментария в предметную область образования связана со сложностью модели состояния обучающегося как объекта контроля и управления. Объект в данной постановке представляется динамической системой, характеризующейся рядом специфических свойств, а именно: многопараметровостью и многосвязанностью, стохастическим характером поведения, выраженными нелинейностями и синер-гетическими эффектами его эволюции [4].
Ввиду многоаспектности поставленной задачи ограничимся в данной статье рассмотрением задач, возникающих при мониторинге остаточных знаний как основы для оценки сформированности предписанных федеральными государственными образовательными стандартами компетенций и, следовательно, как ресурса будущего специалиста (бакалавра, магистра) [5].
Важнейшим аспектом формализации этой процедуры является принятие решения о классификации выявленного состояния обучающегося как объекта мониторинга, в частности, определение его предельного (критического) состояния. Критичность заключается в том, что находящийся в этом состоянии объект (в перспективе дипломированный бакалавр, магистр, специалист, выпускник вуза, колледжа) потенциально не способен удовлетворять квалификационным требованиям (в частном случае не удовлетворяет установленным требованиям по данному курсу, блоку дисциплин, виду учебной деятельности). В другой терминологии это означает невозможность реализовать целевую функцию с приемлемым (нормированным) качеством.
Уровень сохраненности и операционной доступности остаточных знаний в этом рассмотрении определяет тот допустимый минимальный остаточный ресурс, который можно трактовать как характеристику степени удаленности обучающегося от перехода в некоторое нормированное (заданное априори) критическое состояние (или, напротив, степень приближенности к этому состоянию).
Описание предлагаемого подхода
В качестве базового положения предлагаемого подхода нами использовано утверждение, выдвинутое в классической работе [6] и заключающееся в том, что обучение (в широком смысле) состоит, или, по крайней мере, может быть редуцировано [7] к формированию у обучающегося некоторого необходимого и достаточного комплекса взаимообусловленных и адекватных данной познавательной ситуации правил распознавания и отбора формирующихся в процессе обучения образов, а также связанных с ними понятий. Успешность обучения состоит, в частности, в максимальном соответствии понятий, воспроизводимых, формулируемых обучающимися в процессе контроля «правильным» (идеальным, каноническим, общепринятым) понятиям и прогнозируемой (с приемлемой вероятностью) готовности успешно использовать их в профессиональной деятельности.
Рассмотрим процедуру оценки, используя математический аппарат теории систем. Пусть имеется некоторый объект - обучающийся, степень обу-
ченности которого (понимаемой здесь как сформированность предписанных компетенций), подлежит оценке. Объект представим как систему, характеризуемую параметрами состояния, динамическими переменными, уравнением состояния и уравнением эволюции. Множество моделей m данной системы в смысле постановки задачи оценки степени обученности составляет некоторый тезаурус M так, что m е М . Пусть модели m отличаются друг от друга набором качеств и количественных значений некоторого множества параметров, характеризующих определенное состояние A объекта. Тезаурус M есть параметрическое семейство M(A), а A = (,a2,...,an) представляет собой
вектор параметров (качеств, свойств) объекта такой, что а^ е Ak (k = 1, п ), где Ak - диапазон возможных состояний объекта, который включает в себя допустимые состояния (Ао е Ak).
В соответствии со спецификой задачи оценки априори нормативно определен минимально допустимый предписанный набор состояний А е Л (т.е. группа моделей то е М), который, будучи выявлен в результате контроля, может быть в совокупности с другими данными об обучающемся интерпретирован как показатель сформированности некоторой компетенции К.
Таким образом, в процессе мониторинга определяется текущее состояние аI е А объекта и устанавливается, входит ли это состояние в множество
допустимых состояний Ао. Этот вывод, по сути, означает, что степень обучен*
ности объекта соответствует некоторой модели т е то е М. Соответствие выявляется в процедуре сравнения с априори заданным критерием г; т.е.
т = а^штг(то,) (1)
таким, что
vr (a ) =
г д<- (a) dr a) ^
дй\ ' да^
= 0. (2)
Критерий r есть некоторый статистический функционал, т.е. задача оценивания сводится к процедуре стохастической аппроксимации, обеспечивающей сходимость выражения
P {lim [r (af) - r (ao)] = 0} = 1. (3)
Степень выполнения условия (3) предлагается принять в качестве объективной оценки качества обученности (в простейшем случае - качества выполнения конкретного контрольного задания). Будучи обобщена на определенном множестве aj е A , эта оценка характеризует степень сформированно-сти предписанной компетенции.
Для реализации данного алгоритма целесообразно провести более детальную декомпозицию состояния объекта (т.е. тезауруса M ), выделив определенные подклассы моделей, соответствующих векторам состояния Aj (классы состояния).
Под классом состояния будем понимать принадлежащее множеству значений вектора состояний объекта подмножество, коррелирующее с неко-
торой заданной содержательной интерпретацией условий, при которых объект еще может считаться соответствующим заданному уровню требований. Например, пространство состояний объекта может разделяться на следующие классы, соотнесенные с условиями ранжирования:
• объект адекватен требованиям при значениях функционала (3), близких к 1;
• объект не адекватен на данном уровне, но адекватен при переходе на более низкий уровень содержания тезауруса М (снижение требований к содержанию, количеству заданий и увеличения времени на их выполнение);
• объект не адекватен на любом из возможных уровней (значение функционала (3) близко к нулю).
Для оптимизации процедуры отнесения состояния объекта к некоторому классу состояний путем распознавания его свойств определяемые в процессе испытания характеристики, т.е. наблюдаемые и измеряемые параметры, целесообразно преобразовать в вектор признаков X = (Xl, X2,..., xn), который соответствует актуальному состоянию. Переменные параметры x^ используются для диагностики состояния объекта. Возможные значения вектора X образуют пространство признаков.
Распознавание осуществляется путем сопоставления найденного вектора признаков с описанием соответствующего класса состояний объекта. Результатом сопоставления является отнесение актуального состояния объекта к какому-либо классу [8]. Степень соответствия определяет решающее правило вида (3).
Значения параметров состояния объектов могут с различной вероятностью входить в состав нескольких классов состояния, поэтому в процессе распознавания возможны ошибки. Система распознавания допускает ошибку в том случае, если она относит к определенному классу qi состояние, в действительности принадлежащее другому классу qi.
Пример алгоритма для признаков, определяемых в непрерывных числовых шкалах
Для определенности рассмотрим алгоритм распознавания состояния объекта, сводящийся к процедуре отнесения его актуального состояния к некоторому классу состояний, для случая, когда все признаки задаются и определяются в непрерывных числовых шкалах (например, шкале рейтинговых баллов).
Основой подхода к задаче классификации образов в числовом пространстве признаков является статистическая теория принятия решений.
Пусть Q = q2,..., qi) - множество рассматриваемых классов состояния объекта. Каждый класс qi в пространстве признаков X задан некоторым числовым множеством, следовательно, вектор признаков X = (Xl,X2,...,xn) представляет собой многомерную случайную величину. Зададим условные плотности p(X | qi) распределения вероятностей вектора X, предполагая его принадлежность к заданному классу qi. Зададим априорные вероятности P(qi) принадлежности объекта этому классу. Тогда апостериорную вероят-
ность принадлежности состояния объекта к заданному классу определяем следующим образом, используя байесовское правило:
Р( /X) = Р(д{)р(Х/и)/р(X), (4)
где
т
р(Х) = 2 р(Х / ). (5)
1=1
Предположим, что найденный для объекта вектор X был идентифицирован как образ состояния, принадлежащего классу . В общем случае X может принадлежать любому из п рассматриваемых классов, следовательно, математическое ожидание условных средних потерь, связанных с отнесением образа X к другому классу , определяется через потери Ху , обусловленные ошибочным отнесением состояния класса к классу qj :
т
(X ) = 2 V (/ X). (6)
1=1
С учетом (6) выражение для критерия г принимает вид
1 т
V (^-р^ V (и1 )р^/ И1). (7)
Общий средний риск:
1 mm
г (^ТТгЕЕ^ (1 )р^/ ). (8)
р(х) j=l 1=1
При распознавании каждого образа целесообразно принять решающее правило: классификатор причисляет образ X к классу, для которого минимальны условные средние потери; отсюда математическое ожидание полных потерь для всех решений также будет минимально.
При фиксированном X величина 1/ р(X) является константой, что
позволяет упростить выражения (7) и (8).
С учетом изложенного формулы для вычисления условного риска средних потерь имеют вид
т
^ (X ) = 2ХиР (И )р( / И), (9)
1=1
т т
Я(X) = 22 V(у )р(X / ). (10)
V=11=1
Рассмотрим важный частный случай описанного алгоритма, а именно двоичное разделение множества Q на два класса и (типа «зачет -
незачет»). С практической точки зрения важно, что решение реальных многоальтернативных задач распознавания и классификации может быть сведено к использованию ветвящихся двухальтернативных решающих правил.
В этом случае Q = ^1, q2} , и результатом анализа вектора X является выбор одного из двух альтернативных решений, т.е. отнесение X к классу ql или q2 . Первому решению соответствует риск средних потерь
^ (X) = Хцр^ / ql)P(ql) + ^21Р(X / q2)P(q2), (11)
а второму -
^2 (X) = Хир(X / ql)P(ql) + ^22р(X / q2 )P(q2 ). (12)
В соответствии с байесовским решающим правилом образ (вектор) X приписывают к классу с минимальным значением средних потерь; поэтому образ X относят к классу ql, если имеет место соотношение
^ (X)< ^2 (X), т.е.
Х„р(X / ql)P(ql) + ^21Р(X / q2)P(q2) < < Х^р(X / ql)P(ql) + ^22Р(X / q2)P(q2) , (13)
или, в другой записи:
(^12 -А,11>р(X / ql)P(ql) > (^12 -Х22)Р(X / q2)P(q2) . (14)
Из практических соображений можно положить, что Хгу > Хгг- (и даже Хц = 0 ). При этих условиях выражение (14) сводится к неравенству
р( / ql ) > P(ql )(Х21 -Х22 ) р( / q2 ) P(q2 )(Х12-Хп )'
которое и задает алгоритм классификации. Левая часть неравенства (15) есть коэффициент правдоподобия:
'^Рт/Ч "6)
р(/ q2)
а правая часть неравенства (15)
= р(ql )(Х21 -Х22 )
р(q2)(Х12 -Хп) ' '
характеризует пороговое значение.
С учетом вышесказанного байесовское решающее правило состоит в следующем:
- при ' (X )> И состояние объекта относят к классу ql;
- при ' (X) < И состояние объекта относят к классу q2 ;
- в случае равенства l (X ) = h для принятия решения необходимо использовать дополнительную информацию.
Наряду с описанным правилом принятия решения может быть использован критерий максимума апостериорной вероятности. Апостериорная вероятность P (■ / X) принадлежности состояния объекта к классу qj вычисляется следующим образом:
P(( /X) = ^^, (.8)
т
где Р(X) = ^Р(q.)Р(Х / qt) - совместная плотность распределения вектора
■=1
признаков.
Решение о принадлежности состояния классу qi принимается при выполнении условия, обеспечивающего минимум средней вероятности ошибки классификации.
Для двух альтернативных классов q. и q2 состояние объекта идентифицируется как q. при P(q. /X)>P(2/X) и как q2 при
p (./X )< P (2/X).
При этом отношение правдоподобия определяется выражением (.6), а пороговое значение в соответствии с (.7) h = P(2) / (q.).
Величины априорных вероятностей P(q{), входящие в формулу (.7),
как правило, задаются на основании дополнительной информации (например, семестровый рейтинг, данные портфолио, субъективная оценка преподавателя, независимая экспертная оценка и др.). При полной априорной неопределенности, в соответствии с принципом Бернулли, можно положить P (q. ) =
= Р (q2 ) = ./2 (в этом предположении пороговое значение становится равным единице h =., т.е. реализуется правило максимального правдоподобия.
Такая методика успешно реализуется в области технических систем как задача минимизации ошибок (например, в терминологии радиолокационного обнаружения типа «пропуск цели» и «ложная тревога»). В отличие от технической области, на первый план в задаче мониторинга остаточных знаний и степени сформированности компетенций ставится проблема минимизации заданной функции риска в условиях высокой сложности поведения исследуемой системы.
Заключение
В статье рассмотрена возможность применения байесовского подхода к оцениванию уровня достижения выдвинутых гипотез. Подход предполагает использование формулы Байеса для построения распределения апостериорных вероятностей на множестве гипотез о том, что степень реализации рассматриваемой гипотезы достигла требуемого уровня. Подход применим для общих практик при условии, что существуют объективные свидетельства, позволяющие произвести экспертное оценивание.
Используемые для получения байесовской оценки условные вероятности рассматриваются как экспертные оценки верности гипотез о достижении определенного уровня их выполнения.
Преимущества представленного в статье подхода, на наш взгляд, состоят в следующем:
- дана более высокая объективность экспертных оценок с учетом естественных сглаживаний, возникающих между экспертами расхождений;
- предложено упрощение процедуры оценивания по сравнению с использованием методов нечеткой логики;
- есть возможность оценивания по ограниченному набору имеющихся объективных свидетельств без ущерба для состоятельности оценок.
Рассмотренный подход может быть использован для оценивания качества управленческих решений и, в частности, в обширном классе задач анализа степени сформированности предписанных объектам мониторинга учебных и профессиональных компетенций.
Библиографический список
1. Белашов, П. Д. Сущность понятия «компетенция» и «компетентность» в научной литературе / П. Д. Белашов // XXI век: итоги прошлого и проблемы настоящего. - 2015. - Т. 2, № 6 (28). - С. 79-84.
2. Гусятников, В. Н. Построение модели для анализа качества образовательного процесса на основе технологий компьютерного тестирования / В. Н. Гусятников, О. Ю. Соколова, И. Б. Каюкова // Вестник Саратовского государственного социально-экономического университета. - 2009. - № 4. - С. 197-200.
3. Беспалько, В. П. Природосообразная педагогика / В. П. Беспалько. - М. : Народное образование, 2008. - 512 с.
4. Растригин, Л. А. Адаптивное обучение с моделью обучаемого / Л. А. Растри-гин, М. Х. Эренштейн. - Рига : Зинатне, 1986 - 160 с.
5. Курилова, О. Л. Методы оценки компетенций выпускника вуза / О. Л. Кури-лова, А. А. Смагин, С. В. Липатова // Ученые записки Ульяновского госуниверситета. Сер.: Математика и информационные технологии. - 2012. - № 1 (4). -С. 246-257.
6. Ципкин, Я. З. Основы теории обучающих систем / Я. З. Цыпкин. - М. : Наука, 1970. - 232 с.
7. Ивахненко, А. Г. Самообучающиеся системы распознавания и автоматического регулирования / А. Г. Ивахненко. - Киев : Наукова думка, 1969. - 134 с.
8. Ту, Дж. Принципы распознавания образов / Дж. Ту, Р. Гонсалес. - М. : Мир, 1980. - 411 с.
References
1. Belashov P. D. XXI vek: itogi proshlogo i problemy nastoyashchego [XxI century: results of the past and problems of the present]. 2015, vol. 2, no. 6 (28), pp. 79-84.
2. Gusyatnikov V. N., Sokolova O. Yu., Kayukova I. B. Vestnik Saratovskogo gosudar-stvennogo sotsial'no-ekonomicheskogo universiteta [Bulleting of Saratov SocioEconomic University]. 2009, no. 4, pp. 197-200.
3. Bespal'ko V. P. Prirodosoobraznayapedagogika [Natural pedagogy]. Moscow: Narod-noe obrazovanie, 2008, 512 p.
4. Rastrigin L. A., Erenshteyn M. Kh. Adaptivnoe obuchenie s model'yu obuchaemogo [Adaptive learning with a student model]. Riga: Zinatne, 1986, 160 p.
5. Kurilova O. L., Smagin A. A., Lipatova S. V. Uchenye zapiski Ul'yanovskogo gosuni-versiteta. Ser.: Matematika i informatsionnye tekhnologii [Bulletin of Ulyanovsk State University]. 2012, no. 1 (4), pp. 246-257.
6. Tsipkin Ya. Z. Osnovy teorii obuchayushchikh sistem [Fundamentals of the theory of learning systems]. Moscow: Nauka, 1970, 232 p.
7. Ivakhnenko A. G. Samoobuchayushchiesya sistemy raspoznavaniya i avtomatiche-skogo regulirovaniya [Self-learning systems for recognition and automatic regulation]. Kiev: Naukova dumka, 1969, 134 p.
8. Tu Dzh., Gonsales R. Printsipy raspoznavaniya obrazov [Principles of pattern recognition]. Moscow: Mir, 1980, 411 p.
Дементьев Евгений Александрович студент, Пензенский государственный технологический университет (Россия, г. Пенза, ул. Гагарина/пр. Байдукова, !а/П)
E-mail: [email protected]
Кан Виталий Вячеславович аспирант, Пензенский государственный технологический университет (Россия, г. Пенза, ул. Гагарина/пр. Байдукова, .а/.. )
E-mail: [email protected]
Свистунов Борис Львович доктор технических наук, профессор, кафедра физики, Пензенский государственный технологический университет (Россия, г. Пенза, ул. Гагарина/пр. Байдукова, .а/.. )
E-mail: [email protected]
Dement'ev Evgeniy Aleksandrovich Student, Penza State Technological University (1a/11 Gagarina street/ Baydukova avenue, Penza, Russia)
Kan Vitaliy Vyacheslavovich Postgraduate student, Penza State Technological University (1a/11 Gagarina street/Baydukova avenue, Penza, Russia)
Svistunov Boris L'vovich Doctor of engineering sciences, professor, sub-department of physics, Penza State Technological University (1a/11 Gagarina street/Baydukova avenue, Penza, Russia)
УДК 378.147 Дементьев, Е. А.
Принятие решений о степени сформированности профессиональных компетенций студентов на основе мониторинга остаточных знаний /
Е. А. Дементьев, В. В. Кан, Б. Л. Свистунов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2018. - № 2 (46). -С. 64-73. - БОТ 10.21685/2072-3059-2018-2-6.
