CC BY
178
УДК [378.147:004]:331.156
И.В. Сибикина, И.Ю. Квятковская, И.М. Космачёва
ОЦЕНКА УРОВНЯ СФОРМИРОВАННОСТИ КОМПЕТЕНЦИИ СТУДЕНТА ВУЗА НА ПРИМЕРЕ ГРАФОВОЙ МОДЕЛИ
Разработана процедура, позволяющая осуществлять оценку сформированности компетенций у студента в процессе обучения. Для решения этой задачи предложено построение интегрального критерия на основе аддитивного преобразования. Описана вычислительная процедура и представлены формулы для определения различных характеристик накопления компетенции с течением времени и, соответственно, потерь компетенции по сравнению с максимально возможным уровнем её формирования. Учтена возможность применения процедуры для различных балльно-рейтинговых систем, используемых в вузах.
Оценка компетенции, качество образования, управление учебным процессом, модель компетенции, интегральный критерий, значимость дисциплин
I.V. Sibikina, I.Yu. Kvyatkovskaya, I.M. Kosmacheva
ASSESSMENT OF THE COMPETENCE LEVEL OF A STUDENT USING THE GRAPH MODEL
The paper presents a procedure, which allows evaluating the competence of a student during the learning process. To solve the problem it is proposed to construct an integral criterion on the basis of additive transformations. The computational procedure was developed including the formulas to calculate the various types of competence accumulation over time, and consequently, competence losses compared to the maximum possible levels of its formation. The possibility for application of the procedures in various rating systems at higher schools was taken into account.
Assessment of competences, quality of education, educational administration, the competence model, an integral criterion, significance of disciplines
Введение. В настоящее время подготовка специалистов осуществляется по новым стандартам, основное требование которых - формирование у специалистов необходимого набора компетенций. Многие исследователи подтверждают эффективность компетентностного подхода в системе высшего профессионального образования (ВПО) [1-15] и др. Компетентностный подход в системе ВПО является одним из наиболее актуальных способов построения новой образовательной стратегии. Новая компетентностная методология разработки федеральных государственных образовательных стандартов высшего професионального образования ФГОС ВПО разрабатывалась в
рамках Болонского процесса. С введением в систему российского образования новых ФГОС, основанных на формировании у студентов необходимого перечня компетенций, возник ряд вопросов, связанных с оценкой этих компетенций.
При этом формирование и комплексная оценка уровня компетенций студентов проводятся в вузах в форме аттестации [6], на базе балльно-рейтинговой системы [3], организации информационно-образовательной среды и проектирования, позволяющих выявлять и диагностировать личностный потенциал, интеллектуальные, профессиональные и творческие способности студентов [3, 7, 8], а также экспертного оценивания и самооценки на соответствие предъявляемым требованиям [3, 5, 9, 10, 13, 14]. Проводится оценка качества выпускаемых вузом специалистов с позиций системного и компетентностного подходов [9], создаются соответствующие системы мониторинга за процессом формирования компетенций в вузе [3, 15, 16].
Согласно новым требованиям ФГОС ВПО России каждое высшее учебное заведение должно иметь адекватные средства для оценки компетенций, формирующихся у студентов в процессе обучения. Поэтому целью статьи является разработка процедуры определения уровня формирования компетенции студента на основе бально-рейтинговой системы, традионно используемой во многих вузах.
Постановка и анализ задачи. Компетенция студента в период обучения в вузе приобретается на основе изученных дисциплин. Дисциплины имеют различную степень значимости 1 для компетенции, описываемую на базе энтропийного подхода [19] и выражаемую числовым значением. Кроме этого, степень изучения дисциплины студентом характеризуется интегральным баллом, который набрал студент по заданной дисциплине. Характеристикой степени изучения дисциплины может являться:
1) рейтинг, набранный студентом по заданной дисциплине;
2) результаты Интернет-экзамена, выявляющие усвоение дидактических единиц дисциплины;
3) результаты экзамена по дисциплине;
4) средний интегрированный балл по дисциплине;
Определение уровня формирования компетенции - это задача принятия решения, с фиксированным числом критериев, выраженных целевыми функциями. Поэтому процесс принятия решений можно свести к задаче векторной оптимизации.
Существует несколько методов решения задач многокритериальной оптимизации:
— выделения главного критерия;
— лексикографической оптимизации;
— свертывания векторного критерия в скалярный.
В методе выделения главного критерия лицо, принимающее решение, назначает один главный критерий, остальные выводятся в состав ограничений, т.е. указываются границы, в которых эти критерии могут находиться. Недостаток метода: нет смысла проводить глубокое системное исследование, если все критерии, кроме одного, не учитываются. Очевидно, что в решении задачи оценки компетенции этот метод является неприемлемым.
В методе лексикографической оптимизации предполагается, что критерии, составляющие векторный критерий В, могут быть упорядочены на основе отношения абсолютной предпочтительности. Этот метод является неприемлемым для решения задачи оценки компетенции, т.к. процесс упорядочения критериев, составляющих векторный, не представляется возможным из-за специфики задачи. Компетенция зависит от множества дисциплин, пренебрегать одной из них, а тем более выбирать одну и по ней осуществлять оценку компетенции невозможно из-за определения компетенции.
Основной трудностью этого подхода является построение функции /, называемой сверткой. Для ее преодоления необходимо решить четыре задачи:
1. Обоснование допустимости свертки.
2. Нормализация критериев для их сопоставления.
3. Учет приоритетов (важности) критериев.
4. Построение функции свертки, позволяющей решить задачу оптимизации.
Обоснование допустимости свертки требует подтверждения, что рассматриваемые показатели эффективности являются однородными. Известно, что показатели эффективности разделяются на три группы:
— показатели результативности;
— показатели ресурсоемкости;
— показатели оперативности;
В общем случае разрешается свертка показателей, входящих в обобщенный показатель для каждой группы отдельно. Свертка показателей из разных групп может привести к потере физического смысла такого критерия. В задаче оценки компетентности показателями эффективности являются
баллы, набранные студентом по дисциплинам, формирующим компетенцию. Эти баллы являются однородными, относятся к показателям результативности, следовательно, применение свёртки допустимо.
Учет приоритетов критериев осуществляется в большинстве методов свертывания заданием вектора коэффициентов важности критериев. Определение коэффициентов важности критериев, как и в случае с показателями, связано с серьезными трудностями и сводится к использованию формальных процедур, либо к применению экспертных оценок. В результате нормализации и учета приоритетов критериев образуется новая векторная оценка. Именно эта полученная векторная оценка подлежит преобразованию с использованием функции свертки.
Решение задачи. Ранее построена структура формирования компетенции в виде графа. При использовании энтропийного подхода разработана процедура определения степени влияния каждой дисциплины на формирование компетенции [17]. Вычисление этой характеристики основано на данных о степени влиянии дисциплин на формирование компетенции, полученных от экспертов.
Выбор способа свертки зависит от характера показателей и целей оценивания системы. Известны несколько видов свертки. Наиболее часто используются аддитивная и мультипликативная свертка компонентов векторного критерия.
Аддитивная свертка компонентов векторного критерия состоит в представлении обобщенного скалярного критерия в виде суммы взвешенных нормированных частных критериев. Мультипликативная свертка компонентов векторного критерия состоит в представлении обобщенного скалярного критерия в виде произведения. Выбор между свертками определяется степенью важности абсолютных или относительных изменений значений частных критериев соответственно.
В задаче оценки компетенции целесообразно использовать аддитивную свёртку. Это обосновано тем, что характерным свойством аддитивной свертки является то, что максимальную оценку компетенции на ее основе получают выпускники, которые имеют больше критериев, близких по значениям к максимальным (при одинаковых средних у всех выпускников).
Пусть В = (Ьц, Ьц^,.. Ьц^) - векторный критерий, баллы по всем дисциплинам формирующим
компетенцию Ьц - скалярный критерий, балл набранный студентом по дисциплине Ц; т - степень значимости дисциплины [20].
Для оценки компетенции в качестве обобщенного критерия берётся аддитивная свёртка, тогда математическая модель оценки уровня формирования компетенции запишется так:
п
Вк = Ът • ьО,
1=1
п
< Ът =1 (1)
1=1
т е [0,1]
Ьц е [0,1]
где Вк - оценка компетенции К, тц>. - степень значимости дисциплины Ц ,Ьц1 - балл по дисциплине Ц согласно балльно-рейтинговой системе (БРС), действующей в вузе; а, Ь - минимальный и максимальный балл, соответственно; п - количество дисциплин, формирующих компетенцию.
Процедура вычисления уровня формирования компетенции определяет окончательный результат после изучения всех дисциплин, формирующих компетенцию. Однако в процессе формирования компетенции очень важным является мониторинг и прогнозирование возможной оценки компетенции на любом этапе обучения с последующей коррекцией его процесса.
Подробно процедура расчёта характеристик уровня компетенции в процессе её формирования изложена в [23]. Она состоит из следующих этапов:
— вычисление вклада каждой дисциплины в компетенцию;
— определение максимально возможной оценки компетенции в заданный момент времени (в баллах согласно БРС);
— вычисление текущей оценки компетенции в заданный момент времени (в баллах согласно
БРС);
— расчёт максимально возможного вклада в компетенцию в заданный момент времени (в процентах);
— определение потерь компетенции в заданный момент времени (в процентах). Покажем на примере определение характеристик уровня формирования компетенции на примере модели, представленной на рис. 1 [18, 19]. Наименьший балл согласно балльно-рейтинговой системе, используемой и приемлемый в вузе - 3, наибольший - 5.
«
Рис. 1. Модель компетенции
Порядок изучения дисциплин, согласно графовой модели следующий: d4 и d3^■D2^■D1. Весовые коэффициенты влияния этих дисциплин, баллы по дисциплинам и вклад каждой дисциплины в компетенции приведены в табл. 1.
Характеристики дисциплин, формирующих компетенцию
Таблица 1
Дисциплины Весовые коэффициенты Балл по дисциплине Вклад каждой дисциплины в компетенцию
01 то, Ьо, сГ £ II
с14 0,21 4 1,05
с13 0,41 3 2,05
02 0,32 4 1,6
01 0,06 5 0,3
На диаграмме (рис. 2) можно видеть, что наибольший вклад в формирование компетенции при имеющихся баллах вносит дисциплина D2, наименьший дисциплина D1.
Рис. 2. Вклад дисциплин в компетенцию
Вычисляем максимально возможную, минимально возможную и текущую оценку накопления компетенции (табл. 2).
Текущие характеристики накопления компетенции (в баллах)
Таблица 2
Изученные дисциплины к = Е ВК„ д ,=1 к Вг = Е Вг л ш1п л ш1п О, г=1 к Вк = Е Вк ■ кг„тт / , 1=1
с14 1,05 0,63 0,84
с14 и с13 3,1 1,86 2,07
с14, с13, 02 4,7 2,82 3,35
с14, с13, 0201 5 3 3,65
На диаграмме (рис. 3) показано накопление компетенции после изучения каждой из дисциплин, формирующих компетенцию, в сравнении с минимально и максимально возможным накоплением.
Рис. 3. Накопление компетенции
В различных БРС существуют, соответственно, разные шкалы для оценки уровня усвоения дисциплин, поэтому целесообразным представляется привести полученные значения к диапазону [0; 1], и получать процентное соотношение уровня формирования компетенции (табл. 3).
Таблица 3
Характеристики накопления компетенции после изучения дисциплин
Изученные дисциплины к ^ = 100% 1=1 Вк 1к = -100% ^-тт В Ктахс Вк 1к = Ксигг -100% сигг ТУ Вк ^тах
с14 21% 12,6% 16,8%
с14 и с13 62% 37,2% 41,4%
с14, с13, 02 94% 56,4% 67%
с14, с13, 02,01 100% 60% 73%
Потери компетенции после изучения каждой дисциплины по сравнению с максимально возможным уровнем приведены в табл. 4.
Таблица 4
Потери компетенции
Изученные дисциплины 8к = 1к — 1к к сигг к тах К сиг
с14 4,2%
с14 и с13 20,6%
с14, с13, 02 27%
с14, с13, 02,01 27%
Выводы. Таким образом, для определения уровня сформированности компетенции на основе предложенной процедуры необходимо иметь модель компетенции, т.е. перечень всех дисциплин, её формирующих, вес влияния каждой дисциплины на формирование компетенции и баллы, набранные студентом по каждой из дисциплин. На основе предложенной процедуры предоставляется возможность определить текущий уровень сформированности компетенции и максимально возможный уровень на заданный период времени. Кроме этого, эта методика позволяет прогнозировать уровень сформированности компетенции, имея текущие результаты. Процедура вычисления уровня формирования компетенции универсальна, т.е. может применяться для любой балльно-рейтинговой системы, используемой в вузе.
Оценка потерь компетенции позволит организаторам процесса подготовки специалистов, а также профессорско-преподавательскому составу контролировать уровень состояния компетенции на текущий момент времени. Этот показатель необходим для осуществления мониторинга процесса подготовки специалистов и является элементом поддержки принятия решений в процессе управления формированием компетенции.
ЛИТЕРАТУРА
1. The Education and Training of Learning Technologists: A Competences Approach / Hartley R., Kinshuk Koper R., Okamoto T., & Spector J.M. // Educational Technology & Society. 2010. 13(2): 206-216.
2. Lystras M.D. Competencies Management: Integrating semantic web and technology enhanced learning approaches for effective knowledge management. Journal of Knowledge Management. 2008. 12(6): 1-5.
3. Новые методы математического моделирования динамики и управления формированием компетенций в процессе обучения в вузе: монография / Большаков А.А., Вешнева И.В., Мельников Л.А., Перова Л.Г. М.: Горячая линия - Телеком, 2014. 250 с.
4. Берестнева О.Г. Моделирование интеллектуальной компетентности студентов / О.Г. Бе-рестнева // Известия Томского политехнического университета. 2005. Т. 308. № 2. С. 152-156.
5. Метод оценки профессиональных компетенций, основанный на лингвистическом подходе для системы управления вузом / Большаков А.А., Вешнева И.В., Мельников Л.А., Перова Л.Г. // Системы управления и информационные технологии. 2013. № 2.1 (52). С. 116-12.
6. Караваева Е.В. Принципы оценивания уровня освоения компетенций по образовательным программам ВПО в соответствии с требованиями ФГОС нового поколения / Е.В. Караваева, БВ.А. огословский, Д.В. Харитонов // Вестник Челябинского государственного университета. 2009. №18 Философия. Социология. Культурология. Вып. 12. С. 155-162.
7. Абакумова Н.Н. Компетентностный подход в образовании: организация и диагностика / Н.Н. Абакумова, И.Ю. Малкова. Томск: Томск. гос. ун-т, 2007. 368 с.
8. Соколова И.Ю. Создание творческой образовательной среды в предметной области знаний / И.Ю. Соколова, Г.П. Кабанов // Вестник УМО по профессиональному образованию: Вып. 1 (37). Екатеринбург: Изд-во РГППУ, 2005. с. 131-136.
9. Ивaнoв Д.А. Компетентности и компетентностный подход в современном образовании / Д.А. Ивaнoв. M.: Чистые пруды, 2007. 32 c.
10. Пугачева Е.Е. Формирование и оценка компетенций студентов-географов ТГПУ / Е.Е. Пугачева // Вестник ТГПУ. Томск, 2010. C. 63-65.
11. Соколова И. Ю. Качество подготовки специалистов в профессиональном образовании с позиций системного и компетентностного подходов / И. Ю. Соколова // Вестник ТГПУ. Томск, 2011. С. 162-168.
12. Вешнева И.В. Комплексные функции принадлежности для оценки предметных компетенций студентов вуза / И.В. Вешнева, А.А. Большаков, Л.А. Мельников // Вестник СГТУ. 2011. Т. 4. № 4. С. 200-207.
13. Применение теории нечетких множеств к задачам оценки и управления формированием компетенций: описание проблемы и подход к ее разрешению / А.А. Большаков, И.В. Вешнева, Л.А. Мельников, Л.Г. Перова // Вестник Астраханского государственного технического университета. Сер. Управление, вычислительная техника и информатика. 2012. № 2. С. 174-181.
14. Большаков А.А. Создание системы комбинированного управления формированием компетенций студентов технического вуза / А.А. Большаков, Л.Г. Перова // Системы управления и информационные технологии. 2012. Т. 49. № 3. С. 81-86.
15. Вешнева И.В. Построение интеллектуальной системы мониторинга процесса формирования компетенций студентов вуза / И.В. Вешнева, А.А. Большаков, Л.Г. Перова // Системы управления и информационные технологии. 2012. Т. 50. № 4. С. 19-23.
16. Квятковская И.Ю. Энтропийный подход в задаче определения системных характеристик модели компетенции / И.Ю. Квятковская, И.В. Сибикина // Науч.-техн. ведомости СПбГПУ. Сер.: Информатика. Телекоммуникации. Управление. 2012. № 3. С. 89-93.
17. Kvyatkovskaya I.Yu. Procedure of the System Characteristics Competence Graph Model Calculation / I.Yu. Kvyatkovskaya, I.V. Sibikina and G.V. Berezhnov // World Applied Sciences Journal (Information Technologies in Modern Industry, Education & Society). 2013. № 24. С. 111-116.
18. Сибикина И.В. Процедура оценки компетентности студентов вуза, обучающихся по направлению «Информационная безопасность» / И.В. Сибикина // Вестн. Астрахан. гос. техн. ун-та. Сер. Управление, вычислительная техника и информатика. 2011. № 1. С. 200-205.
19. Сибикина И.В. Построение лингвистических шкал в целях выявления важных дисциплин, формирующих компетенцию / И.В. Сибикина, И.Ю. Квятковская // Вестн. Астрахан. гос. техн. ун-та. Сер. Управление, вычислительная техника и информатика. 2012. № 2. С. 182-186.
20. Сибикина И.В. Мониторинг качества подготовки выпускника вуза при осуществлении компетентностного подхода / И.В. Сибикина, И.М. Космачёва, Н.В. Давидюк // Вестн. Астрахан. гос. техн. ун-та. Сер. Управление, вычислительная техника и информатика. 2013. № 1. С. 208-214.
Сибикина Ирина Вячеславовна -
Кандидат технических наук, доцент кафедры «Информационная безопасность» Астраханского государственного технического университета
Квятковская Ирина Юрьевна -
доктор технических наук, директор института информационных технологий и коммуникаций Астраханского государственного технического университета
Irina V. Sibikina -
Ph. D., Associate Professor Department of Information Security, Astrakhan State Technical University
Irina Yu. Kvyatkovskaya -Dr. Sc.,
Director: Institute of Information Technologies
and Communications,
Astrakhan State Technical University
Космачева Ирина Михайловна -
Кандидат технических наук, доцент кафедры «Информационная безопасность» Астраханского государственного технического университета
Статья пос
Irina M. Kosmachova -
Ph. D., Associate Professor Department of Information Security, Astrakhan State Technical University
пила в редакцию 15.03.14, принята к опубликованию 15.05.14
