CC BY
237
НОВЫЕ ОБРАЗОВАТЕЛЬНЫЕ ТЕХНОЛОГИИ И КАЧЕСТВО ПОДГОТОВКИ СПЕЦИАЛИСТОВ
УДК [378.147:004] :331.156
И. В. Сибикина
ПРОЦЕДУРА ОЦЕНКИ КОМПЕТЕНТНОСТИ СТУДЕНТОВ ВУЗА,
ОБУЧАЮЩИХСЯ ПО НАПРАВЛЕНИЮ «ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ»
Введение
Приказом Министерства образования и науки РФ от 28.10.2009 г. № 497 был утвержден Федеральный государственный образовательный стандарт высшего профессионального образования (ФГОС ВПО) по направлению подготовки 090900 «Информационная безопасность» [1]. Согласно данному документу, выпускник должен обладать целым рядом общекультурных и профессиональных компетенций. В пункте «Оценка качества освоения основных образовательных программ» ФГОС ВПО имеется перечень требований к вузам по обеспечению гарантии качества подготовки специалистов. В частности, в нём говорится о разработке процедур оценки качества компетенций, приобретаемых выпускником.
Для достижения этой цели необходимо решить ряд взаимосвязанных задач.
1. Установить взаимосвязь между приобретаемыми компетенциями и формирующими их дисциплинами.
2. Определить степень влияния каждой изучаемой дисциплины на формирование отдельной компетенции из ФГОС ВПО.
3. На основании полученных в пп. 1 и 2 сведений разработать процедуру, позволяющую оценить качество приобретённых компетенций и уровень компетентности выпускника.
Уровень компетенции выпускника зависит от целого ряда взаимосвязанных между собой факторов: знания теоретических основ изучаемых дисциплин, умения применять свои знания на практике, способности к самообразованию, личностных характеристик и т. д.
Недостаточный уровень развития какого-либо фактора, влияющего на формирование компетенции, в конечном итоге уменьшает уровень компетентности специалиста, поэтому компетентность должна оцениваться комплексно по нескольким критериям. В подобных случаях критерий выбора в ситуации принятия решения представляет собой совокупность отдельных критериев, и соответствующая задача становится многокритериальной.
При решении многокритериальных задач часто используются различные методы свертки критериев в один обобщенный (интегральный) критерий.
Наиболее простой метод построения интегрального критерия заключается в выделении одного из критериев в качестве основного, а все остальные критерии добавляются к ограничениям, в которых задается область допустимых значений вектора независимых переменных. Таким образом, задача с векторным критерием сводится к задаче принятия решения со скалярным аргументом.
Основной недостаток такого подхода заключается в том, что фактически поиск ведется лишь по одному критерию. Значения остальных критериев, если они удовлетворяют ограничениям, по существу не влияют на результаты поиска.
Кроме того, необходимо учесть, что компетентность - понятие комплексное, и попытка оценить ее уровень по одному какому-то параметру (например, имеющему стандартное количественное выражение) обречена на неудачу. Именно поэтому данный способ получения свертки при оценке компетентности неприемлем.
Другими методами построения комплексного критерия являются аддитивная и мультипликативная свертки [2].
П
Аддитивная свёртка - это сумма отдельных критериев £ : £ = I Б1 , которая применяется
1=1
в том случае, если существует возможность неограниченной компенсации значений одних критериев за счет других.
В случае, если влияние каждого параметра значимо, и мы не можем игнорировать значение хотя бы одного критерия, целесообразно применять мультипликативную свёртку,
К = ^^ Б]Р'> , поскольку аддитивная свёртка нечувствительна к крайним значениям отдельных
}
критериев. В случае применения мультипликативной свёртки, если хотя бы один из параметров нулевой, вся свёртка будет давать нулевой результат.
Ранее нами была показана взаимосвязь между приобретаемыми компетенциями и формирующими их дисциплинами из ФГОС ВПО по направлению подготовки 090900 «Информационная безопасность» [3]. Установление взаимосвязи проводилось при помощи группы экспертов в количестве 18 человек. Среди экспертов были преподаватели профильных кафедр и выпускники, закончившие вузы по направлениям и специальностям подготовки, входящим в укрупненное направление 090900 «Информационная безопасность». Опрос экспертов являлся открытым и проходил в форме коллективного обсуждения, в ходе которого эксперты вырабатывали единое мнение о включении дисциплины в перечень, формирующий ту или иную компетенцию. В результате была получена таблица, показывающая, сколько дисциплин и какие именно участвуют в формировании компетенции.
Далее экспертам было предложено определить степень важности дисциплины для формирования компетенции. Перед экспертами была поставлена задача: расставить дисциплины по степени важности их влияния на формирование конкретной компетенции из таблицы, полученной ранее.
Для определения объективности экспертных данных рассчитывалась степень согласованности мнений экспертов с использованием таких показателей, как а - средний ранг; £ - вариация; Ж - коэффициент конкордации, рассчитываемые по следующим формулам:
а = — т(п +1) ,
2
п т
Б = I (I гЛ- а)2,
1=1 з=1
Ж = ■
£
т
12 т 2( п 3 - п) - т I Т ^ з =1
Тз
12 ,
у=1
1; {г (1) ,(Р)
где т - количество экспертов; п - количество дисциплин; , . ., г \ - матрица рангов,
^1,..., кт - т переменных с номерами; у - число одинаковых по предпочтительности элементов; - число рангов в группе.
При согласованности мнений экспертов полученные данные применялись для вычисления весового коэффициента влияния дисциплины на формирование соответствующей компетенции. При расчёте данной характеристики использовалось правило Фишберна [4]. В соответствии с этим правилом, если на множестве рассматриваемых характеристик (в данном случае дисциплин, формирующих компетенцию), количество которых равно N установлены отношения нестрогого предпочтения г > Г2 > ... > гм, то значимость п-й компетенции определяется из соотношения
_ 2(N - п +1)
Рп _ (N +1) • N '
В результате вычислений были получены данные по каждой из имеющихся компетенций ФГОС, показывающие степень влияния дисциплины на формирование у выпускников той или иной компетенции.
Кроме того, для выявления множества наиболее востребованных на рынке труда компетенций специалиста по информационной безопасности, было проведено анкетирование работодателей. После обработки данных был получен перечень, включающий в себя общекультурные и профессиональные компетенции, которые на момент проведения анкетирования были наиболее востребованными [5].
С использованием полученных в [3] результатов была разработана процедура оценки компетентности специалиста, которая состоит из двух этапов:
1. Определение уровня развития у выпускника каждой компетенции из ФГОС ВПО.
2. Оценка уровня компетентности выпускника.
Уровень развития каждой компетенции непосредственно зависит от интегральной оценки (балла), которую имеет обучаемый по дисциплинам, формирующим компетенцию, а также от веса, с которым каждая дисциплина на эту компетенцию влияет (рис. 1).
Рис. 1
Расчёт производится по формуле
^ • Р; ,
где / - число дисциплин, влияющих на формирование компетенции, / _ 1, п; - балл, который
имеет обучаемый по данной дисциплине; р1 - весовой коэффициент влияния дисциплины на формирование /-й компетенции.
Далее применяем аддитивную свёртку векторного критерия и получаем числовую характеристику уровня развития у обучаемого каждой компетенции:
п
Б _ ^Р/Б, .
;_1
Применение аддитивной свёртки в этом случае обусловлено тем, что невысокий балл по одной дисциплине, влияющей на формирование компетенции, может быть скомпенсирован высоким баллом по другой дисциплине, влияющей на формирование этой же компетенции.
Возникает вопрос: насколько объективны критерии выставления оценки за дисциплину и как повысить объективность оценки? Ныне существующая в России 5-балльная (фактически -4-балльная) система является слишком грубым орудием оценки. Для повышения объективности оценки можно использовать балльно-рейтинговую систему, основы которой изложены в [6], а также опыт других стран, где применяются более дробные шкалы (десяти-, двадцати-или стобалльные).
Прежде чем перейти ко второму этапу процедуры оценки компетентности специалиста, обратимся к понятиям компетентности и компетенции. Под компетентностью понимается личностная характеристика, совокупности мобильных знаний, умений, навыков и гибкого мышле-
ния, а под компетенцией - некоторые отчужденные, наперед заданные требования к образовательной подготовке выпускника, единицы учебной программы, составляющие «анатомию» компетентности [7].
Это означает, что уровень компетентности в различной степени зависит от уровня всех компетенций, приобретаемых будущим специалистом в процессе обучения. Компетенции, согласно ФГОС ВПО, подразделяются на 2 класса - общекультурные (ОК) и профессиональные (ПК).
Профессиональные компетенции, в свою очередь, подразделяются на подклассы: общепрофессиональные компетенции (ОП), компетенции эксплуатационной деятельности (ЭД), проектно-технологической деятельности (ПТД), экспериментально-исследовательской деятельности (ЭИД), организационно-управленческой деятельности (ОУД) (рис. 2).
Рис. 2
Для расчёта уровня компетентности необходимо знать уровень развития каждой компетенции Б', а также весовой коэффициент р', показывающий степень влияния каждой компетенции на свой класс (общекультурных или профессиональных) компетенций.
Очевидно, что оценка компетентности не может рассматриваться как простая сумма составляющих ее частей. Эти части взаимосвязаны и взаимозависимы, каждая часть критично значима. Следовательно, модели, в основе которых лежит предположение о линейном поведении системы (аддитивная свертка предполагает именно такую модель), при оценке уровня компетентности обычно не могут адекватно отражать ситуацию, поэтому аддитивная свертка для оценки уровня компетентности не подходит.
Значение же мультипликативного критерия, в отличие от аддитивного, резко уменьшается при малых значениях отдельных критериев, что позволяет исключить нежелательные варианты при принятии решения.
Таким образом, для задачи, связанной с оценкой компетентности, наиболее целесообразным представляется применение мультипликативной свертки векторного критерия:
К = п V' •
У
где ] - число компетенций, определяющих компетентность, ] = 1, т ; 8}- - числовая характеристика уровня развития ]'-й компетенции; р}- - весовой коэффициент степени влияния ]'-й компетенции на компетентность.
Расчётный пример
Оценим компетентность на примере студента, обучающегося по направлению «Информационная безопасность».
Исходные данные для расчетов приведены в табл. 1 (£ - уровень развития компетенции; р - весовой коэффициент степени значимости каждой компетенции).
Численное значение уровня развития компетенций и весовой коэффициент степени влияния дисциплины на формирование компетенции
Компетенции
Общекуль- турные Профессиональные
ОП ЭД ПТД ЭИД ОУД
р S Р S Р S р S р S р S
0,14 3,8 0,22 4,2 0,5 3,9 0,25 4,3 0,29 4,3 0,2 4,5
0,13 4 0,19 4,5 0,33 4,1 0,21 3,8 0,24 4,2 0,18 4,6
0,12 4 0,17 4,6 0,17 3,5 0,18 4,2 0,19 4,3 0,16 3,7
0,11 4,2 0,14 3,7 0,14 3,8 0,14 3,9 0,13 3,8
0,1 4,3 0,11 3,8 0,11 3,6 0,09 3,7 0,11 3,4
0,09 4,1 0,08 3,4 0,07 4,6 0,05 4,5 0,09 4,1
0,08 3,5 0,06 4,2 0,04 3,9 0,07 3,5
0,06 3,2 0,03 4,1 0,04 3,2
0,05 4,1 0,02 4,1
0,04 4,1
0,03 3,5
0,02 3,2
0,01 3,9
Применим мультипликативную свёртку векторного критерия для каждой группы компетенций.
Кок = 3,8; Коп = 4,1; Кэд = 3,9; Кптд = 4; Кэид = 3,98.
Для расчёта общей компетентности следует воспользоваться множеством наиболее значимых компетенций (табл. 2) и применить мультипликативную свёртку векторного критерия.
Таблица 2
Уровень развития и весовой коэффициент компетенций
Веса ОК ОП ЭД ПТД ЭИД
3,8 4,1 3,9 4 3,98
P 0,27 0,33 0,2 0,13 0,07
К = П З/1 = 3,955 .
}
Заключение
Предложенный метод на основе экспертных данных может быть применен для оценки компетентности студентов различных специальностей на любом этапе обучения. Объективность экспертных данных можно повысить при увеличении количества экспертов и применении известных механизмов расчёта согласованности их мнений. Для определения уровня развития компетентности применяется аддитивная свёртка. В качестве интегрированного критерия при оценке компетентности используется мультипликативная свертка.
СПИСОК ЛИТЕРАТУРЫ
1. http.•//www.edu.raldblmolDatald_09lm497.htm\.
2. Фишберн П. Теория полезности для принятия решений. - М.: Наука, 1978. - 155 с.
3. Сибикина И. В. Оценка влияния дисциплин на формирование компетенций обучаемого // Фундаментальные и прикладные исследования университетов, интеграция в региональный инновационный комплекс: сб. тр. Междунар. науч.-практ. конф., посвящённой 80-летию Астрахан. гос. техн. ун-та, 13-15 окт. 2010 г., г. Астрахань. - Астрахань, 2010. - С. 253-255.
4. Fishburn P. Utility Theory for Decision-Making. - N.Y.: Wiley, 1970.
5. Сибикина И. В. Формирование множества наиболее востребованных компетенций специалиста по защите информации // Вестн. Астрахан. гос. техн. ун-та. Сер.: Управление, вычислительная техника и информатика. - 2010. - № 2. - С. 197-201.
6. Методические рекомендации по проектированию оценочных средств для реализации многоуровневых образовательных программ ВПО при компетентностном подходе / В. А. Богословский, Е. В. Караваева и др. - М.: Изд-во МГУ, 2007. - С. 82-89.
7. Velde C. Crossing borders: an alternative conception of competence // 27 Annual SCUTREA inference: 27-35, 1997.
Статья поступила в редакцию 9.11.2010 в окончательном варианте - 17.01.2011
ESTIMATION PROCEDURE OF STUDENTS’ COMPETENCY STUDYING AT THE FACULTY OF "INFORMATION SECURITY”
I. V. Sibikina
The technique of competence estimation of a trainee, based on a cognitive model reflecting the influence of studying disciplines on the formation of various competences of an expert is described in the paper. Additive and multiplicative compression of a vector criterion is used in order to calculate characteristics of the level of competence and competency development. The offered method, based on the expert data, may be applied to evaluate students’ competency studying at different specialities at any stage of study.
Key words: competence, competence estimation.
