CC BY
58
УДК 51-77
ОЦЕНИВАНИЕ КОМПЕТЕНЦИЙ ОБУЧАЕМЫХ
С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИОННЫХ СИСТЕМ НА ОСНОВЕ ИЕРАРХИЧЕСКОГО ПОДХОДА
А.Н. Привалов, Ю.И. Богатырева
Предлагается подход решения задачи определения количественной оценки формирования компетентности обучаемых в информационных системах на основе применения метода анализа иерархий Саати. Приведены аналитические выражения полученных зависимостей.
Ключевые слова: информационная система, контроль знаний, метод анализа иерархий, компетентность.
Реализуемая в настоящее время системой образования компетент-ностная парадигма предполагает, наряду с прочими, широкое применение информационных обучающих систем (ИОС) [3,4], позволяющих осуществлять следующие основные фазы процесса обучения:
- приобретение новых знаний;
- закрепление полученных знаний и формирование компетенций;
- контроль уровня компетентности в некоторой предметной области.
В ходе первой фазы необходимо чтобы ИОС предъявляла обучаемому информацию, которая содержит знания о предметной области, причем характер предъявляемой информации должен быть наиболее эффективным для восприятия.
В ходе второй фазы необходимо чтобы представления обучаемого углублялись с точки зрения повышения их устойчивости и развития отношений между ними и прочими представлениями с целью формирования компетенций.
Наиболее сложной частью является фаза установления критерия степени и достоверности усвоения обучаемым полученной информации с учётом фактора случайности, (например, обучаемый угадал правильный ответ) [6]. Критерием степени усвоения материала обычно выступает функции согласования решений (ответов) обучаемого с эталонными решениями, хранящимися в базе знаний ИОС. После анализа принимаемых значений, ИОС предъявляет новую порцию информации, после чего весь цикл повторяется.
И если такой подход был вполне оправдан для обучающих систем, ориентированных на передачу знаний обучаемым, то с принятием компе-тентностной парадигмы, необходимо оценивать компетенции, суть которых есть не приобретённые знания, но способность решать определённые задачи (выполнять функции) по предназначению. Поэтому, необходимо,
319
чтобы в ходе третьей фазы чтобы ИОС производила проверку не только приобретенных знаний, но и оценивала уровень их усвоения применительно к установленным требованиями по формированию компетентности.
Таким образом, важной задачей проектирования информационных обучающих систем является задача определения количественной оценки сформированности компетенций обучаемым [1]. Рассматривая систему: учебный контент - обучаемый - подсистема контроля знаний (рис.1), означенная задача может быть интерпретирована как установление соответствия между требуемыми (идеальными) и реальными уровнями компетенций у обучаемых по отдельным модулям учебного контента и за учебный курс в целом.
Рис. 1. Структура обучающей информационной системы
Установление такого соответствия позволит, в свою очередь, выделить недостаточно усвоенные элементы (модули) содержательного контента для реализации возможности их последующего освоения и ряд педагогических задач, например, по вопросу перераспределения времени между отдельными модулями в рамках общего временного баланса. При этом становится актуальной задача по установлению связей между изучением отдельного модуля и его составляющих (модулей нижестоящего уровня).
Исходя из очевидного утверждения, что структура учебного контента носит иерархический характер, представляется целесообразным применение метода анализа иерархий Саати (МАИ) [5] для получения количественных оценок изучения отдельных компонент учебного контента и оценивания их влияния на формирование обобщённой оценки по сформи-рованности компетенций в рамках учебного курса.
Метод анализа иерархий является развитием метода экспертных оценок и позволяет представить некоторую имеющуюся в реальности систему в виде абстрактной модели, оценить воздействие различных компонент системы на всю систему и находить приоритеты этих компонент. Ос-
новной задачей МАИ является оценка высших уровней иерархии, исходя из взаимодействия различных уровней, а не из непосредственной зависимости от элементов на этих уровнях.
В качестве примера рассмотрим применение МАИ для оценивания компетентности учащихся в области информационной безопасности личности [1].
Под компетентностью в области информационной безопасности педагогов будем понимать интегративную характеристику качеств личности, позволяющую осуществлять педагогическую деятельность в соответствии с профессиональными и социальными требованиями, и включающую мотивированную заинтересованность личности учителя к саморазвитию в области информационной безопасности, наличие теоретических знаний основ информационной безопасности, а также практических умений, навыков и определённого опыта успешной защиты информации и противостояния угрозам информационной безопасности в профессиональной деятельности в условиях современного информационного общества.
При компетентностном обучении важными становятся:
- компетенции как результат образования;
- образовательные технологии как способ их формирования;
- оценочные средства как инструмент доказательства достижения заявленных результатов образования.
Многие исследователи указывают [6], что процессы измерения и оценивания уровня сформированности компетентностей очень сложны и многообразны. Поэтому необходимо формирование целостной системы оценивания с целью объективного представления результатов деятельности студентов в терминах компетенций с учетом показателей их интегральной квалиметрической оценки, как количественной, так и качественной.
Компетентность как интегральная характеристика личности формируется в образовательном процессе через определенный набор компетенций. На сегодняшний день созданы предпосылки для формирования компетентности в области информационной безопасности будущих педагогов, которая предстает в неразрывном единстве и системе с ключевыми и общепрофессиональными компетенциями посредством приобретения ряда дополнительных специальных компетенций.
Компетенции, отражающие цели и ожидаемые результаты обучения, еще на стадии проектирования должны быть увязаны со способами обучения и оценивания [2]. Что касается формулирования компетенций (требований к результатам освоения образовательных программ), то следует четко представлять, что все оценочные средства направлены не на выявление знаний (классические формы контроля), а на то, чтобы понять какими умениями и способностями обладает студент (выпускник) на этапах промежуточной и итоговой аттестации [2].
В результате оценивания значимости учебных элементов, модулей и дисциплин, анкетирования преподавателей и работающих учителей были конкретизированы специальные компетенции:
- способность ориентироваться в информационных потоках, выявлять возможные угрозы, связанные с отбором, оценкой и защитой информации, запрещенной для распространения среди детей (СК-1);
- способность анализировать, оценивать и выбирать аппаратнопрограммные средства защиты информации в целях формирования инфо-безопасной среды учебно-воспитательного процесса (СК-2);
- готовность эффективно использовать комплекс мер противодействия несанкционированному информационному воздействию на личность учащегося с учетом правовых основ, разработанных аппаратнопрограммных средств защиты информации и экономической целесообразности (СК-3).
Очевидно, что формирование такого рода компетентности является сложной задачей, удовлетворительное решение которой достигается формированием у студентов целого ряда отдельных компетенций и достижением на этой основе нового качества.
Организация обучения обеспечению информационной безопасности должна носить комплексный характер и основываться на глубоком анализе возможных негативных последствий. При этом важно не упустить какие-либо существенные аспекты. Анализ негативных последствий предполагает обязательную идентификацию возможных источников угроз, факторов, способствующих их проявлению и, как следствие, определение актуальных угроз безопасности информации.
К показателям компетентности в области информационной безопасности (ИБ) предлагается отнести компетенции в вопросах:
'1 - защиты от информации, запрещенной для распространения среди детей;
'2 - защиты от вредоносного ПО, хакерских атак и спама;
'3 - защиты от криминальной и террористической информации;
'4 - предотвращения зависимости от сетевых и компьютерных
игр;
'5 - контроля (допуска) детей в информационное пространство;
'6 - защиты персональных данных;
'5 - защиты авторских прав;
'6 - регистрации и лицензирования электронных средств учебного назначения;
'7 - здоровьесберегающих технологий.
На формирование указанных компетенций влияют факторы (результаты изучения следующих дисциплин):
Б1 - Информационные технологии в образовании;
Б2 - Информатика;
Б3 - Право в сфере образования;
Б4 - Психология;
Б5 - Охрана труда в образовательных учреждениях;
Бб - Безопасность жизнедеятельности человека;
Б7 - Педагогика.
Тогда иерархию модели формирования компетентности в области ИБ можно представить, как показано на рис. 2.
Рис. 2. Иерархия формирования компетентности в области информационной безопасности
Пусть 'ь '2, ..., 'п - совокупность показателей компетентности.
После построения иерархии эксперты используют МАИ для определения приоритетов всех узлов структуры. Информация для расстановки приоритетов собирается со всех участников и математически обрабатывается. Получив иерархическую модель формирования компетентности, можно определить степень влияния показателей компетентности в области ИБ на общую цель. Воспользуемся методом парных сравнений.
Количественные суждения о парах объектов (';, '|) представляются матрицей 5 размера пхп 5=(£у), (у=1,2,....,и) суждений экспертов. Элементы £у определены по следующим правилам:
Правило 1. Если £ ^ = а, то £ ^ =1/а, а^0.
Правило 2. Если суждения таковы, что ';, имеет одинаковую с относительную важность, то £ ^=1, £ ^ =1; в частности, £ ;;=1 для всех 1.
Матрица 5 имеет вид
" 1 Х12 ••• Х1п
Хі2 1 2 п
і • • • п УХ 2п і : ••• 1
После построения количественных суждений о парах (';, ']) в числовом выражении через £ц задача сводится к получению весовых коэффициентов, которые соответствовали бы зафиксированным суждениям экспертов. Для выявления количественных показателей при рассмотрении значимости различных суждений в методе анализа иерархий предлагается следующая шкала важности объектов: от 1 - объекты одинаково важны, до 9 - один объект абсолютно важнее другого.
Собственный вектор матрицы суждений обеспечивает упорядочение приоритетов, а собственное значение является мерой согласованности суждений. Таким образом, следующим шагом, после составления матрицы суждений, является вычисление вектора приоритетов.
Вектор приоритетов показателей компетентности имеет вид:
Р= (рь Р2,..,Рп).
Определив вектор приоритетов, можно найти главное собственное значение матрицы суждений 1тах, которое используется для оценки согласованности, отражающей пропорциональность предпочтений. Чем ближе 1тах к размерности матрицы суждений (п), тем более согласован результат. Отклонение от согласованности может быть выражено величиной индекса согласованности (ИС), который равен отношению разности
ИС=(1тах -п)/ П-1.
Индекс согласованности, сгенерированный случайным образом по шкале от 1 до 9 обратно симметричной матрицы с соответствующими обратными величинами элементов, называется случайным индексом (СИ). Среднее значение случайного индекса определяется по соответствующим таблицам по размерности матрицы суждений. Отношение ИС к среднему СИ для матрицы того же порядка называется отношением согласованности (ОС). Значение отношения согласованности меньшее, или равное 0,10 считается приемлемым для полученных результатов.
Подход к парным сравнениям, основанный на решении задачи о собственном значении, обеспечивает способ шкалирования, особенно в тех сферах, где не существует измерений и количественных сравнений. Мера согласованности позволяет возвратиться к суждениям, модифицируя их для улучшения обшей согласованности.
Аналогично можно оценить факторы, влияющие на формирование компетентности, относительно показателей компетентности:
^11 ^12 ... 11п
Л= ^12 122 ... 12п
_1т1 1т2 ... 1тп _
Общая оценка влияния фактора на формирование компетентности будет иметь вид произведения векторов Л и Р:
Хц Х12 . .. Х1п " Р "
К = (&!, к 2,..., кт ) = Л * Р = 112 122 . .. 12п * Р2
_Х т1 2 т .. 1 тп _ _ Рп _
Вектор К позволяет получить количественные оценки (коэффициенты) влияния отельных факторов на формирование компетентности в области информационной безопасности. В свою очередь обобщённая оценка обучаемого может быть представлена как:
т
Оу = I С]к] >
]=1
где: с - частная оценка по _/- му фактору (учебному модулю); к -коэффициент влияния отельных факторов на формирование компетентности.
Коэффициенты к влияния отельных факторов показывают “вклад” фактора (дисциплины) в формирование рассматриваемой компетентности. На основании такого анализа можно сделать вывод о значении дисциплины в процессе формирования компетентности, о соответствии содержания и временных параметров. В свою очередь появляется обоснованная возможность корректировки основных образовательных программ и учебных планов. В целом, предложенный подход позволяет получить вместо множества показателей по отдельным дисциплинам единую интегральную оценку сформированности компетентности обучаемых в некоторой предметной области и является действенным инструментом управления образовательным процессом.
Проектируемое на такой основе содержание вузовского педагогического образования в области защиты информации, сетевой и информационной безопасности сможет, на наш взгляд, обеспечить целостное компе-тентностное образование будущих педагогов, которое призвано решать проблемы, связанные с предотвращением возможных негативных для физического и психического здоровья последствий, оказываемого на обучаемого и обучающего информационно емкой и эмоционально насыщенной предметной средой.
Список литературы
1. Богатырева, Ю.И. Проблема формирования компетентности в области обеспечения информационной безопасности выпускников педагогических вузов [Текст] //Бюллетень лаборатории математического, естественнонаучного образования и информатизации. Воронеж: «Научная книга», 2012. С. 77-81.
2. Байденко, В.И. Новые стандарты высшего образования: методо-
325
логические аспекты [Текст] // Высшее образование сегодня, 2007. №5. С. 4-9.
3. Привалов, А.Н. Оценка эффективности функционирования тренажёрных систем с распределённой обработкой данных [Текст] /
А.Н. Привалов // Научные ведомости Белгородского государственного университета. 2009. №1(56). Выпуск 9/1. С.78-83.
4. Привалов, А.Н. Проектирование адаптивных обучающих подсистем тренажёрных систем специального назначения [Текст] / А.Н. Привалов. Тула: ТулГУ, 2009. 195 с.
5. Саати, Т. Л. Принятие решений. Метод анализа иерархий [Текст] / Т.Л. Саати. М.: Радио и связь, 1989. 316 с.
6. Чернова, Ю.К. Квалиметрические методы выделения базовых компетенций при подготовке специалистов инженерного профиля [Текст] //Материалы XI симпозиума Квалиметрия в образовании: методология, методика и практика» / Под. науч. ред. Н.А. Селезневой, А.И. Суббетто М., 2006.
Привалов Александр Николаевич, д-р техн. наук, проф.,
alexandr prvaramhler.ru, Россия, Тула, Тульский государственный педагогический университет им. Л.Н. Толстого,
Богатырева Юлия Игоревна, канд. пед. наук, доц., [email protected], Россия, Тула, Тульский государственный педагогический университет им. Л. Н. Толстого,
ABOUT A HIERARCHICAL APPROACH TO ASSESSING THE COMPETENCE
A.N.Privalov, J.I. Bogatireva
We propose an approach solving problems on the quantitative assessment of the formation of students' competence in information systems based on the use of the analytic hierarchy Saaty. The analytical expressions obtained relationships.
Keywords: information system, control knowledge, the method of analysis of hierarchies, competence.
Privalov Alexander Nikolaevich, doctor of technical science, professor, alexandr prv a ramhler. ru, Russia, Tula, Tula State Lev Tolstoy Pedagogical University,
Bogatyreva Julia Igorevna , candidate of pedagogical science, docent hogatire vadi'a, yandex. ru, Russia, Tula, Tula State Lev Tolstoy Pedagogical University
