CC BY
28
МЕТОДИКА ПЕРСОНАЛИЗАЦИИ ОБРАЗОВАНИЯ НА ОСНОВЕ МОНИТОРИНГА ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА, СФОРМИРОВАННОГО НА БАЗЕ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, В ВОЕННО-МОРСКИХ УЧЕБНЫХ ЗАВЕДЕНИЯХ
А.Б. Кондратенко, к.воен.н., доц., зам. директора по учебной работе Тел.: (011-2) 43-06-88, E-mail: [email protected] Калининградский филиал МЭСИ http://kgmesi.ru
A method of personalization of education has been built on the basis of learning process monitoring in navy higher educational institutions using new informational technologies taking personal approach to cadets into account.
Стадия информатизации общества, в которую вступило человечество в конце XX века, вызвала необходимость в построении модели образовательного процесса, сформированного на базе информационных технологий с учетом личностных свойств и качеств обучающегося. Полученные результаты явились исходными данными для разработки методики персонали-зации образования на основе мониторинга образовательного процесса в высших военно-морских учебных заведениях при использовании новых информационных технологий. Под персонализацией образования мы понимаем организацию учебного процесса с учетом индивидуальных особенностей курсантов [4].
Для построения методики персонализа-ции образования на основе мониторинга образовательного процесса необходимо, в первую очередь, рассчитать уравнение регрессии, позволяющее спрогнозировать уровень профессиональной подготовки, которого может достигнуть курсант.
При построении уравнения регрессии были использованы исходные статистические данные, полученные при проведении педагогического эксперимента с выпускниками Балтийского военно-морского института 2002 г., включающие: уровень профессиональной подготовки, уровень военно-профессиональной направленности, уровень общей умственной способности, уровень
силы воли, уровень общего среднего образования. В ходе исследования проведен корреляционный анализ между уровнем профессиональной подготовки как показателем функции (Y) и аргументами, которые включают: уровень военно-профессиональной направленности (b1), уровень общей умственной способности (b2), уровень силы воли (b3), уровень общего среднего образования (b4). С помощью пакетного анализа MS Excel - 2000 [5] рассчитаны показатели регрессионной статистики, проведен однофак-торный дисперсионный анализ, определены коэффициенты уравнения регрессии, проверена значимость уравнения регрессии по критерию Фишера и значимость коэффициентов регрессии по критерию Стьюдента.
Множественный коэффициент корреляции рассчитан по формуле [5]:
R
1
R =
" " (1) где |Щ|| - определитель корреляционной матрицы;
Я11 - алгебраическое дополнение элемента р11 корреляционной матрицы Ку.
Множественный коэффициент корреляции (Я = 0,9156) показал наличие статистически значимой связи между функцией, т.е. уровнем профессиональной подготовки (У) и аргументами, - уровнем военно-профессиональной направленности (Ь1), уровнем общей умственной способности (Ь2), уровнем силы воли (Ь3), уровнем общего среднего образования (Ь4).
Квадрат множественного коэффициента корреляции (коэффициент детерминации) показывает долю вариации результативного признака под воздействием изучаемых факторов.
Коэффициент детерминации равен 0,8383, т.е. около 84% вариации зависимой переменной обусловлено влиянием включенных факторов, а остальные 16% - влиянием других неучтенных факторов.
Нормированный коэффициент корреляции определяется по формуле [5] (п -1))?2 - к
, (2)
RH =
n - к -1
где п - число наблюдений;
к - число факторов. Нормированный коэффициент корреляции равен 0,8239.
Стандартная ошибка определяется по формуле:
1
5 =
in - к -
т - ~ )
1 i=1
где n - число наблюдений; k - число факторов;
(3)
У опытные данные уровня профессиональной подготовки курсантов;
Уг
те же данные, рассчитанные по
уравнению регрессии.
Стандартная ошибка равна 0,26. С помощью пакетного анализа MS Excel -2000 рассчитано уравнение регрессии, которое имеет вид [6]:
УПП = - 0,429 + 0,165X2+ 0,224X3 + 0,641X1 + 0,083X4 , (4)
где х1 - уровень военно-профессиональной направленности;
х2 - уровень общей умственной способности;
хз - уровень силы воли; х4 - уровень общего среднего образования.
Значимость уравнения регрессии определена с использованием критерия Фишера. Для этого рассчитано опытное значение критерия FB = 58,35. По таблице критических точек распределения Фишера определена F^(a; k; n-k-1) = 3,64. Проверена гипотеза H0: b=0, где b=(b 1, b2, b3, b4). Так как FB > F^, гипотеза H0 отвергнута. Таким образом, хотя бы один из коэффициентов уравнения регрессии не равен нулю.
Разработанное уравнение регрессии позволяет прогнозировать с вероятностью 95% персональный уровень профессиональной подготовки офицера ВМФ. Реальный же уровень обученности определяется с использованием компьютерных тестов, которые из всех возможных методов контроля усвоения (устные опросы и письменные ра-
боты) дают наиболее точные и надежные данные [1, 2].
Современные системы тестирования отличает определенная гибкость, когда курсант может выбрать индивидуальный график прохождения контрольных точек, а при тестировании - конкретный режим: попытаться ответить на большее число вопросов за большее время или, наоборот, ограничить количество вопросов, но получить меньшее время; выбрать меньшее число трудных вопросов или большее число простых.
В настоящее время в педагогике применяются три вида автоматизированных тестов
[3]:
- предметные тесты;
- адаптивные тесты;
- критериально-ориентированные (содержательно-ориентированные) тесты.
Предметные тесты используют вопросы с набором вариантов возможного единственного ответа - тесты типа MCQ (Multi Choice Question, т.е. вопрос с множественным выбором). Автоматизированные тесты типа MCQ представляют достаточно эффективный метод массовой проверки уровня фактических знаний за относительно короткое время. Однако они могут лишь ограниченно использоваться для оценки знаний, умений и навыков курсанта, поскольку подобное тестирование способно выполнить оценку лишь на уровне усвоения знания или воспроизведения изученных объектов. Но это не отрицает возможности тестов для объективной проверки качества обучения в ходе диагностического и обобщающего тестирования, при использовании большого количества вопросов с таким количеством вариантов ответов, которое поставило бы в затруднение тех курсантов, которые рассчитывают угадать ответ.
Адаптивные тесты - тесты типа CAT (Computer Adaptive Test - компьютерный адаптивный тест). Это тест, в который заложена приспособляемость к возможностям курсанта. При тестировании одного и того же адаптивного теста курсанты с высоким и низким уровнями подготовки получают совершенно разные наборы вопросов. В таком тесте первоначально задается вопрос среднего уровня сложности, и полученный ответ немедленно влияет на постепенно формируемую будущую оценку. Если ответ правильный, то предполагаемая оценка возможностей курсанта повышается на определенный уровень. Затем выбирается и задается более сложный вопрос. Если же ответ на
него дан неправильный, то предполагаемая оценка возможностей курсанта снижается, и в качестве следующего вопроса снова предлагается более легкий. По мере того как задаются все новые и новые вопросы, все более точной становится оценка уровня знаний курсантов. Тест заканчивается, когда точность оценки достигает статистически приемлемого уровня или когда будет задано максимальное количество вопросов. Максимальное и минимальное количество вопросов устанавливается заранее. При прохождении адаптивного теста возможна ситуация, когда к моменту завершения тестирования менее подготовленный курсант может ответить на такое же количество вопросов, что и более подготовленный, но сравнение вопросов, на которые даны правильные ответы, покажет, что более подготовленный курсант ответил правильно на более сложные вопросы, следовательно, он получит более высокие баллы.
Проект отраслевого терминологического стандарта Центра тестирования [3] определяет критериально-ориентированный тест как частный случай теста, предназначенного для абсолютного, т.е. персонального тестирования, позволяющего оценить, преодолел ли обучающийся определенный порог усвоения учебного материала. При этом результаты тестирования сравниваются с некоторым заранее заданным критерием уровня подготовленности. При разработке таких тестов на основе содержания учебной дисциплины строится генеральная совокупность, т.е. однородное множество заданий для измерения качества полученных знаний, умений и навыков. Затем курсанту предлагается тест, и на основе ответов делается вероятностный вывод о знаниях учебной дисциплины. Для надежности результатов требуется определенное содержание изучаемой дисциплины и большое число заданий. При этом необходимо, чтобы соблюдались:
- полнота отображения материала учебной программы;
- правильность пропорций отдельных разделов и тем предмета;
- полнота охвата требований государственных образовательных стандартов (квалификационных требований);
- соответствие содержания заданий знаниям, умениям и навыкам, запланированным для проверки;
- значимость содержания каждого задания.
Критериально-ориентированные тесты можно использовать при проведении экзаменов с точной дифференциацией результатов, поскольку они позволяют получить абсолютную оценку качества обучения. Задания для такого тестирования должны быть ориентированы на диагностику различных уровней усвоения учебного материала: от воспроизведения фактов до систематизации и обобщения знаний, позволяющих найти ответ на проблемные вопросы, решить нестандартные задачи. В таком тесте задания разного уровня имеют разный «вес» - и по тому, как оценивается их выполнение, и по их относительному числу в общей массе заданий. Подобные тесты применяются при проведении Единого государственного экзамена.
Чтобы определить тест, который необходимо использовать для мониторинга образовательного процесса в военно-морских учебных заведениях, воспользуемся методом анализа иерархий [6].
На первом этапе он предусматривает структурирование проблемы в виде иерархии (рис. 1).
Иерархия состоит из трех уровней. На уровне 1 находится общая цель «автоматизированный тест», на уровне 2 - семь факторов, оказывающих влияние на выбор автоматизированного теста:
- критерий оценки усвоения материала учебной дисциплины с использованием бит освоенной информации;
- время выполнения теста;
- учет при тестировании данных уравнения регрессии;
- возможность создания сетевой базы данных вопросов и ответов;
- протоколирование хода тестирования;
- безопасность материалов тестирования;
- возможность оперативного изменения критериев оценки усвоения учебного материала.
На уровне 3 находятся три альтернативы:
- предметные тесты;
- адаптивные тесты;
- критериально-ориентированные (содержательно-ориентированные) тесты.
Закон иерархической непрерывности требует, чтобы элементы верхнего уровня иерархии были сравнимы попарно с элементами следующего уровня и так далее вплоть до вершины иерархии.
Целью построений является получение приоритетов элементов на последнем уровне, наилучшим образом отражающих относительное воздействие на вершину иерархии.
После иерархического воспроизведения проблемы установлены приоритеты факторов методом субъективных парных сравнений по шкале относительной важности [6].
Так, например, интенсивность относительной важности приравнивается к 1 (равная важность), если вклады двух факторов в цель равны; к 3 (умеренное превосходство), если опыт и суждения дают легкое превосходство одному из факторов над другим, к 5 (существенное или сильное превосходство), если опыт и суждения дают сильное превосходство одному из факторов над другим, и т.д. до 9.
Интенсивность относительной важности приравнивается к 2, 4, 6, 8 при промежуточном решении между двумя соседними суждениями.
В результате экспертной оценки получена матрица попарных сравнений для уровня 2. Она обладает свойством обратной симметричности, то есть если фактор «время выполнения теста» воспринимается как «слегка более важный» (3 на шкале) относительно фактора «протоколирование хода тестирования», то считается, что фактор «протоколирование хода тестирования» «слегка менее важен» (1/3 на шкале) относительно фактора «время выполнения теста».
Из матрицы парных сравнений сформирован набор локальных приоритетов, которые выражают относительное влияние множества элементов на элемент примыкающего сверху уровня.
Найдена относительная сила, величина, ценность, желательность или вероятность каждого отдельного объекта через «решение» матрицы. Для этого вычислено множество собственных векторов матрицы, затем нормализован результат к единице, тем самым получен вектор приоритетов путем расчета геометрического среднего. Для этого, перемножая элементы в каждой строке и извлекая корень п-й степени, где п - число элементов, компонента собственного вектора первой строки вычисляется по формуле
7_*_*_*_*_*_*_= a
VW1 т 2 W 3 т 4 W 5 т 6 W 7 , (5)
где W1, W2, wз, ..., W7 - неизвестные заранее, попарные сравнения элементов, численно оцениваемые по шкале [6].
Таким образом, компонента собственного вектора первой строки равна
^1*3*1*5*7*5*7 = 3,2309
компонента собственного вектора четвертой строки равна
71 / 5*1/2*1/3*1*2*1/2*3 = 0,7197
После того как компоненты собственного вектора получены для всех п строк, а в нашем случае п = 7, становится возможным их использование для дальнейших вычислений.
Сложив полученные компоненты собственного вектора по формуле
а + Ь + с +...+ п = 7, (6)
где а, Ь, с... - компонента собственного вектора, 7 - сумма, получим:
3,2309 + 1,7948 + 1,7487 + 0,7197 + 0,4659 + 0,9296 + 0,3164 = 9,2060.
Нормализуем результат для получения оценки вектора приоритетов первой строки по формуле
а
— = X1
2 . (7)
Вектор приоритетов для первой строки равен
3,2309 / 9,2060 = 0,3510.
Вектор приоритетов для четвертой строки равен
0,7197 / 9,2060 = 0,0782. Для определения согласованности локальных приоритетов вычислен индекс согласованности, который дает информацию о степени нарушения численной (кардинальной) и транзитивной (порядковой) согласованности.
Для вычисления индекса согласованности (ИС) вычислим наибольшее собственное значение матрицы (Яшах). С этой целью:
1) умножим матрицу на вектор приоритетов следующим образом: суммируем каждый столбец суждений, затем сумму первого столбца умножим на величину первой компоненты нормированного вектора приоритетов, сумму второго столбца - на вторую компоненту и т.д.
w1 т2 т3 т4 т5 т6 т7 ^*х1+—* х1+-* х1+—* х1+-* х1+—* х1+—* х1=71
т т т т т1 .
Например, для первой строки:
(1 + 1/3 + 1 + 1/5 + 1/7 + 1/5 + 1/7) * 0,3510 = 1,0596, для четвертой строки:
(5 + 2 + 3 + 1 + 1/2 + 2 + 1/3) * 0,0782 = 1,0814.
2) вычислим наибольшее собственное значение матрицы (Яшах) путем суммирова-
ния величин, полученных для одного столбца, по формуле
Яшах = У1 + У2 + У3 + У4 + У5 + У6 + У7. (8) Яшах = 1,0596 + 1,1438 + 1,1840 + 1,0814 + 1,0374 + 1,1444 + 0,8936 = 7,5442.
Для обратно симметричной матрицы всегда выполняется условие
Яшах > п , где п - число сравниваемых элементов.
В нашем случае 7,5442 > 7 , условие выполняется.
Индекс согласованности вычислен по формуле
ИС = (Яшах - п) / (п - 1) . (9)
Таким образом, в нашем случае индекс согласованности равен
ИС = (7,5442 - 7) / (7 - 1) = 0,0907. Сравним эту величину с той, которая получилась бы при случайном выборе количественных суждений из шкалы: 1/9, 1/8, 1/7, ... , 1, 2, 3, ... , 9. Из таблицы средней согласованности для случайных матриц разного порядка [6] выбрана случайная согласованность для матрицы размером 7 х 7, равная 1,32.
Если разделить ИС на число, соответствующее случайной согласованности матрицы того же порядка, получим отношение согласованности (ОС): в нашем случае оно равно:
ОС = ИС / 1,32 = 0,0907 / 1,32 = 0,0609. (10) Величина ОС должна быть порядка 10% или менее, чтобы быть приемлемой. В некоторых случаях можно допустить 20%, но не более. Если ОС выходит из этих пределов, то экспертам нужно исследовать задачу и проверить свои суждения. В нашем случае ОС составляет 6,09%, что является приемлемой величиной.
Произведены парные сравнения элементов на нижнем уровне (уровне 3). Сравниваемые попарно элементы - это возможные варианты автоматизированных тестов (предметные, адаптивные, критериально-ориентированные). Сравнивается, насколько более желателен или хорош тот или иной вариант тестов для удовлетворения каждого фактора уровня 2. Получены семь матриц суждений размерами 3 х 3, поскольку имеется семь факторов на уровне 2 и три автоматизированных теста, которые попарно сравниваются по каждому из факторов.
Решения и согласованность матриц попарного сравнения для уровня 3 выполнены аналогично решениям матрицы для уровня 2. Все отношения согласованности находятся в пределах 10%, что является приемлемой
величиной и не требует уточнения экспертных оценок [6].
Этап применения принципа синтеза. Для выявления составных, или глобальных, приоритетов автоматизированных тестов в матрице локальные приоритеты располагаются по отношению к каждому фактору, каждый столбец векторов умножается на приоритет соответствующего фактора, и результат складывается. Так, для первой строки, т.е. для предметных тестов глобальный приоритет равен:
(0,1634*0,351) + (0,1634*0,1950) + (0,1047* 0,1900) + (0,1634*0,0782) + (0,1283*0,0506) + (0,1634* 0,1010) + (0,1243*0,0344) = 0,0918, для второй строки, т.е. для адаптивных тестов глобальный приоритет равен 0,2165, для третьей строки, т.е. для критериально-ориентированных тестов - 0,3409.
Следовательно, наибольший глобальный приоритет имеют критериально-ориентированные тесты.
Для определения количества информации в одном учебном элементе необходимо количество информации в учебно-специальной задаче разделить на количество учебных элементов. Отличная оценка за учебный элемент или учебно-специальную задачу ставится в случае усвоения более 75% информации, хорошая - от 50 до 75%, удовлетворительная - от 25 до 50% и неудовлетворительная - менее 25% информации.
Таким образом, мониторинг образовательного процесса курсанта заключается в определении индивидуального уровня профессиональной подготовки курсанта на основе материалов критериально-ориентированного тестирования. При этом результаты тестирования сравниваются с некоторым заранее заданным критерием уровня подготовленности, в нашем случае количеством бит информации, освоенной курсантом в ходе изучения учебного элемента или учебно-специальной задачи.
Персонализация образования, основанная на мониторинге образовательного процесса, заключается в определении индивидуального уровня профессиональной подготовки курсанта на основе материалов критериально-ориентированного тестирования и сравнения этих результатов с прогностическим уравнением регрессии, включающим коэффициенты: Х1 - уровень общей умственной способности; Х2 - уровень силы воли; Х3 - уровень военно-профессиональной
направленности; Х4 - уровень общего среднего образования (рис. 2).
о
>3
-и (1
От ■г з-
3 3 з-
-с ц <и
с о
<1 СП
да гт
и О о
>ч з 3 та Е 3 гт
^ >3 о со со
I о
ю (1-1 о
ш 3 -н-
а л: со Е 3
о СП сю
<л с- и
Е 3 о со 3 о. 1') -О ^ о
О) г
ь и
со .3
§
Т
т
т
?
Предметные тесты
Адаптивные тесты
Критериально-ориентированные тесты
Рис. 1. Структуирование проблемы в виде иерархии
Рис. 2. Структура методики персонализации образования на основе мониторинга образовательного процесса в высших военно-морских учебных заведениях, организуемого с использованием информационных технологий
Подобные тесты можно использовать при проведении экзаменов с точной дифференциацией результатов, поскольку они позволяют получить абсолютную оценку качества обучения [3]. По результатам тестиро-
вания курсантов производится корректирующие действия в образовательном процессе с использованием новых информационных технологий.
Литература
1. Беспалько В.П. Педагогика и прогрессивные технологии обучения. - М., 1995. - 233 с.
2. Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). - М., Изд-во Московского психолого-социального института; Воронеж: Изд-во НПО «МОДЭК», 2002. - 352 с.
3. Захарова И.Г. Информационные технологии в образовании: Учеб.пособие для студ.пед.учеб. заведений. - М.: Издательский центр «Академия», 2003. - 192 с.
4. Коджаспирова Г.М., Коджаспиров А.Ю., Педагогический словарь: Для студ.высш. пед.учеб. заведений. - М., Издательский центр «Академия», 2001. - 176 с.
5. Козлов А.Ю., Шишов В.Ф. Пакет анализа MS Excel в экономико-статистических расчетах: Учеб. пособие для вузов / Под ред.проф. В. С. Мхитаряна. - М., ЮНИТИ-ДАНА, 2003. - 139 с.
6. Саати Т., Кернс К. Аналитическое планирование. Организация систем. - М.: Радио и связь, 1991. - 224 с.
ФОРМИРОВАНИЕ КЛАСТЕРОВ УЧАЩИХСЯ ПО РЕЗУЛЬТАТАМ ИСПОЛЬЗОВАНИЯ АДАПТИВНОГО ЭЛЕКТРОННОГО ОБРАЗОВАТЕЛЬНОГО РЕСУРСА В УЧЕБНОМ ПРОЦЕССЕ
Н.М. Леонова, к.т.н., доц. Тел.:(095)324-91-15, E-mail: [email protected]
М.В. Марковский, к.т.н., доц. Тел.: (095) 324-74-67, E-mail: [email protected] Московский инженерно-физический институт (государственный университет)
http://www.mephi.ru
The experience of application of an adaptive electronic educational resource in high school educational process is stated. The experimental data about a level of knowledge of the students received as a result of realization of lecture employment, have allowed to reveal in group of the students steady formations - clusters.
В осеннем семестре 2003/04 учебного года в МИФИ (ГУ) на кафедре «Информатика и процессы управления» при чтении курса
«Теория управления» был введен в эксплуатацию электронный образовательный ресурс нового поколения, использующий принцип адаптивного управления учебным процессом [1, 2]. В ходе проведения учебных занятий был получен большой объем экспериментальных данных. Они позволяют провести количественный анализ моделей, соответствующих различным видам учебных занятий, выявить присущие им закономерности, определить структуру и параметры моделей.
Проведем исследование модели лекционного вида учебных занятий в режиме
адаптивного управления. По результатам исследования определяется рейтинговая информация о каждом из учащихся, на основе которой организуется управление процессом проведения других последующих видов учебных занятий.
Лекционный материал курса структурирован по темам, каждая из которых состоит из разделов и подразделов. Таким образом, осуществляется структурирование лекционного материала, отражающее его содержательную сторону и логическую последовательность изложения. Наряду с этим фрагменты лекционного материала соотносятся с этапами учебного процесса. При изучении курса каждому из этапов i отводится неделя, что обусловлено еженедельным чтением
