CC BY
47
РАЗДЕЛ III ИНФОРМАЦИОННЫЕ И ПЕДАГОГИЧЕСКИЕ ТЕХНОЛОГИИ
УДК 519.87(371.14)
Жаркова ГалинаАлексеевна
Кандидат педагогических наук, доцент Ульяновского государственного университета, [email protected], Ульяновск
МОДЕЛИ ПРОГНОЗА УСПЕШНОСТИ ОБУЧЕНИЯ В ПЕДАГОГИКЕ
Zharkova Galina Alekseevna
Post-graduatestudent UlyanovskState University, [email protected], Ulyanovsk
PREDICTIVE MODELS FOR LEARNING SUCCESSFULNESS
IN PEDAGOGY
По-видимому, никого не нужно убеждать, что любая отрасль человеческого знания, изучающая естественные, технические или социальные явления, если она претендует на звание науки, должна иметь механизм предсказания (прогноза) развития изучаемого явления. Педагогика не является исключением.
Необходимыми предпосылками получения прогноза в педагогическом исследовании являются: создание формальной модели педагогического объекта, выделение важнейших характеристик этого объекта, получение объективных и достоверных количественных оценок этих характеристик, разработка алгоритмической модели развития объекта и проведение этапов моделирования.
В качестве примера под педагогическим объектом будем понимать ученика старших классов школы, изучающего длительное время некоторый учебный предмет (математику или информатику). Среди бесконечного количества различных характеристик этого объекта выберем одну: уровень знаний по отдельному разделу данной учебной дисциплины. При всей многогранности этой величины она поддается измерению, чем собственно чуть ли не ежедневно и занимается каждый учитель-практик. Фактически для измерения нам необходимо создать шкалу «достаточность - недостаточность уровня знаний» [3].
Следующий этап исследования: необходимо охарактеризовать успешность обучения, то есть динамику изменения уровня знаний ученика. Получив показатель успешности обучения, мы можем построить математическую модель его изменения во времени. Теперь остается провести моделирование, выделив дополнительно те факторы, которые влияют на развитие процесса обучения. Остается последний шаг исследования: построить схему управления указанными факторами с целью достижения наибольшего
успеха в обучении, в частности, выбрать некоторую характеристику в качестве управляющего воздействия.
В целом все это укладывается в стандартную схему управления объектом с неопределенными характеристиками (рис. 1):
Рисунок 1 - Стандартная схема управления объектом с неопределенными характеристиками
На вход этой схемы поступают стандартные характеристики учебного процесса: учебный план, интенсивность и т. п. Результат обучения объекта получается использованием соответствующих педагогических средств измерения (научно обоснованная контрольная работа (КР), педагогический тест и т. п.) и представляет собой число - оценку уровня знаний. Оценка успешности обучения - интегральная характеристика, зависящая от одной или нескольких предыдущих оценок уровня знаний. Предсказание (прогноз) - оценка последующих значений уровня знаний объекта на основе некоторой математической модели обучения. Наконец управляющее воздействие - значение характеристики управления, рассчитанной для данной математической модели обучения.
Измерение уровня знаний.
В практической педагогике задача оценивания успешности обучения школьника (студента, слушателя) возникает ежедневно и решается с помощью проведения контрольных работ (тестов и проч.). Предположим, что п школьникам в ходе КР, например, по математике, предлагается т заданий по теме прошедшего цикла обучения. При проектировании КР педагог явно или неявно оценивает уровень трудности каждого задания, его валидность (способность отразить знания испытуемых), адекватность данной теме, творческую составляющую и т. п. Все эти оценки субъективны.
При решении каждого задания испытуемый пытается реализовать (отразить) достигнутый уровень знаний по данной теме, а также некоторые свои личностные характеристики (интеллект, способность мыслить нестандартно, творчески и т. д.). Результат выполнения задания (решение) рассматривается экспертом (преподавателем). Предположим, что его оценка представляет собой число хч (г-й школьник в списке,у-е задание в КР, /=1,2, ..., я,7=1, 2, ..., т. Как правило, т<п).
В большинстве случаев в педагогике хч представляет собой ранговую (порядковую) оценку успешности выполнения данного задания. Часто это дихотомичная оценка: хч ^ ^ ^(то есть задание либо решено, либо нет). В лучшем случае Е {0,1,..., хтах}, то есть экспертом устанавливаются
критерии выполнения задания на некоторой числовой шкале. Для опытного педагога, знающего определенные приемы ДОСТИЧЬ величины Хтах=5 или даже Хтах=10 не представляет непреодолимой трудности. Очевидно,
что чем больше -^тах, тем ближе мы приближаемся к интервальной шкале оценивания выполнения задания. Во всем дальнейшем изложении будем считать, что хч - точка на действительной оси, то есть она обладает всеми свойствами интервальных оценок. При этом Хтах подразумевается одинаковой для всех заданий КР.
Таким образом, в итоге получаем матрицу первичных оценок X = (*у) .
Для получения итоговой оценки за всю КР чаще всего используют статистический подход. При этом средняя оценка уровня знаний г-го ученика будет равна (или пропорциональна) величине:
И = У ™ % - и- = — Ъ Ь]=1ХЧ> и1 т"(1)
где Ь - сумма набранных учеником баллов. Иногда в этой формуле учитывают уровни трудности каждого задания КР, которые также рассчитываются статистически по всей группе испытуемых.
Эта шкала (назовем ее линейной) представляется самой простой, но она неединственная [2].
Введем величину и, которую назовем «уровнем компетентности» ученика. Под этим термином (активно используемым в стандартах общего образования второго поколения) мы будем понимать возможность ученика использовать (в ходе ЕГЭ или своей практической деятельности) содержание образования (по математике). Понятно, что иж5 = Ь/ьтах связаны между собой (здесь Ьтах - максимально возможная сумма баллов).
Будем считать, что прирост оценки уровня компетентности, получаемой в ходе КР или экзамена), прямо пропорционален приросту доли усвоенных знаний А5 и значению самого уровня компетентности и: Дц = а - и ■ Аб (здесь а - число). Это предположение более точно выражает индивидуальный психологический смысл оценки уровня знаний, чем стандартное: Ди = а - Ае. В частности, в этом случае при малом значении и нивелируются «случайно» полученные высокие баллы Приведенное выше соотношение весьма популярно в биологии и психологии для оценки степени развития некоторого явления или органа, на который независимо друг от друга воздействуют многочисленные факторы.
Если считать и Дм актуальными бесконечно малыми величинами, то получаем дифференциальное уравнение для зависимости оценки уровня знаний и (я): — = а- с1з, откуда после интегрирования, - 1-
Если принять г/(1)=1 (условие калибровки), то а = 1п2, и в итоге, «00 = 2Ж - 1, я £ [0;1]. Подставляя выражение для получаем формулу преобразования шкалы баллов в шкалу «компетентностей»:
и(Ь) = (2Ь/Ътах - 1) * 100% Ь=о 1 Ь . « € [0; 100%] (2)
’ ’ ’ ’ тах
и
/1 у/
11 = с
/
/
у # 4 г 11 = - 1
/ //
✓ а/
5
О 0,5 1,0
Рисунок 2 - Сравнение линейной и нелинейной шкал оценивания
Сравнивая эту шкалу и линейную шкалу (1), следует отметить, что для достижения одинакового уровня компетентности в линейной шкале необходимо меньшее количество первичных баллов. Следовательно, наша шкала менее чувствительна к возможно случайным решениям (угадываниям) малого числа задач. Получение еще одного первичного балла для высокого значения
Г
приводит к более значительному увеличению уровня компетентности.
Более объективным и математически обоснованным является факторный анализ [4]. Решая очередное задание КР (например, по информатике и информационным технологиям для определения уровня его информационной культуры), ученик пытается отразить в решении свой уровень знаний и компетенций по рассматриваемой теме. Еслиу-е задание спроектировано «хорошо», выставленная экспертом оценка должна быть пропорциональна уровню знаний г-го ученика, возможно, с некоторой поправкой, которую можно объяснить как влиянием личностных факторов, так и просто ошибкой измерения.
Рассмотрим основную гипотезу. Но можно предположить, что оценка, выставленная ученику за конкретное задание, будет иметь значение: Х1) = VI* к}, где р£ - уровень знаний ученика по данной теме (скрытый фактор), Аг. - уровень решаемости задачи (обратная величина к уровню трудности задания). В частности, если Щ = 0, то задача слишком сложна для всех испытуемых, если Щ =тах, то задание является самым простым из всех предложенных.
Ясно, что при выполнении этой гипотезы, величины р, - прообразы итоговых оценок испытуемых, Щ - коэффициенты, обратные уровню трудности задания.
Введем вектора и — (щ) Е к = Е Дт. Тогда X = икТ. Сформируем две факторные матрицы К=ХТХ,Р=ХХТ размерности т^тип^п соответственно. Справедливы [5, с. 492] спектральные разложения матриц К и Р (г - ранг этих матриц):
К = = Е^=1 Л,/С')*ВДт (3)
При проектировании КР предусматривается основная цель: выделить в (3) главный фактор - оценку знаний каждого ученика по теме КР. Если в разложениях (4) справедливо, что Я »Я,>...> А, а также, что все компоненты векторов у1"’1-1-1 и положительны, то тогда первые слагаемые в (4) можно интерпретировать как ответ на вопрос гипотезы. При этом
и1
то есть компоненты вектора ^Ч1) пропорциональны уровню знаний соответствующего испытуемого, компоненты вектора к'-1' - это оценки возможности для соответствующей задачи отразить уровень знаний испытуемого. Если перечисленные условия не выполняются, то, вероятно, при проектировании КР были допущены грубые методические ошибки.
Получив полное разложение (3), можно попытаться интерпретировать не только первое слагаемое - фактор уровня знаний по теме КР, но и второе, и последующие слагаемые в (3). Для этого следует проанализировать структуру вектора к'-2' и векторов, следующих за ним. Некоторые их компоненты положительны, некоторые - отрицательны, а некоторые столь малы, что представляются незначащими. Различие в знаках характеризует определенные свойства заданий, и этот факт можно использовать при интерпретации полученных факторов.
Показатели успешности обучения.
Оценка успешности обучения является одним из направлений проблематики педагогических измерений. Уточним, что речь идет о результатах измерений, полученных в ходе проведения тестов (или КР) учебных достижений, предназначенных для измерения воздействия обучения [1;5].
В идеале всегда подразумевается, что контроль достижений проводится регулярно, представляя собой систему начальных, промежуточных и итоговых аттестаций. Предположим, что для целей диагностики обучающимся предлагается специально разработанная система тестовых заданий, которые все слушатели выполняют последовательно в начале и в конце каждого цикла обучения. По каждому выполненному тесту подсчитывается оценка уровня учебных достижений и (0 < и < 100%)- Сейчас нам безразлично, на какой шкале эта отметка, получена ли она по формуле (1), (2) или с помощью факторного анализа.
Итак, в учебном цикле обучающийся выполняет тест дважды, то есть подсчитывается два значения уровня знаний: и1 (в начале цикла) и и2 (в конце цикла). Эту пару чисел и2) можно представить точкой на
плоскости. Расположение каждой отдельной точки характеризует изменение уровня знаний данного слушателя, то есть достигнутые им успехи за данный цикл.
В [2] описаны различные способы определения индекса (показателя) успешности обучения. Мы рассмотрим одну из возможных моделей - нелинейную, в которой требуется, чтобы величина успешности Д3 была больше для тех обучаемых, у кого 1*1 было больше:
Отсюда
>-(1
100 — гіл
)•
* 100 * 100
(100 -щу / , (4)
Этот показатель требует от обучаемых, кроме прогнозируемого уменьшения “незнания”, дополнительно реализовать свои потенциальные возможности, пропорциональные величине своих предварительных знаний. Можно сказать, что при этом подходе к оценке предметных образовательных результатов Д3 является оценкой успешности на шкале «достаточных - недостаточных знаний» [3].
Расчет величины Д3 можно проводить на плоскости (и 1; и2) с помощью следующей номограммы (используя только обычную линейку) (см. рис. 2). Пусть исследуется точка А с координатами (и1 — 30; и2 — 70). Соединим точки А и О прямой и получим на вертикальной оси точку В. Ее координата равна Д^ =59- Проведем горизонтальную линию ВС до пересечения с перпендикуляром, опущенным из точки А на горизонтальную ось. Соединим точки С и О прямой и получим на вертикальной оси точку Б. Ее координата и будет численно равна Д^ =40-
Рисунок 3 - Номограмма расчета нелинейного индекса
По-существу в модели (4) от обучаемых требуется, кроме прогнозируемого уменьшения “незнания”, дополнительно реализовать свои потенциальные возможности, пропорциональные величине своих предварительных знаний. Использование нелинейной модели можно сравнить с практикой работы профильных старших классов средней школы (в первую очередь, физико-математических и информационно-математических). Ученики этих классов заведомо идут на ухудшение своих оценок (по сравнению с общеобразовательными классами той же школы), добровольно принимая на себя обязательства работать на максимуме своих интеллектуальных возможностей.
Линии уровня нелинейного индекса (Дз=соп81;, эти линии можно называть “изофортами” [2], представляют собой на рис. 3 параболы, с вершиной в точке (100; 100), причем на графике при и1 = 0 будет и2 = Д3. Область, 76
находящаяся выше соответствующей нзофорты, составлена из точек (результатов эксперимента), для которых соответствующий индекс успешности больше, чем пометка на изофорте.
100
во
60
40
20
-ЛЬ - >■
г. 3^ г ** - ^ - и" * / Г
/V / X /
-и' / г\ / ' > !?>
-V ¥1 А V г V и
/ / у
*
/ /
/ /
/ * //
20 40 60 80 100
Рисунок 4 - Изофорты нелинейной модели успешности обучения
Пример обработки результатов педагогического эксперимента.
Для проведения исследования (см. [2]) была разработана анкета из 53 вопросов, на которую отвечали учителя школ города Ульяновска и Ульяновской области. Каждый из них отвечал дважды: в начале и в конце обучения информационным технологиям. Вопросы требовали дать субъективную оценку (от 0 до 5 баллов) своим знаниям и умениям по некоторым общераспространенным информационным технологиям и программам: общим (МБ ’Мпёо,№8 и МБ ’оМ), ориентированным на использование в работе учителя (МБ Ро’№егРот1;, Интернет-технологии), профессиональным (РЬо1оБИор, FrоntPage). В каждом из трех разделов было по 15-20 вопросов.
По каждому выполненному тесту подсчитывалась оценка уровня учебных достижений и (0 < И < 100)-В каждом цикле обучающийся выполнял тест дважды, то есть подсчитывалось два значения уровня знаний: (в
начале цикла) и ц_ (в конце цикла). Если подсчитывать средние значения И1 и и2 по некоторой группе слушателей (одного потока, специальности, пола, возраста, района проживания и т. д.), то расположение точки характеризует успехи данной группы. Наконец, по общим средним значениям можно делать выводы об учебном процессе в целом, проценте выполнения учебного задания и т. п.
Приведем таблицу со значениями средних и (а также индекса успешности обучения) для различных категорий учителей (таблица):
Значения показателей успешности обучения
% состава и1 (до) ^2 (после) Д
Все 100 4,84 50,20 46,32
Пол
Мужчины 13,4 9,08 52,39 45,58
Женщины 86,6 4,18 49,86 46,44
Возраст
<25 лет 6,0 13,98 64,91 53,48
25-35 33,1 5,41 56,31 52,70
35-45 38,9 3,31 46,45 43,28
45-55 20,1 4,40 43,87 40,31
>55 лет 1,9 1,94 40,67 38,18
Педагогическая специальность
Информатики 10,2 20,11 75,86 62,79
Математики + физики 22,0 6,04 51,56 46,72
Естественники 24,3 1,62 50,19 48,67
Гуманитарии 24,3 2,15 45,62 43,65
Прочие 19,2 2,86 40,83 37,54
Место работы
Городские учителя 54,9 5,92 52,15 47,66
Районные учителя 45,1 3,53 47,83 44,69
В таблице 1 значение индекса Д (под которым понимается Д3, введённый в (4)) является оценкой учебного прогресса. Таблица показывает, что прогресс в обучении всех категорий слушателей весьма велик. Можно также особо отметить абсолютно одинаковые результаты у мужчин и женщин, строгое убывание всех характеристик и показателя успешности обучения с увеличением возраста, заметно меньшие значения всех показателей у районных учителей по сравнению с городскими учителями, а также очень высокие результаты у преподавателей информатики.
Приведем гистограмму эмпирического распределения данного показателя (рис. 6).
і
0.0- I-----------------------------------1----------------------------------1—1----------------------------------------------1-1------------------------------1—1-----------------------
» ю м » « » и ?а я и гж
Рисунок 6- Гистограмма распределения индекса успешности обучения ^3.
Гипотеза о нормальности эмпирического распределения {Д3 } отвергается статистическим критерием (,х2 = 21Д > Хкрит(а) = 1^,7, а. = 0,05) принципиальное отличие эмпирического распределения {Д3 } от нормального распределения состоит в том, что гистограмма имеет тримодальный характер, то есть имеет три отчетливо выраженных максимума. Можно показать, что эмпирическое распределение {Д3} подобно распределению смеси трех нормальных распределений. На рисунке 6 сплошной линией нарисован график плотности подобранной смеси.
Библиографический список
1. Диагностика успешности учителя [Текст]: сборник методических материалов для директоров и заместителей директоров учебных заведений, руководителей школ. сост. Т. В. Морозова. - М.: Центр “Педагогический поиск”, 2004. - 160 с.
2. Жаркова, Г. А. Математические модели управления качеством учебных достижений. [Текст] / Г. А. Жаркова. // Управление и информационные технологии. Сборник материалов 111-й Всероссийской научной конференции. - Санкт-Петербург, 2005.
3. Лебедев, О. Е. Кому оценивать образовательные результаты? [Текст] / О. Е. Лебедев // Народное образование. - 2004 -№9.- С. 81-86.
4. Лоули, Д. Факторный анализ как статистический метод. [Текст] / Д. Лоули, А. Максвелл. - М.: Мир, 1967. - 144 с.
5. Михеев, В. И. Моделирование и методы теории измерений в педагогике. Изд 2-е, испр. и доп.[Текст] / В. И. Михеев. - М.: Едиториал УРСС, 2004. - 200 с.
6. Хорн, Р. Матричный анализ. [Текст] / Р. Хорн, Ч. Джонсон. - М.: Мир, 1989. - 656 с.
