CC BY
83
Мамонтова М. Ю.
СТАТИСТИЧЕСКОЕ МОДЕЛИРОВАНИЕ И ПРОГНОЗИРОВАНИЕ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ: ПОДХОДЫ И РЕАЛИЗАЦИЯ
Для статистического прогнозирования результатов обучения предлагается сочетание нескольких подходов: деятельностного, задачного и квалиметрического - для выбора и качественного описания объекта прогнозирования; математико-статистического - для его формализованного представления. Приведен пример использования разработанной модели, которая отвечает требованиям, предъявляемым к статистическим прогнозным моделям.
A combination of several approaches is introduced to apply statistical modeling. Action, task, and qualimetric approaches are offered to be used for selection and qualitative description of the forecast object, whereas mathematical-statistical approach can be applied for its formal representation. The model satisfies the requirements specified for the statistical forecast models. The example of implementation of the developed model is provided.
В педагогической практике основной формой предвидения результатов обучения является план. Планируемый результат обучения фиксируется в программах и образовательных стандартах в форме требований к подготовке учащихся. Требования к подготовке выступают в качестве ориентиров, эталонов при обучении и оценивании реальных учебных достижений. Известно, что не все учащиеся достигают обязательного результата. Достаточно ознакомиться с ежегодными отчетами Федерального института педагогических измерений о результатах Единого Государственного Экзамена: качество и уровень подготовки части выпускников школ по различным дисциплинам не соответствует заданным в стандартах требованиям (см., например, [10]). Для выпускников начальной школы входе широкомасштабного федерального эксперимента «Совершенствование структуры и содержания общего образования» была выявлена аналогичная картина [б]. Возникает вопрос - можно ли предвидеть будущий результат? В требованиях отражается обязательное для всех обучающихся состояние. Важно знать, с какой вероятностью это состояние будет достигнуто, как распределятся учащиеся по степени приближения к этому состоянию.
Информационной базой планирования и управления качеством обучения учащихся должны быть объективная оценка и прогноз. В прогностике под последним понимают научно обоснованное описание возможных состояний исследуемого объекта в будущем, а также альтернативных путей и сроков достижения этих состояний. По своей сути прогноз должен представлять модель развития объекта, а прогнозирование рассматриваться как вид познавательной деятельности, направленной на формирование прогнозов [9, с. 393]. Цель статистического моделирования - разработка модели изучаемого объек-
та, адекватно отражающей его характеристики и обладающей прогнозными свойствами. Такая модель должна представлять существующее состояние объекта и его будущее состояние. Речь идет о способности модели переносить закономерности и тенденции развития объекта на будущее.
Современная прогностика располагает множеством методов. В практике учителя и школы при оценивании результатов и прогнозировании успешности обучения того или иного учащегося в основном используются интуитивные методы. Оценивание учителем знаний и умений учащихся осуществляется на основе заданных в программе учебной дисциплины критериев и представлений учителя о том, каков должен быть результат у того или иного учащегося. Интуитивные методы эффективно работают в ситуациях, когда алгоритмы решения задач и правильные ответы на предлагаемые учащимся задания известны заранее и, напротив, когда объект оценивания и прогнозирования слишком сложен. В первом случае могут использоваться индивидуальные экспертные оценки, во втором - коллективные экспертные оценки. Возможности и особенности применения интуитивных методов оценивания и прогнозирования в педагогических исследованиях и педагогической практике обсуждались в работах Б. С. Гершунского, Ю. К. Бабанского, А. С. Белкина, И. К. Журавлева, Л. Б. Ительсона, В. С. Черепанова и многих др.
Прогноз будущих результатов обучения необходимо строить на основе знания закономерностей развития объекта. Статистические закономерности формирования знаний и умений в зависимости от характера учебной деятельности, особенностей учебного материала и психологических характеристик учащихся изучены в работе И. И. Нурминского и Н. К. Гладышевой [8]. Знание учителем этих закономерностей, безусловно, может повысить объективность интуитивных оценок. Количественные закономерности выявляются, как правило, на основе эмпирического материала, полученного на небольших выборках учащихся в конкретных условиях обучения в общеобразовательной школе в определенный период времени. Их использование для прогнозирования результатов обучения больших по объему контингентов учащихся вызывает сомнение.
Примеры применения статистических методов долгосрочного прогнозирования результатов обучения приводит в своей работе А. Анастази [2]. Автор описывает варианты прогностических таблиц, построенных на основе результатов критериально-ориентированного тестирования. Прогностическая таблица показывает вероятность различных критериальных результатов в зависимости от результатов исходного тестирования. Например, итоги выполнения «батареи» тестов по отбору пилотов (по шкале станайнов) сопоставляются с долями студентов, отчисленных с курсов летной подготовки [2, с. 96-97]. Такие модели целесообразно использовать для оценки валидности тестов, для целей же краткосрочного и среднесрочного прогнозирования результатов
обучения, для корректировки учебного процесса они не годятся. В моделях, представленных в разных источниках, как правило, используются статистические группировки на основе количественных оценок результата обучения (сырой тестовый балл, критериальный балл, диапазоны тестовых баллов) без их качественной характеристики.
Вместе с тем, идея использования вероятностных статистических моделей для оценивания и прогнозирования результатов обучения в условиях проведения массовых обследований представляется весьма перспективной. Важное условие при построении таких моделей - массовость изучаемого явления. Прогноз на основе таких моделей применим к большим (статистическим) совокупностям учащихся.
Рассматривая проблемы использования математико-статистических методов в педагогических исследованиях и реальной практике, Л. Б. Ительсон обратил внимание на противоречие, препятствующее использованию вероятностных моделей для прогнозирования индивидуальных результатов обучения: «Традиционные психолого-педагогические методы как бы идут вглубь. В центре их внимания конкретная личность и деятельность ученика и учителя... Эти методы не дают средств для выявления, научного обобщения и доказательства объективных закономерностей... Математические вероятностные методы не содержат средств для конкретизации их по отношению к отдельным живым фактам обучения и воспитания, с которыми сталкивается в своей практике педагог» [5, с. 43]. Сточки зрения Л. Б. Ительсона, выводы статистического прогнозирования могут быть использованы в конкретных ситуациях (для прогнозирования успешности обучения конкретного учащегося) лишь при условии дополнительного использования средств «индивидуального содержательного психологического и педагогического изучения и анализа» [5, с. 42].
Как можно разрешить это противоречие? Какие средства необходимо использовать? Решение видится в использовании структурно-типологического анализа результатов обучения больших совокупностей учащихся. В индивидуальных результатах выявляется общее, типичное, что позволяет отнести их к определенным типам (уровням). Закономерность развития проявляется в индивидуальном результате через типичное. Построение типологии результатов обучения представляет собой самостоятельную задачу. Типологические группы соответствуют разным уровням иерархии результатов обучения. Они различаются составом и структурой (наборами задач) и возможными вариантами развития в будущем. Важно подчеркнуть, что в этом случае речь идет не о детальном описании будущих результатов конкретного учащегося, а об определении типа начального состояния, возможных вариантов конечного состояния и их вероятностей. В такой ситуации целесообразно использовать метод поискового прогноза, ориентированного на выявление возможных вариантов развития объекта.
При построении прогностической модели необходимо условиться о некоторых допущениях: 1) ряд факторов (технология обучения, квалификация учителя, территориальный фактор, социально-экономический и культурный фон семьи ит. п.) в течение времени действия прогноза остаются неизменными; 2) выборка учащихся, используемая для построения модели, однородна лишь по одному признаку - все они являются учащимися одной параллели. В действительности они обучаются в образовательных учреждениях разных типов (начальная, неполная средняя, полная средняя школа) и видов (например, гимназия, лицей), с использованием разных учебно-методических комплектов, учителями разного уровня квалификации и т. д.
При построении прогноза наибольшую трудность вызывает, с одной стороны, выбор объекта прогнозирования и его качественное описание (содержательная сторона), с другой - выбор адекватного этому описанию метода формализованного представления (формальная сторона).
В статье предлагается построение статистической прогностической модели обязательных результатов обучения на основе сочетания нескольких подходов. Выбор и качественное описание объекта прогнозирования осуществляется на основе деятельностного (П. Я. Гальперин, Н. Ф. Талызина), за-дачного (Г. А. Балл) и квалиметрического (Г. Г. Азгальдов) подходов. Формализация осуществляется в рамках теоретико-множественного подхода. Для формализации используются статистические методы анализа качественных признаков и структур - классификации и типологии объектов нечисловой природы [7]. Ниже дается краткое описание основных этапов построения модели, ее описание и конкретный пример использования.
Этап 1. Определение цели прогнозирования. Целью прогнозирования является установление статистической закономерности развития умений, осваиваемых на разных этапах изучения учебной дисциплины.
Этап 2. Определение времени упреждения. Краткосрочное прогнозирование результатов обучения осуществляется учителем в ходе учебного процесса и не требует проведения и анализа результатов статистического обследования. В ситуации обучения прогнозы являются активными. При таком прогнозировании учитывается возможное влияние самого прогноза на развитие объекта, что снижает точность прогноза и делает нецелесообразным долгосрочное прогнозирование. Наиболее приемлемым представляется построение среднесрочных прогнозов со временем упреждения в один год. Это обусловлено и особенностями развития объекта прогнозирования.
Этап 3. Определение объекта моделирования и прогнозирования и формирование пространства информативных признаков. В качестве объекта прогнозирования рассматривается результат обучения. На данном этапе необходимо сформировать пространство признаков, адекватно представляющих объект на разных этапах его развития. Конструирование пространства
признаков осуществляется в два этапа: 1) отбор исходного множества признаков и 2) конструирование системы информативных признаков - выбор наиболее информативных признаков из числа исходных с помощью статистических методов. Корректный выбор признаков и шкал их измерения позволяет избежать содержательных ошибок классификации и неадекватности построенной модели развития объекта.
Согласно теории поэтапного формирования умственных действий управление усвоением знаний должно основываться на информации о том, «в какой деятельности (в каких умениях) они должны использоваться учащимися, с какой целью они усваиваются...». Необходимо определить показатели сформированности этой деятельности. «Заданные показатели достигаются по мере формирования деятельности. Ее последовательное развитие от одного качественно своеобразного состояния к другому образуют процесс усвоения деятельности и входящих в нее знаний» [11, с. 94]. Проверка сформированности деятельности должна осуществляться поэтапно - в соответствии с выделенными этапами процесса ее усвоения. Результат обучения может быть представлен совокупностью сформированных у учащихся умений решать задачи. При построении прогнозов целесообразно рассматривать только обязательные результаты обучения - инвариантные относительно реализуемых в школах программ обучения конкретной дисциплине.
Согласно классификации задач по функциям в учебно-воспитательном процессе, разработанной в теории учебных задач [3, с. 140], требования к знаниям и умениям учащихся, представленные в программах учебных дисциплин и государственных образовательных стандартах, относятся к критериальным задачам (то, чему необходимо научить). Критериальная задача является родовой и представляет некоторый класс задач. На основе родовой задачи может быть построено иерархическое дерево задач разного уровня сложности. На основе такого дерева производится отбор проверочных задач для проведения обследования на разных этапах обучения.
Построение совокупности признаков, описывающих качество изучаемого объекта, в виде иерархического «дерева свойств» предлагается в теоретической квалиметрии [1, с. 90]. Умение решать задачу определенного типа рассматривается как один из признаков, представляющих результат обучения. Задачи одного уровня иерархии являются составными частями задач следующего уровня. Умения решать задачи разных уровней иерархии формируются на разных этапах обучения. Знания и умения стечением времени развиваются. Развитие может быть представлено как переход с одного уровня иерархии на другой - более высокий уровень. Прогностическая модель должна, с одной стороны, отражать наиболее важные, существенные признаки, характеризующие объект на разных этапах, с другой - закономерности такого перехода.
Отбор наиболее информативных признаков проводится с помощью эвристических и более «строгих» статистических методов - метода экстремальной группировки, метода корреляционных плеяд, факторного анализа. На основе отобранных признаков (задач) формируется пространство признаков для построения типологии наблюдаемых результатов обучения.
Этап 4. Разработка инструментария оценивания наблюдаемых результатов обучения. Контрольные материалы для проведения обследования представляют собой совокупности задач, принадлежащих разным уровням дерева задач.
Этап 5. Формирование представительной выборки учащихся.
Этап 6. Организация и проведение массового обследования.
Этап 7. Построение типологических группировок. Важным обстоятельством является то, что результат обучения относится к объектам нечисловой природы, для которых не свойственны количественная измеримость признаков, нормальность распределения, функциональная зависимость, что накладывает серьезные ограничения на применение параметрических статистических методов. В этом случае допустимо применение методов, «свободных от вида распределения», - методов классификации и типологии. Типология наблюдаемых результатов обучения строится на основе результатов, полученных в ходе массового обследования одной и той же представительной выборки учащихся на разных этапах изучения дисциплины. Необходимо построить две независимые типологические группировки учащихся, соответствующие разным этапам изучения дисциплины. Группировки показывают доли учащихся, относящихся к разным типам. Эти доли, в свою очередь, могут рассматриваться как вероятности достижения различных вариантов конечного состояния. Построение таких группировок является самостоятельной задачей и не рассматривается в данной работе.
Этап 8. Построение прогностической модели. В качестве модели, способной отразить перечисленные выше особенности результата обучения как объекта прогнозирования, может быть использована таблица сопряженности признаков (комбинационная группировка). Разновидностью такой таблицы является прогностическая таблица, отражающая связь между признаками (типами, уровнями), характеризующими состояние объекта в разное время. Методику построения таких таблиц можно найти в многочисленных источниках по статистике. Особенностью предлагаемой в данной работе группировки является то, что в таблице в качестве градаций сопрягаемых признаков используются уровни наблюдаемых результатов обучения, представленные совокупностями признаков с определенными типами структур. Совокупность признаков одного уровня входит в совокупность признаков последующего уровня. Совместно изучаются два распределения - распределение результатов выполнения проверочных работ на двух разных последовательных этапах изучения дисциплины.
Прогностическая модель представляет собой таблицу сопряженности уровней, выявленных на разных этапах обследования. Зависимость между уровнями определяется с помощью коэффициента взаимной сопряженности признаков Пирсона. Построение таблицы сопряженности осуществляется на ЭВМ.
Этап 9. Анализ качества прогноза. Необходимым этапом в разработке модели и оценке ее действенности является анализ качества прогноза. Прогнозы на основе статистических моделей носят предварительный и вероятностный характер. Для оценки качества прогноза используются результаты обследования совокупностей учащихся, аналогичных по своей структуре исходной прогнозной совокупности (той, на которой строилась модель), может быть, и меньших по объему. При ретроспективном прогнозировании с помощью первой выборки учащихся оцениваются характеристики модели, а данные других выборок рассматриваются как фактические. Для расчета ошибки прогнозирования может быть использована средняя разность между прогнозируемыми и фактическими долями учащихся. Также можно использовать критерий согласия распределений.
Модель отражает поэтапность развития умений решать задачи, которые требуют алгоритмизированных процедур и могут быть представлены в виде иерархического дерева. Практически в каждой изучаемой дисциплине можно выделить такие задачи. Умение их решать относится к обязательным результатам обучения, независимым от выбранного для обучения учебно-ме-тодического комплекта. С формальной стороны модель соответствует требованиям, предъявляемым к статистическим моделям, поскольку
• представлена статистическими категориями - используется типологическая группировка в форме многомерной таблицы сопряженности;
• подвергается проверке на основе статистических критериев - выявление и оценка значимости взаимосвязи классификационных признаков осуществляются с помощью статистических критериев Пирсона и Чупрова;
• реализуется с помощью ЭВМ - для построения классификационных таблиц и оценки статистической значимости взаимосвязи признаков на больших выборках используется статистический пакет SPSS (Statiscal Package for the Social Science) [4, c. 180-196];
• допускает включение и исключение дополнительных признаков, что важно при формировании пространства признаков и выборе наиболее информативных;
• строится на базе достаточно большого числа достоверных данных, что является необходимым условием для выявления реально существующих взаимосвязей, тенденций и закономерностей, - достоверность обеспечивается репрезентативностью выборки, качеством контрольно-измерительного материала и независимым характером проверки и оценки результатов (используются результаты независимого обследования учащихся);
• выполняет гносеологическую функцию - дает возможность получения информации, которую иными способами получить невозможно: для обследуемой выборки учащихся - вероятность достижения результатов определенной категории качества, а для конкретного учащегося - выявление в индивидуальном результате обучения типичного и прогнозирование возможных конечных состояний и их вероятностей.
Приведем пример использования предложенного подхода к разработке модели для оценивания и прогнозирования развития вычислительных умений учащихся 1-2-х классов начальной школы. Для построения прогностической таблицы использованы результаты тестирования 1083 учащихся 26 общеобразовательных учреждений г. Екатеринбурга 1-го, а через год-этих же учащихся 2-го класса. Проверочные работы разработаны на основе анализа критериальных задач в программе обучения математике в начальной школе и включают задания для выявления вычислительных умений, которые должны быть сформированы у учащихся в конце 1-го и 2-го годов обучения. Иерархическое дерево заданий имеет соответственно два уровня. На первом уровне иерархии представлены задания на проверку знаний состава действий сложения и вычитания и умение применять эти знания при сложении и вычитании чисел в пределах десятка (обязательный результат обучения в 1-м классе), на втором уровне - задания на определение состава числа, сложение и вычитание чисел с переходом через десяток, сложение, вычитание и сравнение чисел в пределах сотни (обязательный результат обучения во 2-м классе). Алгоритмы выполнения заданий первого уровня иерархии входят в состав алгоритмов выполнения заданий второго уровня.
На основе результатов тестирования в первом и втором классе были построены типологические группировки учащихся - выделены уровни сформированное™ умений, определен состав типичных для каждого уровня вычислительных умений, построены два независимых распределения учащихся по выделенным уровням. Выделенные уровни соответствуют уровням SOLO-таксономии (Structure of the Observed Learning Outcomes) с определенными типами структур наблюдаемых результатов обучения Дж. Биггса и К. Ф. Кол-лиса [12]. Эти авторы усвоение умений в определенной области знаний рассматривают как развитие, представляемое переходами между качественно различными уровнями мышления. У первоклассников выделено три уровня результатов обучения, отличающихся типом структуры: моноструктурный -усвоены отдельные действия, мультиструктурный - усвоены несколько действий, выполняются независимо друг от друга, реляционный - действия связаны. У второклассников к выделенным уровням добавляется расширительноабстрактный - уровень обобщения, размышления. Группы учащихся, относящиеся к определенному типу (уровню развития умений) однородны. Результаты
первого класса используются как предикторы, второго класса - как результативные признаки (табл. 1).
Таблица 1
Прогностическая таблица (прогнозная модель)
Уровень умений в 1-м классе (тип) Уровень (тип) умений во 2-м классе Доля по строке / доля по столбцу
моносгрук- турный мульти- структурный реляционный абстрактно- расшири- тельный
Монострук- турный 0,36/0,243 0,3/0,132 0,28/0,049 0,06/0,005 1,0/0,046
Мультиструк- турный 0,076/0,112 0,162/0,168 0,316/0,129 0,44/0,085 1,0/0,108
Реляционный 0,051/0,63 0,086/0,699 0,258/0,822 0,605/0,909 1,0/0,846
Доля по столбцу /доля по строке 0,068/1,0 0,104/1,0 0,265/1,0 0,562/1,0 1,0/1,0
Коэффициент взаимной сопряженности Пирсона равен 0,381 на уровне значимости р < 0,001, что свидетельствует о статистически значимой связи средней силы между типами структур, сформированными на разных этапах обучения. В таблице представлены распределения учащихся 1-го и 2-го классов по типам. Видно, с какой вероятностью могут быть достигнуты разные состояния (типы) во втором классе в зависимости от сформированных умений в первом классе. Так, например, из учащихся, результаты обучения которых в первом классе относятся к моноструктурному уровню, во втором классе 36% (доля 0,36) останутся на моноструктурном уровне, 30% усвоят учебный материал на мультиструктурном уровне, 28% - на реляционном и менее 1% смогут достичь абстрактно-расширительного уровня. Для учащихся 1-х классов с реляционным типом тенденция обратная: 5% смогут усвоить материал только на моноструктурном уровне, 8,6% - мультиструктурном уровне, 25,8% - реляционном и более 56,2% - смогут достичь расширительноабстрактного уровня. Важно отметить, что в первом классе обязательного -реляционного - уровня достигает 84,6% учащихся. Обязательного для второго класса абстрактно-расширительного уровня достигает 56,2%.
В табл. 2 представлены результаты проверки сформированности вычислительных умений 688 учащихся 24 общеобразовательных учреждений г. Новоуральска Свердловской области. Применение критерия х2 - Пирсона установило согласие модельных и фактических распределений, представленных в табл. 1 и 2 на уровне значимости р < 0,01, что косвенно свидетельствует об удовлетворительной и даже хорошей точности прогноза.
Таблица 2
Результаты обследуемой выборки
Уровень умений в 1-м классе (тип) Уровень (тип) умений во 2-м классе Доля по строке/ доля по столбцу
моно- сгруктурный мульти- структурный реляционный абсграктно- расширитель- ный
монострук турный 0,385/0,200 0,235/0,087 0,32/0,045 0,059/0,003 1,0/0,025
мульти- структур- ный 0,045/0,15 0,149/0,218 0,313/0,117 0,493/0,074 1,0/0,097
реляцион- ный 0,022/0,65 0,053/0,696 0,24/0,838 0,677/0,923 1,0/0,878
Доля по столбцу /доля по строке 0,029/1,0 0,067/1,0 0,26/1,0 0,644/1,0 1,0/1,0
Таким образом, в работе показана перспективность использования обозначенных подходов в качестве методологической и методической основы моделирования и прогнозирования результатов обучения. Модель может быть использована для принятия управленческих решений на уровне учителя (информация об индивидуально-типологических особенностях учащихся и возможных вариантах развития умений), образовательного учреждения и муниципалитета (информация о распределении учащихся по уровням развития умений (типам) и возможных распределениях по типам на следующем этапе обучения).
Литература
1. Азгальдов Г. Г. Теория и практика оценки качества товаров (основы квалиметрии). - М.: Экономика, - 1982. - 197 с.
2. Анастази А. Психологическое тестирование: Кн. 1; Пер. с англ./ Под ред. К. М. Гуревича, В. И. Дубовского; предисл. К. М. Гуревича, В. И. Дубов-ского. - М.: Педагогика, 1982. - 320 с.
3. Балл Г. А. Теория учебных задач: Психолого-педагогический аспект. -М.: Педагогика, 1990. - 184 с.
4. Бююль А., Цефель П. ЭРБЭ: Искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей / Пер. с нем. - СПб: ООО ДиаСофтЮП, 2002. - 608 с.
5. Ительсон Л. Б. Математические и кибернетические методы в педагогике. - М.: Просвещение, 1964. - 248 с.
6. Мамонтова М. Ю., Ильяненко Н. П. Оценка качества учебных достижений выпускников начальной школы // Вестн. регион, образования. Офиц.
справоч.-информац. метод, изд. МОПО Свердл. обл. - Екатеринбург: ГОУ Центр «Учебная книга». - 2005. - № 3-4. - С. 9-86.
7. Миркин Б. Г. Анализ качественных признаков (математические модели и методы). - М.: Статистика, - 1976. - 166 с.
8. Нурминский И. И., Гладышева Н. К. Статистические закономерности формирования знаний и умений учащихся. - М.: Педагогика, 1991. - 224 с.
9. Рабочая книга по прогнозированию / Отв. ред. И. В. Бестужев-Ла-да. - М.: Мысль, 1982. - 430 с.
10. Результаты единого государственного экзамена (май-июнь 2005 года). Аналит. отчет. - М.: ФИПИ, 2005. - 347 с.
11. Талызина Н. Ф. Как управлять усвоением знаний? / / Совет, педагогика. - 1983.- № 3. - С. 94-98.
12. Biggs J., Collis К. F. Evaluating the Quality of Learning- the SOLO-taxonomy. - New York: Academic Press, 1982 [Электрон, ресурс] / / Режим доступа: «http://en.wikipedia.org/wiki/structure_of_Observed_Learning_ Outcomes»
