CC BY-NC-ND
81
Исследование процесса присвоения учебного содержания
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина
Статья поступила в редакцию в июле 2013 г.
Нежнов Петр Геннадьевич
кандидат психологических наук. E-mail:
nejnoff@gmail.com
Карданова Елена Юрьевна
кандидат физико-математических наук, доцент, старший научный сотрудник Центра мониторинга качества образования Института образования НИУ ВШЭ. Адрес: 101000, Москва, ул. Мясницкая, д. 20. E-mail: ekardano-va@hse.ru
Рябинина Любовь Анатольевна
заместитель директора Центра оценки качества образования (г. Красноярск). Адрес: 660049, Красноярск, просп. Мира, д. 76. E-mail: ryabinina@kipk.ru
Аннотация. В рамках теории культурного развития с помощью уровневых педагогических тестов по математике и русскому языку исследуется процесс присвоения учащимися содержания программы начальной школы. Установлено, что процесс присвоения программного материала выходит за временные рамки начальной школы, а именно: полное присвоение учебного содержания начальной школы происходит примерно к концу основной школы. Ключевые слова: обучение, зона ближайшего развития, знаковая структура, ориентировка,уровень присвоения.
Современная установка на повышение эффективности системы общего образования выдвигает на первый план вопрос объективной оценки образовательных результатов, в списке которых видное место традиционно принадлежит освоению учащимися содержания школьных дисциплин. Общепринятый подход к решению этой задачи состоит в измерении учебных достижений школьников посредством педагогических тестов, что открывает возможность прямого сравнения этих достижений, а также их группировки в соответствии с условно выделенными уровнями успешности (например, низким, средним и продвинутым). Данный вид обратной связи играет важную роль в управлении системой образования. Однако решение задач, непосредственно связанных с организацией образовательных процессов (тех, которые стоят перед учителями, администрацией школ, методистами), требует смещения оценки в сторону углубленной качественной характеристики учебных результатов.
Попытки соответствующей категоризации результатов обучения предпринимались в педагогике неоднократно. Итогом этих
168
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Л
усилий стала разработка множества версий таксономии педагогических целей — особого рода схемы, моделирующей принципиальные этапы и уровни освоения учебного материала [Беспалько, 2002; Гузеев, 2001; Лернер, 1980; Савельева, 1989; Скаткин, Краевский, 1978; Bloom, 1956]. Таким образом, очевидный путь к оценке качества образовательных результатов лежит через построение уровневых тестов в соответствии с той или иной версией таксономической схемы.
Объективность и содержательность такой оценки напрямую зависит от научной состоятельности выбранной таксономии, т. е. от адекватности психолого-педагогической модели образовательного процесса, которую она в концентрированной форме представляет. Это значит, что при создании соответствующих педагогических тестов безусловную важность имеют исследования, нацеленные на развитие, уточнение и эмпирическую верификацию самой модели. При этом ключевым средством таких исследований становится тестовый инструментарий, в котором данная модель реализована.
Применение такой стратегии могло бы продвинуть педагогическое сообщество в осмыслении внутренней логики образовательного процесса и придать школьной практике большую целенаправленность.
Попытка сделать шаг в данном направлении предпринята группой российских специалистов, разрабатывающей комплект уровневых тестов для школы (SAM — Student Achievement Monitoring) [Нежнов, Фрумин, Хасан, Эльконин, 2009; Nezhnov, 2011; Нежнов, Карданова, 2011] с опорой на теорию культурного развития, очерченную Л. С. Выготским [Выготский, 1982; 1996] и обогащенную работами его коллег.
Основные положения теории культурного развития, определяю- 1. Теоретиче-щие концептуальную рамку тестов SAM, сводятся к следующему. ские основания
исследования
• Психологическое взросление ребенка есть особый процесс, который можно обозначить как культурное развитие. В этом процессе различаются возрастной и функциональный аспекты. Возрастной аспект связан с проживанием исторически сложившихся в данном социуме циклов взросления. Функциональный аспект определенным образом вписан в эту ритмику (см. периодизацию Д. Б. Эльконина [Эльконин, 1989]) и связан с присвоением общественно выработанных способов действия.
• Обучение (учение) — необходимое условие культурного развития: оно стимулирует этот процесс и задает его содержание. Обучаясь, ребенок осваивает знаковые структуры (системы понятий, схем, правил, примеров и т. д.), в которых кристаллизованы культурные образцы действия.
http://vo.hse.ru
169
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
• Акт передачи ребенку знаковой структуры закладывает «зону ближайшего развития» и запускает спонтанный процесс ассимиляции (осмысления и присвоения) содержания, представленного в данной структуре. Этот глубинный процесс, по Л. С. Выготскому, и составляет стержень функционального развития [Выготский, 1982. С. 188-202, 244-267, 305].
• Содержанием знака является ориентировочная основа способа действия. В работах П. Я. Гальперина [1998], Д. Б. Эль-конина [1989], В. В. Давыдова [1996], А. В. Запорожца [1986], А. Н. Леонтьева [1983] и их сотрудников [Магкаев, 1974; Ми-кулина, Савельева, 1997; Нежнов, 2007; Нежнов, Медведев, 1990; Савельева, 1989; Эльконин, 1994] выявлены три необходимых компонента ориентировки действия:
- эмпирический — внешние характеристики объектной ситуации и соответствующих ей операций;
- теоретический — понятие существенного отношения, которое лежит в основе способа действия в данной ситуации;
- функционально-смысловой — представление о поле возможностей способа действия и его границах.
• Все три компонента ориентировки передаются ребенку в составе культурного образца. Но в ходе его освоения реальной опорой действия сначала становятся внешние характеристики, затем к ним присоединяется понятие существенного отношения и наконец — соответствующее функционально-смысловое поле как результат «вращива-ния» знака в структуры мышления [Выготский, 1982. С. 108-110, 115-117; Выготский, 1996. С. 157-163]. Последовательность этих трех вариантов ориентировки маркирует три качественно различных уровня освоения культурного способа действия, которые для краткости можно обозначить как 1) формальный, 2) рефлексивный и 3) функциональный. (Логико-психологические критерии и эмпирические индикаторы, т. е. типы задач, для каждого из названных уровней раскрыты в предыдущих публикациях [Нежнов, Фрумин, Хасан, Эльконин, 2009; Нежнов, Карданова, Эльконин, 2011; Nezhnov, 2011; Нежнов, Карданова, 2011].)
Конструктивная специфика модели SAM состоит в том, что при создании предметного теста для каждого относительно целостного раздела учебного предмета разрабатываются задач-ные блоки. Каждый блок включает три задачи — первого, второго и третьего уровня, которые образуют естественную иерархию по трудности. Таким образом, каждый блок является детектором, выявляющим качественный уровень присвоения некоторого раздела учебной программы (определяется по самой трудной задаче блока, которую решил тестируемый).
170
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Конкретизация теоретической модели, реализованной в тестах SAM, позволяет выдвинуть как минимум два гипотетических утверждения, которые можно проверить в эмпирическом исследовании.
Первая гипотеза вытекает непосредственно из предложенной уровневой схемы и может быть сформулирована следующим образом.
Если теоретически заданные три уровня освоения учебного содержания адекватно отражают логику функционального генеза, то задачи, построенные по критериям этих трех уровней и относящиеся к одному и тому же разделу учебного содержания, должны обнаруживать соответствующую иерархию по трудности. А именно: самый высокий показатель решаемости должен быть у задач первого уровня, а самый низкий —у задач третьего уровня.
Вторая гипотеза касается временных границ процесса усвоения учебного содержания.
Данный вопрос актуален не только в теоретическом, но и в практическом аспекте ввиду стихийной тенденции рассматривать обучение как информационный процесс, временные рамки которого лабильны и определяются в основном методикой преподавания. Так, по мнению И. Д. Фрумина, большинство ныне действующих педагогических моделей основано на принципе «близкодействия» (понятие физики), согласно которому эффект педагогического действия находится в точке его приложения, т. е. непосредственно определяет образовательную траекторию ученика. Он же диктует определенный тип обратной связи — фиксацию прямых результатов педагогического действия сразу после его осуществления: обучил — воспроизвели, потренировал — проверили. Как следствие сужается возможность видеть последствия педагогических действий во всей их полноте, с учетом косвенных и отсроченных эффектов [Фрумин, 1996].
Выготскианская модель, положенная в основу SAM, лишена указанного недостатка, поскольку спонтанные процессы функционального и возрастного развития, ответственные за косвенные и отсроченные эффекты образовательного процесса, предусмотрены в ней изначально.
Принципиальное отношение обучения и развития достаточно четко прописано в трудах самого Выготского. «Нам представляется, — пишет он, — что процессы обучения пробуждают в ребенке ряд процессов внутреннего развития, пробуждают в том смысле, что вызывают их к жизни, пускают в ход, дают им начало. Однако между порождаемыми процессами внутреннего развития и процессами школьного обучения, между их динамикой не существует параллелизма» [Выготский, 1996. С. 212]. «Принято считать, —
Л
2. Гипотезы исследования
http://vo.hse.ru
171
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
продолжает он, — что когда ребенок научается понимать любое из общеизвестных понятий, например из обществоведения или естествознания (понимать, что такое газообразное состояние вещества, и уметь ответить на этот вопрос), оно становится для него уже осмысленным словом. Считалось, что в тот момент, когда ребенок сумел выразить свою мысль, процесс развития закончен. Исследования показывают, что в такой момент процесс развития только начался и это является только исходной точкой дальнейшего развития понятия» [Выготский, С. 213].
Таким образом, по Выготскому, обучение и функциональное развитие связаны между собой, но имеют разную динамику. А именно: развитие обусловлено обучением, следует за ним и выходит за пределы собственно учебного процесса. Рассмотрение этого отношения в контексте возрастной ритмики (см. периодизацию Д. Б. Эльконина [1989]) позволяет внести в картину процесса дополнительные уточнения.
Согласно схеме Эльконина в онтогенезе имеет место чередование возрастов, характеризующихся доминирующей направленностью ребенка на освоение либо средств и способов действия, либо смыслов. Два смежных возраста с разной направленностью (например, возраст начальной и основной школы) образуют полный цикл культурного развития. Оба указанных вида направленности присутствуют в онтогенезе непрерывно, но когда доминирует один из них — второй выступает как подчиненный. Это значит, что в возрастном контексте линия функционального развития распадается на две фазы. Первая фаза — целенаправленное освоение некоторого слоя культурных образцов действия, вторая фаза — функционализация новых операционально-технических возможностей в рамках реконструкции, опробования и присвоения смысловых ориентиров жизнедеятельности.
На двухфазность функционального развития Д. Б. Эльконин указывал и в своих дневниках, где он высказал предположение, что акт умственного развития складывается из двух периодов: в одном ведущим выступает переход к новым схемам (способам) ориентации, а в другом — собственно функциональное развитие, в результате которого эта ориентация приобретает форму непосредственности, т. е. мышления [Там же. С. 494-495].
Здесь уместно вспомнить и слова П. Я. Гальперина, автора концепции поэтапного формирования способов действия: «Даже хорошее усвоение <...> приемов само по себе к развитию не ведет. Эти возможности реализуются лишь при условии, что они активно используются, а это происходит лишь тогда, когда они отвечают основным интересам ребенка» [Гальперин, 1998. С. 388]. Таким образом, и согласно Гальперину встраивание способа в структуры мышления имеет место после обучения — в ситуации его спонтанного применения в осмысленных для ребенка контекстах.
172
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Если описанную нами трехуровневую схему образовательного процесса рассмотреть на фоне двухфазной структуры цикла культурного развития по Эльконину, то появляются основания для гипотезы относительно временных параметров освоения программы начальной школы.
В нормальной образовательной ситуации к концу начальной школы учебное содержание может быть освоено на втором (рефлексивном) уровне, а переход на функциональный уровень следует ожидать к концу основной школы.
В исследовании использовались тесты SAM по математике и русскому языку для начальной школы [Нежнов, Карданова, Элько-нин, 2011; Нежнов, Карданова, 2011]. Каждый вариант теста включал 15 задачных блоков, т. е. 45 тестовых задач. Решение задач оценивалось дихотомически: правильное решение — 1 балл, неверное решение или отсутствие решения — 0 баллов.
Для представления результатов тестирования были использованы три группы показателей: интегральные (первичные и тестовые) баллы, трехмерные профили и ступени достижений [Нежнов, Карданова, 2011; Kardanova, Nezhnov, 2011].
Первичный балл — это сумма баллов по всем заданиям, выполненным участником тестирования. Тестовый балл — окончательный балл учащегося, полученный в результате математической обработки первичных результатов (по аналогии с тем, как это делается в международных исследованиях). Для представления тестовых баллов используется 1000-балльная шкала. Интегральный балл характеризует общую успешность освоения учебного содержания.
Трехмерный профиль фиксирует количество баллов, полученных участником тестирования по каждому из трех уровней в отдельности. То есть профиль разводит первичный балл участника по трем субшкалам, наглядно выявляя его структуру.
Ступень достижений определялась на основе отнесения результата тестирования к описанной выше трехуровневой таксономии. Иными словами, был разработан ступенчатый вариант шкалы образовательных результатов, основанный на интегральных баллах участников тестирования и пороговых значениях, делящих всех участников на группы, соответствующие разным качественным ступеням [Нежнов, Карданова, 2011]. Всего было выделено четыре категории достижений, которые отвечают следующим критериям.
• Ниже первой ступени — учащийся выполняет менее 50% заданий первого уровня.
• Первая ступень — учащийся выполняет не менее 50% заданий первого уровня.
Л
3. Инструмент
http://vo.hse.ru
173
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
• Вторая ступень — учащийся выполняет не менее 50% заданий второго уровня.
• Третья ступень—учащийся выполняет не менее 50% заданий третьего уровня.
Деление участников тестирования по ступеням достижений позволяет квалифицировать результаты в терминах уровневой модели, т. е. дать интегральному баллу качественную интерпретацию.
4. Результаты исследования
4.1. Проверка первой гипотезы
Первая гипотеза проверялась в ходе апробации бланковой формы тестов в регионах Российской Федерации весной 2012 г. В апробации приняли участие более 5000 учащихся 4-х классов общеобразовательных школ.
На рис. 1 и 2 представлено распределение коэффициентов решаемости заданий тестов по математике и русскому языку (приведены данные по одному из вариантов каждого теста). На оси абсцисс размещены задания (индексы) в порядке их расположения в тесте, на оси ординат—коэффициенты решаемости (доля испытуемых выборки, выполнивших задание правильно).
Как видно из обеих диаграмм, в подавляющем большинстве блоков иерархия задач по трудности отвечает теоретически ожидаемой, что свидетельствует в пользу предложенной нами уровневой схемы. В среднем задания второго уровня теста по математике решают на 25% меньше детей, чем задания первого уровня, а задания третьего уровня — на 30% меньше детей, чем задания второго уровня. Для теста по русскому языку средняя разница между решаемостью заданий первого и второго уровней, а также между решаемостью заданий второго и третьего
Рис. 1. Распределение коэффициентов решаемости задач по математике
со
о
со со
о о
LO
о
LO СО
о о
174
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Л
Рис. 2. Распределение коэффициентов решаемости задач по русскому языку
о
О
о
CNJ
о
CNJ
CNJ
о
CNJ
о
CNJ
о о
CNJ
со
о
CNJ
о
со
о о
CNJ
о
LO
о
CNJ
со
уровней составляет порядка 25%. Различия между трудностями заданий разных уровней обоих тестов значимы на уровне 0,01 (критерий Краскела — Уоллеса).
Результаты апробации анализировались как в рамках классической теории тестирования, так и в соответствии с современной теорией тестирования IRT [Карданова, 2008], что дало возможность отразить степень трудности заданий на интервальной шкале и применять дополнительные методы анализа. Поэтому дополнительно с помощью t-критерия Стьюдента были оценены различия в трудности отдельно для заданий первого и второго уровней, а также для заданий второго и третьего уровней. Все различия получились статистически значимыми на уровне 0,01 для теста по русскому языку и на уровне 0,05 для теста по математике. Конечно, величина различий зависит от конкретного блока и его содержания, но в целом ситуация устойчивая: задания второго уровня труднее, чем задания первого уровня, а задания третьего уровня труднее, чем задания второго уровня.
Вторая гипотеза проверялась в специальном исследовании, со- 4.2. Проверка стоявшем из двух этапов. На первом этапе тесты SAM по мате- второй матике и русскому языку были предложены учащимся четырех гипотезы возрастных групп. На втором этапе, который проходил через год после первого, с помощью тех же тестов были проведены повторные срезы на тех же учащихся. Первый этап позволял получить статичную картину освоения учебного материала детьми разного возраста. Второй этап давал возможность увидеть эту картину в динамике, т. е. фиксировать годичный шаг развития четырех возрастных групп учащихся. В качестве объекта тестирования были взяты параллельные классы двух относительно благополучных школ.
http://vo.hse.ru
175
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Таблица 1. Распределение учащихся по параллелям
Параллели Математика Русский язык
1-й срез 2-й срез Оба среза 1-й срез 2-й срез Оба среза
4-5-й класс 104 102 93 102 102 92
6-7-й класс 103 108 99 102 107 99
8-9-й класс 104 111 100 98 111 95
10-11-й класс 85 91 82 80 89 77
Всего 396 412 374 382 409 363
Исследование проводилось в 2011-2012 гг. В 2011 г. тесты SAM по математике и русскому языку были предложены учащимся 4, 6, 8 и 10-х классов (тестировались по два класса из каждой параллели в каждой школе). В 2012 г. те же тесты были предложены тем же школьникам, которые на тот момент уже были учащимися 5, 7, 9 и 11-х классов. Тестирование оба раза проходило весной, в конце учебного года.
В 2011 г. (первый срез) задания по математике выполняли 396 учащихся, по русскому языку — 382 учащихся. В 2012 г. (второй срез) математические задания выполняли 412 учащихся, задания по русскому языку — 409. Всего учеников, которые выполняли оба среза по математике,— 374, по русскому языку — 363. В табл. 1 представлены данные о распределении учащихся по параллелям.
4.2.1. Первый Средние первичные баллы (выраженные в процентах от макси-срез мально возможного балла), полученные учащимися 4, 6, 8 и 10-х классов при первом тестировании, представлены на рис. 3.
Как видно из рис. 3, результаты тестирования с использованием тестов SAM свидетельствуют о том, что содержание про-
Рис. 3. Средние баллы по параллелям 4, 6, 8 и 10-х классов
100%
90
80
70
60
50
Математика
0
4-й класс
6-й класс
8-й класс
10-й класс
176
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Л
Рис. 4. Профили параллелей
4, 6, 8 и 10-х классов (математика)
Рис. 5. Профили параллелей
4, 6, 8 и 10-х классов (русский язык)
грамм начальной школы по математике и русскому языку в 4-х классах осваивается лишь частично, и процесс освоения продолжается вплоть до окончания школы. Если принять за основу абсолютную культурную норму, т. е. 100%-ное выполнение теста, которое означает полное усвоение предметного материала, то можно констатировать, что к концу 4-го класса учащиеся находятся, грубо говоря, на полпути к цели. Таким образом, положение Л. С. Выготского о том, что временные рамки функционального развития сдвинуты вперед относительно процесса обучения, получает определенное подтверждение.
Безусловно, представляет интерес некоторое расхождение данных тестирования по двум предметам — математике и русскому языку. Однако прояснение причин этого расхождения требует специального исследования.
Профили успешности по математике и русскому языку для каждой параллели конкретизируют результаты возрастных сре-
http://vo.hse.ru
177
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
□ 4-й класс
□ 6-й класс
□ 8-й класс
□ 10-й класс
□ 4-й класс
□ 6-й класс
□ 8-й класс
□ 10-й класс
Рис. 6. Распределение учащихся разных классов по ступеням достижений (математика), %
Рис. 7. Распределение учащихся разных классов по ступеням достижений (русский язык), %
зов (рис. 4 и 5). Профиль строится по первичным (процентным) баллам, полученным по каждому уровню, т. е. показывает, какой процент материала усвоен на каждом из трех уровней.
Как видно из рис. 4 и 5, к концу начальной школы программы по математике и русскому языку оказываются практически освоенными на первом уровне, т. е. учащиеся демонстрируют способность решать большинство стандартных задач. В то же время ориентация на существенные отношения, т. е. способность решать нестандартные задачи, находится на полпути к формированию. Что касается задач функционального уровня, то способность их решения находится в зачаточном состоянии.
Картину дополняют данные распределения учащихся по ступеням достижений (рис. 6 и 7).
Участники исследования — учащиеся относительно благополучных школ. Этим можно объяснить тот факт, что даже среди учеников 4-х классов нет детей, не достигших первой ступе-
178
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Л
ни по математике (на рис. 6 отсутствует категория «ниже первой ступени»).
На рис. 6 и 7 видно, что к концу начальной школы (4-е классы) большинство детей демонстрируют вторую ступень достижений, т. е. рефлексивный уровень освоения предметного материала начинает доминировать. А доля учащихся, демонстрирующих третий уровень достижений, постепенно растет и в 7-8-м классе начинает доминировать. Эти факты свидетельствуют о том, что к концу начальной школы большинство учащихся усваивают учебный материал на рефлексивном уровне, т. е. на уровне понимания, а функциональный уровень овладения достигается в рамках основной школы.
На рис. 8 сведены результаты первого и второго срезов, пока- 4.2.2. Второй зывающие изменение средних тестовых баллов по математике срез и русскому языку, произошедшее за год.
Изначально выделенные возрастные группы учащихся представлены на рисунке по два раза. Например, данные по 4-му и 5-му классам относятся к одной и той же группе учащихся, которые на момент первого среза учились в 4-х классах, а на момент второго среза—в 5-х. То же можно сказать о данных по 6-му и 7-му, 8-му и 9-му, 10-му и 11-му классам. Как видно из рис. 8, за год каждая возрастная группа дала прирост в развитии, соответствующий той тенденции, которая наметилась по данным первой серии срезов (см. рис. 3).
На ленточных диаграммах (рис. 9 и 10) представлены распределения учащихся по ступеням, полученные на обоих срезах.
Ленточные диаграммы детализируют и подкрепляют картину освоения предметного материала, полученную на первом срезе. Так, доля учащихся, находящихся на первой ступени, падает с увеличением школьного возраста почти до нуля. А доля учащихся, достигших третьей ступени, растет, становясь доминирующей для математики к концу 7-го, а для русского языка — к концу 8-го класса.
Из рисунков видно, что наименьшие изменения в доле учащихся, продемонстрировавших определенный уровень достижений, наблюдаются от 10-го к 11-му классу. В данных классах различия в долях по каждому уровню составляют не более 2-4%.
К этому времени результаты становятся устойчивыми: большинство учащихся находятся на третьей ступени. Наибольшие изменения в доле учащихся, находящихся на разных ступенях, наблюдаются от 6-го к 7-му классу (здесь различия по третьему уровню составляют 15% по математике и 9% по русскому языку) и несколько меньше — от 8-го к 9-му классу. Таким образом, наибольшие изменения происходят в основной школе. Тем самым подтверждается гипотеза, что освоение предметного материала на функциональном уровне происходит в рамках основной школы.
http://vo.hse.ru
179
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
560
540
520
500
480
460
440
4- й класс
5- й класс
6- й класс
7- й класс
8- й класс
9- й класс
10- й класс
11- й класс
4- й класс
5- й класс
6- й класс
7- й класс
8- й класс
9- й класс
10- й класс
11- й класс
Рис. 8. Средние баллы по параллелям всех классов
Рис. 9. Распределение учащихся по ступеням достижений (математика)
Рис. 10. Распределение учащихся по ступеням достижений (русский язык)
1-я ступень
2-я ступень
3-я ступень
37
52
10
25
20
22
55
22
54
40
43
52
1 24
75
26
100%
51
13
31
16
7
41
3
71
0
180
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Л
Полученные данные в целом свидетельствуют в пользу исследуемой гипотезы о возрастных границах усвоения предметного материала. Однако не следует забывать, что использованный в исследовании количественный критерий выделения ступеней освоения (решение 50% задач соответствующего уровня) принят нами условно и не является общепринятым. Так, в частности, В. П. Беспалько рекомендует в качестве критерия достижения некоторого уровня рассматривать 70%-ный порог успешности [Беспалько, 2002. С. 121-122]. Данный критерий выдвинут в рамках модели оценивания, опирающейся на понятие «существенных операций деятельности» и ориентированной на определение доли правильно выполняемых операций. Такая модель несколько отличается от принятого нами подхода, где основой категоризации результатов обучения выступают типы ориентировки в предмете, изначально взятые как системные целостности. Это значит, что принятый Беспалько количественный критерий нельзя напрямую встраивать в модель SAM без проведения специальных психолого-педагогических исследований.
В то же время есть основания полагать, что, несмотря на различие обсуждаемых моделей, реальный критерий достижения уровней, заданных SAM, лежит в диапазоне от 50 до 70% решения задач соответствующего уровня. И не лишено интереса, как будет выглядеть ступенчатая картина усвоения, если взять за критерий успешности выполнение 70% заданий.
• Ниже первой ступени — учащийся выполняет менее 70% заданий первого уровня.
• Первая ступень — учащийся выполняет не менее 70% заданий первого уровня.
• Вторая ступень — учащийся выполняет не менее 70% заданий второго уровня.
• Третья ступень—учащийся выполняет не менее 70% заданий третьего уровня.
На рис. 11 и 12 представлены данные распределения учащихся по ступеням, рассчитанным на основе 70%-ного критерия.
Как видно на рисунках, перерасчет результатов тестирования на основе 70%-ного критерия несколько сдвигает картину освоения вниз по оси возрастов. Однако и при этом сдвиге данные не противоречат выдвинутым гипотезам. Так, по математике большинство учащихся демонстрируют второй уровень уже в 4-м классе, а по русскому языку—к концу 5-го. Функциональный уровень в обоих предметах достигается в 10-м классе.
Приведенные результаты получены на ограниченной выборке — а значит, гипотеза о возрастных рамках освоения программы начальной школы нуждается в дальнейшей проверке и уточнении.
http://vo.hse.ru
181
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Рис. 11. Распределение учащихся по ступеням достижений (математика), 70%-ный критерий достижения уровня
, 1-я ступень ,2-я ступень ,3-я ступень
4- й класс
5- й класс
6-й класс 24 63 13 |
7-й класс 1 17 70 12 |
8-й класс 1 8 59 32 |
9-й класс 1 4 61 45 |
10-й класс 48 50 |
11-й класс 1| 4 40 55 |
0 100%
7 33 56 4
2 32 60 6 1
Рис. 12. Распределение учащихся по ступеням достижений (русский язык), 70%-ный критерий достижения уровня
1-я ступень ,2-я ступень ,3-я ступень
4- й класс
5- й класс
6- й класс
63
9-й класс [2 10-й класс
11-й класс 1 11
39
42
20
44
44
60
46
54
29
33
7-й класс | 3 39 49 9
8-й класс | 3 31 50 16
100%
8
14
3
10
41
7
18
10
0
5. Обсуждение Проведенное исследование, посвященное закономерностям результатов присвоения школьниками деятельностных содержаний (обобщенных способов действия), затронуло два важных вопроса. Первый из них касается внутренней логики этого процесса, т. е. необходимой последовательности его этапов и результатов, описание которой задает таксономию педагогических целей. В данном исследовании испытанию подверглась таксономическая схема, согласно которой присвоение обобщенного способа действия происходит через последовательное освоение трех аспектов его ориентировочной основы.
182
Вопросы образования. 2013. № 4
П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина Исследование процесса присвоения учебного содержания
Результаты исследования свидетельствуют в пользу предложенной нами таксономической схемы. А именно: в большинстве задачных блоков, построенных по заданным в таксономии критериям, задачи первого, второго и третьего уровня образуют соответствующую иерархию по трудности. Причем в большинстве случаев возрастание трудности от первого уровня ко второму и третьему носит выраженный, статистически значимый характер. Вместе с тем практика разработки тестовых задач, и особенно потребность в оптимизации этого процесса, делают очевидной необходимость дальнейшей детализации представлений о строении тестовых задач и о поле факторов, влияющих на успешность их решения учащимися.
Второй вопрос касается временной характеристики присвоения учебного содержания относительно рамок начальной и основной школы. Данные проведенного исследования в целом подтверждают гипотезу, согласно которой процесс присвоения существенно выходит за пределы собственно обучения. В частности, функциональное освоение учебного содержания начальной школы происходит лишь к концу основной школы, а уровень абсолютной культурной нормы достигается еще позже и не всеми.
Результаты исследования позволяют составить общее представление о динамике освоения предметного содержания начальной школы.
Вместе с тем в исследовании было поставлено под вопрос одно из допущений, которое играло важную роль в данном исследовании, но само по себе не было обосновано. Имеется в виду количественный критерий достижения учащимся той или иной ступени освоения содержания: 50% решения задач соответствующего уровня. Как показал дополнительный анализ, картина освоения учебного содержания, построенная на основе более жесткого, 70%-ного критерия, также не противоречит теоретическим ожиданиям. Проблема критерия, на основании которого определяется реальное достижение некоторого качественного уровня владения учебным материалом, представляется нам значимой сама по себе, и мы планируем проведение соответствующего исследования.
1. Беспалько В. П. (2002) Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Изд-во Московского психолого-социального института; Воронеж: НПО «МОДЭК».
2. Выготский Л. С. (1982) Мышление и речь // Собр. соч. в 6 т. Т. 2. М.: Педагогика.
3. Выготский Л. С. (1996) // Антология гуманной педагогики. Вып. 1. М.: Изд. дом Шалвы Амонашвили.
4. Гальперин П. Я. (1998) Психология как объективная наука. М.: Институт практической психологии.
Д
Литература
http://vo.hse.ru
183
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
5. Гузеев В. В. (2001) Планирование результатов образования и образовательная технология. М.: Народное образование.
6. Давыдов В. В. (1996) Теория развивающего обучения. М.: ИНТОР.
7. Запорожец А. В. (1986) Избранные психологические труды. Т. 1. М.: Педагогика.
8. Исаев Е. И. (1983) Психологическая характеристика способов планирования у младших школьников // Вопросы психологии. № 2. С. 52-60.
9. Карданова Е. Ю. (2008) Моделирование и параметризация тестов: основы теории и приложения. М.: Федеральный центр тестирования.
10. Леонтьев А. Н. (1983) Избранные психологические произведения. Т. 1. М.: Педагогика.
11. Лернер И. Я. (1980) Процесс обучения и его закономерности. М.: Знание.
12. Магкаев В. Х. (1974) Экспериментальное изучение планирующей функции мышления в младшем школьном возрасте // Вопросы психологии. № 5. С. 98-106.
13. Микулина Г. Г., Савельева О. В. (1997) К психологической оценке качества знаний у младших школьников // Психологическая наука и образование. № 2. С. 47-50.
14. Нежнов П. Г. (2007) Опосредствование и спонтанность в модели «культурного развития» // Вестник Московского университета. Сер. 14. Психология. № 1. С. 133-146.
15. Нежнов П. Г., Карданова Е. Ю. (ред.) (2011) SAM (Student Achievement Monitoring): инструмент мониторинга учебных достижений школьников. М.: Центр международного сотрудничества по развитию образования.
16. Нежнов П. Г., Карданова Е. Ю., Эльконин Б. Д. (2011) Оценка результатов школьного образования: структурный подход // Вопросы образования. № 1. С. 26-43.
17. Нежнов П. Г., Медведев А. М. (1990) Исследование теоретического анализа у школьников // Вопросы психологии. № 5. С. 137-143.
18. Нежнов П. Г., Фрумин И. Д., Хасан Б. И., Эльконин Б. Д. (ред.) (2009) Диагностика учебной успешности в начальной школе. М.: ОИРО.
19. Савельева О. В. (1989) Психологические критерии качества знаний младших школьников: автореф. дис. ... канд. пед. наук.
20. Симонов В. П. (1999) Диагностика степени обученности учащихся. Учебно-справочное пособие. М.: МПА.
21. Скаткин М.Н., Краевский В. В. (ред.) (1978) Качество знаний учащихся и пути его совершенствования. М.: Педагогика.
22. Фрумин И. Д. (1996) Категория педагогического действия в педагогике развития // Педагогика развития: проблемы современного детства и задачи школы. Ч. 1. Красноярск. С. 34-42.
23. Эльконин Б. Д. (1994) Введение в психологию развития. М.: Тривола.
24. Эльконин Д. Б. (1989) Избранные психологические труды. М.: Педагогика.
25. Bloom B. (ed.) (1956) Taxonomy of educational objectives. Handbook 1: Cognitive Domain. New York: David McKay.
26. Kardanova E., Nezhnov P. (2011) School Achievements Monitoring toolkit: Assessment framework / 37th Annual Conference IAEA. Manila.
27. Nezhnov P. (2011) SAM — toolkit to assess primary school students' academic achievements // CADMO. Innovations in Assessment to Meet Changing Needs. ANNO XIX. No. 1. P. 85-98.
28. TIMSS Assessment Frameworks and Specifications 2003. 2nd ed. IEA, Boston College ISC, 2003.
184
Вопросы образования. 2013. № 4
THEORETICAL AND APPLIED RESEARCH
En
The Academic Content Acquisition Process Study
Peter Nezhnov Authors
PhD, associate professor. E-mail: nejnoff@gmail.com
Elena Kardanova
Associate Professor, Senior Researcher, Center for Monitoring of the Quality in Education, Institute of Education, National Research University Higher School of Economics. Address: 20 Myasnitskaya str., Moscow, 101000, Russian Federation. E-mail: ekardanova@hse.ru
Lubov Ryabinina
Deputy Director, Center of Quality Assessment in Education. Address: 76 Mira av., Krasnoyarsk, 660049, Russian Federation. E-mail: ryabinina@kipk.ru
This study was carried out in the context of the cultural development theory Abstract worked out by L. S. Vygotsky and his adherents. The authors put forward and empirically tested two hypotheses for the academic content acquisition process that followed from this theory. The first one concerns an underlying logic of this process, that is an indispensable sequence of its stages and results description of which forms a taxonomy of educational objectives. The study tests the taxonomy that is based on a symbol acquisition level scheme outlined by L. S. Vygotsky and specified by V. V. Davydov and his colleagues in their works.
The second hypothesis concerns a temporal property of the acquisition defined by two theoretical constructs: the notion of a zone of proximal development (L. S. Vygotsky), according to which real academic content acquisition extends beyond the training process time frame, and cultural development periodization (D. B. Elkonin) which describes how the training is included into the maturation process. The study used a set of level school tests developed by a group of Russian experts who were guided by the cultural development theory — Student Achievement Monitoring (SAM). Pupils of different ages from different regions of Russia were tested for acquisition of the Elementary School Mathematics and Russian language program. The first hypothesis was tested as part of a paper test appraisal in some regions of the Russian Federation in spring of 2012. More than 5000 fourth-grade pupils of comprehensive schools took part in the appraisal process. The second hypothesis was tested as part of a special study comprised of two stages. At the first stage SAM tests of Mathematics and Russian language were given to the 4th, 6th, 8th and 10th grade pupils. At the second stage, in a year, the same pupils took the same tests, and repeated cross sections were formed. The study results on the whole support the offered level scheme: as regards most units of tasks that are formed according to criteria specified in the taxonomy, the tasks of the first, second and third levels create a corresponding hierarchy in terms of complexity. And what is more, in most cases the complexity increase from the first level to the second and to the third levels is clearly statistically significant. The received results also validate the hypothesis that the acquisition process is considerably outside the scope of training in itself: full acquisition of the elementary school academic content takes place approximately by the end of the middle school.
training, zone of proximal development, symbol, orientation, acquisition level. Key words
Bespal'ko V. (2002) Obrazovanie i obuchenie s uchastiem kompyuterov (peda- References gogika tret'ego tysyacheletiya) [Education and Training by Means of Computers (Pedagogy of the Third Millennium)]. Moscow: Moskovskiy psikholo-go-sozial'ny institut; Voronezh: NPO “MODEK”.
http://vo.hse.ru
185
En
THEORETICAL AND APPLIED RESEARCH
Bloom B. (ed.) (1956) Taxonomy of educational objectives. Handbook 1: Cognitive Domain. New York: David McKay.
Davydov V. (1996) Teoriya razvivayushchego obucheniya [Developmental Teaching Theory]. Moscow: INTOR.
El'konin D. (1989) Izbrannye psikhologicheskie trudy [Selected Psychology Works]. Moscow: Pedagogika.
El'konin B. (1994) Vvedenie vpsikhologiju razvitiya [Introduction to Development Psychology]. Moscow: Trivola.
Frumin I. (1996) Kategoriya pedagogicheskogo dejstviya v pedagogike razvitiya [A Pedagogical Action Category in Development Pedagogy]. Pedagogika razvitiya: problemy sovremennogo detstva izadachishkoly [Development Pedagogy: Modern Childhood Issues and the Mission of Schools]. Krasnoyarsk, part 1, pp. 34-42.
Gal'perin P. (1998) Psikhologiya kak ob’ektivnaya nauka [Psychology as an Objective Science]. Moscow: Institut prakticheskoy psichologii.
Guzeev V. (2001) Planirovanie rezultatov obrazovaniya i obrazovatel'naya tekh-nologiya [Planning of Learning Outcomes and an Educational Technology]. Moscow: Narodnoe obrazovanie.
IEA (2003) Assessment Frameworks and Specifications 2003. 2nd Edition. IEA, Boston College ISC.
Isaev E. (1983) Psikhologicheskaya kharakteristika sposobov planirovaniya u mladshikh shkol'nikov [A Psychological Description of Junior Schoolchildren's Planning Methods]. Voprosy psikhologii, no 2, pp. 52-60.
Kardanova E. (2008) Modelirovanie i parametrizatsiya testov: osnovy teorii i prilozheniya [Modelling and Parameterization of Tests: A Theoretical Framework and Applications]. Moscow: Federal'ny tsentr testirovaniya.
Kardanova E., Nezhnov P. (2011) School Achievements Monitoring toolkit: Assessment framework. Proceedings of the 37th Annual Conference. Manila.
Leontiev A. (1983) Izbrannye psikhologicheskie proizvedeniya [Selected Psychology Works]. Moscow: Pedagogika, vol. 1.
Lerner I. (1980) Protsess obucheniya iegozakonomernosti [Learning Process and its Pattern]. Moscow: Znanie.
Magkaev V. (1974) Eksperimental'noe izuchenie planiruyushchey funktsii mysh-leniya v mladshem shkol'nom vozraste [An Experimental Study of a Planning Function of Thinking at the Elementary School Age]. Voprosy psikhologii, no 5, pp. 98-106.
Mikulina G., Savelieva O. (1997) K psikhologicheskoy otsenke kachestva znaniy u mladshikh shkol'nikov [On Psychological Assessment of the Quality of Junior Schoolchildren's Learning]. Psikhologicheskaya nauka i obrazovanie, no 2, pp. 47-50.
Nezhnov P. (2007) Oposredovanie i spontannost v modeli “kul'turnogo razvitiya” [Mediation and Spontaneity in a “Cultural Development” Model]. Vest-nik Moskovskogo universiteta. Psikhologiya, no 1, pp. 133-146.
Nezhnov P. (2011) SAM — toolkit to assess primary school students' academic achievements. Innovations in Assessment to Meet Changing Needs. ANNO XIX, no 1, pp. 85-98.
Nezhnov P., Kardanova E. (eds) (2011) (Student Achievement Monitoring): instrument monitoringa uchebnykh dostizheniy shkol'nikov [SAM (Student Achievement Monitoring): School Achievements Monitoring toolkit]. Moscow: CICED.
Nezhnov P., Kardanova E., El'konin B. (eds) (2011) Otsenka rezul'tatov shkol'no-go obrazovaniya: strukturny podkhod [Evaluation of Schooling Results: A Structural Approach]. Voprosy obrazovaniya, no 1, pp. 26-43.
Nezhnov P., Medvedev A. (1990) Issledovanie teoreticheskogo analiza u shkol'nikov [A Study of Schoolchildren's Theoretical Analysis]. Voprosy psikhologii, no 5, pp. 137-143.
186
Educational Studies. No 4. 2013
THEORETICAL AND APPLIED RESEARCH
En
Nezhnov P., Frumin I., Khasan B., El'konin B. (eds) (2009) Diagnostika uchebnoy uspeshnosti vnachal'noy shkole [Academic Success Diagnostics in Elementary School]. Moscow: OIRO.
Savelieva O. (1989) Psikhologicheskie kriterii kachestva znaniy mladshikh shkol'nikov [Psychological Criteria of the Quality of Junior Schoolchildren's Learning] (PhD Thesis), Moscow: MGPPU.
Shalva Amonashvili Publishing house (1996) Antologiya gumanisticheskoy psichologii. Vypusk 1. L. Vygotsky [Humane Pedagogy Anthology. Issue 1. L. Vygotsky]. Moscow: Publishing house of Shalva Amonashvili.
Simonov V. (1999) Diagnostika stepeni obuchennosti uchashchikhsya. Ucheb-no-spravochnoe posobie [Diagnostics of Pupils' Training Level: Reference and Work Book]. Moscow: MPA.
Skatkin M., Kraevsky V. (eds) (1978) Kachestvo znaniy uchashchikhsya iputi ego sovershenstvovaniya [The Quality of Pupils' Learning and Ways to Improve it]. Moscow: Pedagogika.
Vygotsky L. (1982) Myshlenie i rech [Thinking and Speech]. Sobranie sochineniy v 6 tomakh [Collected Works: In 6 v.], Moscow: Pedagogika, vol. 4.
Zaporozhets A. (1986) Izbrannye psikhologicheskie trudy [Selected Psychology Works]. Moscow: Pedagogika, vol. 1.
http://vo.hse.ru
187
