CC BY
316ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ В НАЧАЛЬНОЙ ШКОЛЕ
(НА ОСНОВЕ ИНСТРУМЕНТА SAM)
ЕНЧИКОВА ЕКАТЕРИНА СТАНИСЛАВОВНА, научный сотрудник Центра мониторинга качества образования Института образования НИУ ВШЭ E-mail: [email protected] Москва, Российская Федерация
КАРдАНОВА ЕЛЕНА ЮРьЕВНА, директор Центра мониторинга качества образования Института образования НИУ ВШЭ, канд. физ.-мат. наук, доцент E-mail: [email protected] Москва, Российская Федерация
АННОТАЦИЯ. По результатам обучения в начальной школе все дети овладевают необходимыми навыками письма и счета, однако уровень владения этими навыками у детей сильно различается. Инструментарий SAM (Student's Achievement Monitoring) дает нам возможность точно определить, на какой ступени усвоения знаний находится учащийся. В данной статье дается краткое представление инструмента SAM и описаны результаты тестирования SAM в одном из регионов Российской Федерации. Также проведено исследование характеристик образовательной среды, которые могут быть связаны с результатами тестирования учащихся.
КЛЮЧЕВЫЕ СЛОВА: SAM, качество образования, начальная школа, ступени достижений, тестирование.
SB
education quality assessment in primary school
(BASED on SAM TooLKIT)
EKATERINA YENCHIKoVA, Research fellow, Center for Monitoring the Quality in Education, Institute of Education, Higher School of Economics E-mail: [email protected] Moscow, Russian Federation
Elena KARDANoVA, Director, Center for Monitoring the Quality in Education, Institute of Education, Higher School of Economics, PhD in Mathematics E-mail: [email protected] Moscow, Russian Federation
ABsTRAd. By the end of primary school children acquire all the basic literacy and numeracy skills, but proficiency level of these skills varies greatly among children. SAM (Student's Achievement Monitoring) allows us to define the students' proficiency level accurately. This article gives a brief overview of the toolkit, and describes the results of testing in one region of the Russian Federation. It also investigates the characteristics of the educational environment, which may be associated with the students' test results.
KEY words: SAM, the quality of education, primary school, proficiency level, test.
введение
В начальной школе закладывается фундамент всего дальнейшего обучения ребенка, поэтому этот фундамент должен быть прочным. На выходе из начальной школы практически все учащиеся овладевают основными навыками письма и счета. Однако владение навыком может быть на разном уровне. На этом этапе важно оценить уровень учебных достижений школьников — для того чтобы точнее спланировать его дальнейшую учебную траекторию. В этой статье мы представляем инструмент SAM (Student Achievement's Monitoring), который предназначен для оценки учебно-предметных компетенций учащихся на выходе из начальной школы (конец 4-го класса). Важной отличительной особенностью этого инструмента является содержательная проработанность системы оценки образовательных достижений, модель которой базируется на психологической теории Л. С. Выготского и включает механизм диагностики качества усвоения предметного содержания. Это означает, что тестирование дает не только количественную характеристику учебно-предметных компетенций учащихся, но и позволяет выделить содержательно интерпретируемые уровни.
На данный момент разработаны тесты по математике и русскому языку для выпускников начальной школы. SAM адресован школе как средство мониторинга образовательного процесса. Инструмент может использоваться и в рамках деятельности локальной образовательной системы, включающей помимо школ органы управления, институт повышения квалификации, исследовательские учреждения.
Целью данной статьи является краткое представление инструмента SAM, а также результатов проведения тестирования в одном из регионов Российской Федерации.
Первичный анализ результатов обнаружил, что количество школьников, усвоивших программу на разных уровнях, не одинаково и не случайно. Некоторые школы и некоторые классы (даже в одной школе) имеют большее число школьников на более высоких ступенях, а в других преобладают низкие ступени. Актуальной становится задача выявления факторов образовательной среды, связанных с результатами обучения. Ответ на этот вопрос имеет не только теоретическую, но и практическую значимость, так как результаты могут быть применимы для повышения эффективности обучения в начальной школе. Поэтому при анализе результатов тестирования особенное внимание должно быть уделено поиску тех факторов, которые потенциально могут быть изменены на школьном или на региональном уровне. В рамках данной статьи мы ограничились анализом только некоторых интересных факторов, таких как тип учебного заведения, местоположение школы, размер класса и педагогический подход преподавателя.
общая характеристика sam
SAM — это тестовый инструмент для диагностики учебно-предметных компетенций, то есть действенных способностей, формирующихся в результате освоения школьниками предметных дисциплин. Модель SAM разработана группой российских специалистов под руководством П. Г. Нежнова в опоре на теорию культурного развития, очерченную Л. С. Выготским и обогащенную работами его коллег. К настоящему моменту модель реализована в тестах для начальной школы по двум предметам — математике и русскому языку.
теоретические основания
Модель SAM разработана в рамках теории культурного развития, предлагаемой научной школой Л. С. Выготского [1-5]. Ключевым элементом модели выступает трехуровневая таксономия присвоения деятельностного культурного содержания, вписанная в возрастной контекст. Согласно этой таксономии существует три качественных уровня овладения культурным способом действия, которые для краткости можно обозначить как: 1) формально-процедурное знание, 2) концептуальное понимание и 3) функциональная компетентность. Каждый из этих уровней связан с определенным типом ориентировки в предметном содержании и проявляется в способности решать соответствующий класс задач.
Эти уровни являются качественно различными ступенями усвоения знаний и различаются типами полученной ориентировочной основы действия [3]. На уровне формально-процедурного знания действие выполняется по образцу, мера обобщенности способа минимальна и охватывает узкий спектр стандартных ситуаций и соответствующих схем (алгоритмов) действия. Уровень концептуального понимания отличает понимание способа действия, что дает принципиальную возможность решать весь класс задач, отвечающих данному способу. Функциональная компетентность является наивысшим и наиболее адаптивным способом действия, ее отличает не только понимание способа действия, но также и способность изменять способ действия относительно контекста. Для формирования третьего уровня ориентировочная основа действия должна вырабатываться учеником самостоятельно, на основании ориентиров, данных учителем.
Поскольку обучение в школьной программе чаще всего строится по ориентировочной основе действия второго типа, то к концу начальной школы ожидаемым является развитие у учащихся уровня концептуального понимания учебной программы [6]. Уровень функциональной компетентности только начинает развиваться и может быть ожидаем только в отдельных классах,
которые занимаются по специфическим учебным программам. Например, развитие уровня функциональной компетентности можно ожидать в школах с программами развивающего обучения Эльконина-Давыдова или Занкова. Однако это предположение требует экспериментальной проверки.
Описанная уровневая схема положена в основу построения тестов SAM [7, 8]. Уровням освоения способа действия были поставлены в соответствие индикаторы (то есть типы задач), на основе которых были разработаны сами задачи. Конструктивная специфика тестов SAM состоит в том, что при их создании для каждого относительно целостного раздела учебного предмета разрабатывались блоки задач. Каждый блок содержит три задания (1-го, 2-го и 3-го уровня), которые образуют естественную иерархию по трудности. Таким образом, каждый блок является детектором, выявляющим качественный уровень присвоения некоторого раздела учебной программы (определяется по самой трудной задаче блока, которую решил тестируемый). Совокупность блоков позволяет выявить общий уровень присвоения предметного знания учащимся (то есть определить уровень, на котором он находится) .
оценивание участников тестирования sam
Оценивание участников тестирования происходит с использованием двух подходов: нормативно и критериально ориентированного; совмещенных в соответствии с современной теорией тестирования.
В рамках нормативно ориентированного подхода каждому участнику тестирования в результате математической обработки результатов по аналогии с тем, как это делается в международных исследованиях (в качестве модели тестирования используется дихотомическая модель Раша [9]), присваивается интегральный тестовый балл. Тестовые баллы всех участников тестирования находятся на единой метрической шкале, общей для всех участников независимо от времени прохождения теста и конкретного набора заданий, которые они выполняли. Для сообщения тестовых баллов участникам тестирования и заинтересованным лицам используется 1000-балльная шкала со средним около 500 и стандартным отклонением 50.
Для реализации критериально ориентированного подхода разработан ступенчатый вариант шкалы образовательных результатов, основанный на интегральных баллах участников тестирования и пороговых значениях, делящих всех участников на группы, соответствующие качественно различным уровням. Это обеспечивает возможность качественной оценки предметных образовательных результатов через указание ведущего типа ориентировки в решении задач разных уровней.
Разработчиками инструмента было принято, что уровень можно рассматривать как достигнутый, если по крайней мере 50% заданий данного уровня выполнены верно. Всего выделено четыре категории достижений, которые отвечают следующим содержательным критериям:
нижЕ Первой стУПЕни — не освоен даже первый уровень: учащийся выполняет менее 50% заданий первого уровня;
Первая ступень — освоен первый уровень: учащийся выполняет не менее 50% заданий первого уровня;
вторая ступень — освоен второй уровень: учащийся выполняет не менее 50% заданий второго уровня;
третья ступень — освоен третий уровень: учащийся выполняет не менее 50% заданий третьего уровня.
Важно отметить, что речь идет о вероятностных оценках. Пороговая оценка определяет нижнюю границу соответствующей ступени. Если тестовый балл участника «перешагнул» этот порог, соответствующая ступень рассматривается как достигнутая. Это означает, что с вероятностью выше 50% данный участник выполнит более 50% заданий данного уровня. Все участники, результат тестирования которых находится ниже данной границы, считаются не достигшими этой ступени, равно как и всех последующих.
Приведенное деление участников тестирования по ступеням достижений позволяет интерпретировать результаты в терминах уровневой модели оценивания, описанной выше, то есть дать интегральному баллу содержательную интерпретацию.
Методы построения единой шкалы и установления пороговых оценок подробно описаны в [8].
описание исследования
Весной 2012 года проводилось тестирование SAM в Новгородской области Российской Федерации. В тестировании приняли участие практически все учащиеся 4-х (выпускных) классов начальной школы из 134 населенных пунктов, включая региональный центр — город Великий Новгород. Всего было протестировано около 4000 учащихся (47% — мальчики, 53% — девочки) из 189 школ региона. Несомненным достоинством этого исследования является полный охват учащихся 4-х классов, поэтому мы можем сопоставить результаты различных групп школьников. Кроме того, для того чтобы исследовать особенности педагогических практик и их связь с образовательными достижениями учащихся, было проведено дополнительное анкетирование учителей.
Социоэкономические характеристики данного региона (например, средний уровень доходов населения, уровень безработицы, уровень образования населения, соотношение сельского и городского населения и др.) близки к средним показателям по Российской Федерации [10]. Поэтому в некотором роде результаты исследования могут быть обобщены на всю совокупность
выпускников начальной школы страны. Однако степень обобщения зависит от цели исследования. Разумеется, в крупных городах — мегаполисах, в регионах с большой долей мигрантов, в национальных республиках ситуация может иметь свои особенности, и требуется специальное исследование с учетом специфики региона.
В исследовании использовались тесты SAM по математике и русскому языку для начальной школы [8]. Каждый вариант теста включал 15 задачных блоков, то есть 45 тестовых задач. Решение задач оценивалось дихотомически: правильное решение — 1 балл; неверное решение или отсутствие решения — 0 баллов.
Для нашего исследования мы использовали для каждого ученика два показателя — тестовый балл и ступень, на которой находится учащийся. При этом анализ результатов может проводиться не только на уровне отдельных учеников, но и на уровне всего класса. На уровне класса эти переменные представлены как средний балл всех учеников в классе и как количество учеников на каждой ступени. Вторая переменная особенно интересна, так как именно распределение учеников по ступеням наилучшим образом характеризует качество образования в классе.
В данной статье представлены результаты тестирования по математике. С результатами по русскому языку можно ознакомиться, сделав запрос авторам.
первичный анализ результатов тестирования
В таблице 1 представлено распределение учащихся региона по уровням образовательных результатов. На рисунке 1 это же распределение показано графически. Мы видим, что вторая ступень доминирует — ее достигли 53% учащихся. Это согласуется с теоретическим предположением о том, что в нормально функционирующей образовательной системе к концу начальной школы формируется второй уровень предметной компетентности, а третий только начинает развиваться [6].
Таблица 1. Результаты тестирования по математике.
Ступень Число учеников минимальный балл макси- мальный балл Средний балл стандартное отклонение
Ниже первой 78 316 422 403 20
Первая 1051 427 496 472 20
Вторая 2134 499 562 530 18
Третья 693 567 725 592 25
53
Ниже 1 ступени 1 ступень 2 ступень 3 ступень
Рисунок 1. Распределение учащихся по ступеням достижений по математике (в процентах).
С целью сравнительной оценки учебных достижений учащихся можно использовать нормы выполнения теста. Они представляют собой набор показателей, которые устанавливаются эмпирически по результатам выполнения теста четко определенной выборкой испытуемых. Эта выборка должна быть репрезентативной по отношению к генеральной совокупности лиц, для которых предназначен тест, а также быть достаточно большой по объему. В данном случае в тестировании принимали участие все выпускники начальной школы региона, поэтому могут быть установлены нормы выполнения теста для данного региона (региональные нормы).
Нормы могут быть установлены на индивидуальном и на групповом уровнях. На индивидуальном уровне могут быть рассмотрены следующие показатели:
• среднестатистическая индивидуальная норма — средний показатель и стандартное отклонение выполнения теста учащимися выборки (таблица 2);
• процентильные нормы — показатели, основанные на проценте участников тестирования, выполнивших тест на определенном уровне.
Таблица 2. среднестатистические индивидуальные нормы.
Среднее значение Стандартное отклонение
Математика 523 47
В качестве процентильных норм могут быть предложены, например, показатель выполнения теста, соответствующий 90-му процентилю (что означает, что 90% учащихся выполнили тест хуже) и 10-му процентилю (90% учащихся выполнили тест лучше) — таблица 3.
Таблица 3. Процентильные индивидуальные нормы.
10-й процентиль 90-й процентиль
Математика 459 581
Таким образом, если тестовый балл участника тестирования по математике выше 581, то он находится в группе 10% самых лучших; если балл участника меньше 459, то он находится в группе 10% самых худших.
Дополнительно помимо среднестатистических данных на индивидуальном уровне можно выделить усредненные результаты по школам. На этом уровне могут быть рассмотрены следующие показатели:
• среднестатистическая групповая норма - средний по школам показатель выполнения теста и его стандартное отклонение (таблица 4);
• социокультурная норма - средний показатель группы школ-лидеров (таблица 5).
Таблица 4. Среднестатистические групповые нормы.
Среднее значение Стандартное отклонение
Математика 517 34
Группа лидеров - это группа школ (25% от общего числа), имеющих самые высокие показатели. Лидирующая группа школ выступает в качестве ориентира для всего образовательного сообщества, то есть задает социокультурную норму как реалистичную среднестатистическую норму «завтрашнего дня» и дополнительное основание оценки тестовых результатов.
Таблица 5. Социокультурные нормы.
Тестовый балл
Математика 561
Эти нормы являются чисто статистическими, но они помогают интерпретировать результаты тестирования с точки зрения их сравнимости между собой. Так, например, в данном регионе социокультурной нормы достигли 839 учащихся, что составляет немногим более 21% от общего числа выпускников начальной школы.
На рисунке 2 показан профиль образовательных результатов по математике для данной выборки учащихся (средние проценты решенных задач в зависимости от уровня).
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Задачи 1-го уровня
32%
Задачи 2-го уровня Задачи 3-го уровня
Рисунок 2. Профиль по математике для данной выборки учащихся.
Профиль прочитывается относительно просто. Если принять, что тест в нужной пропорции покрывает основные разделы учебного содержания, то шкала первого уровня сообщает, что основная часть этого содержания формально освоена (более 80% задач первого уровня выполнены); вторая шкала показывает, что рефлексивно (с пониманием) усвоено около 60%; и последняя шкала информирует, что функционально усвоено около трети.
На рисунке 3 показано распределение участников тестирования по ступеням достижений в различных школах данного региона (на рисунке представлены 20 школ из 189, отобранных случайным образом). По горизонтальной оси отложен процент учащихся, находящихся на каждой ступени, а по вертикальной оси указаны школы. Для каждой школы в скобках указан средний тестовый балл учащихся данной школы. Школы упорядочены по возрастанию среднего значения общих тестовых баллов.
Рисунок 3. Распределение учащихся разных школ по ступеням достижений (математика).
Таким образом, мы видим, что количество детей на разных ступенях варьируется в зависимости от школы. Так, в школах, расположенных вверху таблицы, доминирует первая ступень, тогда как в школах, расположенных в нижней части таблицы, - третья. В большинстве школ доминирует вторая ступень, что означает, что содержание усвоено на втором (рефлексивном) уровне. Число участников, не достигших первой ступени, невелико даже в школах с низкими результатами.
Интересно сравнить распределение учащихся по ступеням достижений в различных классах одной школы. На рисунке 4 показано такое распределение для одной из школ данного региона, в которой различия между классами особенно показательны.
67%
Усредненные 4А 4Г 4В 4Б
данные по школе
■ Ниже 1 ступени И ступень 12 ступень 13 ступень
Рисунок 4. Распределение по ступеням достижений учащихся различных классов внутри одной школы (математика).
Сравнивая распределения по ступеням достижений в различных классах данной школы, мы видим, что в классах 4А, 4Б и 4В доминирует вторая ступень, а в классе 4Г — первая ступень (что соответствует первому, формальному уровню освоения предметного материала). Самым сильным является класс 4А — почти 20% детей достигли третьей ступени и менее 20% находятся еще на первой ступени. За ним идет класс 4В — 30% детей находятся на первой ступени и более 65% — на второй. Функциональный уровень овладения содержанием в классе 4В практически отсутствует — на третьей ступени находятся не более 5% учащихся. В классе 4Б почти 10% детей не достигли первой ступени — не освоен даже первый уровень, а 30% детей освоили материал на формальном уровне (без понимания).
Таким образом, возникает вопрос — как можно объяснить обнаруженные различия между классами и школами? И какие факторы учебной среды связаны с тем или иным распределением учащихся по ступеням? Для ответа на эти вопросы было проведено специальное исследование, результаты которого будут представлены ниже.
образовательная среда и ее характеристики
Образовательная среда относится к тем терминам, которые понятны на интуитивном уровне, но которым тяжело дать точное определение из-за многообразия проявлений. В настоящее время существует несколько опре-
делений этого термина, которые не противоречат друг другу, но определяют этот термин с разных сторон.
Образовательная среда в широком смысле включает в себя все факторы, связанные с обучением, а поскольку в современном мире многие продолжают свое образование на протяжении всей жизни, то сюда могут входить самые разнообразные факторы. В узком смысле образовательная среда чаще всего понимается как набор школьных характеристик, важных для обучения. То есть, когда ребенок поступает в первый класс, он попадает в школьную образовательную среду, которая сопровождает его на протяжении всего обучения в школе и оказывает влияние на его учебные достижения. Говоря о конкретной среде, с которой сталкивается учащийся в школе, исследователи выделяют различные ее характеристики, разного уровня обобщенности. От конкретных показателей (размер класса, температура воздуха в аудиториях, вентиляция, материальное обеспечение учебного процесса) до более общих, таких как образовательная политика школы.
Характеристики образовательной среды школьников можно разделить на две большие группы по зоне ответственности — школьные и внешкольные: за школьные характеристики отвечает школа и государство, а за внешкольные — семья и сам учащийся. При этом школа не может (или в ограниченной степени может) влиять на внешкольные характеристики. К школьным характеристикам можно отнести тип школы, учебную программу и учебно-методический комплекс (УМК), материальное обеспечение и т.д., а также характеристики на уровне класса — размер класса, учебные цели и задачи, качество преподавания, методы преподавания, педагогические подходы и т.д. Именно школьные характеристики, которые могут быть объектом коррекции со стороны школы или государства, находятся в фокусе нашего исследования.
Инструментарий SAM позволяет фиксировать некоторые контекстные характеристики для того, чтобы проанализировать, какие факторы образовательной среды связаны с результатами обучения в начальной школе. Набор контекстных характеристик может варьироваться в зависимости от того, какие задачи ставит регион для исследования.
В данной статье мы рассматриваем только небольшую часть характеристик образовательной среды, которые были зафиксированы с помощью учительской анкеты и технической информации.
первичный анализ факторов, оказывающих влияние на результаты обучения в начальной школе
В данном разделе представлены результаты анализа связи результатов тестов SAM по математике с некоторыми факторами — типом учебного заведения, местоположением школы, размером класса и педагогическим подходом преподавателя.
связь между результатами sam по математике и типом учебного заведения
Общепринято считать, что гимназии дают лучшие образовательные результаты по сравнению с общеобразовательными школами. Однако на данный момент нет стандартного списка требований, которым должно отвечать общеобразовательное учреждение, чтобы получить статус гимназии. Обычно в гимназиях лучше материальная база и выше квалификация учителей. Результаты тестирования инструментом SAM позволяют проверить, действительно ли результаты детей в гимназиях отличаются от результатов детей в общеобразовательных школах на выходе из начальной школы.
В Новгородской области на период проведения исследования в гимназиях обучались 15% учащихся 4-х классов. Статистически было показано (методы — Т-Тест и критерий хи-квадрат), что связь между результатами тестирования SAM по математике (тестовым баллом и ступенью достижений) и типом учебного заведения есть: учащиеся из специализированных школ (гимназий) выполняют тест лучше, чем учащиеся из общеобразовательных школ.
На рисунке 5 изображено распределение участников тестирования по уровням достижений по математике в зависимости от типа учебного заведения. Мы видим, что на второй ступени находится чуть более 50% детей как в гимназиях, так и в общеобразовательных школах. Это важный результат, так как согласно теории, которая лежит в основе инструмента, в нормальной образовательной ситуации к концу начальной школы учебное содержание может быть освоено на втором (рефлексивном) уровне, а перехода на функциональный уровень следует ожидать позже, к концу основной школы [6]. Таким образом, как в гимназиях, так и в общеобразовательных школах половина детей достигает второго уровня, что означает, что в общеобразовательных школах не хуже, чем в гимназиях, у детей развивается рефлексивное понимание предмета. Однако если мы обратим внимание на распределение оставшихся 50% детей, то обнаружим, что к концу начальной школы в гимназиях больший процент детей по сравнению с общеобразовательными школами (а именно около 30% по сравнению с 15%) находится на третьем уровне (профессиональной компетентности). И, напротив, в общеобразовательных школах больше детей, чем в гимназиях, находится на первом уровне (формального знания) — примерно 30% против 15%.
Таким образом, можно сделать вывод о том, что, с одной стороны, различия между типами школ статистически значимы и гимназии имеют более высокие результаты по тесту. Но, с другой стороны, эти различия влияют только на достижение учащимися самого высокого третьего уровня (в гимназиях больший процент находится на уровне профессиональной компетентности), в то время как 50% детей с одинаковым успехом достигают второго уровня вне зависимости от типа школы.
53% 54%
Общеобразовательная школа Гимназия
■ Ниже 1 ступени 11 ступень 12 ступень 13 ступень
Рисунок 5. Распределение участников тестирования по ступеням достижений в зависимости от типа учебного заведения (математика). связь между результатами sam по математике и типом населенного пункта
Школы различаются между собой по месту расположения. Обычно в городских школах в классах обучается большее количество детей. Различается финансовое обеспечение школ в городах и в селах и, как следствие, условия обучения детей. Также нельзя игнорировать и культурные различия между городскими и сельскими жителями — разный уклад жизни, различное отношение к образованию, наличие возможностей дополнительного образования.
Результаты тестирования инструментом SAM позволяют проверить, действительно ли есть различия в образовательных достижениях между школами, расположенными в разных типах населенных пунктов.
Мы выделили три типа населенных пунктов для нашего исследования. В городах проживает абсолютное большинство школьников — 72%. Гораздо меньшее число школьников проживают в поселках городского типа и в деревнях (по 14%). Статистически было показано (метод — дисперсионный анализ и хи-квадрат), что связь между результатом тестирования по математике (тестовым баллом и ступенью достижений) и типом населенного пункта есть: учащиеся из городов выполняют тест лучше учащихся из поселков, а учащиеся из поселков — лучше, чем учащиеся из сельской местности.
На рисунке 6 показано распределение учащихся по ступеням достижений в зависимости от типа населенного пункта. Если обратить внимание на распределение учащихся по ступеням достижений, то видно, что во всех трех случаях наибольшее число учащихся находятся на второй ступени. Однако распределение учащихся по остальным уровням отличается: процент детей на третьей ступени выше всего в городах и уменьшается в поселках и деревнях. Обратная картина по проценту детей на первой ступени — в деревнях он выше всего.
60%
50%
40%
30%
20%
10%
0%
Город Поселок и поселок Село и деревня
городского типа
Рисунок б. Распределение участников тестирования по ступеням достижений в зависимости от типа населенного пункта (математика).
На дальнейшем этапе мы проверили гипотезу о том, есть ли различия в результатах SAM между учащимися из областного центра (г. Великий Новгород) и учащимися из области. Для этого мы также сравнили средний балл (с помощью дисперсионного анализа) и оценили различия в распределении по ступеням (критерий хи-квадрат). На рисунке 7 показано распределение по уровням достижений учащихся из города Великий Новгород и области: различия между ними статистически значимы. Большинство учащихся ожидаемо находятся на втором уровне усвоения учебного материала (рефлексивном). В Великом Новгороде результаты немного лучше — больший процент детей находится на втором и третьем уровнях.
Область Великий Новгород
■ Ниже 1 ступени 11 ступень 12 ступень 13 ступень
Рисунок 7. Распределение участников тестирования по ступеням достижений в зависимости от расположения школы (математика).
Таким образом, мы можем сделать вывод, что результаты тестирования по математике статистически значимо различаются в зависимости от типа населенного пункта: учащиеся городов и поселков выполняют тест лучше, чем учащиеся сельской местности; лучше всех выполняют тест учащиеся из Великого Новгорода.
связь между результатами SAM по математике и размером класса
На рисунке 8 представлено распределение классов, участвовавших в исследовании, по количеству учащихся. Мы видим, что характер распределения бимодальный, что означает, что можно выделить два типа классов — малые и большие. К малым мы относим классы, в которых обучается менее 11 учащихся, к большим — классы, в которых обучается не менее 11 учащихся (максимальное число учащихся в одном классе равно 33). Всего в анализе участвовало 76 малых классов и 152 больших. Таким образом, в малых классах работали треть всех учителей начальной школы, в то время как обучались менее 10% учеников.
Методами статистического анализа (метод — дисперсионный анализ) было показано, что связь между результатами тестирования по математике и размером класса отсутствует: результаты детей, обучающихся в малых и больших классах, статистически значимо не различаются.
____________________________________________________________________ос
Рисунок 8. Распределение классов по количеству учащихся.
Также было проведено сравнение классов по распределению учеников по ступеням. На рисунке 9 показано распределение учащихся по ступеням образовательных достижений в зависимости от размера класса. Различия были обнаружены только для крайних ступеней (анализ проводился с помощью непараметрического критерия Манна-Уитни).
50%
43%
Большие классы Малые классы < 11
■ Ниже 1 ступени 11 ступень 12 ступень 13 ступень
Рисунок 9. Распределение участников тестирования по ступеням достижений в зависимости от размера класса (математика).
Стоит отметить, что в малых классах в категории ниже первой ступени достижений (да и в категории третьей ступени также) находится небольшое число учащихся. Таким образом, обнаруженные различия могут быть объяснены случайностью. В дальнейшем необходимо проверить практическую значимость этих различий.
Основные выводы анализа: связь между результатами тестирования по математике и размером класса отсутствует: тестовые баллы детей, обучающихся в малых и больших классах, статистически значимо не различаются. В настоящее время мы не имеем достаточно информации, чтобы констатировать, что размер класса является значимым фактором успешности обучения в начальной школе.
связь педагогических подходов учителя и образовательных результатов в начальной школе
Роль учителя в образовании сложно переоценить. Особенно значима личность учителя в начальной школе, так как один педагог ведет в начальной школе все основные предметы и именно с ним дети проводят большую часть времени в школе. Таким образом, характеристики учителя являются неотъемлемым фактором образовательной среды.
В рамках данного исследования мы изучали убеждения учителей о преподавании, поскольку они непосредственно связаны с педагогической деятельностью учителя и, как следствие, с результатами обучения школьников. Мы использовали модель оценки убеждений учителей, которая была предложена ОЭСР для исследования TALIS (Teaching and Learning International Survey) [11]. В рамках данной модели убеждения учителей об обучении включают «традиционные», ориентированные на прямую передачу знаний, и «конструктивистские», ориентированные на построение знаний самими учащимися с помощью специально организованной деятельности.
С целью изучения связи педагогических подходов учителя и образовательных результатов в начальной школе было дополнительно проведено анкетирование учителей классов, участвовавших в тестировании SAM. Анкетирование учителей проходило осенью 2012 года. В нем приняли участие 228 учителей. По причине того, что анкетирование учителей проводилось позже тестирования детей, нам не удалось опросить всех 293 учителей (часть учителей уволились, были в отпуске или вышли на пенсию, некоторые отказались участвовать), но тем не менее большинство учителей приняли участие в опросе.
В рамках данного исследования мы работали с уже готовой учительской анкетой, разработанной И.М. Улановской для тестирования SAM. Однако данная анкета была нами адаптирована для проведения данного исследования. На основе анкеты были выделены шкалы, которые мы условно назвали «конструктивизмом» и «традиционализмом».
На первом этапе была оценена связь между педагогическими подходами учителя и результатами обучения его учеников (метод — корреляционный анализ). Было обнаружено, что конструктивизм положительно связан с результатами обучения. Это означает, что чем выше уровень конструктивизма у учителя, тем более высокие тестовые баллы в среднем имеют его ученики. Конструктивизм также положительно связан с количеством учащихся в классе на третьей ступени и отрицательно с количеством учащихся на первой и ниже первой ступенях. Это означает, что чем выше уровень конструктивизма у учителя, тем больше детей в этом классе достигают третьего уровня развития учебной компетентности и тем меньше детей остаются на первом уровне или не достигают даже его. При этом традиционный подход не имеет значимых связей с результатами обучения — ни с тестовыми баллами, ни с распределением детей по уровням.
Для более детального анализа было проведено дополнительное исследование. Совокупность всех классов была разбита на группы по количеству детей на каждой ступени (метод — кластерный анализ). В итоге мы получили четыре группы классов:
• группа 1, в которой доминирует первый уровень (большинство детей находятся на первой ступени);
• группа 2, в которой доминирует второй уровень (большинство детей находятся на второй ступени);
• группа 3, в которой доминирует третий уровень (большинство детей находятся на третьей ступени);
• группа малых классов, в которых малое количество детей и, как следствие, мало детей на каждом уровне.
Распределение классов по кластерам показано на рисунке 10.
80 70 60 50 40 30 20 10 0
Рисунок 10. Распределение классов по кластерам.
Распределение учащихся по ступеням внутри каждой группы (в абсолютном количестве) показано на рисунке 11.
Ступени
Ниже первой Первая Вторая Третья
Малые классы
Рисунок 11. среднее количество учащихся на каждой ступени.
На следующем этапе мы сравнили эти кластеры между собой по уровню конструктивизма и традиционализма учителей, преподающих в этих классах. На рисунке 12 представлены средние баллы учителей по уровню конструктивизма и традиционализма. Следует отметить, что баллы по шкалам конструктивизма изначально выше, так как вопросы этих шкал более привлекательны для учителей. Однако внутри каждой шкалы можно наблюдать, что баллы по традиционализму практически не меняются между кластерами, в то время как баллы по конструктивизму отличаются от кластера к кластеру. Более точно, уровень конструктивизма у учителей, преподающих в кластерах 2 и 3 (доминирует вторая или третья ступень соответственно), существенно выше, чем у учителей, преподающих в кластере 1 (доминирует первая ступень).
Различия между кластерами были подтверждены статистическим анализом (методы - дисперсионный анализ и Post-Hoc-анализ). Конечно, здесь невозможно говорить о каузальной связи между этими феноменами, однако это показывает, что конструктивистские убеждения и практики учителя связаны с хорошими образовательными результатами.
Рисунок 12. сравнение кластеров по уровню конструктивизма и традиционализма учителей.
ЗАКЛЮЧЕНИЕ
Данная статья имела две цели. Во-первых, представить кратко инструмент SAM, предназначенный для оценки учебно-предметных компетенций выпускников начальной школы. Во-вторых, показать, как инструмент может быть использован на региональном уровне. Помимо общей картины качества начального школьного образования в регионе, возможно проведение дополнительных исследований с целью выявления характеристик образовательной среды, связанных с результатами обучения в начальной школе (в контексте трехуровневой схемы присвоения деятельностного культурного содержания, предлагаемой в SAM). В статье показан пример такого исследования. Однако список анализируемых характеристик образовательной среды может быть расширен. Например, безусловный интерес вызывает сравнительная эффективность различных программ обучения. В случае сбора необходимой информации об используемых программах, квалификации учителей, условиях обучения в школе и об особенностях преподавания в соответствии с различными программами такой вопрос вполне может быть поставлен.
СПИСОК ЛИТЕРАТУРЫ
1) Выготский, Л. С. История развития высших психических функций / Л. С. Выгодский // Собр. соч. В 6 т. Т. 3.— М.: Педагогика, 1983. — С. 5-328.
2) Выготский, Л. С. Мышление и речь / Л. С. Выгодский // Собр. соч. В 6 т. Т. 2. — М.: Педагогика, 1982. — С. 5-361.
3) Гальперин, П. Я. Психология как объективная наука / П.Я. Гальперин.— М., 1998.
4) Давыдов, В. В. Теория развивающего обучения / В. В. Давыдов. — М.: ИН-ТОР, 1996.
5) Эльконин, Д. Б. Избранные психологические труды / Д. Б. Эльконин. — М.: Педагогика, 1989.
6) Исследование процесса присвоения учебного содержания / П. Г. Нежнов, Е. Ю. Карданова, Л. А. Рябинина // Вопросы образования. — 2013. — № 4.— C. 168-187.
7) Оценка результатов школьного образования: структурный подход / П.Г. Нежнов, Е.Ю. Карданова, Б.Д. Эльконин // Вопросы образования.— 2011.— № 1.— С. 26-43.
8) SAM (Student Achievement Monitoring): Инструмент мониторинга учебных достижений школьников / П.Г. Нежнов, Е.Ю. Карданова, Б.Д. Эльконин [и др.]; ред. П. Г. Нежнов, Е. Ю. Карданова // CICED — Центр международного сотрудничества по развитию образования [Электронный ресурс]: сайт. — Режим доступа: http://www.ciced.ru/conference2012/SAM_Framework_rus.pdf.
9) Карданова, Е. Ю. Моделирование и параметризация тестов: основы теории и приложения / Е. Ю. Карданова. — М.: Федеральный центр тестирования, 2008. — 304 с.
10) Социально-демографический портрет России (по итогам Всероссийской переписи населения 2010 года). Официальное издание / Федеральн. служба гос. статистики. — М.: Статистика России, 2012 // Федеральная служба государственной статистики [Электронный ресурс]: сайт. — Режим доступа: http://www.gks.ru/free_doc/new_site/perepis2010/croc/Documents/portret-russia.pdf.
11) Creating Effective Teaching and Learning Environments: First Results from TALIS / Organisation for Economic co-operation and Development // OECD [Электронный ресурс]. — Режим доступа: http://www.oecd.org/ berlin/43024880.pdf.
