CC BY
17Гехнология и практика ОБУЧЕНИЯ
КАКИЕ МОНИТОРИНГИ и контрольно-измерительные материалы по русскому языку нужны школе?
Марина Ивановна Кузнецова,
ведущий научный сотрудник сектора начального образования Института содержания и методов обучения РАО, кандидат педагогических наук
В последнее время всё чаще проводятся мониторинга федерального, регионального или муниципального уровней как независимое оценивание качества начального образования. Для определения эффективности этих мониторингов центральным становится вопрос о том, с какой целью могут быть использованы данные о состоянии образовательных достижений выпускников начальной школы.
• предметная оценка качества • внешний и внутренний мониторинг
• контрольно-измерительные материалы • надёжность • инструментарий
Данные
Достоверные данные составляют основу повышения качества начального образования, помогая системе образования стать более гибкой и быстрее адаптироваться к потребностям учащихся и общества. Систематический и регулярно повторяющийся сбор данных об уровне образова-
тельных достижений младших школьников не только в конце обучения в начальной школе, но и по годам обучения, проводимый на федеральном, региональном, муниципальном уровнях, имеет огромный потенциал для повышения качества начального образования. Важно, чтобы органы управления образованием
М.И. Кузнецова. Какие мониторинга и контрольно-измерительные материалы по русскому языку нужны школе?
различных уровней принимали решения о необходимости тех или иных изменений в начальном образовании, руководствуясь не только здравым смыслом, но и опираясь на объективные данные мониторинговых исследований. На необходимость дальнейшего развития системы мониторинга качества общеобразовательной подготовки учащихся начальной, основной и старшей школы на основе современных контрольно-измерительных материалов указывается как в Законе об образовании в РФ, так и в подпрограмме «Развитие системы оценки качества образования и информационной прозрачности системы образования» Государственной программы «Развитие образования» на 2013—2020 годы», принятой распоряжением Правительства РФ от 22 ноября 2012 г. № 2148-р. Необходимо создавать соответствующий стандартизированный инструментарий, координировать действия на федеральном, региональном, муниципальном и школьном уровнях, определять разумную периодичность их проведения. Актуален вопрос об интегрированном банке стандартизированных измерительных материалов для мониторингов в начальной школе.
Инструментарий
Разработка инструментария для мониторингов разного уровня — дело сложное. На начальных этапах целесообразнее на федеральном уровне разрабатывать качественный инструментарий, позволяющий оценивать основные образовательные достижения выпускников начальной школы, анкеты для сбора контекстной информации, программы обработки результатов и анализа полученных данных. При мони-торингах образовательных достижений и анализе результатов возникает ряд проблем, требующих своего решения. Первая проблема: необходимость учитывать вариативность начального образования. Количество различных учебников по отдельным предметам приближается к двадцати. Авторские коллективы выстраивают последовательность изучения программного материала исходя из собственной концепции и разработанных авторских
программ. При составлении мониторинговых работ по годам обучения необходимо находить то общее, что есть во всех использующихся программах и учебниках. Вторая проблема: установление правильных параметров выборки для мониторинга. При мониторинговых исследованиях не ставится задача вовлечь в исследование всех учащихся данного возраста, но для того, чтобы данные, полученные на выборке, отражали общую картину, позволяли делать обоснованные выводы, необходимо учитывать соотношение городских и сельских школ, малокомплектных и школ с обычной наполняемостью, общеобразовательных школ, гимназий, лицеев и т.д.
Ещё одна проблема — составление комплекса анкет для сбора контекстной информации, таких её составляющих, как тип образовательного учреждения, его местоположение, социально-экономический статус семьи ученика. Без собранной и правильно проанализированной контекстной информации невозможно сделать адекватные выводы и принять правильные решения.
Таким образом, основная цель внешнего мониторинга — обеспечить обратную связь, осведомляющую о соответствии результатов деятельности образовательной системы её приоритетным целям. Обратная связь становится особенно актуальной в период реформирования системы, смены государственных образовательных стандартов. Именно такой период переживает сейчас начальное образование. Мониторинговые исследования имеют большой потенциал для повышения уровня образовательных достижений, но для того, чтобы этот потенциал использовать, необходимо чётко определить цели и содержание мониторинговых исследований, обосновать критерии, показатели, шкалы и контрольно-измерительные материалы, разработать инструментарий для мониторинговых исследований с применением стандартизированных методик и процедур оценки, современных методов обработки данных и анализа результатов.
Не менее важная цель внешнего мониторинга — создание надёжного инструментария для внутришкольного и внутриклассного монито-рингов образовательных достижений младших школьников. При внешних мониторингах на значительных выборках используются современные средства введения и обработки данных, статистические данные обрабатываются с использованием профессиональных программ высокого уровня. Всё это позволяет получить современный инструментарий, на основании которого могут быть созданы контрольно-измерительные материалы для текущего оценивания педагогом индивидуальных образовательных достижений учащихся класса. Инструментарий с хорошими показателями по таким параметрам, как валидность и надёжность, позволяет педагогу объективнее оценить уровень своих учеников. При использовании инструментария внешнего мониторинга при внутриклассном оценивании в первую очередь контролируется индивидуальная динамика продвижения каждого ученика, диагностируются трудности. Анализ результатов работ, построенных на контрольно-измерительных материалах внешнего мониторинга, позволяет педагогу понять характер трудностей ученика и их причины.
Такой потенциал у отрабатываемых в процессе внешнего мониторинга материалов, безусловно, есть. Полученные на значительных репрезентативных выборках данные позволяют выявить общую картину образовательных достижений, характерную для российских младших школьников определённого возраста. Это позволяет разграничить проблемы с уровнем подготовки, свойственные всем российским школьникам, и индивидуальные проблемы каждого конкретного ученика: такое разграничение очень важно, поскольку пути преодоления этих проблем принципиально различны. Общие проблемы необходимо проанализировать с точки зрения причин, их вызвавших — это могут быть возрастные особенности, не позволяющие овладеть определёнными компонентами образовательной подготовки, или проблемы методики обучения. В соответствии с выявленными причинами пути устранения проблем могут быть разными: пересмотр программ обучения, их коррекция по объёму и содержанию, доработка методики обучения.
Анализ успешности
Одна из целей внешнего мониторинга — сравнительный анализ успешности образовательных достижений младших школьников, обучающихся по разным программам и учебникам. Повышается уровень требований к составлению выборки младших школьников, участвующих в мониторинге, так как вводится ещё один параметр — наличие в выборке примерно одинаковых подгрупп учащихся, обучающихся по разным учебно-методическим комплектам. Это усложняет подготовительный этап внешнего мониторинга, но имея результаты равных по количеству, по пропорции сельских и городских школ, по пропорции разных типов образовательных учреждений, выборок учащихся, обучающихся по разным учебно-методическим комплектам, мы получаем возможность дифференцировать проблемы, свойственные всем учащимся данного возраста, и проблемы подготовки, характерные для определённой ситуации обучения. Используя материалы внешнего мониторинга при внутреннем контроле и статистические данные о выполнении заданий, педагог получает возможность разграничить трудности по крайней мере, четырёх типов: характерных для всей выборки; характерных для того учебно-методического комплекта, по которой он ведёт обучение; характерных только для его класса; индивидуальных трудностей отдельных учеников. Такое разграничение необходимо для выработки продуманной стратегии устранения трудностей, определения направлений дифференцированной и индивидуальной работы.
Проект
Проиллюстрируем приведённые выше положения на материале работ по русскому языку, проводимых в апреле-мае 2012/13 учебного года в рамках трёхлетнего проекта Министерства образования и науки РФ «Доработка, апробация и внедрение инструментария и процедур
М.И. Кузнецова. Какие мониторинга и контрольно-измерительные материалы по русскому языку нужны школе?
оценки качества начального общего образования в соответствии с Федеральными государственными образовательными стандартами». В проекте этого года участвовали 77 285 выпускников начальной школы из 3 709 четвёртых классов 1491 школы 33 регионов страны. Апробированный в течение двух лет инструментарий оценки качества начального общего образования внедрялся по двум направлениям: оценка индивидуальных достижений выпускников начальной школы по математике, русскому языку и окружающему миру; оценка состояния системы начального образования и тенденций её изменения.
Итоговая работа по русскому языку № 1 была предназначена для процедуры итоговой оценки индивидуальных достижений учащихся в школе по предметной области «Филология: Русский язык. Родной язык». Эту работу весной 2013 года выполнили 41 576 учащихся из 2 207 школ. Основной целью работы № 1 была оценка способности выпускников начальной школы применять полученные знания для решения средствами русского языка разнообразных задач учебного и практического характера. Работа строилась на материале планируемых результатов, которые относятся к блоку «Выпускник научится». Полнота проверки обеспечивалась за счёт заданий, составленных на материале основных разделов курса русского языка в начальной школе: фонетика, состав слова, морфология, синтаксис, правописание, развитие речи.
Задания, включённые в работу № 1, можно разделить на две группы. Первую группу составляют задания, позволяющие проверить освоение базовых знаний и умений по предмету; учащимся предлагаются стандартные учебные или практические задачи, способы решения которых отрабатывались на уроках русского языка. Вторую группу составляют задания, проверяющие способность учащихся решать учебные или практические задачи по русскому языку, в которых нет явного указания на способ выполнения; для детей основную сложность при выполнении этих зада-
ний представляет выбор способа решения из тех, которыми они овладели. Задания, составляющие эту группу, могут быть названы заданиями повышенного уровня сложности, их выполнение или невыполнение не влияет на оценку базовой подготовки по предмету: прежде всего, работа направлена на проверку подготовки учащихся на базовом уровне и возможность зафиксировать достижение учеником этого уровня. За счёт включения заданий повышенного уровня сложности, также составленных на основе планируемых результатов блока «Выпускник научится», работа даёт возможность осуществить более тонкую дифференциацию учащихся по уровню подготовки и зафиксировать достижение четвероклассниками обязательных для овладения планируемых результатов на базовом и повышенном уровне.
Итоговая работа по русскому языку № 2 была предназначена для процедуры оценки состояния системы начального образования в рамках мониторинговых исследований по предметной области «Филология: Русский язык. Родной язык». Эту работу весной 2013 года выполнили 30 754 учащихся из 1444 школ. Работа № 2 преследовала две основные цели: 1) проверка и оценка способности выпускников начальной школы применять полученные в процессе изучения русского языка знания для решения разнообразных задач учебного и практического характера средствами русского языка; 2) проверка и оценка максимальных возможностей учащихся применять полученные знания и умения в процессе решения творческих задач. В отличие от работы № 1, работа № 2 включала задания, оценивающие достижение планируемых результатов не только блока «Выпускник научится» (они относятся к содержанию, которое должно обязательно изучаться, а его усвоение каждым учеником контролироваться), но и блока «Выпускник получит возможность научиться»: они относятся к содержанию обучения, которое не становится объектом обязательного контроля и индивидуальной оценки образователь-
ных достижений, но при этом может проверяться в мониторинговых исследованиях качества начального образования для оценки системы начального образования. Работа № 2, кроме заданий базового и повышенного уровня сложности, включала ещё и задания высокого уровня сложности, что позволило оценить максимальные возможности учащихся. Таким образом, результаты выполнения работы № 2 дали возможность охарактеризовать состояние системы начального образования через определение уровня базовой подготовки учащихся и их способности выполнять задания повышенного и высокого уровня сложности. Выполнение проверочных работ, определяющих успешность обучения русскому языку в начальной школе, помогает выявить уровень усвоения знаний, умений и навыков, без которых невозможно продолжать обучение в основной школе; уровень овладения учащимися способами действий с полученными знаниями; влияние обучения русскому языку на общее развитие учащихся.
Общие результаты выполнения работы № 1, которые представлены в таблицах 1 и 2, мож но охарактеризовать следующим образом: • успешность выполнения работы (средний % от максимального балла за всю работу) — 62%;
• достижение базового уровня по русскому языку (ФГОС второго поколения, 2009 г.): если брать за основу критерий 1 (выполнение 50% и более заданий базового уровня): 89% учащихся достигли базового уровня подготовки; если брать более жёсткий критерий (выполнение 65%
и более заданий базового уровня): 77% учащихся достигли уровня базовой подготовки. Критерий 1 применяется в переходный период апробации инструментария оценки достижения ФГОС НОО 2009 года на выборке учащихся, не проходивших обучение по данному стандарту; в ситуации, когда данный инструментарий будет использован для оценки достижений учащихся, прошедших обучение в начальной школе по ФГОС НОО, будет использоваться критерий 2;
• успешно выполнено в среднем 76% заданий базового уровня;
• успешно выполнено в среднем 43% заданий повышенного уровня.
Общие результаты выполнения работы № 2, представленные в таб. 3, показывают:
• успешность выполнения всей работы (средний % от максимального балла за всю работу) составил 65%;
Таблица 1
Общие данные о выполнении работы № 1
Успешность выполнения работы (средний % от максимального балла за всю работу) Не достигли базового уровня (ФГОС НОО 2009 г.) (% учащихся, не достигших базового уровня): выполнили менее 50% заданий базового уровня Достигли базового уровня (ФГОС НОО 2009 г.) (% учащихся, достигших базового уровня)
Критерий 1: выполнили от 50% до 100% заданий базового уровня Критерий 2: выполнили от 65% до 100% заданий базового уровня
62 11 89 77
Таблица 2
Данные о выполнении заданий базового и повышенного уровня сложности
Общий балл (процент от максимального балла за выполнение всей работы) % выполнения заданий базового уровня (процент выполненных заданий базового уровня) % выполнения заданий повышенного уровня (процент от максимального балла за выполнение заданий повышенного уровня)
62 76 43
Результаты
М.И. Кузнецова. Какие мониторинга и контрольно-измерительные материалы по русскому языку нужны школе?
• успешность выполнения заданий из раздела планируемых результатов «Выпускник научится» ФГОС НОО 2009 г. — 68%, причём средний процент выполнения заданий базового уровня — 73%, а заданий повышенного уровня — 59%;
• успешность выполнения заданий из раздела планируемых результатов «Выпускник получит возможность научиться» ФГОС НОО 2009 г. составила 52%.
Эти данные о выполнении работы № 2 говорят, что в среднем выпускники начальной школы 2013 года освоили 68% планируемых результатов по русскому языку, обязательных для освоения всеми учащимися, и 52% планируемых результатов, являющихся пропедевтикой для продолжения образования в основной школе.
Данные о выполнении работы № 2 интересны тем, что можно сравнивать успешность выполнения заданий, построенных на материале планируемых результатов «Выпускник научится», и заданий, построенных на материале планируемых результатов «Выпускник получит возможность научиться», т.е. не обязательных для усвоения.
Данные подтверждают предположение о том, что чем лучше учащиеся класса выполняют
задания на материале планируемых результатов «Выпускник научится», тем лучше они выполняют и задания на материале планируемых результатов «Выпускник получит возможность научиться» и наоборот. Тем не менее, есть и отдельные исключения, т.е. есть классы, где такой закономерности не наблюдается.
Проведённые работы оценивались с точки зрения соответствия требованиям к измерениям в психологии и педагогике.
Надёжность работы № 2 равна 0,77.
Таким образом, общие данные выполнения работы № 1 и работы № 2 свидетельствуют о реалистичности предметных требований по русскому языку, сформулированных в пункте 12.1 ФГОС НОО и конкретизированных в планируемых результатах по русскому языку.
Одна из задач мониторингов — получить точную информацию для дифференцированного подхода, а целесообразность мониторинговых работ определяется возможностью использовать полученные результаты как основу индивидуализации процесса обучения, индивидуального подхода в ходе дальнейшего обучения.
Таблица 3
Общие данные о выполнении работы № 2
Успешность выполнения всей работы определяется как % от максимального балла за выполнение всех заданий Успешность выполнения заданий из раздела планируемых результатов «Выпускник научится» (ФГОС НОО 2009 г.) определяется как средний % от максимального балла за выполнение заданий Успешность выполнения заданий из раздела планируемых результатов «Выпускник получит возможность научиться» (ФГОС НОО 2009 г.) определяется как средний % от максимального балла за выполнение заданий
Все задания Задания базового уровня Задания повышенного уровня
65 68 73 59 52
Работа № 1 Вариант 1 Вариант 2 Вариант 3 Вариант 4
Стандартная ошибка измерения 2.24 2.31 2.24 2.27
Надёжность (коэффициент Альфа Кронбаха) 0.82 0.81 0.82 0.82
Для этого мониторинг должен позволять дифференцировать учащихся и классы по степени успешности выполнения работы. Детальный анализ выполнения работ по разделам программы и с учётом данных о выполнении каждого задания позволяет как всей системе начального образования, так и авторам учебников и каждому учителю сориентироваться в сильных и слабых сторонах подготовки по русскому языку выпускников начальной школы.
Анализ результатов выполнения работы № 1 и работы № 2 позволил выделить сильные стороны в подготовке выпускников начальной школы по русскому языку.
Результаты работы № 1, сгруппированные по основным разделам программы, представлены на рисунке 1.
Максимально высокий процент выполнения зафиксирован по заданиям базового уровня сложности, позволяющих оценить планируемые результаты разделов «Морфология» и «Синтаксис».
Очень хорошо справились выпускники начальной школы с заданиями, позволяющими оценить: • умение находить в тексте имена существительные, имена прилагательные, глаголы, предлоги; умение заполнять таблицу, записывая по два примера (процент выполнения равен 83,8%); умение находить имена существительные (процент выполнения равен 86,55%); уме-
ние находить глаголы (процент выполнения равен 85,58%);
• умение находить в предложении подлежащее и сказуемое (процент выполнения равен 91,75%).
Особенность выполнения заданий по разделу «Состав слова» — зависимость количества выполненных заданий от включённых в него слов. Процент выполнения заданий, связанных с умением находить в словах с однозначно выделяемыми морфемами окончание, корень, суффикс, приставку, с умением находить слова, соответствующие предложенной схеме состава слова, колеблется от 64,8% до 90,5%, при этом учащимся легче находить схему состава слова, соответствующую предложенному в задании слову, чем находить слово, соответствующее предложенной в задании схеме.
В содержательной линии «Орфография» высокий процент выполнения зафиксирован по заданиям базового уровня сложности, позволяющих оценить такой планируемый результат, как:
• умение находить правильное объяснение написания слов с орфограммой «Проверяемые безударные гласные в корне слова» (процент выполнения — 82,15%).
80 78 76 74 72 70 68 66 64 62 60
78 07
Фонетика Состав слова Морфология Синтаксис Орфография Развитие речи и графика
Рис. 1. Процент выполнения заданий базового уровня в работе № 1 по основным разделам программы
М.И. Кузнецова. Какие мониторинга и контрольно-измерительные материалы по русскому языку нужны школе?
В содержательной линии «Развитие речи» высокий процент выполнения зафиксирован по заданиям базового уровня сложности, направленных на оценку такого планируемого результата, как:
• умение осуществлять выбор адекватных языковых средств в общении с людьми разного возраста (процент выполнения —
83,3%).
«Болевые» точки
Анализ результатов выполнения работы № 1 и работы № 2 позволил выделить и несколько «болевых» точек в подготовке выпускников начальной школы по русскому языку.
В содержательной линии «Система языка» недостаточно высокий процент выполнения зафиксирован по заданиям базового уровня сложности, позволяющих оценить следующие планируемые результаты:
• умение различать звуки и буквы (процент выполнения в работе № 2 — 62%, в 2012 году он был равен 63%);
• умение характеризовать звуки русского языка: согласные твёрдые/мягкие, парные/непарные твёрдые и мягкие (средний процент выполнения — 65%);
• умение различать формы слова и родственные слова (процент выполнения в работе — 57%);
• умение находить имя существительное
с заданными грамматическими признаками (склонение, форма числа, падежа) (процент выполнения — 72%;
• умение давать характеристику (указывать грамматические признаки) заданного имени существительного (процент выполнения — 73%);
• умение находить в предложении однородные члены предложения (процент выполнения — 66%);
• умение различать предложение, словосочетание, слово (процент выполнения — 61%);
• умение выявлять слова, значение которых требует уточнения (процент выполнения — 53%).
В содержательной линии «Орфография» недостаточно высокий процент выполнения зафиксирован по заданиям базового уровня сложности, позволяющих оценить следующие планируемые результаты:
• умение определять наличие в словах изученные орфограммы, умение заполнять таблицу, записывая предложенные слова
в нужную колонку таблицы (процент выполнения — 67%);
• умение объяснять правильность написания (процент выполнения — 69%).
В содержательной линии «Развитие речи» недостаточно высокий процент выполнения зафиксирован по заданиям базового уровня сложности, позволяющих оценить следующие планируемые результаты:
• умение составлять небольшой связный текст — приглашение на день рождения (процент выполнения — 59%), объявление о концерте (процент выполнения — 52%);
• умение дополнять план текста, восстанавливая пропущенные пункты плана (процент выполнения — 60%), умение составлять план текста (процент выполнения — 70%);
• умение подбирать заголовок к тексту, умение обосновывать свой выбор (процент выполнения — 67%).
Коррективы
Полученные по всей выборке учащихся данные позволяют наметить некоторые коррективы в процессе обучения русскому языку. Так, если в данном регионе число выполнивших задания, например, № 9, 10, 11, примерно на 10% ниже, чем в целом по выборке, значит, на региональных семинарах для учителей начальных классов важно анализировать именно эти задания, а учреждениям, занимающимся повышением квалификации учителей данного региона, надо обратить особое внимание на подготовку учителей по разделу «Морфология».
Максимальную информацию получает учитель конкретного класса, так как у него есть возможность посмотреть, как
каждое задание выполнено его учениками в сравнении с учащимися региона, с учащими ся всех регионов.
Отработка моделей итоговых работ позволила выработать общие положения для составления мониторинговых работ по русскому языку:
• Содержание работ должно позволять делать выводы об индивидуальном прогрессе каждого ученика, а это возможно при реализации принципа преемственности: в работах должны присутствовать одни и те же разделы программы,
а также задания определённого типа, позволяющие судить о прогрессе в овладении универсальными учебными действиями.
• В работах должен соблюдаться баланс заданий, оценивающих способность применять знания по русскому языку в учебных и практических ситуациях, заданий, оценивающих навыки грамотного письма, и заданий, оценивающих коммуникативные умения младших школьников, уровень их речевой культуры.
• Работы должны включать два блока заданий: обязательные (базовые) задания и дополнительные задания (задания повышенного уровня сложности) — это позволит выдержать принцип дифференцированного подхода: дети очень различаются как по темпу своей работы, что приводит к разнице в объёме выполненных заданий, так и по своим возможностям; кроме того, наличие дополнительных заданий и уровень их выполнения помогут выстроить развивающую программу обучения русскому языку для определённой группы детей. В соответствии с концептуальными положениями стандарта 2009 года важной особенностью составления работ, оценивающих индивидуаль-
ные достижения учащихся, становится построение заданий и базового и повышенного уровня на обязательном содержании (планируемые результаты «Выпускник научится»). Результаты выполнения учеником такой работы дают возможность зафиксировать достижение результатов не только на базовом, но и на повышенном уровне, что позволяет охарактеризовать состояние базовой подготовки ученика, провести более тонкую дифференциацию учащихся по уровню подготовки.
• Наличие в работах разнообразных по форме заданий, направленных на оценку достижения одного и того же предметного результата: это позволит избежать риска подмены качественного обучения «натаскиванием» на выполнение проверочных работ, бесконечное выполнение однотипных заданий. Цель проверочной работы — определить, насколько хорошо ученик овладел предметными и мета-предметными результатами, умеет ли их применять, выполняя различные задания.
• В работу должны входить задания с выбором ответа, с кратким ответом, с развёрнутым ответом; исходя из специфики предмета «Русский язык» предпочтение отдаётся двум последним видам заданий.
• Количество заданий должно соответствовать возрастным возможностям учащихся.
* * *
Хотелось бы, чтобы школы и педагоги, участвующие в мониторингах различных уровней, постоянно учились извлекать максимум информации, которая помогает повысить уровень образовательных достижений каждого ученика, принявшего участие в мониторинге. В противном случае, это будет пустая трата времени, которого и так всегда не хватает. НО
Рекомендации
• Содержание мониторинговых работ должно отбираться в соответствии с определёнными критериями: содержание должно быть ключевым для данного класса; усвоение данного содержания должно иметь значение как для обучения в следующем классе, так и для последующего обучения в основной школе.
