CC BY
53
УЧЕНЫЕ
ЗАПИСКИ
Т.М. МОЖИНА, кандидат педагогических наук, доцент кафедры английской филологии Орловского государственного университета
Тел. 8-910-260-80-60
Ю.М. ЛОГВИНОВА, аспирант Орловского государственного университета
Тел. 89208110286
Л.М. МАСАЛОВА, учитель английского и немецкого языков средней школы №23 г. Орла Тел. 89606464128
ИССЛЕДОВАНИЕ СРАВНИТЕЛЬНОЙ ЭФФЕКТИВНОСТИ ТЕСТОВЫХ ФОРМАТОВ, ПРИМЕНЯЕМЫХ В ЕГЭ ДЛЯ КОНТРОЛЯ ПОНИМАНИЯ ПРИ ЧТЕНИИ
Статья посвящена проблеме тестовой проверки понимания при чтении, базируется на экспериментальных данных об эффективности тестов множественного выбора, реорганизации частей, подведения под заголовок, вставки пропущенных сегментов. Первый из них десятилетиями используется в школах, остальные относительно новы. Представлены характеристики экспериментальных материалов, процедуры обработки результатов, состава испытуемых. Делается вывод о влиянии психологического фактора непривычности формы проверки на её результат и фактическую валидность теста.
Ключевые слова: Единый государственный экзамен (ЕГЭ), чтение как вид речевой деятельности, контроль понимания, уровни сложности заданий ЕГЭ, тестовые форматы.
На современном этапе развития общества перед системой образования встала проблема объективной оценки знаний и уровня подготовленности выпускников к поступлению в вузы и ссузы. Общепринято мнение, что объективно оценить уровень учебных достижений и качество преподавания можно, используя тестирование — современную стандартизованную процедуру, при проведении которой все учащиеся — вне зависимости от вида школы или её удалённости от образовательных центров — находятся в одинаковых, стандартных условиях.
С 2002-2003 гг. на основании постановления Правительства Российской Федерации в образовательной системе России внедряется Единый государственный экзамен — ЕГЭ. Контрольно-измерительные материалы (КИМы) этого экзамена соотносятся с требованиями обязательного минимума содержания среднего образования.
Единый государственный экзамен призван решить такие задачи, как обеспечение достоверности результатов за счет проверки работ независимыми экспертами и с помощью специальных компьютерных программ; повышение качества образования за счет объективности контроля и повышения мотивации к его успешному прохождению; разгрузка выпускников-абитуриентов путем сокращения количества экзаменов, поскольку результаты ЕГЭ засчитываются как результаты государственного экзамена за курс средней школы и как результаты вступительных экзаменов. Более
© Т.М. Можина, Ю.М. Логвинова, Л.М. Масалова
отдаленной целью можно считать справедливое перераспределение финансирования между вузами по механизму государственных именных финансовых обязательств (ГИФО).
Контрольная работа ЕГЭ по английскому языку состоит из нескольких содержательных разделов: Аудирование, Чтение, Грамматика и лексика, Письмо и - до 2009 года - Говорение.
Судя по результатам ЕГЭ как в общероссийском масштабе, так и в Орловской области, учащиеся лучше всего справляются с заданиями раздела «Чтение». В своей практической работе по подготовке учащихся к успешной сдаче экзамена учителя используют «открытые» варианты КИМов ЕГЭ, демоверсии ЕГЭ разных лет, специальные пособия, подготовленные под эгидой ФИПИ зарубежными специалистами. Без сомнения, в процессе обучения чтению как виду речевой деятельности учителя и учащиеся должны практиковать контроль понимания при помощи всех известных тестовых приёмов - как тех, что заявлены в демоверсиях текущего года, так и тех, что не будут использоваться, ведь учащиеся формируют свою коммуникативную компетенцию, а не только натре-нировывают себя перед предстоящей экзаменационной процедурой.
Среди предлагаемых тестовых форматов раздела «Чтение» выделяются такие, которые уже много лет бытуют в школьной практике обучения английскому языку: тесты множественного выбора (Multiple Choice), задания перекрестного выбора (Matching Technique), задания на установление истинности или ложности утверждений по тексту (True or False Technique). К относительно новым тестовым форматам принадлежат задания на восстановление текста в логической последовательности (Rearrangement), задания на установление соответствий заголовков или вопросов коротким текстам или частям интервью (Jumbled Headings/ Questions), восстановление целостности текста за счёт вставок вырезанных из него сегментов - абзацев/ предложений/ частей предложений (Removed Paragraphs/ Removed Sentences).
В практике создания и проведения тестов возникает множество проблем, например «новизна» и «сложность» тестовых форматов для учащихся, психологические трудности, возникающие у тестируемых из-за временных ограничений, игнорирование индивидуальных особенностей учащихся, приравнивание результатов выполнения теста к требуемому объему знаний, что означает измерение успешности выполнения теста, а не уровня владения языком, нечеткость формулировок критериев оценивания, несоблюдение требо-
ваний к адекватности теста - его способности проверять именно то, для чего он и предназначен. Кроме того, в тестологии существует проблема подбора адекватного тестового формата для измерения уровня владения видами речевой деятельности, которую предлагается решить одним из следующих способов:
а) либо оценивать речевое поведение учащегося непосредственно в процессе выполнения самой речевой деятельности, когда процедура экзамена становится громоздкой, так как необходимо подготовить большое количество материалов разного уровня сложности для испытуемых, что лишает тесты их главного преимущества — экономности, и когда сталкиваются с практической невозможностью подобрать одинаковые по трудности тексты для нескольких вариантов теста;
б) либо владение видами речевой деятельности проверять опосредованно, т.е. через проверку владения учащимся определенным языковым материалом, что приводит к подмене объекта контроля.
Наше внимание привлекла проблема субъективных психологических трудностей, которые испытывают российские учащиеся, знакомящиеся с разнообразными тестовыми форматами. Ведь, действительно, часто возникает вопрос о том, как влияет фактор «новизны», непривычности тестового формата на качество понимания при чтении. Возможно, что сам формат теста, недостаточно хорошо освоенный, переключает внимание (психические силы) читающего с содержания текста на форму теста и основные моменты содержания текста усваиваются хуже. В этом случае экзаменуемый начинает действовать наугад, и даже успешное выполнение теста может не свидетельствовать
о том, что суть текста понята.
Мы считаем, что понимание основного содержания, достигнутое учащимся в ходе подведения коротких текстов под соответствующие заголовки, вставки «вырезанных» сегментов текстов, выбор ответа на вопрос по содержанию текста из ряда предложенных вариантов можно перепроверить. Такое понимание (как сухой остаток) может и должно проявиться, например, в результате банального реагирования на вопросы по основному содержанию прочитанного, когда текст у учащегося отобран.
Для выявления возможных закономерностей было задумано и осуществлено экспериментальное исследование, в ходе которого группе испытуемых предлагается текст для чтения, при этом
проверка понимания имеет варьируемые и нева-рьируемые параметры.
Для решения поставленных задач нами были отобраны шестнадцать текстов. К каждому тексту разработаны два теста - тест множественного выбора (психологически воспринимаемый как привычный) и тест, психологически воспринимаемый как новый: Rearrangement Technique или Removed Sentences или же Jumbled Headings/Questions.
Одна половина каждой группы испытуемых выполняет тест множественного выбора, а другая половина - один из вышеуказанных тестов альтернативной группы.
В ходе опытов конкретный испытуемый был членом то одной, то другой подгруппы поочередно.
Проверка понимания завершается идентичным для всей группы заданием - письменные ответы на вопросы по основным моментам содержания, что не противоречит ни задаче детального понимания при чтении (задание А15 - А21 экзаменационной работы ЕГЭ), ни задачам понимания основного содержания текста (задание В2 экзаменационной работы ЕГЭ) или его структурно-смысловых связей (задание В3 экзаменационной работы ЕГЭ).
Для проведения экспериментального исследования были отобраны тексты разного характера: художественные и научно-популярные (газетные и журнальные статьи).
Базой нашего исследования послужили несколько разнотипных учебных заведений Орловской области.
1. Орловский государственный университет, факультет иностранных языков, группы 105А, 106А, 101А, 102А, в которых выполнялись тесты к текстам: Computer-Hacking — High-Tech Crime, Radio Sets: Old and New, Success Story, The Plain People. Общее количество испытуемых - 46. Испытуемые участвовали в эксперименте один раз.
2. Школа с углубленным изучением английского языка № 23 г. Орла, где выполнялись тесты к текстам: What Made the Little Dog Expire?, The Postman, American Diners, Travel and Adventure,
Florence Nightingale, Henry VIII and His Surroundings, Meet the Leader!, Good Morning, Miss Dove, Hi-Tech News, The Teenage Teachers, The Posthumous Papers of the Pickwick Club. Общее количество испытуемых - 48. Класс 10 А (27 человек) участвовал в эксперименте 7 раз, а класс 10 Б (21 человек) - 5 раз.
3. Мезенский педагогический колледж, в котором на факультете иностранных языков в группе № 26 выполнялись тесты к текстам: Henry VIII and His Surroundings, Cars: Passion or Problem?, Meet the Leader!, American Diners, Travel and Adventure, Hi-Tech News, The Plain People, The Teenage Teachers.
Общее количество испытуемых - 13; испытуемые участвовали в эксперименте 4 раза.
Процедура экспериментального исследования включала два этапа:
1. Чтение предложенного текста и выполнение теста.
2. Ответы на вопросы (письменно, без опоры на текст).
На всю процедуру отводилось 40 минут без учета времени инструктажа: 20 минут - первый этап, 20 минут - второй этап.
Процедура обработки результатов тестов
включала в себя проверку ответных листов, определение количества правильных и неправильных ответов, вычисление процентного соотношения количества правильных/неправильных ответов. Следует заметить, что тесты Multiple Choice, Jumbled Headings, Removed Sentences не вызывают сложности при проверке, в то время как при обработке результатов по тестам Rearrangement возникают некоторые затруднения. Один неправильно выбранный вариант, особенно в начале теста, может нарушить соответствие при заполнении ответного листа, и, несмотря на сохранение дальнейшей правильной последовательности, создается впечатление, что задание выполнено неверно и содержание текста не понято. Это учитывалось при оценивании данного задания.
Некоторые учащиеся отвечали на вопросы не только верно, но и подробно. Другие же при общей правильности ответа на вопрос допускали некоторые неточности. Все это получило отражение в оценивании результатов данного задания:
1 балл - точный ответ,
1,5 балла - точный и полный ответ,
0,5 балла - неточный ответ.
Выявление результатов производилось также на основе вычисления процентного соотношения количества правильных/неправильных ответов.
Было проведено сравнение результатов выполнения различных видов тестов всеми испытуемы-
ми в целом с результатами их ответов на вопросы путем вычисления разницы между двумя показателями:
1) общий процент правильности выполнения тестовых заданий;
2) общий процент правильных ответов на вопросы.
Результаты представлены в таблице 1.
Таблица 1
(процентный показатель правильных ответов)
Виды тестов Общий процент (Techniques) Общий процент (Questions) Разница
Multiple Choice 36,1 43,3 +7,2
Removed Sentences 45 37,4 - 7,6
Jumbled Headings 25,2 33,7 +8,5
Rearrangement 60,4 54,5 - 5,9
Как стало видно из полученных результатов, тест Jumbled Headings сложен для выполнения, но успех испытуемых в последующих ответах на вопросы по тому же тексту свидетельствует о том, что данный тест ведет к более полному и точному пониманию содержания текста, — здесь разница составляет +8,5 %.
Следующим по эффективности при подготовке к ответам на вопросы является тест Multiple Choice — здесь разница составляет +7,2%, что указывает на то, что он также ведет к полному и точному пониманию содержания текста.
При выполнении тестов Removed Sentences и Rearrangement, с которыми учащиеся справились лучше всего, наблюдается тенденция к значительному снижению полноты и точности ответов на последующие вопросы. Оказывается, что достаточно понять отдельные части текста или установить правильную последовательность элементов текста, для чего не требуется столь же точное, детальное понимание его содержания, как при выполнении тестов Jumbled Headings и Multiple Choice.
Проанализировав результаты экспериментального исследования с учетом влияния того или иного формата теста на эффективность извлечения информации из текста, в качестве предварительных выводов можно констатировать некоторые закономерности при выполнении учащимися тестов разных видов.
Так, тесты Multiple Choice и Jumbled Headings являются наиболее эффективными при контроле сформированности умений чтения, так как ведут к более точным и полным ответам на вопросы по тексту, в то время как при выполнении тестов
Rearrangement и Removed Sentences наблюдается обратная тенденция.
Самую большую сложность представляет тест Jumbled Headings, так как данный вид теста используется довольно редко в процессе обучения, и у учащихся нет навыка работы с подобными заданиями. Данный тест предполагает не только понимание содержания текста, но и анализ логических связей между его смысловыми компонентами. Поэтому, несмотря на то, что общий процент ответов на вопросы один из самых высоких, результаты выполнения теста оказались намного ниже. Это не позволит учащимся получить высокие баллы при итоговой аттестации. Однако использование этого приема контроля понимания на уроке позволит организовать говорение на базе прочитанного в опоре на хорошо понятый текст.
Наименьшую сложность представляет тестовый формат Removed Sentences. Несмотря на то, что данная форма проверки понимания также является новой для учащихся, она вызвала меньше затруднений и привела к результатам намного лучшим, чем последующие ответы на вопросы по тому же тексту. Для выполнения этого теста оказалось достаточным понимание отдельных частей текста, без понимания деталей содержания, поэтому учащиеся часто давали правильные полные или частичные ответы на те вопросы, которые касались только информации, содержащейся в предложениях, подлежащих логическому восстановлению.
Одним из наименее сложных оказался тест в технике Rearrangement, при этом после его выполнения испытуемые плохо отвечают на вопросы. Однако по сравнению с тестом Multiple Choice здесь прослеживается следующая закономерность: процент выполнения теста Rearrangement в большинстве случаев значительно выше, чем Multiple Choice, в то время как при ответах на вопросы по тексту наблюдается обратная тенденция. Тест Rearrangement был составлен только для художественных текстов повествовательного характера, так как этот тестовый формат предлагается всегда для текстов, в которых есть последовательность событий, своеобразный сюжет. Для установления хронологического порядка действий не требовалось точного, детального понимания содержания текста.
Для уточнения тенденций нами было проведено ранжирование испытуемых на основе критериев их текущей успеваемости и оценки преподавателем результатов работы всей группы в целом и каждого ученика в отдельности, в результате чего были выделены следующие подгруппы:
УЧЕНЫЕ ЗАПИСКИ
1) Учащиеся с высокой успеваемостью (оценки: 5, 5-4).
2) Учащиеся со средней успеваемостью (оценки: 4, иногда 5 или 3).
3) Учащиеся с низкой успеваемостью (оценки:
3, иногда 2).
С целью выявления среднего показателя для каждой из подгрупп, выделенных с учетом уровня успеваемости, был произведен подсчет общего процента. Полученные результаты отражены в таблице 2.
Таблица 2
(процентный показатель правильных ответов)
Вертикальные столбцы данной таблицы расположены по степени нарастания трудности выполнения тестовых заданий (снижения результатов), что отражается в постепенном уменьшении процента правильных ответов. Ранее отмеченные тенденции подтверждаются.
Обратимся к анализу успешности выполнения тестов в зависимости от профессиональных устремлений испытуемых. Процент правильных ответов зафиксирован в таблице 3.
Таблица 3
Оценивая сложившуюся картину результативности чтения, отметим, что студенты I курса ОГУ во всех случаях показывают более 50% правильных ответов, что свидетельствует о сформирован-ности умений чтения на базовом, повышенном и высоком уровнях.
Тестовая методика Rearrangement рассчитана на базовый уровень ЕГЭ, так как предполагает понимание основного содержания текста. Процент-
ное соотношение правильных ответов при выполнении этого теста ниже по сравнению с другими тестовыми форматами, однако в связи с тем, что в ОГУ тест Rearrangement проводился только один раз с небольшим количеством испытуемых, такой показатель вряд ли является закономерным.
Тестовая методика Removed Sentences относится к заданиям повышенного уровня и предполагает наличие умения находить запрашиваемую информацию и комплексные лексико-грамматические умения, тем не менее она не вызывает у студентов ОГУ больших трудностей при выполнении (73,5% правильных ответов). При выполнении теста Multiple Choice процентный показатель правильных ответов снижается на 15,2 %, что объясняется повышением уровня сложности данного задания, которое предполагает полное понимание текста. (Тест Multiple Choice рассчитан на высокий уровень ЕГЭ.)
Итоги выполнения различных тестовых методик в МПК показали, что результаты выполнения теста Rearrangement значительно выше результатов выполнения теста Jumbled Headings. Наибольшее количество трудностей вызвал тест Removed Sentences, который рассчитан на повышенный уровень ЕГЭ, и тест Multiple Choice, представляющий собой задание высокого уровня.
Проведение исследования в школе № 23 показало, что наиболее успешно учащиеся справились с тестом Rearrangement, в то время как показатель правильных ответов при выполнении тестов других видов ниже 50%.
Анализ результатов, отражённых в таблице № 3, позволяет прийти к следующему выводу: учитывая то, что все испытуемые, независимо от вида учебного заведения, приблизительно одного возраста и имеют одинаковый жизненный опыт, разная степень успешности выполнения ими тестов Multiple Choice, Jumbled Headings, Removed Sentences, Rearrangement объясняется различиями профессиональных устремлений. Высокий процентный показатель выполнения тестов разных видов студентами ОГУ объясняется тем, что, сделав свой профессиональный выбор и сдав вступительные экзамены лучше других абитуриентов, они целенаправленно изучают иностранный язык. Несмотря на то, что обучение в МПК также предполагает наличие языковой профессиональной устремленности, большая часть студентов показала низкие результаты выполнения тестов разных видов. Это объяснятся тем, что многие из поступивших обучались ранее в сельских школах и имеют низкий уровень подготовки, кроме того, первые годы обучения в колледже приравнива-
\ Виды \тестов Уровеньч успевае- \ мости \ Rearrange- ment Removed Sentences Multiple Choice Jumbled Headings
Высокий уровень 63% 51% 48% 50,5%
Средний уровень 58% 44% 36% 34,5%
Низкий уровень 58% 43% 33% 21%
\ Виды \тестов Тип \ учебного\ заведения\ Multiple Choice Removed Sentences Rearran- gement Jumbled Headings
ОГУ 58,3 % 73,5 % 52,3 %
МПК 19 % 22,5 % 83,3 % 25,3 %
Школа № 23 37,9 % 20,4 % 59,3 % 34,8 %
ются к школьной программе 10, 11-х классов.
Разброс в процентных показателях выполнения тестовых заданий в спецшколе можно объяснить тем, что не все ученики планируют продолжить обучение в учебном заведении с языковой направленностью.
В заключительной части статьи необходимо интерпретировать как результаты выполнения тестов разных форматов, использованных в наших опытах, так и итоги их «перепроверки» при помощи традиционных вопросов по содержанию текстов.
1. Как таковые тесты Removed Sentences и Rearrangement вызывают наименьшее количество трудностей, хотя являются новыми для большинства старшеклассников и учителей. В положительном смысле эту тенденцию можно объяснить тем, что посредством некоторых привычных, повсеместно практикуемых приёмов работы формируется опора для соответствующего тестового формата. В данном случае мы можем говорить об умении обеспечивать структурно-семантическую связность высказывания, сформированном такими заданиями, как пересказ, составление плана текста, дополнение предложения и проч. На фоне этой положительной оценки возникает парадоксальная ситуация №1: чем выше результат тестовой проверки понимания, тем ниже результат последующей традиционной проверки через ответы на вопросы. Тогда, оценивая относительно высокие результаты выполнения этих тестов в отрицательном смысле, можно предположить, что непривычные тестовые форматы провоцируют учащихся на бездумное (на скорость), формальное выполнение, на угадывание, которое зачастую бывает удачным.
2. Не предусмотренные уровневыми характеристиками (тест для базового уровня обученности, общее понимание содержания) затруднения в выполнении теста Jumbled Headings объясняются недостаточной сформированностью фундаментального умения выделять главное, а также выделять дифференцирующие детали в условиях дефицита вре-
мени. Велика зависимость выполняющих данный тест от богатства/бедности лексического запаса.
3. Тесты Multiple Choice и Jumbled Headings, первый из которых привычен, а второй относительно нов, выполняются учащимися в целом хуже (чем тесты Rearrangement и Removed Sentences), но оба эти теста приводят испытуемых к более успешному выделению основных моментов содержания при ответах на вопросы. Для теста Multiple Choice, предназначенного для проверки полного понимания содержания текста, это представляется естественным, а тест Jumbled Headings нов и труден. Мы полагаем, что тест, с которым учащемуся трудно справляться вследствие новизны его формата, стимулирует заинтересованного читателя к энергичному, вдумчивому чтению. Мобилизация интеллектуальных сил даёт хороший результат при перепроверке - ответы на традиционные вопросы показывают адекватное понимание основного содержания.
4. Изложенные наблюдения позволяют констатировать парадоксальную ситуацию № 2: учащиеся успешнее справляются с тестом, предназначенным для оценивания чтения на повышенном уровне («убранные предложения»), чем с тестом для базового уровня чтения («подведение под заголовок»). Не исключено, что на современном этапе освоения российскими учителями и учащимися новых форм стандартизированного контроля существует противоречие между припиской теста к базовому/ повышенному/ высокому уровню владения чтением и субъективной трудностью выполнения тестов.
5. Когда на уроке английского языка учитель организовывает послетекстовый этап - главным образом говорение на базе прочитанного текста, — можно посоветовать проводить проверку понимания при помощи теста множественного выбора или в традиционной форме ответов на вопросы, поскольку они в наибольшей степени способствуют актуализации содержания прочитанного материала.
T.M. MOZHINA, J.M. LOGVINOVA, L.A. MASALOVA
THE STUDY OF THE EFFECTIVENESS OF THE TEST FORMATS USED TO TEST READING
COMPREHENSION IN THE NSE
The subject matter of the article is testing Reading Comprehension within the framework of the New State Examination. The article is based on experimental data concerning the effectiveness of several techniques: Multiple Choice, Rearrangement, Jumbled Headings, Removed Sentences, the first of which has been employed in Russian schools for decades while the other three are still perceived as new. The article gives an account of experimental materials, the participants, their communicative competence, and professional goals. The conclusions drawn by the authors concern the influence of the techniques that are perceived as unfamiliar and baffling on the true comprehension of the text.
