CC BY
18
К ВОПРОСУ ПАРАМЕТРОВ ОЦЕНКИ ТЕСТОВ ПО ЧТЕНИЮ
Чэнь Инзцзе
Центр тестирования Министерства образования КНР Китайская Народная Республика
Разработка тестов является важной частью экзамена, причем существенное значение имеет научное обоснование критериев оценки. Поскольку чтение является главным средством в обучении китайцев русскому языку, оценивание умения читать заложено в каждом тесте. Тесты, разрабатываемые Центром тестирования Китая, основываются во многом на чтении как виде речевой деятельности, как цели и средстве обучения китайских граждан русскому языку.
Одним из важных этапов при осуществлении тестирования является разработка тестов. Чтобы проводить тестирование на требуемом уровне, необходимы надежные тестовые задания, которые создаются на базе научно обоснованных принципов. При изучении русского языка китайскими школьниками главным видом речевой деятельности является чтение, и проверка этой деятельности составляет основную часть тестового контроля по русскому языку. Какие критерии проверки являются научно обоснованными? За многолетнюю практику мы пришли к нижеследующим выводам.
1. Необходимо следовать главной нити сюжета читаемого текста Вопросы-задания при этом становятся главной формой тестового задания. По вопросно-ответной форме следует проверять понимание наиболее важной информации текста. Вопросы должны охватить основные смысловые блоки, быть точными, короткими. Несомненно, что в данном случае оформление целенаправленного вопроса становится решающим моментом в определении степени трудности и дифференцирующей способности тестового задания. Хотелось бы отметить положительные моменты в нашей работе: еще в недалеком прошлом тестологи при доработке тестового задания часто составляли вопросы по тексту, ориентируясь на собственную интуицию и на стремление осложнить действия тестируемого. Такие задания, естественно, не могли быть качественными. Новый подход к созданию тестов в области чтения позволил разработать основные требования для тестологов - вчитаться в текст, иначе тесты утрачивают способность соответствовать требуемому уровню, ибо только критериальноориентированные тесты могут достоверно отразить степень владения навыками и умениями чтения у тестируемых, показать верный путь учителям в преподавании русского языка. Со временем этот подход стал ключевым у китайских разработчиков тестов, и процесс стал развиваться в правильном направлении.
Приведем пример из тестов всекитайского вступительного экзамена для абитуриентов 2006 года. В тексте N говорится о художнике Петрове, которого номинируют на премию конкурса, но он начинает понимать, что его работа еще далека от идеала, и отказывается от награды. Все четыре тестовых задания касаются главной линии содержания, например:
Это произошло в одном небольшом городе. Объявили конкурс на лучшую статую, которая должна стоять перед зданием университета. Победителю обещали большую премию.
Четырнадцать человек участвовали в конкурсе. Но все понимали, что победителем может стать только Геннисон или Ледан.
Вечером Геннисон вернулся домой и с радостью сказал жене:
— Думаю, что премию на выставке дадут мне. Профессор, председатель жюри, спросил меня: «Геннисон, это ваша статуя «Женщина с книгой, которая ведет ребенка вверх по горной дороге к вершинам знания»? Эта статуя понравилась нам больше всего. Я сообщаю вам это, потому что люблю вас и надеюсь на вас».
— Ты уверен?- спросила жена.
— О, я уже вижу премию. Да, это так и будет. Говорят, есть еще две хорошие работы, но моя лучше. Но почему профессор ничего не сказал о Ледане?
— Я думаю, — сказала жена, — что нам еще рано говорить о победе. Мы не знаем, какую статую создал Ледан.
— Леда}1, на мой взгляд, творит лучше меня, но его не любят, его работы не всем нравятся.
Они пообедали, продолжая говорить о Ледане, обсуждая, что они сделают, когда получат деньги.
Но всё-таки Геннисон не был уверен в успехе, он ещераз пришел в зал, где работала конкурсная комиссия, чтобы посмотреть, нет ли там статуи Ледана.
Внимательно осмотрев зал, он вдруг увидел небольшую белую статую. Это была чудесная работа, он сразу узнал руку Ледана. Молодая женщина в легкой одежде рисовала на земле геометрическую фигуру. Лицо и серьезные глаза показывали уверенность и глубокий ум.
—Да, это замечательно! — оценил работу Геннисон.
Потом он медленно подошел к «Женщине с книгой...». Он ясно увидел ошибки, которые не замечал раньше. Рядом со статуей Ледана его работа казалась совсем слабой. Геннисон понял, что настоящее искусство в белой статуе. За несколько минут он будто прожил вторую жизнь, затем поднял руку и разбил свою статую.
— Теперь Ледан может быть спокоен, — сказал он себе, — у жюри не остается другого выбора.
Задание 1. Выберите правильный ответ.
1. Почему Геннисон был уверен в том, что получит премию?
[A] Его статуя больше всего понравилась профессору.
[B] Он хорошо знал, что его статуя была лучше всех.
[C] Все говорили, что он уже победил Ледана.
[Б] Его статуя понравилась всем, кроме Ледана.
2. Какое мнение о Ледане было у Геннисона и его жены?
[A] У Ледана хорошие работы, но нет уверенности, что он победит.
[B] У Ледана плохие работы, они никому не нравятся.
[C] Хотя Ледан в творчестве сильнее Геннисона, но в этот раз работа
Геннисона лучше.
[Б] Ледан обязательно победит, об этом все говорят.
3. Почему Геннисон еще раз пришел в зал, где были установлены статуи?
[A] Он хотел еще раз посмотреть на статую Ледана.
[B] Он не был уверен в своем успехе и хотел еще раз посмотреть на свою
статую.
[C] Он хотел увидеть статую Ледана, чтобы быть уверенным в своем успехе.
|Р] Он хотел узнать результат конкурса.
4. Почему Геннисон разбил свою статую?
[A] Он хотел создать новую статую, которая будет лучше, чем у Ледана.
[B] Он рассердился на себя, потому что не смог выполнить работу.
[C] Он понял, что ему не дадут премию за такую плохую работу.
[Р] Он хотел, чтобы премию на конкурсе получила самая лучшая работа.
Эти четыре тестовых задания включают в себя проверку общего и детального понимания содержания текста. Следуя этим заданиям, тестируемые имеют возможность наблюдать за процессом изменения мнения Геннисона. Данные эксперимента подтвердили, что ступенчатость трудности заданий отражает уровень сформированности навыков чтения тестируемых.
Разработчики тестов также должны уделять большое внимание краткости и точности дистракторов. Правильный ответ должен быть достоверным и единственным, а отвлекающие ответы должны быть правдоподобными, функциональными. Длина 4 вариантов или пар ответов должна соответствовать одному стандарту: равнопривлекательность ответов заключается в том, что один ответ не должен превышать другой по количеству слов.
Рассмотрим задание 2. Тестологи запланировали проверить через диалог мужа и жены, как поняли его содержание тестируемые, сделают ли они правильный выбор ответа. Вопрос охватывает отрывок текста, где Геннисон и его супруга беседуют о предстоящем конкурсе. Когда Геннисон сказал жене, что председатель жюри похвалил его работу и полностью уверен в победе Геннисона, то коснулся и работы Ледана. Жена ответила: «Нам еще рано говорить о победе. Мы не знаем, какую статую создал Ледан». Муж признался: Ледан действительно хороший скульптор. Но его работы не всем нравятся. Жена, наконец, соглашается с мужем. Смысл информации сводится к тому, что Геннисон понимает, какого уровня художник Ледан и насколько он творчески силен. Ледан может не победить, но у него хорошие работы.
Правильный ответ: «У Ледана хорошие работы, но нет уверенности, что он победит». Невнимательность при чтении может подвести тестируемого к неправильному выбору. Отвлекающие ответы содержат неверные суждения и факты, которые можно проверить, только получив более полную информацию.
Статистические данные этих заданий отразили следующее.
Задание 1.
Ответ_________Группа 1 Группа 2 Группа 3 Группа 4 Группа 5
не выбран 0 0 0 0 0
А 109 78 51 32 23
*В 223 359 412 446 465
С 84 29 17 8 3
Б 82 32 19 12 7
Количество работ: 2491. Полный балл: 3,0; средний балл: 2,3; стандартное отклонение: 1,27; дифференцирующая способность: 0,417; степень трудности: 0,76________________________________________________________________
Примечание. Здесь и далее знак * означает правильный ответ.
Задание 2.
Ответ__________Группа 1 Группа 2 Группа 3 Группа 4 Группа 5
не выбран 0 0 0 0 0
А 83 82 62 51 24
В 230 164 97 49 33
*С 150 239 318 386 427
Б 35 22 14 13 12
Количество работ: 2491. Полный балл: 3,0; средний балл: 1,8; стандартное отклонение: 1,46; дифференцирующая способность: 0,411; степень трудности: 0,610___________________________________________________________________
Задание 3.
Ответ________Группа! Группа2 Группа3 Группа4 Группа5
не выбран 0 0 0 0 0
А 187 98 75 39 14
В 170 199 19 И 5
С 61 19 132 123 89
80 182 310 385 459
Количество работ: 2491. Полный балл: 3,0; средний балл: 1,7; стандартное отклонение: 1,49; дифференцирующая способность: 0,545; степень трудности: 0,568________________________________________________________________
Задание 4____________________________________________________________
Ответ_________Группа 1 Группа 2 Группа 3 Группа 4 Группа 5
не выбран 1 0 0 0 0
* А 118 177 238 291 362
В 122 153 117 78 44
С 221 151 132 123 89
Б 36 17 12 6 3
Количество работ: 2491. Полный балл: 3,0; средний балл: 1,4; стандартное отклонение: 1,50; дифференцирующая способность: 0,347; степень трудности: 0,476 ____________________________________________________________
Анализируемые пять групп испытуемых разбиты по принципу градации успеваемости: первая самая слабая, пятая - самая сильная. Таблицы
свидетельствуют о корреляции данных о тестируемых, полученных нетестовым способом и в результате сдачи теста. Дифференцирующая способность и степень трудности каждого задания положительно отразили эффективность тестов.
2. Данные не являются единственными параметрами оценки Второй вопрос, который хотелось бы обсудить: данные подобных тестов не должны быть единственными параметрами оценки тестируемого. Нельзя отрицать, что эти данные действительно являются важными критериями оценки, однако не только с помощью вычисления мы должны убеждаться в правильном решении тестируемым тестовой задачи. В связи с этим мы стараемся измерять качество тестов двумя способами: через валидность теста и через анализ данных,
полученных после тестирования. Приведем фрагмент теста для абитуриентов из всекитайского вступительного экзамена 2005 года, на котором тестируемым предложено прочесть адаптированный рассказ А. Алексина «Актриса» и выполнить вопросы-задания:
У моей бабушки было четыре дочери. Но только моя мама жила в одном городе с бабушкой.
— Хорошо, что мы не живем вместе, — говорила бабушка. — С детства люблю ходить в гости. Встречают, провожают...
Под Новый год бабушка всегда почему-то ждала, что дочери позовут ее к себе. Они часто говорили, что любят ее. Но, наверное, забывали пригласить.
Однажды под Новый год шестые классы нашей школы собрались в детский театр. Я купил два билета, потому что хотел пригласить Галю. «Пойду к Гале, — подумал я, — и скажу: «У меня оказался лишний билет. Возьми, если хочешь...» И весь спектакль буду сидеть рядом с ней! Так закончится год. И я буду считать его самым счастливым во всей моей жизни!»
Перед самым Новым годом снова пришли письма от всех сестер моей мамы. Они писали, что очень скучают и очень ждут встречи!
— В ожидании вся прелесть : все еще впереди... — тихо сказала бабушка.
Мама и папа стали объяснять, что они не хотят идти завтра в гости, но не
пойти они просто не могут. Ия в тон им грустно сказал:
— Мне завтра нужно пойти в театр...
Бабушка стала искать платок в сумке.
Тогда я вдруг сказал:
— Пойдем со мной, бабушка. У меня есть лишний билет.
А бабушка посмотрела на меня и продолжала искать платок в сумке. Но теперь уже, казалось, от радости.
— Я надену свое черное платье. А? Как вы считаете?
— Черный цвет — это цвет торжества!—радостно сказал папа.
Когда мы приехали в театр, спектакль уже начался. И на сцепе появился мальчик. Он шел к старой женщине, которая много лет была учительницей, а потом заболела, ушла из школы. А жить без ребят не могла. И мальчик решил победить её одиночество...
Когда спектакль закончился, бабушка сказала:
— Она чудесная артистка.
— Которая играет мальчика?
—Да... Потому что она — это ты. Сегодня ты сделал меня счастливой.
— Ну что ты?! — скромно возразил я.
Сейчас, через много лет, я думаю: «Как жаль, что бабушку не видели в тот вечер ее дочери. Они бы поняли, как легко было сделать ее счастливой!»
Задание 1. Выберите правильный ответ.
Почему бабушка стала искать в сумке платок, когда узнала, что в Новый год остается одна?
[A] Она поняла, что она остается одна, и ей захотелось плакать.
[B] Она хотела, чтобы родные заметили, как меняется ее настроение.
[C] Она хотела показать, что ей неинтересно, кто куда идёт.
рЭ] Она хотела посмотреть, есть ли платок в сумке.
Ответ Группа 1 Группа 2 Группа 3 Группа 4 Группа 5
не выбран 1 0 0 0 0
А 13 8 3 2 0
В 119 67 65 56 47
*с 106 170 195 218 246
Б 62 59 37 26 9
Количество работ: 1509. Полный балл: 3,0; средний балл: 1,9; стандартное отклонение: 1,5; дифференцирующая способность: 0,327; степень трудности: 0,61
Судя по данным, показатели очень неплохие: дифференцирующая способность задания — 0,327, степень трудности — 0,61. Данные в графике свидетельствуют, что с увеличением полученных баллов увеличивается число тестируемых, выбравших правильный ответ в каждой из пяти групп и уменьшается количество сделавших ошибку. Имеются все основания считать это задание удавшимся.
Рассмотрим валидность теста.
В задании стоит вопрос: «Почему бабушка стала искать в сумке платок, когда узнала, что в Новый год остается одна?». Прямого ответа сам текст не содержит. Только вчитавшись в него, разобравшись, кто и чем будет заниматься в Новый год, поняв душевное состояние бабушки, абитуриенты смогут сделать правильный выбор. Отметим лишний раз слова маленького героя рассказа: «... У бабушки было четыре дочери. Но только моя мама жила в одном городе с бабушкой.. -Хорошо, что мы не живем в одной квартире, - говорила бабушка. - С детства люблю ходить в гости. Встречают, провожают... Ухаживают!»
Эти слова должны помочь тестируемым восстановить психологический портрет бабушки, которая не любит одиночества, понять глубину русской души, которая проявляется в данной ситуации. Только обобщив эти сведения, абитуриенты могут прийти к верному решению задачи.
Отвлекающие ответы, как и планировали тестологи, также сработали хорошо, усложняя решение этого задания.
Приведем следующий пример из тестов всекитайского вступительного экзамена для абитуриентов 1999 года. Тестируемым предложено прочесть адаптированный рассказ Ю. Бондарева «Простите нас!» и выполнить вопросы-задания.
Простите нас!
Поезд, на котором Павел Сафонов возвращался в Москву, шёл по знакомым местам, где инженер родился, вырос, но не был много-много лет. Тут Сафонову пришло в голову посмотреть город своего детства, старые дома, улицы.
Но старых домов Сафонов не нашел — везде стояли новые здания. Весь день он ходип по родному, но уже незнакомому городу, и только к вечеру, когда собрался ехать на вокзал, на остановке троллейбуса увидел свою школу. Сафонов вошел во двор, сел на скамейку под старой березой и засмеялся, словно встретил доброго друга.
Только сейчас он заметил справа желтый свет в окне. Неужели Мария Петровна? Здесь жила его учитетельница математики, он был ее любимым учеником. Как же он не вспомнил о ней!
Дверь Сафонову открыла пожилая женщина.
- Мария Петровна, - тихо сказал Сафонов.
- Входите, - сказала она. Таким голосом она говорила с родителями учеников.
- Вы не узнали меня.
- Паша Сафонов.,. Паша? Ты приехал?
Они сели за стол.
- Не узнать тебя, Паша. Не думала. Подожди, сейчас чай принесу. Ну рассказывай, хотя я много про тебя знаю из газет. Ты женился?
- Да, Мария Петровна.
- Счастлив?
- Очень, у меня дочь. Но давайте поговорим о школе.
- Я хорошо помню ваш класс. Это были умные мальчики. Мишу Петрова помнишь? Он стал известным художником.
- Он приезжал?
- Нет.
- Я слышал, Снегирёв - директор большого завода. Не думал. А Самойлова видели? Артист.
- Я его видела только в кино.
- Неужели он не приезжал?
Мария Петровна не ответила.
- Значит, и Снегирёв не был у вас?
- Что? Ты пей чай.
- Мария Петровна, а кто-нибудь пишет вам?
- Нет, ко мне иногда приходит Коля Сибирцев, у него умерла жена.
Замолчали оба. И вдруг Сафонов увидел в шкафу книгу о самолёте.
- У вас есть моя книга? - И тут же пожалел, что не подарил учительнице эту книгу.
- Неплохая книга, читала с интересом. А когда в газете «Правда» писали про тебя и твою книгу, дала тебе телеграмму.
Сафонов вспомнил, что получил телеграмму два года назад, но не ответил. Когда он уходил, Мария Петровна спросила:
- Скажи, Паша, только честно, хоть капля моего труда есть в твоей работе?
- Мария Петровна, что вы говорите! Если бы не вы...
Она посмотрела ему в глаза, а потом сказала:
- Какой гость у меня! Ты думаешь, я' не скажу о твоём приходе моим, ученикам? Иди, успехов тебе.
На небольшой станции Сафонов дал Марии Петровне телеграмму, в которой было только два слова: «Простите нас!»
Задание 1. Выберите правильный ответ Кем стали ученики Марии Петровны после школы?
[A]Снегирёв стал известным артистом, Петров — художником, а Сафонов — известным инженером.
[B] Снегирёв стал директором большого завода, Сафонов — известным лётчиком, Петров —художником.
[C]Самойлов стал артистом, Петров —художником, а Сафонов—известным инженером. Р] Сафонов стал инженером, Сибирцев — художником, а Снегирёв стал директором завода.
ответ группа 1 группа 2 группа 3 группа 4 группа 5
не выбран 5 2 1 0 0
A 20 5 2 2 0
В 31 25 17 8 2
С 104 113 97 82 36
* D 73 88 116 141 191
Количество работ: 1161. Полный балл: 3; стандартная степень трудности: 51,88; дифференцирующая способность: 0,333; степень трудности: 0,530
Здесь наблюдается тот же результат, как и в предыдущем случае: данные в графике свидетельствуют, что с увеличением полученных баллов увеличивается количество тестируемых, выбравших правильный ответ в каждой из пяти групп, уменьшается количество выбравших ошибочный ответ. Дифференцирующая способность — 0,333, степень трудности — 0,53. Но если вдуматься, то нетрудно обнаружить, что валидность этого задания сомнительна.
Мораль рассказа состоит в том, что ученики не должны забывать о своих учителях. А информация о том, кто кем стал из учеников, совершенно не так актуальна, достаточно понять, что ученики Марии Петровны стали достойными людьми. В этом задании явно нарушена содержательная валидность теста.
Смогут ли оправдать себя тестовые задания данного типа? Реализованная в тестовом задании задача скорее нацелена на то, чтобы запутать тестируемых, нежели на проверку понимания идеи текста. Это однозначно свидетельствует об утрате тестом тех свойств и целей, для которых он предназначался.
CRITERIONS OF ESTIMATION OF TESTS ON READING
Chen Yingjie
National Education Examinations Authority, Ministry of education People s Republic of China
Test production is one of the most important part of examination, in which a scientific assessing criterion plays an essential role. Reading is the main approach for Chinese learners to Russian learning, the assessment of learners’ reading ability has been emphasized for any of the Russian test. It should be suitable for the test purpose. Besides the statistical data the test contents should be appropriate to measure learner’s reading ability and match the test purpose well.
