Тестология чтения: сравнительный анализ тестовых заданий Текст научной статьи по специальности «СМИ (медиа) и массовые коммуникации»

Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2009. № 1

Л.А. Кожевникова

ТЕСТОЛОГИЯ ЧТЕНИЯ: СРАВНИТЕЛЬНЫЙ АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ

В статье рассматриваются основные виды тестовых заданий, используемых в зарубежной и отечественной практике тестирования, даются их основные характеристики, анализируются их сильные и слабые стороны. Приводится таблица наиболее типичных заданий для проверки умений по основным видам чтения для академических целей.

Ключевые слова: виды чтения, умения, тестирование, тестовое задание.

The paper deals with the techniques for assessing reading for academic purposes most commonly used in Russian and foreign practice of language testing. Their characteristics and limitations are discussed. A summary table of test techniques for testing particular reading skills is provided.

Key words: types of reading, skills, testing, test item.

По определению Дж.Д. Брауна, "тестовое задание есть минимальная составляющая единица теста, которая дает ясную и значимую информацию после того, как пройдет этап объективного или субъективного оценивания"1. Чтобы дать максимально точное представление об умениях и навыках испытуемого, тест по чтению должен включать различные виды заданий, которые подбираются в соответствии с обозначенной целью тестирования, измеряемым конструктом (теоретически обоснованным объектом тестирования) и особенностями испытуемых (их возрастом, уровнем языковой и речевой компетенции, фоновыми знаниями и т.п.).

Цель данной статьи - рассмотреть основные характеристики тестовых заданий, используемых в зарубежной и отечественной практике для измерения уровня сформированности умений чтения, а также выявить их сильные и слабые стороны.

Множественный выбор является наиболее часто используемым видом тестового задания. J. Munby считал, что этот тип задания можно эффективно использовать, чтобы тренировать способность

Кожевникова Людмила Александровна - ст. преподаватель кафедры иностранных языков для гуманитарных факультетов Самарского государственного университета; тел.: (846) 22-22-986, e-mail: [email protected]

1 Brown J.D. Testing in Language Programs: a Comprehensive Guide to English Language Assessment. McGraw-Hill, 2005. P. 41.

читающего размышлять над прочитанным: "Можно разработать настолько схожие дистракторы, что учащемуся придется тщательно анализировать каждый вариант ответа, прежде чем он сделает окончательный выбор. Если он неправильно ответит на вопрос, проверяющий глубину понимания текста, причина его затруднений может иметь интеллектуальный, лингвистический или смешанный характер"2.

Однако, по мнению тестологов, множественный выбор является одним из самых сложных и трудоемких видов тестового задания. Более того, некоторые из них считают, что умение отвечать на этот тип вопросов есть особое умение, которому можно обучить. Испытуемый, умеющий логически рассуждать, может достаточно точно вычислить правильный ответ, не читая при этом самого текста. Как показывает практика, полностью исключить фактор угадывания в этом виде задания очень трудно.

Клоуз-тест. В основе данного типа тестов лежит концепция избыточности, согласно которой испытуемый может использовать языковую избыточность, чтобы восстановить определенным образом деформированный текст: в нем могут быть полностью или частично удалены либо добавлены некоторые слова. Тестовые задания типа "клоуз" обычно бывают нескольких разновидностей:

• классический вариант с фиксированным пропуском слов, когда из текста удаляется каждое n-e слово (обычно 5, 6, 7,..., 12-е);

• модифицированный вариант с произвольно (random cloze) или рационально (rational cloze) выбранным коэффициентом удаления слов;

• клоуз в сочетании с предложенными вариантами ответов: multiple-choice cloze, summary/matching/banked cloze;

• cloze elide/negative cloze/editing - "клоуз наоборот", когда слово не удаляется, а добавляется в структуру предложения. Некоторые тестологи называют разновидности клоуз-теста, кроме

классического, "заполнением пропусков" (gap-filling), поскольку они считают, что данные виды заданий измеряют разные умения3. По мнению этих авторов, клоуз с фиксированным пропуском слов проверяет понимание текста на микроуровне, т.е. на уровне предложения и его ближайшего окружения, и, следовательно, это тест на проверку знания лексики и синтаксиса. По мнению других исследователей, чтобы суметь заполнить по крайней мере некоторые пропуски правильно,

2 Munby J. Communicative Syllabus Design. Cambridge: Cambridge University Press, 1997. P. 19.

3 Alderson C. Assessing Reading. Cambridge University Press, 2000; UrquhartS., Weir C. Reading in a Second Language: Process, Product and Practice. Longman, 1998.

требуется понимание всего текста на макроуровне. Иными словами, этот тест проверяет навыки и умения не только низшего порядка (микроуровень), но и высшего порядка (макроуровень). Считается также, что модифицированный клоуз-тест дает составителю и пользователю теста более четкую картину относительно измеряемого конструкта, поскольку в тесте закладываются конкретные параметры удаления. Например, удаляя слова, важные для понимания главных идей текста или его связности, составитель может в определенной степени измерить уровень сформированности умения выделять главные и второстепенные мысли либо умения следить за ходом рассуждения автора.

Одним из вариантов модификации клоуз-теста является так называемый multiple-choice cloze, или summary/matching/banked cloze, когда испытуемому предлагается выбрать слово из нескольких вариантов ответа, которые даются в формате множественного выбора (3-4 варианта к каждому слову), либо из банка ответов, расположенных, как правило, в алфавитном порядке и включающих несколько дополнительных дистракторов. Второй вариант составить сложнее, поскольку может оказаться, что слово, выбранное в качестве дист-рактора, будет выступать в качестве вполне возможного ответа для одного из пропусков4.

Последняя разновидность клоуз-теста - cloze-elide / text retrieval / text interruption / doctored text / mutilated text / negative cloze, или "клоуз наоборот". В этом виде тестового задания слова добавляются в текст, и читателю предстоит догадаться, какое слово лишнее. За каждое правильно угаданное слово он получает один балл, а при каждом неправильно угаданном слове балл снимается. Составить такой тест достаточно сложно: необходимо быть абсолютно уверенным, что каждое добавленное слово на самом деле не может использоваться в данном контексте. Другая проблема состоит в том, куда конкретно поставить лишнее слово. В данном случае нельзя полагаться на псевдопроизвольную процедуру вклинивания слова в предложение, так как полученный текст может оказаться вполне приемлемым. Тестолог должен уметь спрогнозировать ход мыслей испытуемого в плане выявления вставленного слова. Это непросто сделать, поскольку для этого надо суметь поставить себя на место испытуемого, что составителю теста сделать практически невозможно, поскольку он знает заранее, какое именно слово было использовано.

Менее известна еще одна модификация клоуз-текста, хотя она достаточно широко применяется учителями-практиками. Это Б-тест

4 Alderson C. Op. cit.

или L-test5 с шагом в 4, 5 или 6 слов и указанием в слове-пропуске одной первой буквы или n/2 букв, где n - количество букв в слове.

С-тест (си-тест) считается разновидностью клоуз-теста, устраняющей ряд его недостатков. К основным достоинствам этого задания относят простоту его разработки: в С-тесте начиная со второго предложения текста в каждом втором слове текста пропущена его вторая часть, вместо которой ставятся точки по числу пропущенных букв. При нечетном числе букв пропускается меньшая часть букв. Например, слово apple будет представлено как арр... . Как и в кло-уз-тесте, числа, имена собственные и названия мест, а также первое и последнее предложения остаются без изменений. Каждое слово с пропуском рассматривается как отдельное тестовое задание (item), число которых в классическом С-тесте составляет 20-25 единиц.

К недостаткам этого вида теста обычно относят: а) отсутствие гибкости: небольшие зафиксированные расстояния между тестовыми заданиями приводят к тому, что часто под удаление попадают короткие служебные слова, что приводит к значительному упрощению теста; б) низкую внешнюю валидность: у многих испытуемых возникают значительные затруднения в выполнении теста именно из-за его непривычного вида. Поэтому некоторые исследователи считают, что с большой вероятностью этот метод на самом деле измеряет не степень понимания прочитанного, а умение выполнять собственно С-тест6.

Задания на перекрестный (или множественный перекрестный) выбор: matching/multiple matching. При перекрестном выборе количество вопросов совпадает с количеством ответов, а при множественном перекрестном выборе предоставленных вариантов ответов должно быть как минимум на два больше, чем правильных ответов. При составлении заданий надо помнить о том, чтобы дистракторы случайно не оказались вполне возможным вариантом ответа.

Альтернативный выбор получил наибольшее распространение по ряду причин. Прежде всего, для него легко подобрать текст, поскольку даже небольшой по объему текст может дать достаточное количество заданий. При этом они выполняют обучающую функцию, поскольку фокусируют внимание испытуемого на наиболее важных в смысловом отношении моментах текста. Адекватное количество грамотно разработанных тестовых заданий на альтернативный выбор дают достаточно точное представление относительно того, насколько

5 Kokkota V. Letter Deletion Procedure: A Flexible Way of Reducing Text Redundancy // Language Testing. 1988. Vol. 5. N 1. P. 115-119.

6 Alderson C. Op. cit.

хорошо испытуемый понял текст. У заданий этого вида имеются два очевидных недостатка. Во-первых, есть 50% вероятности того, что испытуемый случайно угадает правильный ответ. Именно поэтому многие тестологи вводят в данный вид задания еще один возможный вариант ответа - "не дано" или "не сказано". Во-вторых, при дихотомическом варианте уровень сложности теста в среднем не превышает 75%, а это значит, что он недостаточно точно дискриминирует испытуемых, особенно если число заданий невелико.

Краткий ответ (short answer /cued recall). По мнению некоторых тестологов, этот вид тестового задания может использоваться со всеми видами чтения (поисковым, изучающим, просмотровым и др.) для проверки различных умений и навыков, применяемых испытуемым в процессе чтения7. Этот вид задания требует от разработчика умения формулировать четкие вопросы и разрабатывать максимально объективные параметры оценивания ответов. Одним из недостатков этого типа задания является то, что ответ дается в письменном виде, а это значит, что степень владения письменной речью будет оказывать влияние на результат теста, тем самым несколько видоизменяя тестовый конструкт. Следовательно, при разработке параметров оценивания ответов необходимо указывать, что ошибки в правописании, грамматике и пунктуации не учитываются при подведении итогов.

Тестовое задание на завершение предложения (completion) имеет схожие с кратким ответом характеристики, но является более структурированной формой задания, поскольку начало предложения задает меньшую вариативность ответов.

Изложение по памяти прочитанного материала (на родном или иностранном языке): free recall / recall protocols. Этот вид задания определяется всеми исследователями как наиболее прямой (аутентичный) способ проверки понимания прочитанного, поскольку между читателем и текстом не стоит дополнительный элемент в виде задания, придуманного и в некотором роде навязанного ему составителем теста. Данный вид задания дает проверяющему представление о том, каким образом читатель анализирует и структурирует полученный материал для хранения его в памяти, какие стратегии он использует при его воспроизведении, каким образом он реконструирует текст.

Хотя считается, что этот вид задания наиболее полно приближен к реальной жизни, ситуация тестирования не может не накладывать

7 Urquhart S., Weir C. Op. cit.

на испытуемого ряд ограничений. В реальной жизненной ситуации такого рода конспективные изложения, резюме, аннотации читатель делает лично для себя или для того, кто не читал этой статьи, задавая удобный для этой цели формат и способ изложения. При тестировании испытуемый излагает прочитанное по схеме, предложенной экзаменаторами, или в определенном формате, если он, например, заполняет пропуски в подготовленном ими изложении.

Конспективное изложение (summary) прочитанного текста с перечислением главных мыслей всего текста или его части либо идей, относящихся к определенной теме, является более популярным видом изложения. Ценность данного вида задания заключается в том, что оно вполне аутентично: в жизни достаточно часто приходится иметь дело с аннотациями, резюме, кратким пересказом, когда надо выделить суть прочитанного материала, определив важность отдельных элементов. Однако и здесь возникает вопрос оценивания ответа, а именно того, что подлежит оценке: количество перечисленных идей или качество ответа, определяемое по заранее заданной шкале. Такой вид изложения не есть простое понимание текста. Испытуемому необходимо отсортировать и затем определенным образом организовать информацию для последующего ее изложения в письменном виде, что в некотором роде зависит от степени сформированности его метакогнитивных умений. Более того, если изложение дается на иностранном языке, то трудно точно диагностировать причину неудачного ответа, поскольку задействованы и умения в письменной речи. Alderson предлагает решить эту проблему путем модификации задания, когда составитель тестов подготавливает несколько вариантов изложения текста, а задача испытуемых - выбрать наиболее, по их мнению, полный8.

Gapped Summary - улучшенный вариант задания "изложение прочитанного по памяти". Испытуемые читают текст, после чего заполняют пропуски в кратком изложении текста, из которого были удалены все ключевые слова. В качестве модификации этого задания можно дать банк возможных ответов - как отдельных слов, так и словосочетаний. Предполагается, что испытуемые могут выполнить задание, только если они прочитали и поняли текст. Alderson считает, что все задание (и изложение, и заполнение пропусков) можно выполнять на родном языке, чтобы получить лучшее представление о том, как испытуемый понял текст9.

8 Alderson C. Op. cit.

9 Ibidem.

Задания на перенос информации (information transfer) - заполнение таблиц, диаграмм и т.д. При выполнении этого задания испытуемый должен найти в тексте информацию, необходимую для заполнения таблицы, диаграммы, денотатной или географической карты и т.д. Когда эта информация представлена в виде чисел, названий или имен, оценивание носит объективный характер, а когда требуется вписать короткие фразы или предложения, то оценивание будет полуобъективным. Urquhart et al. указывают на то, что задания, которые требуют невербального ответа, не должны усложнять процесс чтения и получения информации, а также не должны носить искусственный, оторванный от реальной жизни характер. Иногда составители тестов делают формулировку подобного рода заданий настолько вычурной, что испытуемый, поняв сам текст, не может взять в толк смысл задания10.

Упорядочение (ordering, sequencing, rearrangement) и ранжирование (ranking) информации. Задания на упорядочение используются для поверки умения составлять связный текст из разрозненных предложений, абзацев или отрывков текстов, для чего испытуемому необходимо уметь выявить средства связи, общую структуру текста, сложные грамматические связи. На первый взгляд кажется, что эти задания составить довольно легко. Однако здесь тоже есть свои подводные камни. В частности, предложенный испытуемым альтернативный порядок очень часто оказывается вполне жизнеспособным, хотя и может отличаться от того, который был в оригинале у автора текста. В этом случае приходится принимать предложенную испытуемым альтернативу или переписывать текст, чтобы в дальнейшем избежать многозначных непредусмотренных вариантов ответа. Помимо этого, возникает вопрос: как оценивать ответ, в котором часть предложений идет в правильном порядке, а часть - нет? Если давать один балл за правильный ответ и 0,5 балла за неправильный, это чрезвычайно усложнит процесс оценивания. Поэтому некоторые составители тестов засчитывают весь ответ либо как правильный, либо как неправильный, даже если порядок нарушен лишь в одном случае.

Ранжирование - вид задания, при котором испытуемым необходимо распределить содержащуюся в тексте информацию согласно заданным критериям - степени важности, временной последовательности и т.д. Очевидно, что отбираемый для такого вида задания текст должен быть четко структурирован.

Проведенный анализ позволил составить номенклатуру заданий, которые наиболее часто используются для определения уровня сформированности умений чтения для академических целей. Пред-

10 Urquhart S., Weir C. Op. cit.

ставленная ниже таблица дает возможность выбрать наиболее эффективный способ измерения конкретного умения в рамках выделяемых в отечественной методике видов чтения.

Задания для проверки уровня сформированности умений чтения для академических целей

Виды чтения Проверяемые умения* Виды тестовых заданий

Изучающее чтение (Careful reading) Умения, связанные с пониманием эксплицитно представленной информации: - выделять главную мысль; - отделять основные факты от второстепенных; - устанавливать эксплицитно представленные логические связи между фактами / причинно-следственными отношениями - multiple choice - true/false/not given - (multiple) matching - information transfer - free recall

Умения, связанные с пониманием имплицитно представленной информации: - устанавливать имплицитно представленные логические связи между фактами / причинно-следственными отношениями; - отличать мнение от факта; - определять интенцию (коммуникативную задачу) автора; - сделать вывод, предположить возможное развитие изложенного - multiple choice - true/false/not given - (multiple) matching - short answer - gap filling

Умение понимать незнакомые слова с помощью языковой догадки на основе: а) словообразования; б) логического контекста - short answer - multiple choice

Умение выявлять и понимать средства локальной связности (референцию, субституцию, лексическую когезию и т.д.) - short answer - cloze - multiple choice

Умение понимать синтаксическую структуру (на микроуровне) - cloze (multiple choice, banked) - cloze elide - С-test

Ознакомительное чтение (Skimming) Умение - выделять основные факты / основную линию доказательств, аргументации автора; - распознавать структуру текста, выделять ее смысловые части (начало, основную часть, заключение); - распознавать смысловые связи внутри абзаца / между абзацами - multiple choice - true/false/not given - (multiple) matching - (Gapped) summary - insert a sentence

Виды чтения Проверяемые умения* Виды тестовых заданий

Умение выделять синтаксическую структуру (на макроуровне) - information transfer - sequencing

Просмотровое чтение (Search reading): выборочное чтение отдельных элементов текста с целью выявления наличия в тексте требуемой информации Умение определять тему, подтему текста в опоре на заголовок / названия разделов / полиграфические знаки, иллюстрации. Умение выявлять реестр рассматриваемых в тексте вопросов - information transfer - sentence completion

Поисковое чтение (Scanning) Умение осуществлять поиск и выявлять требуемую / желаемую информацию, например поиск нужной дефиниции, формулировки, цифровых или иных данных - multiple choice - sequencing - short answer /sentence completion - information transfer (e.g. flow chart)

* Умение понимать перифраз не выделено в таблице, оно проверяется в большинстве тестовых заданий, поскольку вопрос формулируется иными по сравнению с текстом словами.

Проведенный сравнительный анализ тестов позволяет сделать вывод о том, что для чтения, как и для других видов речевой деятельности, не существует универсального вида тестовых заданий, который бы соответствовал всему многообразию целей и задач тестирования. Более того, каждый вид задания имеет свой уровень сложности, определяемый сложностью интеллектуальных операций, необходимых для его выполнения, и сложностью языкового и текстового материала, который может предполагать наличие специальных фоновых знаний у испытуемого. Сложность задания может определяться и тем, на каком языке испытуемый должен дать ответ, а также наличием или отсутствием банка ответов. Следовательно, разработка теста по чтению требует тщательного подбора тестовых заданий в соответствии с обозначенной целью тестирования, измеряемым конструктом и особенностями испытуемых, а грамотное соотношение различных типов тестов даст более точную картину уровня сформи-рованности необходимых умений и навыков.

Список литературы

Alderson C. Assessing Reading. Cambridge University Press, 2000. Brown J.D. Testing in Language Programs: a Comprehensive Guide to English Language Assessment. McGraw-Hill, 2005. Kokkota V. Letter Deletion Procedure: A Flexible Way of Reducing Text Redundancy //

Language Testing. 1988. Vol. 5. N 1. Munby J. Communicative Syllabus Design. Cambridge: Cambridge University Press, 1997.

Urquhart S., Weir C. Reading in a Second Language: Process, Product and Practice. Longman, 1998.