CC BY
117
Л.А. Кожевникова*
ОСНОВНЫЕ ПАРАМЕТРЫ ТЕСТОВОГО ЗАДАНИЯ ДЛЯ ИЗМЕРЕНИЯ УРОВНЯ СФОРМИРОВАННОСТИ УМЕНИЙ (НА ПРИМЕРЕ ЧТЕНИЯ)
В статье даются различные определения термина «тестовое задание», которые встречаются в англоязычной лиите-ратуре; обсуждаются основные принципы разработки теста; анализируются требования, предъявляемые к тестовым заданиям.
Термин «тестовое задание» имеет несколько аналогов в англоязычной литературе: test method, technique, task, format, item, question, point. Все эти слова довольно часто употребляются как близкие синонимы, четкого разграничения в их значении нигде не дается. Нередко дефиниции «тестового задания» включают различные его параметры, поэтому некоторые авторы считают необходимым уточнять значение термина, которое будет использоваться в их работе [5.С.54; 3.С.202; 4.С.41 и др.]. Например, «мультилингвальный глоссарий терминов языкового тестирования» [17.С.149] включает в понятие «тестовое задание» «любое тестирующее задание (testing point) в тесте, за которое дается балл или баллы». В «Англо-русском терминологическом справочнике по методике преподавания иностранных языков» [1.С.189] говорится: «Тестовое задание является минимальной составляющей единицей теста, которая предполагает определенную вербальную или невербальную реакцию тестируемого». Д.Д. Браун дает определение, первая часть которого совпадает с приведенным выше определением: «Тестовое задание - минимальная составляющая единица теста, которая дает ясную и значимую информацию после того, как пройдет этап объективного или субъективного оценивания» [4.С.41], подчеркивая тем самым, что значимость задания можно оценить в полной мере только, когда будет проведен этап его пилотирования, оценки и статистической обработки. В результате может, например, выясниться, что задание, которое на первый взгляд казалось подходящим для данного теста, на самом деле может недостаточно хорошо дискриминировать между сильными и слабыми испытуемыми.
* © Кожевникова Л. А., 2007
Кожевникова Людмила Александровна - кафедра иностранных языков гуманитарных факультетов Самарского государственного университета.
В продолжение обсуждения темы многообразия терминов, употребляемых в литературе по тестированию в отношении понятия «тестовое задание», надо отметить, что Олдерсон отмечает, что задание может иметь несколько форма-тов(£огта1;) или использовать различные приемы тестирования(1есЬшдие8) [3.С.202].
Прежде чем определиться с типом тестового задания, составитель теста должен продумать, каким образом он сможет избежать, или, по крайней мере, уменьшить возможность искажения измерения. Это можно достичь путем максимально точной формулировки целей и задач тестирования для данной группы испытуемых и измеряемого конструкта, а также путем выбора оптимального формата теста и тестовых заданий и устранения факторов, не имеющих отношения к измерению данного конструкта. Рассмотрим эти два момента подробнее, используя в качестве примера рецептивный вид речевой деятельности - чтение.
В современной тестологии существуют два подхода к пониманию природы чтения как вида речевой деятельности: ряд исследователей считает, что чтение унитарно по своей природе, понимание прочитанного зависит от способностей учащегося (психолингвистических, жизненного опыта, т.д.) и от его желания размышлять над тем, что они читает [13.С.64]. Другие исследователи считают, что чтение мультикомпонентно и его можно подразделить на различные компоненты (умения, навыки, стратегии), и что учащиеся могут демонстрировать различные уровни овладения этими компонентами. Многочисленные исследования приводят доказательства в пользу и одной, и другой точки зрения, поэтому пока нет ясной картины, какая из них является наиболее правильной. С точки зрения тестовых форм контроля, единственный выход в данном случае - проводить четкое разграничение между измеряемыми величинами (знания, умения, стратегии) и при разработке теста, и при определении критериев оценки. В противном случае общая отметка или показатель выполнения теста в процентном выражении (при унитарном подходе) не даст возможности выявить информацию о сильных и слабых сторонах чтеца.
Определившись, что именно будет измеряться в данном тесте по чтению, составитель тестов может приступать к определению формата теста и видов тестовых заданий, которые будут наиболее оптимальным образом способствовать этому измерению, а также просчитывать возможные факторы, которые могут привести к искажению результатов тестирования.
Современный подход к коммуникативному тестированию предполагает, что валидный тест должен отражать как можно точно то взаимодействие между текстом и читателем, которое происходит в реальной жизни, где фоновые и общеобразовательные знания читателя, а также его языковые знания вступают в тесное взаимодействие с информацией в тексте для того, чтобы он мог в полной мере понять текст в соответствии с выбранными им целью и видом чтения. Следовательно, задача составителя теста состоит в том, чтобы формат
теста и виды задания не создавали искусственные барьеры, мешающие чтецу задействовать весь свой интеллектуальный арсенал средств. В плане общих требований, предъявляемых к тесту, необходимо, в частности, определить структуру, тематику и жанр текстов, набор и распределение заданий, продолжительность теста, а также время, отводимое на выполнение каждого конкретного тестового задания, которое рассчитывается на основе определения приблизительной скорости чтения у данной группы испытуемых.
Надо заметить, что различные исследователи по-разному определяют скорость, с которой должны читать взрослые, хорошо подготовленные чтецы. В англоязычной исследовательской литературе обозначены следующие показатели скорости чтения для изучающих английский язык как иностранный: у учащихся средней школы скорость чтения про себя составляет 120-150 слов в минуту (с/м), у студентов - около 200 с/м [14.С.56-57; 6.С.73]. Р. Картер (R.Carter) указывает цифру в 300 с/м. В отечественной методической литературе, в частности в работах З.И. Клычниковой, приводятся показатели скорости для хорошо читающего ученика старших классов средней школы: 164185 слов в минуту [2. С.29].
Для сравнения, Nuttall приводит данные о скорости чтения носителя языка: скоростной диапазон может составлять от 140 до 800 с/м (при поисковом чтении скорость может доходить до тысячи слов в минуту), в среднем же обычный американец читает со скоростью 300 с/м [14.С. 56]. Естественно, скорость будет значительно меняться в зависимости от цели чтения, сложности текста, информационной насыщенности и т. д.
При тестировании важно определить оптимальное время, необходимое для выполнения конкретного задания. Лимитированность времени есть важная характеристика любого теста, поскольку скорость обработки информации - важная составляющая общей языковой компетенции тестируемого. Неправильное рассчитанное время будет нарушать точность показателей и чистоту измерения конструкта, особенно, если суммарное время, отведенное на весь тест, окажется слишком продолжительным, и испытуемые устанут, что приведет к снижению внимания, мотивации, появлению ошибок и т. д. Для того чтобы правильно высчитать временной параметр, проводится серия пилотирования на такой выборке испытуемых, которая будет наиболее полным образом представлять последующую группу тестируемых. При этом также надо просчитывать время, отводимое на выполнение различных комбинаций из текстов и тестовых заданий. В связи с этим Weir и Urquhart [15.С.151] предлагают размещать вопросы в тесте таким образом, чтобы сначала шли задания, требующие более внимательного прочтения, поскольку, как показывает практика, испытуемые, как правило, тратят больше времени на работу с первым текстом. Следовательно, задания, которые проверяют навык просмотрового и поискового чтения, логичнее будет размещать в конце теста.
Необходимо также учитывать личностные характеристики целевой группы испытуемых, такие как, например, их возрастные особенности, наличие определенных фоновых знаний, необходимых для понимания отобранного для тестового испытания текста, и т.д. Тест должен помочь испытуемому максимально полно раскрыть свои умения, воспользоваться имеющимися у него знаниями. Он не должен вызывать у испытуемого эмоциональный стресс, в том числе и потому, что эта составляющая тестирования снижает мотивацию у некоторых читателей и приводит к более низким показателям [3.С.54]. Для этого, в частности, необходимо соблюдать следующие требования, предъявляемые к тестовым заданиям:
1. Они должны быть четко сформулированы. При необходимости вопросы могут задаваться на родном языке. В некоторых типах задания (резюме, краткий ответ) представляется вполне разумным разрешать давать ответы на родном языке, поскольку это в значительной мере помогает проверить глубину понимания текста [12].
2. Формат заданий должен быть знакомым для испытуемого и учитывать либо прошлый опыт, связанный с обучением языку, либо последующую сферу деятельности, где будут применяться языковые знания. Если, например, это тест учебных достижений, проверяющий уровень овладения учащимися конкретным языковым материалом и степень сформированности речевых умений и навыков за определенный период обучения, он должен в полной мере отражать тип текстов, а также те виды упражнений и заданий, которые выполнялись в классе за этот период. Если это тест размещения (placement test) или входной тест (entry test), он должен содержать виды текста и типы заданий, с которыми испытуемые будут встречаться в последующем курсе обучения. Скажем, разработчикам необходимо создать входной тест, по результатам которого испытуемые будут зачислены в учебные заведения для получения магистерской степени. Следовательно, им придется работать с академическими текстами, в полной мере задействуя умения и навыки работы с такого рода информацией. Поэтому, тексты для тестового испытания должны подбираться из учебников, подобных тем, с которыми испытуемым придется работать в данном учебном заведении, а типы тестовых заданий должны соответствовать тем видам работ, которые они будут выполнять в курсе обучения, например, задания, направленные на выявление умения реферировать, резюмировать, заполнять таблицы, интерпретировать графики и т.д.
В плане общих требований к тестовым заданиям также необходимо помнить следующее:
а) проверяться должны только те умения и навыки, которые относятся к измеряемому конструкту. Например, при измерении уровня сформированно-сти навыка чтения из параметров оценивания ответа на краткий вопрос по содержанию прочитанного необходимо исключить оценку умений письменной речи;
б) каждое тестовое задание измеряет только одно умение;
в) содержание тестовых задания должно требовать от испытуемого однозначного ответа, а при наличии вариантов множественного выбора они должны содержать один и только один правильный ответ;
г) вопрос должен быть сформулирован таким образом, что испытуемый должен на него ответить только при условии, что он понял прочитанный текст, а варианты ответа должны быть подобраны таким образом, чтобы для того, кто не понял материал, любой дистрактор должен казаться более вероятным ответом, чем правильный вариант;
д) вопросы не должны содержать более трудную лексику, чем сам текст;
е) не следует тестировать тривиальное, поскольку его легко обнаружить;
ж) необходимо избегать вопросов, которые могут трактоваться неоднозначно. Например, необходимо исключить использование отрицание, а также таких слов, как «все», «каждый», «всегда», «никогда», «иногда», «часто», которые содержат двусмысленность или противоречие. То же касается и вариантов ответов: нельзя предлагать в качестве правильного ответа тот, который будет, в частности, содержать эти слова и, следовательно, при определенных условиях представлять сомнительный с точки зрения испытуемого аргумент;
з) в вопросе не должно содержаться «непреднамеренных», чаще всего, грамматических подсказок (например, наличие в основе задания артикля «an» перед пропущенным словом подсказывает испытуемому, что из предложенных вариантов ответов тот, который начинается с определенной гласной, скажем, слово apple , и будет правильным) [7. С.143; 16].
Для проверки большинства видов чтения задания рекомендуется располагать перед текстом. Во-первых, многие читатели в реальной, а не тестовой ситуации, приступая к чтению, задаются рядом вопросов, прогнозируют и антиципируют возможное его содержание. Следовательно, такое расположение заданий представляется более естественным. Во-вторых, такое расположение вопросов помогает читателю более структурированно работать над текстом и выбирать подходящие тестовые стратегии для выполнения заданий. Например, если задание проверяет умение найти какую-то конкретную информацию в тексте, он сможет ответить на этот вопрос, пробежав глазами весь текст, не тратя время на его тщательное изучение
Необходимо рассмотреть порядок следования вопросов по проверке содержания текста и также, по возможности, постараться смоделировать его так, чтобы он был похожим на естественный [15.С.153]. Иногда тестологи рекомендуют составителю теста постараться поставить себя на место читателя и спрогнозировать, каким образом будет выстраиваться взаимодействие читателя и текста, какие вопросы может порождать у читателя предложенный материал. Помимо этого, вопросы всегда должны идти в порядке следования информации в тексте, поскольку, как показали исследования Кинч и Ван Дейк [11], Джаст и Карпентер [8, 9], читатели реконструируют денотивно-
референтную репрезентацию текста пошагово, и последовательное выстраивание вопросов помогает этому кумулятивному процессу. Исключения могут составлять задания, которые требуют применения навыков курсорного (scanning) чтения [10.С.130].
Надо также решить, следует ли на одном тексте проверять несколько разных умений и стратегий. Возможно, будет более целесообразно применять для этого разные виды текстов.
Таким образом, коммуникативно направленный тест по чтению должен учитывать личностные характеристики испытуемого, помогая ему максимально полно использовать свой интеллектуальный багаж, а также отражать реальные потребности в данном виде речевой деятельности, включая тип дискурса, с которым ему придется работать, задачи, которые он будет решать при чтении, стратегии, умения и навыки, необходимые для решения этих задач.
Библиографический список:
1. Колесникова, И. Англо-русский терминологический справочник по методике преподавания иностранных языков / И. Колесникова, О. Долгина. - Cambridge University Press, 2001. - 224 с.
2. Клычникова, З.И. Психологические особенности обучения чтению на иностранном языке / З.И. Клычникова. - М.: Просвещение, 1983. - 207 с.
3. Alderson, C. Assessing Reading / C. Alderson. - Cambridge University Press, 2000.
4. Brown, J.D. Testing in language programs: a comprehensive guide to English Language assessment / J.D. Brown. - McGrow-Hill, 2005.
5. Cohen, A.D. Assessing Language Ability in the Classroom / A.D. Cohen. - Heinle and Heinle Publishers, 1994.
6. Eskey, D.E. A Model program for teaching advanced students of English as a Foreign Language in Mackay, et al.(eds) / D.E. Eskey // Reading in a Second Language: Hypotheses, Organization, and Practice Newbury House Publishers, Massachusetts, 1979.
7. Farr, R. Recent Theory and Research into the Reading Process: Implications For Reading Assessment in Orasanu, J.(ed) / R. Farr, R. Carey, B. Tone // Reading Comprehension from Research to Practice. - Lawrence Erlbaum Associates, Publishers, Hillsdale. - New Jersey- London, 1986.
8. Just, V. A theory of reading from eye fixation to interpretation / V. Just,
P.A. Carpenter. - Psychological review, №87, 1980. - P. 329-54.
9. Just, V. The psychology of reading and Language comprehension / V. Just,
P.A. Carpenter. - Boston, Mass.: Allyn and Bacon, 1987.
10. Hughes, A. Testing for Language Teachers / A. Hughes. - CUP, 1989.
11. Kinsch,W. Toward a model of text comprehension and production / W. Kinsch,
T.A. Dijk van. - Psychological Review, 85, 1978. - P. 363-394.
12. Lee, J.F. On the use of the recall task to measure L2 reading comprehension / J.F. Lee. - Studies in Second Language Acquisition 8(1), P. 83-93.
13. Lunzer, E The Effective Use of Reading / E. Lunzer, K. Gardner. - Heinemann Educational Books for the School Council, 1979.
14. Nuttall, C. "Teaching in a Foreign Language / C. Nuttall. - Heinemann, 1996.
15. Urquhart, S. Reading in a Second Language: process, product and Practice /
S. Urquhart, C. Weir. - Longman, 1998.
16. Weir, C.J. Understanding and developing language tests / C.J. Weir. - Prentice Hall International, 1993.
17. Multilingual Glossary of Language Testing Terms, The. - ALTE, 1998,
Статья принята в печать в окончательном варианте 15.12.2006 г.
L.A. Kozhevnikova
EFFECTIVE TEST ITEMS FOR READING COMPREHENSION TESTS
This article gives different definitions of the term «Test item»; discusses the main principles of test design and construction; analyses the most important issues in question design.
