CC BY
42
УДК 371.263 И. Г. Большакова
Вестник СПбГУ. Сер. 9. 2013. Вып. 1
ЧТО МЕШАЕТ ЭФФЕКТИВНОСТИ ЛИНГВОДИДАКТИЧЕСКОГО ТЕСТА?
В ходе разработки тестов, их применения на практике и интерпретации полученных результатов различные факторы могут отрицательно повлиять на эффективность тестов и правомерность выводов, получаемых при анализе их результатов. Эти факторы достаточно разнообразны. В настоящей работе предпринята попытка создать целостную картину возможных помех, возникающих при работе с тестами, и проанализировать некоторые группы потенциальных причин, способных приводить к искажению объективной ситуации:
1) методические ошибки (в содержании теста, в организации тестового материала и проведении процедуры тестирования);
2) психологические факторы, снижающие эффективность тестирования;
3) ошибки при первичной обработке результатов тестирования;
4) ошибки при анализе и интерпретации результатов;
5) неправильное использование результатов тестирования;
6) парадигмальные ошибки в оценивании.
Ниже приводится схема, представляющая собой подробное описание возможных недочетов и ошибок в применении метода тестов. Она не претендует на полноту классификации, но является результатом стремления автора привести в систему теоретические взгляды и тот практический опыт, который был накоплен в процессе преподавания иностранного языка. В целях большей наглядности некоторые наиболее распространенные ошибки проиллюстрированы примерами из реальных источников — в той мере, в какой это позволяет сделать объем настоящей работы.
Методические ошибки
Ошибки при подборе лингвистического материала
1. Возможность разночтения (например, использование устаревших грамматических норм или отсутствие учета лексической многозначности слова).
2. Языковое наполнение тестовых заданий: высокий уровень абстракции (несоответствующий контингенту испытуемых или цели тестирования), логически непоследовательное изложение, малоупотребительная лексика, упоминание преходящих, сиюминутных социокультурных реалий.
3. Недостаточное или избыточное количество тестового материала.
4. Несоответствие сложности заданий уровню языковой подготовки испытуемых (неоправданно широкий или, напротив, узкий лексический спектр, использование в большом количестве грамматических конструкций, заведомо незнакомых испыту-
Большакова Ирина Георгиевна — соискатель, ст. преподаватель, Санкт-Петербургский государственный университет; e-mail: [email protected]
© И. Г. Большакова, 2013
емым, либо использование заданий с излишне упрощенной грамматической структурой для оценивания испытуемых с высоким уровнем языковой подготовки).
5. Использование заданий, представляющих двойную трудность для испытуемого, т. е. необходимость для успешного выполнения задания продемонстрировать знание более чем одного лексического или грамматического явления.
Рассмотрим, например, такое тестовое задание по английскому языку на множественный выбор ответа [1, с. 71]:
If I.............................a launch here I..............................this afternoon.
Предлагаемые варианты ответов:
A can hire
B could hire
C could have hired
A get off
B will get off
C would get off
Задание направлено на оценивание знаний раздела «условные предложения». Но для его выполнения необходимо также знание фразовых глаголов (get of). Кроме того, в задании присутствует еще одна сложность — лексическая: перевод выражения to hire a launch (launch в значении существительного (моторная лодка, катер) по своему частотному употреблению совсем не обязательно должно входить в лексикон испытуемого). Получается, что перед испытуемым в одном задании поставлены сразу три проблемы. Конечно, можно разрешить пользоваться словарем при выполнении теста, но будут ли оправданы при этом затраты времени и энергии испытуемого, если все, на что задание было направлено по замыслу разработчика, — это построение второго типа условных предложений?
6. Несоответствие содержания заданий целям тестирования (проверка общей компетенции, а не знания языка).
В качестве примера, рассмотрим следующее тестовое задание [2, p. 14]:
Fill in the correct word derived from the word in bold.
Pandas are considered to be a(n)........................species. DANGER
В качестве ответа нужно вставить слово ENDANGERED, подразумевающее, что панды, о которых идет речь в задании, находятся на грани исчезновения как биологический вид. Однако автору данной работы пришлось столкнуться с ситуацией, когда некоторые студенты, очевидно, не имея представления ни об опасности, угрожающей этим милым и безобидным животным, ни о самих этих животных, посчитали панду опасным зверем (это же медведи!) и выбрали ответ DANGEROUS.
При этом их нельзя на основании приведенного выше задания упрекнуть в незнании английского языка: с лексико-грамматической точки зрения все выполнено верно. Проблема заключается в недостатке так называемых «фоновых знаний», иными словами, студенты оказались не слишком эрудированными. Так или иначе, задание было выполнено неправильно, но это характеризует не уровень обученности языку, а кругозор студентов, т. е. уровень их общей компетенции.
7. Неравномерное отражение различных разделов той области, которая подлежит проверке в тесте.
8. Несоответствие содержания заданий жизненному опыту и возрастным особенностям испытуемых.
9. Низкие показатели надежности и валидности теста.
10. Недостаточное количество дистракторов (в заданиях с множественным выбором).
11. Не учтен коэффициент дискриминации, что ведет к лишним, неинформативным вопросам.
12. Не учитывается вариативность ответов.
Со сложностями, которые возникают при необходимости учитывать все возможные варианты ответов, сталкивается большинство разработчиков тестов с вопросами открытого типа. Например, случается, что даже после добросовестно проведенного предварительного этапа тестирования у заданий типа gap-filling в ключах для проверки невозможно указать все правильные варианты ответов для конкретного задания. Казалось бы, уже все предусмотрено, но в последующих выборках тестируемых периодически находится какая-нибудь творческая личность, предлагающая новый ответ, который оказывается вполне подходящим. Естественно, это повышает требования к проверяющим тест, исключает возможность механической проверки по ключам. В данном случае тщательный подход к анализу результатов, пожалуй, единственное, что можно предложить (помимо предъявления задания большему количеству людей в процессе предварительного тестирования, что не всегда возможно и эффективно).
Бывает, что испытуемый не может вставить вместо пропуска правильное слово не потому, что у него скудный лексический запас. Он вполне может знать искомое слово, но в момент тестирования оно просто не приходит ему в голову. Такие ситуации разработчикам сложно предугадать: они видят текст целиком и воспринимают его во всей полноте, поэтому пропущенное слово кажется им очевидным. Эти случаи хорошо выявляются в процессе испытания теста на коллегах и предварительного тестирования.
Еще один пример необходимости учитывать вариативность ответов, на этот раз — для задания с множественным выбором:
"Why hasn't your mother come?"
"Well, she said she.............leave the baby".
A can't
B won't
C couldn't
D mayn't
Очевидно, что правильный ответ — С, в соответствии с правилами передачи косвенной речи, изложенными во многих учебниках. Но когда этот вопрос был предъявлен носителям языка, ответы A и B они также отнесли к вполне приемлемым, особенно в разговорной речи [3, p. 48]. Такие случаи еще раз свидетельствуют о необходимости тщательного анализа языкового материала в процессе подготовки теста, консультации с носителями языка при наличии такой возможности.
Ошибки в организации тестового материала
1. Ошибки в структурировании тестового материала (расположение на страницах, последовательность предъявления).
2. Недочеты в оформлении тестового материала (опечатки, смещения строк, нарушение нумерации, недостаток места для вписывания ответов, неразборчивый шрифт, эстетически неприглядный вид, плохое качество печати).
Отдельного разговора заслуживают опечатки — один из самых распространенных недостатков в реальной практике тестирования. Возможно, их влияние на выполнение теста недооценивается. Среди опечаток можно выделить те, которые не ведут к искажению смысла и адекватно и быстро опознаются испытуемыми именно как опечатки, и те, которые мешают правильно воспринимать смысл задания. В первом случае влияние опечаток не критично для выполнения теста, если они единичны; в противном случае они могут отрицательно сказываться на выполнении теста по следующим причинам:
— опечатки способны замедлять скорость выполнения тестов, требуя затрат времени на их фиксирование и распознавание;
— они могут раздражать испытуемых, снижать мотивацию к выполнению теста;
— опечатки снижают уровень доверия к тесту (т. е. его внешнюю валидность), создают впечатление недостаточной квалифицированности его создателей.
Но иногда опечатки способны помешать адекватному пониманию смысла тестового задания или полностью исказить его. Это приводит к следующим негативным последствиям:
— на бесплодное обдумывание вопроса затрачивается порой довольно много времени, которого потом тестируемому может не хватить для выполнения других заданий;
— испытуемые совершают ошибки даже в случае знания того материала, который должен был проверяться тестовым заданием;
— при обнаружении таких опечаток у испытуемых может возникать чувство протеста: «Ну так же не может быть!»;
— на фоне эмоционально окрашенной ситуации когнитивного диссонанса такие опечатки могут приводить к запоминанию неверных языковых моделей.
Приведем пример опечатки, мешающей восприятию смысла [2, p. 29].
Инструкция к заданию: Complete the second sentence using the word in bold. Use two
to five words including the word given. Do not change the word given.
Students must present an ID card when entering the library.
allowed Student's....................................the library without an ID card.
В качестве ключа предлагается ответ are not allowed into. Очевидно, что в тесте опечатка — вместо существительного во множественном числе (students) напечатано существительное в единственном числе и притяжательном падеже (student's). Но испытуемый со знанием языка на уровне elementary, для которого предназначен этот тест, может потратить значительное количество времени, пытаясь понять, что же требуется от него в задании.
3. Неадекватность инструкции к тесту или отдельным заданиям теста (инструкция не является ясной и однозначной, не выполняется требование «необходимо и достаточно»).
4. Не учтены все возможные варианты ответа (в заданиях, где требуются ключи).
В качестве примера приведем задание, предполагающее компьютерное предъявление [4]. Испытуемым предлагается небольшой текст "I love chess" с инструкцией: Read the text. Write the words where we can add self- in front of the word.
В тексте удовлетворяют этому условию следующие слова: potential, control, discipline, development, respect, confidence, defence. Но только шесть из семи этих слов содержатся в ключах к заданию; вариант potential не предполагается и не засчитывается как правильный, хотя слово self-potential существует и отражено в словарях. Правда, при правильном введении всех остальных слов программа выдает результат, засчитав шесть слов в качестве ответа и отклонив седьмое: ответ правилен на 100%.
Однако же очень часто при механической или компьютерной обработке тестовых результатов те ответы испытуемых, которые являются по сути правильными, но не указаны в ключах, не учитываются тестирующими и отклоняются как неправильные, снижая показатели испытуемых.
5. В заданиях на аудирование: использование акцентной речи (там, где это не предусмотрено спецификацией теста), излишне высокий темп речи, несоответствие величины аудитории и силы звука из динамиков; плохое качество звука, наличие шумов. Нежелательно также большое количество тестируемых в одном помещении, поскольку это создает звуковые помехи и, в силу расположения динамиков и невозможности выбрать удобное для прослушивания место, неодинаковые условия для аудирования.
Организационные ошибки при планировании и проведении процедуры тестирования
1. Нарушение таких требований к процедуре проведения теста, как:
— правильная организация рабочих мест для испытуемых: соблюдение требований эргономики и санитарно-гигиенических норм (удобная мебель, достаточная освещенность, проветренное помещение или кондиционированный воздух, отсутствие сквозняков и т. д.);
— отсутствие значимых помех, способных отвлечь от выполнения теста (например, шум, внезапные резкие звуки или вспышки света, резкие запахи, разговоры экспериментаторов или испытуемых);
— обеспечение достаточного количества бланков и тестовых материалов (в том числе чистых листов бумаги, если это необходимо).
2. Нерациональная организация временного режима работы испытуемых (неправомерно длинные или короткие промежутки времени для выполнения теста или отдельных его частей; несвоевременная организация перерыва или его отсутствие при необходимости длительной работы; несвоевременное начало или окончание процедуры тестирования).
3. Несоблюдение регламента, невыполнение инструкций лицами, проводящими тестирование. (Иногда это может быть вызвано недостаточной информированностью о своих функциях вследствие неполноты инструкций для персонала, проводящего тестирование.) В результате возможны грубые нарушения регламента, этических норм, намеренные или ненамеренные подсказки испытуемым в процессе выполнения теста.
4. Отсутствие достаточных инструкций, оговаривающих поведение испытуемых во время тестирования, или несоблюдение испытуемыми этих инструкций. Это относится к временным рамкам выполнения теста и/или его отдельных заданий, возможности пересаживаться на другое место, выходить из аудитории, обмениваться информацией во время теста, использовать телефон и другие технические средства, а также словари, справочники или иную печатную продукцию, употреблять какие-либо продукты питания и напитки.
5. Неполная или нечеткая инструкция испытуемым по поводу оформления работы: как заполнять тестовые бланки, куда и в каком виде вписывать ответы, следует ли использовать ручку или карандаш, можно ли делать пометки в тестовых материалах, можно ли использовать черновики, исправлять ошибки в своих ответах (если можно, то каким образом), использовать бумагу, принесенную тестируемыми с собой.
Отдельно стоит выделить ошибки, связанные с психологическими факторами, сказывающимися на эффективности тестирования. Иногда они проявляются в тех же областях, что и перечисленные выше недочеты, но ключевую роль в них играют не лингвистические или процедурные недоработки, а оставшиеся неучтенными психологические причины.
Психологические факторы, снижающие эффективность тестирования
В содержании теста
1. Тексты, непедагогичные по своему содержанию или несущие отрицательный эмоциональный заряд.
Так, нецелесообразно использовать тексты, способные оставлять хотя бы у части испытуемых гнетущие впечатления. Это прежде всего тексты о тяжелых заболеваниях или употреблении наркотиков, описания трагических случаев, произошедших с людьми или животными, тексты, способные задеть национальные чувства. Нецелесообразно также с психологической и педагогической точки зрения использовать задания, содержание которых пессимистично, рассказывает о победе злого начала над добрым и порождает ощущение безнадежности.
Это не означает, что любое упоминание событий или фактов, относящихся к описанным категориям, находится под запретом. Но следует избегать их излишне подробных и эмоциональных описаний, заведомо способных оказывать сильное психологическое воздействие. Для тестовой оценки в случаях, когда ее результаты имеют важное значение для тестируемых, лучше выбирать тексты с положительной либо нейтральной эмоциональной окраской, оставив наиболее волнующие описания для аудиторной работы вне ситуации тестирования.
Непедагогично вводить в тестовые задания рассказы об антисоциальных поступках, оставшихся безнаказанными (о преступниках, успешно продолжающих свою деятельность, о жуликах, которых обман приводит к процветанию, и т. д.). В психологии давно известно, что материал, вынесенный в экзаменационный билет, доставшийся студенту, может остаться в его памяти на долгие годы. То же может произойти и с заданием теста, если оно будет эмоционально окрашено.
2. Узкий контекст задания, допускающий домысливание ситуации, иное ее понимание, не предусмотренное ключом. Это одна из самых распространенных проблем, связанных с содержанием тестового задания.
Приведем несколько элементарных примеров.
He.....................like his brother.
A look B isn't C isn't look D can look
Разработчик, очевидно, имеет в виду значение «Он не похож на своего брата», «Он не такой, как его брат» [5]. Но ведь возможен и другой вариант: «Он может быть похожим на своего брата»: He can look like his brother (if he puts on his brother's hat and glasses). При этом тестируемый может воспринимать ситуацию иначе, чем разработчик теста. В некоторых случаях он может даже домысливать ее, воссоздавая в своем сознании условия, в которых его ответ будет корректным. Сделать это позволяет отсутствие однозначного контекста.
Рассмотрим еще один аналогичный пример задания из этого же источника.
If we get up in time,...................................the train.
A we catch B we caught С we had caught D we'll catch
Подразумевается один правильный ответ — под литерой D. Но здесь возможен и другой ответ — под литерой A, так как ситуацию можно трактовать по-другому: «Если мы встаем вовремя, мы успеваем на поезд» (обычно; а если мы опаздываем, то приходится брать такси).
Другой пример. В инструкции к заданию требуется поставить в правильной форме глагол, данный в скобках [1, c. 18]:
Their children always............(fight).
Подразумевается выбор между формами Present Simple и Present Continuous. В качестве правильного ответа выбрана форма Present Continuous: Their children are always fighting. Но что если произносящий в реальной ситуации эту фразу человек не испытывает эмоций досады, раздражения и т. д., а просто констатирует тот факт, что соседские (допустим) дети часто ссорятся? Тогда форма Present Simple вполне допустима. Но в таком случае теряется смысл предъявления самого задания: если нужно сделать выбор из двух возможных форм глагола, и обе они в итоге оказываются приемлемыми, использование этого пункта в тесте представляется нецелесообразным. Еще один пример [6, с. 37].
Инструкция: «Определите в каком предложении нужно поставить глагол при переводе предложения на английский язык». (В тексте самой инструкции пропущена запятая, а также содержится опечатка: очевидно, авторы хотели сказать «в какой форме нужно поставить».) Когда ты писал письмо?
a) did you write b) were you writing c) have you written
В качестве правильного ответа предлагается вариант b. Но в русском языке глагол «писал» может подразумевать продолженное действие, а может и не подразумевать его ( When did you write the letter? I haven't got it yet. — Когда ты писал это письмо? Я еще не получил его. Глагол «писал» в этой ситуации несет тот же смысл, что и «написал»). Тестируемый вполне может представить себе другую ситуацию, не совпадающую с той, которую подразумевал создатель теста, и в этой ситуации неправильный с точки зрения автора задания ответ может оказаться правильным.
Аналогичная ситуация встречается и в следующем примере [7, с. 33].
Инструкция к тесту: Исправьте ошибки.
They go to the school every day.
Подразумевается, что в этом предложении поставлен лишний определенный артикль. При этом разработчики теста имели в виду одну ситуацию. (Например, такую: Sam and Mary are schoolchildren. They go to school every day). Но тестируемый может представить ситуацию, в которой это предложение не будет ошибочным: Look at that building! It's my children's school. They go to the school every day. В данном случае подразумевается совершенно конкретная школа, здание, и определенный артикль здесь не будет лишним.
Таким образом, в приведенных примерах тестовых заданий предусмотрены не все возможные варианты понимания контекста, и от внимания разработчиков ускользает другое видение ситуации.
Как мы уже говорили выше, это достаточно типичный случай для многих тестовых заданий. Такую разновидность ошибки можно было бы назвать ошибкой эгоцентризма, понимаемого как термин когнитивной психологии1. Разработчик теста не может представить, как видит ситуацию другой человек, и ориентируется только на свое восприятие.
3. Замещение оценки лингвистических умений и навыков оценкой более общих психологических способностей и свойств либо оценка интеллектуальных функций наряду с оценкой лингвистических навыков.
Так, в тестах, оценивающих навыки чтения, принято изучать степень понимания текста на иностранном языке. В числе прочих умений от испытуемых требуется отличать основные идеи от подтверждающих их деталей, факты от мнений, утверждения от примеров, подразумеваемые идеи от фактической информации и т. д., а порой и проводить математические вычисления (для заданий, не имеющих никакого отношения к математике), чтобы ответить на вопрос, содержащийся в тесте, но не имеющий прямого ответа в тексте задания.
Аналогично в заданиях по чтению и в лексико-грамматических тестах испытуемые часто встречаются с необходимостью сделать логический вывод из информации, содержащейся в тексте. При этом в тексте содержится достаточно информации для того, чтобы такой вывод был сделан, но сам вывод не формулируется. Перед тестируемым стоит задача не только перевести текст, но и проанализировать данную в нем информацию, а затем прийти к умозаключению той или иной степени сложности.
1 Эгоцентрйзм (от лат. ego — «я», centrum — «центр круга») — неспособность или неумение индивида встать на чужую точку зрения; восприятие своей точки зрения как единственной существующей.
Между тем оценка умения делать вывод напрямую зависит от оценки интеллекта человека. Это легко продемонстрировать хотя бы тем, что аналогичные задания самым активным образом используются в психологических тестах для оценки вербального интеллекта. Таким образом, неумение ответить на подобные вопросы в лингвистических тестах — далеко не всегда демонстрация плохой языковой подготовки. Часто оно объясняется неумением сделать правильный (или кажущийся правильным разработчику теста) логический вывод из имеющейся информации (быть может, правильно переведенной испытуемым).
Ошибки в организации процедуры тестирования
1. Сообщение испытуемым негативной информации перед началом или во время тестирования.
В психологической литературе описываются результаты эксперимента, когда школьникам было предложено написать сочинение в одном случае на тему «Самое лучшее, что когда-либо случалось со мной», в другом — на тему «Самое худшее, что когда-либо случалось со мной». В последнем случае ученики гораздо хуже справились с результатами интеллектуального теста, который следовал за сочинением. По-видимому, это было связано с тягостным эмоциональным состоянием. Похожие результаты были получены у студентов, которым перед выполнением интеллектуального теста сообщили, что они плохо выполнили предыдущий тест. Их результаты значимо снизились по сравнению с контрольной группой. В другом эксперименте со школьниками-семиклассниками было установлено, что сообщение им об «успехе» в предыдущем испытании значительно улучшало выполнение сходного теста по сравнению с сообщением о «неудаче», хотя испытуемые в действительности выполнили первоначальный тест одинаково хорошо [8]. Это заставляет задуматься о влиянии обратной связи при сообщении тестовых результатов на последующую деятельность и более ответственно подходить к этому вопросу.
2. Поведение сотрудников, осуществляющих тестирование, способное привести к созданию недоброжелательной атмосферы в аудитории; психологическое давление; проявление предвзятого отношения к отдельным испытуемым или группам испытуемых.
3. Различия в тестовой искушенности испытуемых.
4. Различия в тестовой тревожности испытуемых.
5. Другие личностные факторы тестируемых, способные оказывать влияние на выполнение теста.
Ошибки при первичной обработке результатов тестирования
1. Случайные ошибки, связанные с колебаниями внимания тестора.
2. Ошибки, связанные с неполадками в работе технических устройств, используемых при обработке результатов.
3. Ошибки, связанные с неверно понятыми записями испытуемых.
4. Некорректные попытки внести недостающие единицы информации, чтобы не нарушить количественное соответствие (например, в случаях утери бланков, неразборчивого их заполнения испытуемым или нарушений в заполнении бланков, вызванных неправильным инструктажем). В качестве таких недостающих единиц информа-
ции могут выступать некие усредненные показатели или цифры, выражающие субъективное представление тестирующего о положении дел.
5. Ошибки, связанные с некорректным использованием математических формул и операций (элементарные ошибки в подсчетах; неверный выбор формулы для расчетов; неверный выбор статистического критерия для оценки данных и т. д.).
6. Отсутствие поправки на случайное угадывание в тестах закрытого типа.
7. Ошибки, связанные с некорректным использованием программного обеспечения.
8. Намеренные искажения.
Ошибки при анализе и интерпретации результатов
1. Ошибки при интерпретации математических процедур, связанных с оперированием статистическими данными (например, ошибочная трактовка коэффициента корреляции, когда выносится необоснованное решение о причинно-следственных связях между исследуемыми факторами; неверная интерпретация результатов факторного анализа и т. д.).
2. Выводы, сделанные без учета уровня статистической достоверности.
3. Неправомерные обобщения, связанные с недостаточным учетом фактора репрезентативности теста.
Неправильное использование результатов тестирования
1. Ошибки, связанные с принятием решения по поводу отдельного тестируемого.
2. Неправомерное применение выводов, основанных на результатах с нерепрезентативной выборкой, к испытуемым, принадлежащим более широкой аудитории или другой генеральной совокупности (например, по результатам тестирования студентов технических специальностей принимаются решения, распространяющиеся на всех студентов какого-либо населенного пункта).
3. Ошибки, ведущие к необоснованным изменениям в деятельности организации (без достаточных оснований даются рекомендации педагогам по проведению занятий, проводится перераспределение испытуемых по группам или уровням, реформируется штат сотрудников).
4. Ошибочные решения по поводу изменения учебных планов, программ и методов оценивания, принятые из-за неверного истолкования результатов тестирования (могут приниматься на разных уровнях, начиная от отдельного заведения, в котором проводится тестирование, и заканчивая государственным уровнем или еще более глобальным уровнем интернациональных организаций).
Очевидно, что среди перечисленных возможных ошибок в тестах можно выделить те, которые возникают по вине разработчика теста, а также те, которые возникают благодаря недочетам в работе исполнителя (того, кто проводит процедуру тестирования и оценку первичных данных) или аналитика и, возможно, менеджера (человека, ответственного за принятие решений по результатам анализа данных). При этом серьезные ошибки на любом из этих этапов способны свести на нет усилия всех остальных участников процесса.
Парадигмальные ошибки в оценивании
К парадигмальным можно отнести ошибки, связанные с подходом к оцениванию в глобальном смысле и требующие для своего исправления смены парадигмы.
Так, в настоящее время в образовательной сфере многих развитых стран совершается смена парадигмы во взглядах на проблему оценивания, психометрический подход заменяется более общей моделью педагогической оценки, происходит сдвиг от культуры тестирования и экзамена (testing and examination culture) к культуре оценивания (assessment culture). Как известно, в науке является обычной ситуация, когда при смене парадигмы выводы, высказанные в рамках старой парадигмы, могут восприниматься как ошибочные. Не является исключением и педагогическое оценивание. Было время, когда к тестовым оценкам относились с большим недоверием и скепсисом. Затем (особенно в некоторых странах) наступил период, когда тесты стали признаваться чуть ли не единственным достоверным способом оценки знаний, умений и навыков. В настоящее время заново осмысливаются критериально-ориентированный и нормо-ори-ентированный подходы к оцениванию, происходит пересмотр отношения к тестовым методам оценки в целом [9-11]. Возможно, уже в ближайшем будущем будут встречаться ситуации, когда результаты теста, разработанного, проведенного и проанализированного по всем правилам психометрии, тем не менее не будут считаться удовлетворительными и достаточными для оценки, поскольку не будут соответствовать более общим требованиям новой образовательной парадигмы. Вряд ли это можно будет считать ошибкой разработчиков тестов, которые добросовестно выполнили свою работу. Скорее, это веяние времени, когда «приемлемые идеи уже не эффективны, а эффективные идеи еще не приемлемы».
Литература
1. Блинова С. И. Тесты и контрольные работы по грамматике английского языка. СПб.: Союз, 2005. 256 с.
2. Evans V., Dooley J. Upstream Elementary A2: Test Booklet. Newbury: Express Publishing, 2009. 96 p.
3. Cotton D., Falvey D., Kent S. Language Leader: Upper-Intermediate. URL: http://www.pearsonlongman.com/ languageleader (дата обращения: 20.09.2012).
4. Alderson Ch., Clapham C., Wall D. Language Test Construction and Evaluation. Cambridge: Cambridge University Press, 2004. 310 p.
5. Total English Placement Test. URL: http://www.toms-house.ru/tests/1 (дата обращения: 20.09.2012).
6. Лебедева Э. В., Торбан И. Е. Временные формы английского глагола: учеб. пос. М.: ГИС, 2002. 112 с.
7. Evans V., Dooley J. Grammarway 1: практическое пособие по грамматике английского языка / пер. с англ. Г. И. Бардиной; под ред. О. Ф. Афанасьевой. М.: ЦентрКом, 2003. 144 с.
8. Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер бук, 2001. 686 с.
9. Brown H. D. Language Assessment: Principles and Classroom Practices. New York: Longman, 2008. 324 p.
10. Wiggins G. P. Assessing Student Performance: Exploring the Purpose and Limits of Testing. San Francisco: Jossey-Bass Publishers, 1993. 316 p.
11. Моул Г., Mакдауэлл Л., Браун С. Инновационное оценивание // Оценивание: образовательные возможности: сб. науч.-метод. ст. / под общ. ред. М. А. Гусаковского. Минск: БГУ, 2006. Вып. 4. С. 34-48.
Статья поступила в редакцию 6 декабря 2012 г.
