CC BY
129
ОЦЕНКА КАЧЕСТВА ОБУЧЕНИЯ ИНОСТРАННЫМ ЯЗЫКАМ НА МАТЕРИАЛЕ ТЕСТИРОВАНИЯ
Р.П. Мильруд, И.Р. Максимова, А.В. Матиенко
Millrood R.P., Maximova I.R., Matiyenko A.V. Evaluating the quality of foreign language teaching by means of testing. The article discusses a wide range of aspects of the issue and contains a thorough analysis of overseas publications on and experiences of student assessment and curriculum evaluation.
ПОСТАНОВКА ПРОБЛЕМЫ
В данной статье будет рассмотрена оценка качества обучения языку в школе (quality evaluation) на материале языкового тестирования. Этот процесс представляет собой такой анализ результатов языкового тестирования, который позволяет раскрыть неиспользованные резервы эффективности обучения и измерения достижений, создавая новые возможности для повышения результативности изучения языка учащимися.
Оценка качества обучения языку с поиском резервов эффективности учебно-воспитательного процесса будет рассмотрена в трех основных аспектах:
- оценка индивидуальных различий учащихся (learner differences);
- оценка сложности тестового задания (task difficulty);
- оценка условий обучения и проведения языкового тестирования (testing environment).
Проблема оценки качества обучения языку с помощью тестов всегда рассматривалась как «важная» и, одновременно, «опасная» [1]. «Опасность» языкового тестирования заключается в том, что любая необоснованность, неосторожность или поспешность в выводах может привести к случайным заключениям, поспешным рекомендациям, непредвиденным результатам и сомнительным педагогическим последствиям.
Один из источников «педагогической опасности» заключается в том, что тест с неизбежностью становится инструментом не только оценки качества обучения языку, но и эффективным средством влияния на содержание обучения, источником суждений об ученике и учителе. При этом тест далеко не всегда используется для поиска неиспользо-
ванных резервов. Не исключаются ошибочные основания для принятия педагогических и административных решений. Причина заключается в том, что в условиях языкового тестирования один объект измерения нередко подменяется другим. При этом многие «переменные» остаются незамеченными вообще.
Например, по результатам теста в формате «заполнение пропусков» может необоснованно делаться вывод об уровне языковых способностей ученика и о бесперспективности его дальнейшего обучения по данной программе. Игнорируются определенные положительные тенденции конкретных учащихся в учебном процессе, так как большинство тестов попросту не могут зафиксировать подобные позитивные тенденции и не созданы для этого (тесты, как правило, игнорируют усилия учащихся для выполнения задания). Наконец, стремление обеспечить максимальную объективность через полную стандартизацию процедуры тестирования приводит к частичному или полному игнорированию индивидуальных особенностей тестируемых школьников. Чаще всего формулируется заключение о том, что «ваш ученик плох для нашего теста», в то время как в действительности «ваш тест плох для нашего ученика». Сказанное означает, что языковое тестирование в большинстве случаев пока еще используется для измерения успешности выполнения самого теста, содержание которого приравнивается к «требуемому объему знаний». Оценка качества обучения языку с поиском скрытых резервов успеха осуществляется далеко не всегда.
Данная проблема была обнаружена уже на ранней стадии развития языкового тестирования как формы педагогического измерения [2].
ОЦЕНКА ИНДИВИДУАЛЬНЫХ РАЗЛИЧИЙ УЧАЩИХСЯ
Оценка индивидуальных различий учащихся позволяет выявлять познавательные затруднения, предупреждать учащихся, а также учителей о возможных источниках затруднений в овладении иностранным языком, своевременно предпринимая необходимые действия. Исследования в данном направлении позволили сделать вывод о существовании особой «диагностической компетенции учителя иностранных языков» [3]. Диагностическая компетенция определяется как профессиональные знания учителя, позволяющие интерпретировать процесс языкового развития учащихся через выделение соответствующих признаков с формулированием диагностических суждений об успешности овладения иностранным языком, предпринимаемыми действиями для усиления положительных и ослабления отрицательных факторов, а также разработкой оптимальной методики обучения.
Диагностическая компетенция учителя включает готовность проверять понимание материала учащимися, использовать специально разработанные схемы наблюдений за групповой и индивидуальной работой школьников, применять стандартизованные тесты и интерпретировать результаты, стимулировать речемыслительную деятельность учащихся, проверять самостоятельную работу, отслеживать систематически допускаемые ошибки, совершать другие диагностические действия для внесения корректив в обучающую деятельность и создания новых познавательных возможностей для языкового развития, интеллектуального и личностного роста учащихся. Сказанное означает, что диагностическая компетенция имеет форму «активных профессиональных знаний», позволяющих целенаправленно преобразовывать педагогический процесс на основе результатов оценки качества обучения языку.
В целом, диагностическая компетенция учителя реализуется в готовности выявить признаки, характеризующие качество образования, что в конкретном случае может выявить «симптомы заболевания», отобрать наиболее существенные признаки и систематизировать их в форме «синдрома заболевания», то есть типа проблемы, а также разра-
ботать и реализовать способ «лечения качества» путем внесения в учебный процесс педагогических инноваций.
Важным аспектом исследований в области диагностики языкового развития учащихся стало использованием полученных результатов для отслеживания процесса языкового развития учащихся. Считалось, что подобный мониторинг в иноязычном образовании не только важен для получения более объективного вывода об успехах учащихся, но и необходим для разработки более обоснованного педагогического прогноза, построенного на «истории обучения» каждого конкретного школьника.
Мониторинг индивидуальных достижений каждого ученика в образовании становится государственной политикой в некоторых странах. Например, в США в 2002 году принят закон об обязательном отслеживании результатов каждого ученика с целью своевременного оказания педагогической помощи и повышения уровня знаний - No Child Left Behind Act [4]. В соответствии с принятым законом, осуществляется мониторинг по каждому из школьных предметов, включая иностранные языки. При этом общий балл по всем предметам не подсчитывается, так как такая тактика «маскирует» недостаточные достижения по одним предметам за счет других.
Закон делает необходимым разработку соответствующих критериев оценивания качества образования и выявление учащихся с недостаточным языковым уровнем (Limited English Proficiency pupils). Также поставлена задача разработать соответствующие контрольно-измерительные инструменты (тесты), проверив их валидность и надежность. Исследования показывают, что учащиеся с недостаточным уровнем развития родного языка нуждаются в особых тестах, специально разработанных для них, так как обычные тесты для хорошо успевающих учащихся не всегда способны «схватить» (capture) происходящие в учебном процессе положительные сдвиги.
Данная проблема тесно связана с индивидуальными различиями учащихся в овладении иностранным языком и причинами познавательных неудач. Исследования показывают, что успешность изучения иностранного языка во многом определяется тем, насколько успешно учащиеся усваивают фоне-
тические, синтаксические и семантические средства языкового кодирования [5]. Усвоение фонетических средств необходимо не только для адекватной артикуляции, но также для распознавания речи на слух, правильного чтения и орфографии. Синтаксические средства важны для смыслового структурирования речевого потока. Семантические средства позволяют формировать и формулировать речевой замысел лексическими средствами. Фонетика и синтаксис являются базовыми условиями овладения иностранным языком. Это означает, что тестирование фонетики и синтаксиса особенно важно на начальном этапе, когда необходимо определить общую готовность учащихся к овладению иностранным языком и успешность этого процесса.
Овладение лексическими средствами позволяет судить об уровне языкового развития учащихся, так как запас слов (mental lexicon), обусловленный вербальной (семантической) памятью, характеризует «продвинутость» школьников как в родном, так и иностранном языке. Справедливость подобного утверждения подтверждается тем, что факторы и признаки успешного овладения родным языком в полной мере проявляются при попытках овладеть иностранным языком. В связи с этим, тестирование не только иностранного, но и родного языка становится необходимым для оценки качества обучения иностранному языку в школе.
Одним из ключевых аспектов оценки качества обучения языку являются познавательные затруднения учащихся. Сами познавательные затруднения и, особенно, их источники не являются предметом языкового тестирования, однако они всегда находятся в поле зрения профессионалов.
Источники познавательных затруднений крайне важны для оценки качества обучения языку, поскольку они служат причиной негативного отношения к предмету, снижения познавательной мотивации.
Одним из источников познавательных затруднений учащихся является «лингвистический», то есть снижение способности учащихся к «языковому кодированию» (linguistic coding differences) на интонационно-фонологическом, морфолого-синтаксическом и лексико-семантическом уровне. Данные учащиеся недостаточно успешно имитируют
интонацию и слабо различают дифференцирующие признаки фонем. Они с трудом усваивают грамматические формы слова и синтаксический порядок. Их запас слов и выражаемые коммуникативные значения ограничены (Ganschow and Javorsky, 1998). Характерно, что данные затруднения лингвистического характера с достаточным постоянством характеризуют учащихся как в родном, так и изучаемом иностранном языке. Более того, затруднения в овладении не только лексикограмматической стороной, но также чтением, письмом и говорением на родном языке являются наилучшим основанием для обоснованного прогноза трудностей в овладении иностранным языком. Это означает также, что резервы эффективного овладения иностранным языком кроются в создании благоприятных условий для языкового развития учащихся в целом, включая не только иностранный, но и родной язык. Языковое тестирование, выявляя познавательные затруднения учащихся, связанные с языковым кодированием, позволяет наметить пути преодоления данных трудностей.
Другим источником познавательных затруднений учащихся в овладении иностранным языком является «интеллектуальный» (information processing), неразрывно связанный с индивидуальными познавательными стилями и стратегиями учащихся [6]. В наиболее общем виде, учащихся можно условно разделить на тех, кто предпочитает «запоминать» (memorizers), а также анализировать (analyzers). Данные различия обусловлены доминированием правого (образного) и левого (логического) полушарий головного мозга в обеспечении высшей нервной деятельности индивида. Такое доминирование неизбежно влияет на ход и результаты языкового тестирования. Одни учащиеся предпочитают «припоминать» ранее усвоенный материал и, при этом, могут пропускать содержащиеся в материале «подсказки», важные для правильного ответа. Они чаще всего пытаются понять, «на какое правило разработано данное задание», и стараются найти однозначное соответствие тестового задания ранее выученному материалу. Другие школьники со склонностью к анализу размышляют над тестовым материалом «здесь и теперь», внимательно анализируют содержание задания, рассуждают логически, но при этом могут
продемонстрировать незнание программного материала. Языковое тестирование может выявить особенности интеллектуальной деятельности учащихся и отнести их к тому или иному типу:
Высокий уровень анализа
Анализирующие
Низкий уровень памяти
Проблемные
Сбалансированные
Высокий уровень памяти
Запоминающие
Низкий уровень анализа
Как видно из рисунка, языковое тестирование может обнаружить учащихся анализирующих или запоминающих учебный материал, в равной мере использующих стратегии анализа и запоминания, а также «проблемных учащихся» с познавательными затруднениями при использовании резервов как памяти, так и мышления.
Интересно, что хранящиеся в памяти знания (crystallized intelligence) и речемыслительные процессы (fluid intelligence) представляют собой относительно независимые компоненты интеллекта. Так, например, низкие результаты в тесте, измеряющем знания, могут сочетаться с более высокими показателями при выполнении тестов, требующих сообразительности, догадки, логики и тому подобное [7]. Другая, не менее важная, связь существует между вербальным и невербальным интеллектом учащихся. Тестовые задания с использованием невербального материала (картинок, схем, графиков) и «чисто вербальные» тестовые задания могут выполняться с разным уровнем успеха. Задания с невербальным материалом в меньшей степени дифференцируют учащихся по уровню успешности и затруднений в овладении иностранным языком и как бы «маскируют» существующие проблемы. Вместе с тем, успех выполнения как вербальных, так и невербальных заданий оказывается «социально зависимым», то есть во многом определяется характером обучения, воспитания и социального опыта учащихся. При этом, существует корреляция как вербальных, так и невербальных заданий в тестах с общей успешностью учащихся в овладении иностранным языком [8, 9].
Интеллектуальный характер затруднений при выполнении тестовых заданий может быть обусловлен особенностями не только вербального, но и невербального интеллекта
[10]. В соответствии с «общей теорией знака» (general sign theory) существует тесная и взаимообусловленная связь между обработкой как вербальной, так и невербальной информации для успешного выполнения тестовых заданий. Широко распространенное задание устного тестирования «комментарий картинки» (eliciting from picture) требует от учащихся не только владения языковым материалом, но и способности обрабатывать визуальную информацию в «истинной коммуникативной репрезентации» (true narrative representation). Даже способность назвать цвета на карточках существенным образом зависит от невербального различения цвета. Аналогичным образом обработка визуальной информации представлена в тестовых заданиях типа «перенос информации из вербальной формы в графическую» (information transfer). Во всех случаях скорость мыслительных процессов, обусловленная типологическими свойствами центральной нервной системы, проявляется при выполнении как вербальных, так и невербальных или смешанных заданий при тестировании.
Наконец, важным источником познавательных затруднений учащихся в ситуации языкового тестирования является «личностный», то есть, обусловленный типологическими признаками личности.
Одним из наиболее распространенных подходов к описанию индивидуальных особенностей является использование четырех типов личности учащихся: экстраверты - интроверты (extraverts - introverts), сенсорные -интуитивные (sensing - intuitive), думающие -чувствующие (thinking - feeling), организованные или спонтанные (judging - perceiving)
[11]. Учащиеся «экстраверты» в большей
степени ориентированы на успех в условиях устных интерактивных заданий. Школьники «интроверты» предпочитают индивидуальные задания, возможность сосредоточиться и работать самостоятельно. «Сенсорным»
учащимся для выполнения задания нужны конкретные знания того, что верно и неверно. «Интуитивные» школьники в большей степени рассчитывают на «озарение» в ситуации экзамена. «Думающие» ученики ищут
правильный ответ путем логических рассуждений. «Чувствующие» школьники во многом зависят от эмоционального состояния и могут болезненно реагировать на экзаменационную ситуацию. «Организованные» учащиеся нуждаются в предварительном времени на подготовку, поскольку организация собственных познавательных действия является решающим фактором успеха. «Спонтанные» школьники действуют «по обстоятельствам» и могут быстро перестраивать свою стратегию и тактику.
В целом, индивидуальные типы учащихся в ситуации тестирования и их предпочтения показаны в таблице:
Индивидуальные различия учащихся в ситуации тестирования проявляются в том, что если условия экзамена соответствуют предпочитаемому способу деятельности, шансы школьников на успех повышаются.
Интересными являются исследования гендерных различий в языковом тестировании. В опубликованных исследованиях гендерные различия рассматриваются не на биологическом, а прежде всего на «социальном уровне», то есть как характеризующие принадлежность к соответствующей социальной группе и отношения между этими группами [12]. Например, выясняется, что у девочек школьного возраста результаты тестирования более надежно коррелируют с последующей успешностью в овладении языком, чем у мальчиков. Последующие учебные достижения мальчиков оказываются менее предсказуемыми и скрывают в себе больше неожиданностей, несмотря на успешно выполненный тест.
Иноязычная речь девочек оказывается более построенной и грамматически оформленной со стремлением к «чистоте» грамматики (accuracy). Этим, вероятно, объясняют-
ся более высокие средние результаты языкового тестирования у девочек. Девочки быстрее усваивают новые структуры, однако реже используют их в речевой деятельности, которая отличается характерной стабильностью. Вероятно, поэтому мальчики более успешно выполняют задания, требующие наблюдений за языком, в то время как девочки более охотно и успешно запоминают языковой материал, а также выполняют задания на «слушание».
«Схватывание» новых речевых образцов для эпизодического употребления и их мгновенное забывание больше характерно для мальчиков, в то время как системность и повторяемость лексико-грамматических структур больше типична для девочек. Характерно, что пассивный запас слов оказывается выше у мальчиков, и они более успешно узнают в тексте нечасто употребляемые слова. Преимуществом девочек оказывается более широкий запас активно и стабильно употребляемых слов. Девочки обнаруживают повышенную способность к припоминанию знаний, в то время как мальчики проявляют более высокую готовность действовать в неожиданной ситуации.
Стабильность в овладении языком у девочек проявляется также и в том, что они во многих случаях продолжают изучение языка, несмотря на невысокие результаты тестирования. Для мальчиков низкие показатели нередко служат основанием для прекращения попыток овладеть иностранным языком. Выполнение тестовых заданий в период подготовки к экзамену также выявляет определенные гендерные различия. Если девочки в ходе выполнения задания стараются, прежде всего, запомнить полезную информацию, мальчики вступают в дискуссию, высказывают свои мнения и оспаривают предлагаемые ключи к ответам. Девочки в целом, чаще, чем мальчики, оказываются более восприимчивы к учебной информации с установкой на ее усвоение.
При выполнении тестовых заданий девочки, заметно чаще, чем мальчики, используют черновик, и это помогает добиваться большей «чистоты» работы, что повышает результат языкового тестирования.
Определенные гендерные различия обнаруживаются в поведении экзаменаторов -мужчин и женщин. Различия заключаются в
Тип Предпочтения в ситуации тестирования
Экстраверты -интроверты Фиксация внимания на взаимодействии с другими - углубление во внутренний ресурс
Сенсорные -интуитивные Расчет на конкретные знания -надежда на догадку и «озарение»
Думающие -чувствующие Логические рассуждения - «эмоциональный подъем»
Организованные -спонтанные Действие в привычном порядке -гибкое реагирование на обстоятельства
тенденции поддерживать или не поддерживать экзаменующихся, использовать или не использовать неформальный стиль общения с ними, считать или не считать установление хорошего межличностного контакта с учащимися на экзамене признаком профессионального поведения, скрупулезно выполнять или в определенной мере игнорировать формальные требования к процедуре экзамена.
Обнаруживаемые различия во многом определяются коммуникативным стилем, типичным для мужчин и женщин. «Женский» стиль общения на экзамене отличается тенденцией к сотрудничеству, сбалансированности реакций, выраженной поддержкой учащимся. Для «мужского» стиля больше характерна эмоциональная сдержанность, беспристрастность и отстраненность, лаконичность и даже категоричность оценочных суждений. Характерно, что ожидания экзаменующихся - мальчиков и девочек - определенного стиля поведения экзаменаторов также определяются гендерными различиями. Девочки в большей степени, чем мальчики, настраиваются на диалог, понимание и поддержку экзаменатора, наводящие вопросы и так далее. Вместе с тем, у них более выражена установка ответить «с начала и до конца», а попытки экзаменатора предложить диалоговый режим ответа могут восприниматься как «помехи». Мальчики в большей степени готовы к диалогу и более устойчивы к различным стилям поведения экзаменаторов - мужчин и женщин. В связи с этим возникает проблема оправданности процедуры экзамена, в которой экзаменатор мужчина оценивает знания экзаменующихся девочек. Вместе с тем, исследования показывают, что влияние гендерных различий на эффективность процедуры устного экзамена не является столь значительным, чтобы кардинально изменить результаты учащихся [13]. Тем не менее, проблема гендерных различий в организации экзамена и, особенно, устного тестирования, остается по-прежнему актуальной.
ОЦЕНКА СЛОЖНОСТИ ТЕСТОВОГО ЗАДАНИЯ
Важнейшим направлением поиска резервов успеха в ходе оценки качества обучения языку в условиях языкового тестирования является изучение зависимости результатов
от сложности тестового задания (task difficulty). Исследования показывают, что сложность задания в большинстве случаев зависит от сложности языкового материала (language code), интеллектуальной нагрузки (cognitive demand), а также трудности достижения коммуникативной цели (communicative goal achievement) [14]. В свою очередь, сложность языкового кода зависит от степени разрыва между лингвистическим материалом теста и языковыми знаниями учащихся. Например, учащиеся могут не знать лексический или грамматический материал, который включен в тестовые задания. Интеллектуальная нагрузка обусловливается степенью разрыва между условиями успешного выполнения задания и имеющимися у учащихся знаниями, свойствами психических функций, а также опытом выполнения требуемых интеллектуальных операций. Например, тест на слушание может требовать от учащихся большого объема оперативной памяти, который в некоторых случаях может быть недостаточным у отдельных учащихся. Другим примером может быть письменное задание написать «фантастическую историю», для чего учащимся важно иметь соответствующий уровень воображения. Трудность достижения коммуникативной цели определяется комплексным характером искомого результата деятельности и существующими препятствиями на пути к цели. Например, в ходе устного взаимодействия с экзаменатором последний может задавать экзаменующемуся ученику уточняющие вопросы, предлагая более подробно ответить на поставленный вопрос и осложнять, тем самым, условия речевой деятельности. Другим примером может быть ролевая игра, в которой экзаменующийся ученик «заказывает пиццу», но в «пиццерии» нет нужного названия, размера, ингредиентов и тому подобное.
В «задании» всегда выделяется цель, задача и способ ее выполнения [15]. Цель выполнения задания может быть коммуникативная (заказать номер в отеле по телефону), лингвистическая (заполнить пропуски в предложениях с помощью правильных словоформ) и смешанная (внимательно прочитать текст с пропусками и, поняв содержание, вставить подходящие по смыслу слова).
Задача, соответственно цели, также может быть коммуникативной, лингвистиче-
ской или смешанной и предъявляться учащимся в виде устной или письменной инструкции («Сейчас вы услышите три интервью с представителями трех различных профессий. Ваша задача заключается в том, чтобы ...»)
Способ выполнения задания может заключаться в том, чтобы заполнить пропуски в предложении (gap filling), выбрать правильный ответ из предлагаемых вариантов (multiple choice), соединить элементы из двух или более групп (matching), заполнить пропуски в целостном осмысленном тексте (cloze), получить недостающую информацию у партнера (information gap) и так далее.
Важным аспектом любого языкового задания является уровень его сложности, который обычно определяется с учетом интеллектуальных операций, языкового материала, дефицита времени, специальных знаний, а также устойчивости к нагрузкам. Например, интеллектуальные операции для выполнения задания на сравнение двух объектов будут более сложные, чем в тесте на описание одного объекта. Вместе с тем, описание одного объекта может потребовать от учащихся точного называния всех деталей, что повышает сложность языковой задачи. Отметим, что интеллектуальные операции становятся менее трудными, если учащимся предлагаются разные виды зрительных опор, включая изображения, опорные слова и прочее.
Дефицит времени всегда значительно повышает сложность тестового задания, так как создает стресс для учащихся, лишая их времени для подготовки, обдумывания и исправления недостатков, проводя четкую границу между учащимися с более и менее высоким уровнем ЯЗЫКОВОЙ подготовки.
Специальные знания также являются фактором сложности, поскольку заранее невозможно предугадать, какие именно специальные знания (даты, имена, сведения) могут быть включены в тестовые задания. Это делает необходимым возможно более широкую информационную подготовку учащихся к тесту (например, в области страноведения) и заметно повышает уровень трудности тестовых заданий.
Устойчивость к нагрузкам, обусловленная индивидуально-психологическими особенностями школьников, вызывает трудности тестирования индивидуального характе-
ра. Тест на слушание с пониманием занимает мало времени, однако по своей интенсивности он требует от учащихся немало усилий. Письменные тестовые задания выполняются в течение относительно длительного периода, однако именно необходимость длительно и сосредоточенно работать может стать главной причиной трудности задания.
Объектом исследований стали тестовые задания как источники трудностей для учащихся. Рассмотрим некоторые из них.
Определенную трудность для учащихся представляют устные тестовые задания [16]. Исследования показывают, что особенности устного тестового задания, включая тип задания (например, описание деталей), его формат (интерактивный, интеллектуальный и формализованный), необходимые интеллектуальные операции (например, догадки и обобщение), требуемый языковой материал (например, специальный или общий лексикон), создаваемый дефицит времени (например, преднамеренное ограничение времени), наличие необходимого кругозора (например, фоновые знания), а также требования устойчивости к нагрузкам (например, необходимость длительной сосредоточенности), могут влиять на такие характеристики устного ответа учащихся как беглость речи, сложность речевых конструкций, грамотность высказываний, инициативность и избежание риска. Зависимость устного ответа от типа устного задания нередко заключается в том, что более сложные задания побуждают учащихся пользоваться более сложными конструкциями, снижая при этом грамотность и беглость речи.
Трудности тестовых заданий на слушание с пониманием имеют свои отличительные особенности [17]. Уровень трудности таких заданий зависит от темпа речи, продолжительности текста, синтаксической
сложности и лексического состава, организации дискурса, наличия помех и «шума», речевого акцента или диалекта, «плотности» идей, количества избыточной информации (redundancy) и так далее. Трудность выполнения задания зависит также от наличия ситуативного контекста, что облегчает понимание текста на слух, от четкости инструкции, от характера ожидаемого ответа (например, назвать упоминаемые в тексте события значительно легче, чем выбрать из списка те
события, которые не упоминались в тексте), привычности предлагаемых заданий, источника звука (экзаменатор или магнитофон). Важным фактором является формат задания. Например, задания с множественным выбором выполняются более успешно, чем заполнение пропущенных слов в тексте или задания со свободно конструируемым ответом (inferring from text). Задания на заполнение таблицы в ходе слушания (information transfer) повышают шансы экзаменующихся на успех, в то время как завершение предложений может снизить прогнозируемый результат на экзамене. Операции «узнавания» выполняются легче, чем извлечение из памяти и продуцирование ответа. На успешность выполнения задания существенно влияет оперативная память учащихся, интерес к содержанию текста, наличие фоновых знаний и прочее. То есть, трудность тестовых заданий на слушание с пониманием определяется характером текста, типом задания и индивидуальными особенностями экзаменующихся, что позволяет с достаточной степенью вероятности прогнозировать и даже «программировать» успех или неудачу на экзамене. Основанием для этого является предсказуемое взаимодействие особенностей тестового задания и индивидуальных познавательных возможностей учащихся [18]. При этом измеряется не только уровень учебных достижений, но и характер взаимодействия учащихся с тестовым заданием, уровень интеллекта, языковых способностей, общего кругозора и другое. Это значительно усложняет структуру предмета тестирования, то есть тестовый конструкт, поскольку результат тестирования находится в сильной зависимости не только от учебных достижений, но и от характера тестового задания. Постоянно возникает закономерный вопрос, а не мог ли результат языкового тестирования быть другим, если бы в языковых тестах использовались другие задания.
ОЦЕНКА УСЛОВИЙ ОБУЧЕНИЯ И ПРОВЕДЕНИЯ ЯЗЫКОВОГО ТЕСТИРОВАНИЯ
Важным аспектом оценки качества обучения языку с помощью языкового тестирования является оценка условий, в которых проводится обучение языку, подготовка к
тестированию и сам экзамен. Данные условия во многом определяют самооценку учащихся (self-assessment) как часть более сложного процесса самоопределения личности (self-identity). Дело в том, что как условия обучения и подготовки к тестированию, так и сама ситуация экзамена влияют на то, к какой группе учащихся относят себя школьники - успевающим или отстающим. Данный процесс начинается задолго до итогового тестирования, а сама ситуация экзамена прочно закрепляет сложившуюся самооценку.
Условия познавательной деятельности в ходе тестирования могут мало учитываться в предшествующем учебном процессе или даже игнорироваться. Весьма тревожным является традиционное игнорирование письменной речи на уроках иностранного языка, в то время как современная концепция языкового тестирования с необходимостью включает письменные задания полутворческого и творческого типа в содержание экзамена. На уроках до сих пор недостаточное внимание уделяется формированию языковых компетенций. Областью отставания по-прежнему можно назвать употребление фразовых глаголов, а также типичных коллокаций, то есть характерных для аутентичной речи словосочетаний (e.g. make a mistake, make a statement, make an observation - do an exercise, do harm, do favor etc).
Другой формой игнорирования содержания экзамена является недостаточный учет тестовых форматов в обучении. Например, современные учебники в достаточной мере готовят школьников к выполнению тестовых заданий типа «заполнение пропусков» как в отдельных предложениях, так и в целостных текстах. Одновременно, задания на «перенос информации» из текста в графическую форму и наоборот (information transfer and contextualisation) отрабатываются в меньшей степени. В других случаях задания тестового формата подменяют собой все методическое многообразие обучения иностранным языкам, что с необходимостью приводит к снижению качества обучения и результатов тестирования. Подготовка к языковому тестированию исключительно по тестовым заданиям есть наихудший вариант эффекта обратного влияния языкового тестирования на учебный процесс (washback effect).
Условия познавательной деятельности в ходе тестирования могут не совпадать с условиями познавательной деятельности,
предшествовавшей экзамену. Это означает, что формулируемые в учебном процессе познавательные стратегии (learner strategies) оказываются бесполезными на экзамене. Например, типичной установкой в обучении чтению на уроке является «полное понимание» и готовность перевести каждое слово на родной язык. Подобная стратегия может помешать успешному тестированию «чтения с пониманием», где нередко требуется тонкая дифференциация содержания абзацев, точная идентификация содержания всего текста, чтение «между строк», где дословный перевод оказывается излишним. Заучивание наизусть «устных тем» не только бесполезно для выполнения заданий устного тестирования, но может существенно препятствовать решению задачи неподготовленного логического рассуждения.
Данное положение можно сравнить с воображаемой ситуацией, где учащиеся обучаются письменной речи на компьютере, а на экзамене к ним неожиданно предъявляется требование пользоваться пером и чернильницей. Исчезает автоматическая проверка орфографии (spell checker), оказываются бесполезными навыки работы с клавиатурой и прочее. Одновременно возникают непредвиденные трудности в письме пером, появляются неожиданные и давно забытые кляксы и другое. Подобная ситуация оказывается не столь нереальной в современных условиях с той разницей, что учащимся без достаточного опыта работы на компьютере предлагаются электронные варианты экзамена. Для стандартизации процедуры языкового тестирования нужна стандартизация требований не только к самому экзамену в форме теста, но и к условиям обучения языку и подготовки к интеллектуальному испытанию.
Не менее важным аспектом является подготовка учащихся к ситуации объективной оценки их знаний на экзамене. Наблюдения показывают, что для многих учащихся становится шоком то, что межличностное взаимодействие, поощряемое на уроках иностранного языка, жестко пресекается на экзамене и квалифицируется как «обман» (cheating) с последующей дисквалификацией.
Обстановка объективного и бескомпромиссного контроля знаний на экзамене может вызвать настоящий «культурный шок» у школьников, привыкших к тому, что учитель обычно переживает за результаты своих учеников, пытается поддержать их и даже, в отдельных случаях, подсказывает правильный ответ.
Наконец, оценка условий языкового тестирования может выявить ситуации, когда самоопределение ученика как «языковой личности» (self-identity of one's language ego) вступает в противоречие с ученической рефлексией, то есть осознанием себя по результатам языкового тестирования. Подобная ситуация возможна в тех случаях, когда итоговый языковой тест становится для учащихся первым опытом объективной оценки их знаний в отличие от привычной учительской отметки, а также если условия экзамена отличаются от привычных учащимся условий языкового тестирования. В этих случаях самоопределение ученика как «успевающего» может вступить в противоречие с низкими результатами языкового тестирования, нарушить чувство уверенности в себе, снизить самооценку, разрушить учебную мотивацию и тому подобное.
ЗАКЛЮЧЕНИЕ
Оценка качества обучения языку может быть направлена на поиск резервов эффективности этого процесса с учетом индивидуальных различий учащихся, сложности тестового задания и условий языкового тестирования.
Оценка индивидуальных различий учащихся во многом зависит от диагностической компетенции учителя, мониторинга языкового развития учащихся и достигнутого уровня в овладении не только иностранным, но и родным языком.
Индивидуальные различия школьников обнаруживаются в характере познавательных затруднений, которые проявляются в способности к языковому кодированию, интеллектуальной обработке информации и познавательных стилях, типологических свойствах личности и гендерных различиях.
Областью оценки является сложность тестового задания, обусловленная сложностью языкового материала, интеллектуаль-
ной нагрузкой задания, а также трудностью достижения коммуникативной цели, то есть формулирования, передачи, приема и осмысления информации.
Условия обучения языку и проведения языкового тестирования также являются важным предметом оценки, включая процесс самооценки и учебного самоопределения личности.
Сказанное позволяет сделать вывод о том, что оценка качества обучения иностранным языкам на материале тестирования остается серьезной проблемой, и актуальность ее решения особенно возрастает в связи с переходом школы к универсальным тестовым испытаниям в форме единого государственного экзамена по иностранным языкам.
1. Spolsky B. Measured Words: The development of objective language testing. Oxford, 1995.
2. Spolsky B. // The Modern Language J. 2000. P. 538-552.
3. Edelenbos P., Kubanek-German A. // Language Testing. 2004. V. 21 (3). P. 259-283.
4. Abedi J. // Educational Researcher. 2003. V. 33 (1). P. 4-14.
5. Sparks R., Ganschow L. // The Modern Language J. 1991. V. 75 (1). P. 3-13.
6. Oxford R. Language Learning Strategies: What every foreign language teacher should know. N. Y., 1990.
7. Silva J., White L. // Military Psychology. 2000. V. 5 (2). P. 79-91.
8. Gardner H. Multiple Intelligence. N. Y., 1993.
9. Carroll J. Human Cognitive Abilities. N. Y., 1993.
10. Oller J., Kim K. // Language Testing. 2000. V. 17 (4). P. 377-396.
11. Myers I.B. Introduction to Type. Palo Alto, 1993. V. 3 (30).
12. Ellis R. The Study of Second Language Acquisition. Oxford, 1994. P. 202-204.
13. O’Loughlin K. // Language Testing. 2002. V. 19 (2). P. 169-192.
14. Norris J., James D., Hudson B., Bonk W. // Language Testing. 2002. V. 19 (4). P. 395-418.
15. Rubdy R. // ELT J. 1998. V. 52 (3). P. 264-266.
16. Iwashita N., McNamara T., Elder C. // Language Learning. 2001. V. 51 (3). P. 401-436.
17. Brindley G., Slatyer H. // Language Testing. 2002. V. 19 (4). P. 369-394.
18. Bachman L. // Language Testing. 2002. V. 19 (4). P. 453-476.
Поступила в редакцию 10.11.04.
