CC BY
15
Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2012. № 4
И.А. Муратова
0 МЕТОДИКЕ ОТБОРА КОНТРОЛЬНЫХ
ИЗМЕРИТЕЛЬНЫХ МАТЕРИАЛОВ ДЛЯ ОЦЕНКИ
УРОВНЯ ЯЗЫКОВОЙ ПОДГОТОВКИ
Статья посвящена вопросам выбора формата тестовых заданий, применяемых для оценки уровня иноязычной коммуникативной компетенции учащихся. Рассматриваются преимущества и недостатки используемых в современной практике форматов для оценивания разных видов речевой деятельности, особенно чтения, и даются рекомендации по оптимизации отбора заданий.
Ключевые слова: оценка, формат тестовых заданий, операционализа-ция, надежность, валидность.
The article deals with selecting test items formats for assessing students' communicative competence in foreign languages. The author analyses advantages and disadvantages of the formats, which are widely used nowadays in assessing language skills, with a special focus on reading. The article contains recommendations on how to optimize the process of task formats selection.
Key words: assessment, test items format, operationalization, reliability, validity.
Решение проблемы объективной оценки результатов обучения в высших учебных заведениях, связанное с его разноуровневым характером, требует применения адекватных технологий и приемов. В первую очередь необходимы определение таксономии умений, лежащих в основе требуемого уровня языковой подготовки специалиста, операционализация соответствующих теоретических положений и разработка адекватных оценочных инструментов1. Требование объективности предопределяет необходимость четкого, научно обоснованного определения объектов оценки и применения инструментария, созданного с опорой на теорию и практику педагогических измерений. По сути, речь идет о применении тестовых технологий, или использовании контрольных измеритель-
Муратова Ирина Анатольевна — канд. пед. наук, доц., зав. кафедрой иностранных языков для факультета журналистики факультета иностранных языков и ре-гионоведения МГУ имени М.В. Ломоносова; тел.: 8-985-211-32-94, e-mail: imur@ mail.ru
1 См.: Симкин В.Н. Специфика лингводидактического тестирования как средства оценки качества обучения// Квалиметрия человека и образования: методология и практика: Тез. докл. шестого симпозиума "Проблемы создания комплексного мониторинга качества образования в России". Кн. II. Ч. 2. М., 1997. С. 27—29.
ных материалов2. Проблема сложна и многогранна, и в рамках настоящей статьи представляется целесообразным остановиться лишь на одном аспекте — выборе наиболее рационального формата/вида задания.
К сожалению, когда речь заходит о тестировании речевых умений, особенно рецептивных, значительная часть преподавателей ассоциирует его с применением задания — выбора ответа. В то же время в арсенале современных средств определения уровня сфор-мированности коммуникативных умений задания с выбором ответа занимают достаточно ограниченную нишу и применяются наряду с определенным кругом возможных видов заданий в сочетании с различными оценочными процедурами.
Собственно, определение формата задания как задания с выбором ответа основано на способе определения и фиксации ответа. Кроме заданий с выбором ответа (альтернативного или множественного) существуют задания на определения соответствия элементов одной группы элементам другой, установление последовательности явлений или событий, свободной формулировки краткого ответа и свободной формулировки развернутого ответа. Все перечисленные формы заданий могут сочетаться с оценочными процедурами, такими, как дополнение текста, восстановление текста, перенос информации из одной формы представления в другую (например, текста в таблицу), клоуз-теста и его модификаций и т.д.
При выборе наиболее рационального формата задания следует исходить из соответствия реализуемых в ходе его выполнения умений тем, что обозначаются в качестве объекта оценки. При этом необходимо учитывать конкретные преимущества и недостатки того или иного формата заданий, той или иной оценочной процедуры с точки зрения составителей, экзаменаторов и испытуемых.
Список (далеко не полный) возможных, при этом и наиболее популярных форматов заданий и оценочных процедур, применяемых при оценке сформированности речевых коммуникативных умений, представлен в таблице.
Основные форматы заданий при тестовом контроле по видам речевой деятельности
Форматы заданий Виды речевой деятельности
Чтение Аудирование Письмо Говорение
Множественный выбор (включая альтернативный) + +
2 Manual for Language Test Development and Examining. Produced by ALTE on behalf of the Language Policy Division. Council of Europe, 2011.
Продолжение табл.
Форматы заданий Виды речевой деятельности
Чтение Аудирование Письмо Говорение
Краткий ответ + +
Задание на определение соответствия элементов одной группы элементам другой + +
Клоуз-тест (восстановление каждого п-го пропущенного слова в тексте) +
Модифицированный клоуз-тест (различные модификации подразумевают восстановление в тексте сделанных по выбору составителя пропусков слов, словосочетаний, предложений или целых абзацев)
Си-тест (восстановление каждого второго слова в тексте по его половине) +
Перенос информации + +
Диктант +
Восстановление (представленного в письменном виде текста с помощью информации, содержащейся в аудиотексте) +
Редактирование (исправление ошибок или неточностей — косвенный метод) +
Контролируемые письменные задания (например, написание личного/делового письма — прямой метод) +
Изложение (прямой метод) +
Эссе (прямой метод) +
Описание картинки
Вопросы по содержанию одной картинки +
Описание последовательности картинок +
Структурированное интервью +
Свободное интервью +
Устное сочинение +
Устная презентация +
Окончание табл.
Форматы заданий Виды речевой деятельности
Чтение Аудирование Письмо Говорение
Интерактивные задания +
Ролевая игра (к которой относится, например, диалог с целью обмена фактической/оценочной информацией и т.п.) +
Рассмотрим преимущества и недостатки различных способов оценки на примере представленных возможных форм и процедур оценивания умений чтения.
Основное преимущество применения заданий с выбором ответа заключается в практически полной надежности и объективности оценивания правильности их выполнения. Это оценивание не зависит от субъективных представлений экзаменаторов, процедура проста по форме и организации.
Другое преимущество связано с возможностью предварительного выявления реального уровня сложности этих заданий (и всего теста в целом), других показателей качества, таких, как дифференциация заданий, однозначность формулировок, приемлемость ди-стракторов и т.д.
По сравнению с заданиями с формулировкой краткого ответа, при выполнении которых иногда испытуемые представляют правильные ответы, не предусмотренные составителем в связи с недостаточно четкой формулировкой заданий, задания с выбором ответа однозначно обозначают испытуемому его задачу.
Наконец, в заданиях, предполагающих формулировку ответа самим испытуемым, на результат могут влиять его умения в письменной речи, что будет нарушать конструктную валидность теста.
Недостатки применения заданий с выбором ответа при оценке умений чтения связаны в первую очередь с тем, что бывает довольно сложно интерпретировать выбор испытуемым того или иного ответа. Мы не можем определить, связан ли ошибочный ответ с непониманием прочитанного текста или непониманием заданного вопроса, или он обусловлен неточностью самого задания. Кроме того, правильный ответ может быть дан путем исключения неверных ответов. Умение находить неправильные ответы отличается от умения находить (формулировать) верный ответ.
Другой важный недостаток — возможность угадывания правильного ответа. Собственно, можно сказать, что сама форма задания провоцирует угадывание.
Один из самых существенных недостатков применения данного формата заданий связан с трудоемкостью их разработки. Часто преподаватели не обращают на это должного внимания, поскольку, ориентируясь лишь на формальные признаки, они полагают, что составить необходимое количество таких заданий довольно просто. На самом деле эта форма требует соблюдения целого ряда технологических условий, касающихся конструирования заданий и их апробации. В результате при попытке создания заданий для контроля, в частности умений просмотрового чтения, составитель может столкнуться с огромными трудностями.
Недостатком использования заданий с выбором ответа при оценке понимания прочитанного текста является то, что, по мнению многих исследователей, сам измерительный инструмент оказывает недопустимое влияние на измеряемое умение. Отмечается низкая конкурентная валидность заданий с выбором ответа при использовании их наряду с другими измерительными процедурами. Однако следует отметить, что относительно этого существуют и отличные от упомянутых данные3.
Наконец, при применении заданий с выбором ответа при оценке понимания прочитанного текста наблюдается невысокая внешняя валидность, поскольку сама процедура выбора ответа на вопрос при чтении текста представляет собой искусственный процесс. В реальной жизни при чтении текста, стараясь понять его содержание, испытуемый не имеет набора возможных ответов на вопросы, которые могут у него возникать.
Правильное выполнение заданий, требующих формулирования краткого ответа, в отличие от заданий с выбором ответа, позволяет нам быть уверенными в том, что это связано именно с пониманием прочитанного текста. Применение заданий в этой форме дает возможность создавать достаточно большое их количество. При этом, правда, необходимо обращать внимание на то, чтобы они были сформулированы таким образом, что предполагаемый ответ будет однозначен и достаточно краток (слово или словосочетание). Соблюдение последнего условия позволяет провести автоматизированную оценку результатов выполнения этих заданий.
Использование заданий с кратким ответом при оценке понимания прочитанного текста целесообразно (особенно в сравнении с применением заданий с выбором ответа) в тех случаях, когда объектом оценки становятся такие умения, как узнавание последовательности событий, сравнение, нахождение основной идеи текста. Существуют данные о высокой достоверности результатов,
3 Wood R. Assessment and Testing: A Survey of Research Commissioned by the University of Cambridge Local Examinations Syndicate. Cambridge University Press, 1991.
полученных при использовании данного формата заданий при оценки комплексных умений чтения.
Однако существует мнение, что необходимость письменно фиксировать свои ответы может влиять на результат за счет использования умений письма. Другое "неудобство" связано с необходимостью четких формулировок заданий, не допускающих излишнего количества возможных вариантов правильного ответа, т.е. обязательно их тщательное редактирование, экспертиза и апробация.
Клоуз-тесты получили широкое распространение в конце 70-х — начале 80-х гг. XX в. как способ проверки комплексных языковых знаний и речевых умений, в том числе умений чтения. Они отличаются довольно простой процедурой конструирования и оценивания (особенно если используется методика, при которой в качестве верного ответа засчитывается только то слово, что было использовано в исходном тексте без учета всех возможных вариантов). При использовании процедуры восстановления каждого пятого слова текста появляется возможность применения большого количества заданий при ограниченном объеме текста, что позволяет обеспечить высокую надежность оценивания, которая, впрочем, может варьироваться в зависимости от выбранного текста, места пропуска первого слова, шага пропуска.
Основным недостатком применения клоуз-тестов, особенно если нас интересуют только умения, лежащие в основе понимания прочитанного текста, является то, что, как отмечено в различных исследованиях, конструкты, измеряемые в результате применения клоуз-процедуры, могут быть самыми различными. Иначе говоря, после каждого использования этого метода оценки необходимо проводить отдельное валидационное исследование для получения ответа на вопрос, что же было измерено в каждом конкретном случае. Есть данные, свидетельствующие о том, что в большей степени проверяются знания синтаксиса и лексики на уровне отдельного предложения, чем понимание содержания текста в целом. Результаты выполнения клоуз-теста не дают возможности определить, как конкретно испытуемый может использовать иностранный язык при решении реальных коммуникативных задач.
Сходные проблемы связаны и с использованием модифицированных форматов клоуз-теста, включая так называемый Си-тест4.
Задания, связанные с переносом информации, удобны для проверки понимания текста, умения классифицировать получаемую при чтении информацию. Они довольно реалистичны, поскольку в реальной жизни часто возникает необходимость, например, со-
4 Klein-Braley Ch. A Cloze-up on the C-test: a Study in the Construct Validation of Authentic Tests // Language Testing. 1985. Vol. 2. N 1. P. 76-105.
ставления графика определенного процесса на основе представленных в статье данных.
В то же время необходимо при подготовке таких заданий следить за тем, чтобы не возникали ситуации, когда испытуемые, поняв содержание текста, были не способны его выполнить из-за того, что не поняли требуемых от них действий на стадии переноса данных. При использовании такой процедуры возникает вероятность, что некоторое преимущество могут иметь отдельные испытуемые не по контролируемому умению (понимание иноязычного текста), а в силу владения дополнительными умениями (опыт работы с таблицами, диаграммами и т.д.).
Соответствующие проблемы существуют и в отношении применения различных оценочных процедур, и при оценивании других видов речевой деятельности. Естественно, что в случае продуктивных видов речевой деятельности, письма и говорения на первый план выходят субъективные тесты, и в связи с этим возникает целый комплекс проблем оценивания выполнения этих заданий, т.е. продуктов письменной и устной речи. Все это свидетельствует о необходимости тщательной организации на всех этапах разработки аттестационных контрольных измерительных материалов и исключения написания и применения контрольных заданий на базе формального внешнего соответствия известным образцам.
Список литературы
Симкин В.Н. Специфика лингводидактического тестирования как средства оценки качества обучения // Квалиметрия человека и образования: методология и практика: Тез. докл. шестого симпозиума "Проблемы создания комплексного мониторинга качества образования в России". Кн. II. Ч. 2. М., 1997. Klein-Braley Ch. A Cloze-up on the C-test: a Study in the Construct Validation of Authentic Tests // Language Testing. 1985. Vol. 2. N 1. Manual for Language Test Development and Examining. Produced by ALTE
on behalf of the Language Policy Division. Council of Europe, 2011. Wood R. Assessment and Testing: A Survey of Research Commissioned by the University of Cambridge Local Examinations Syndicate. Cambridge University Press, 1991.
