CC BY
185СТРАТЕГИИ СОСТАВЛЕНИЯ ТЕСТОВ ПО АНГЛИЙСКОМУ ЯЗЫКУ (НА ПРИМЕРЕ ЗАДАНИЙ С ВЫБОРОМ ВАРИАНТА
ОТВЕТА)
Хитрова И.В.
МГИМО МИД РФ, доцент кафедры английского языка № 4,
к.п.н, доцент
MCQ DESIGNSTRATEGIESIN TEST CONSTRUCTION
Khitrova I. V., MGIMO. Ministry of Foreign Affairs of Russian Federation, Associate Professor, PhD in Pedagogics
АННОТАЦИЯ
Данная статья посвящена стратегиям разработки тестовых заданий по английскому языку. Автор рассматривает базовые принципы организации языкового тестирования, анализирует типичные ошибки, допускаемые при составлении тестов, дает практические рекомендации по разработке заданий с выбором варианта ответа.
ABSTRACT
The article addresses the issue of language assessment. The author focuses on test construction process. Basic testing techniques are considered, examples of good and bad tests are introduced, common mistakes in MCQ design are analyzed, test construction manual is provided.
Ключевые слова: языковое тестирование, принципы организации тестирования, разработка тестового задания, задания с выбором варианта ответа, ошибки при составлении тестов, практические рекомендации по разработке тестовых заданий.
Keywords: language assessment, basic testing techniques, classroom test development, MCQ design, common mistakes in testing design, test construction manual.
Обучение иностранному языку немыслимо без проведения контроля. Одним из наиболее актуальных вопросов, стоящих сегодня перед отечественными преподавателями иностранного языка, является вопрос его грамотного осуществления.
Нельзя не признать, что за последние десять лет в нашей стране в области оценки качества обучения произошли значительные перемены. Но, несмотря на наличие большого количества публикаций по обозначенной тематике, на сегодняшний день крайне мало русскоязычных работ, посвященных стратегиям разработки тестовых заданий, в частности, по английскому языку.
Недостаточная теоретическая разработанность проблемы и наличие противоречий между должными и имеющимися в наличии отечественными разработками тестовых заданий по английскому языку послужили основанием для выбора темы настоящей статьи.
В рамках исследования мы обратимся к тестовым заданиям, как одной из наиболее популярных форм контроля.
Научиться создавать эффективные тесты -трудоемкий и затратный процесс. Корректная разработка теста предполагает обязательное предварительное изучение основ педагогической теории измерений.
Любое тестовое задание, в том числе и языковое, должно проектироваться, разрабатываться и проводиться в соответствии с определенными правилами [Alan Davies, 1990].
Тестологи выделяют ряд базовых принципов тестирования: валидность теста (способность теста измерять то, что он должен измерять по замыслу),
надежность теста (степень точности, с которой тест измеряет уровень знаний), практичность теста (укладывается ли процедура составления и проведения теста в заданный бюджет, проводится ли тест в строго определенные временные рамки, насколько грамотно организованна процедура тестирования, разработана ли и детально описана шкала оценивания тестового задания), взаимодействие с учебным процессом (какова степень влияния теста на учебную программу: обучаем с целью получения знаний и развития навыков и умений или готовим к тестированию в заданном формате?), подлинность (качественный тест отражает реальные жизненные ситуации, предполагает использование аутентичных материалов при разработке заданий), прозрачность (студентам известен формат тестирования и критерии его оценивания), секретность (содержание тестового задания знакомо только разработчикам теста) [Alderson, J.C. Caroline C. Diane W. 1995, Brown, H.D.2004, Cheng, L. Yashilahari W. and Andy C.(Eds), 2008, Christine A. Coombe 2006].
Рассмотрим алгоритм действий разработчика тестового задания по английскому языку. Важно отметить, что составитель теста не только определяет оптимальную форму заданий, но и продумывает систему подсчета индивидуальных баллов, правила оценивания, время, отводимое на выполнение задания каждой формы. Все это отражается в инструкциях для испытуемых и персонала, ответственного за проведение тестирования. Выбор формы заданий (одной или нескольких), включае-
мых в тест, определяется спецификой контролируемой предметной области и целями проведения тестирования.
Таким образом, тест начинается с разработки спецификации, определяющей структуру и содержание теста. Спецификация включает: название учебной дисциплины, по которой разрабатывается тест; цель создания теста; учебный материал, которым рекомендовано пользоваться испытуемым при подготовке к тестированию; перечень видов знаний, умений, проверяемых тестом и элементов содержания, включенных в тест; структуру теста в виде таблицы с указанием номера задания, номера раздела или подраздела содержания дисциплины; количество форм заданий и инструкций, примеры форм и инструкций; число параллельных вариантов теста; вес каждого задания, рекомендуемый автором теста; рекомендуемое время выполнения теста; рекомендуемую автором стратегию расположения заданий в тесте.
Непродуманная спецификация, отсутствие четко прописанной единой системы оценивания тестируемых ведет к тому, что преподаватели могут оценить одну и ту же ошибку по-разному и, как результат, представить не совсем корректную картину продемонстрированных обучаемыми навыков и умений.
В рамках настоящей статьи мы обратимся к тестовым заданиям на чтение, аудирование, заданиям лексико-грамматического характера. Чаще всего при разработке таких заданий используются такие форматы, как: подбор соответствия (matching), истина/ложь (true/false), иногда добавляется пункт «в тексте не сказано» (not stated), множественный выбор (multiple choice questions).
Подбор соответствия чаще всего применяется при сопоставлении термина и определения, картинки и подписи к ней, вопросов и ответов, причины и следствия. Задания формата «истина - ложь - в тексте не сказано» используются при проведении прослушивания и чтении. Задания с выбором из множества ответов могут использоваться как при проверке грамматики и лексики, так и в заданиях на чтение и аудирование. Именно этот формат мы подробно рассмотрим в данной статье.
Как известно, основой для задания на чтение, является текст-стимул. Подбирая текст - стимул, разработчикам тестовых заданий необходимо принимать во внимание, следующее:
1) Тексты, лежащие в основе тестового задания, необходимо брать из статей качественной англоязычной прессы (The Guardian, TheNew York Times, Washington Post, Wall Street Journal, The Times, Financial Times, The Daly Mail) или специализированных источников (если тестовое задание предназначено для выявления знаний по определенному аспекту).
2) Материал нужно отбирать строго по заявленной в спецификации тематике. Считаем крайне важным еще раз уточнить, что разработка спецификации экзамена или контрольной работы является
непременным условием, предваряющим работу над составлением самого теста.
3) Количество слов, содержащихся в тексте, не должно превышать заданный в спецификации объем. Как правило, тексты для заданий на множественный выбор насчитывают порядка 2700-2900 слов, тексты на вопросы бинарного типа - 13001500 слов.
4) Отобранный текст непременно проверяют на «удобочитаемость», прибегая к помощи www.lextutor.ca. В случае необходимости текст адаптируют в соответствии с уровнем языковой компетенции тестируемых, следуя рекомендациям на указанном ресурсе.
Составляя тесты лексико-грамматического характера, важно соблюдать следующие правила: 1) требования, предъявляемые к тексту одного варианта, должны полностью совпадать с требованиями отбора текста для второго варианта (и иных, если тест предполагает наличие множества вариантов). Объем, стиль, дизайн, количество вопросов к тексту во всех вариантах разрабатываемого теста должны быть идентичными.
Поясним на примере. Учащимся предлагается тестовое задание, нацеленное на проверку владения настоящим временем в английском языке. В 1 варианте учащимся нужно раскрыть скобки, поставив глагол в нужную форму. Предложения представлены отдельными, не связанными по смыслу пунктами. Во 2 варианте учащимся также предлагается раскрыть скобки и поставить глагол в правильную видовременную форму, но в качестве основы задания здесь выступает связный текст, что является грубым нарушением разработки тестового задания. Позволим себе еще раз напомнить о важности идентичности внешнего вида всех вариантов теста.
Приведем еще один пример некорректного составления грамматического теста. В каждом варианте теста представлено по 10 вопросов, но в 1 варианте в каждом предложении есть только один пробел, который нужно заполнить. А во 2 варианте в одном из 10 предложении наличествуют два пробела, и в итоге, получается 11 пунктов для заполнения. Возникает вопрос: как оценивать работы представителей обоих вариантов?
Очевидно, что при составлении тестовых заданий разработчикам следует не только придерживаться определенных правил формулировки заданий, указания правильных ответов и дистракторов, но и не допускать неточностей и ошибок при их составлении.
Наиболее подробное описание подобных ошибок представлено в исследовании Гранта Хеннинга [Grant Henning, 2012]. Обобщим типичные ошибки, выделенные ученым. Хеннинг выделяет четыре основные группы ошибок, допускаемых при разработке теста.
1) Общие экзаменационные характеристики: слишком легкий или слишком трудный тест, недостаточный объем вопросов, чрезмерное количество
видов речевой деятельности в одном тесте, отсутствие секретности при разработке задания, использование в тесте несуществующих в языке форм.
Рассмотрим пример использования в тесте несуществующих в языке грамматических форм.
A new hospital_in our district next year.
1) will be being built
2) is being built
3) will be built
4) has been being built
2) Особенности вопросов: вопросы с подвохом, повторяющиеся несколько раз слова в вариантах ответа, выделяющийся слишком длинный или короткий вариант ответа, отличный по своему значению от слов синонимов вариант ответа, вероятность случайного угадывания при не оптимальном количестве вопросов.
Очевидно, что во избежание снижения объективности оценивания, тестовые задания должны формулироваться как можно более четко и просто. Иногда, чтобы усложнить тестовое задание, разработчик прибегает к туманным формулировкам. Этого делать не следует. Давать задания с подвохом нельзя.
Еще один момент, который необходимо принять во внимание составителю тестового задания: задания и ответы на них не должны быть связаны с предыдущими заданиями и ответами к ним, т. е. не должно быть ссылок на предыдущие вопросы и предыдущие задания не должны быть подсказкой к данному.
Рассмотрим типичные ошибки при составлении вопросов.
According to the author, Sarah will go to the theatre
1) in case she feels well.
2) in case her mother is free.
3) in case she has money.
4) in case her father agrees to let her go.
В приведенном примере несколько раз повторяются слова в вариантах ответа. Чтобы избежать подобного, достаточно сформулировать вопрос таким образом:
According to the author, Sarah will go to the theatre in case
1) she feels well.
2) her mother is free.
3) she has money.
4) her father agrees to let her go.
В анализируемом примере допущена еще одна ошибка. Дистрактор 4 выделяется своей длиной. Лучше сформулировать его иначе.
Аналогичная ошибка (повторение слова) допущена в приводимых ниже примерах.
The boy_his father, he has the same red hair,
big feet, and a quick temper.
1) takes after
2) takes for
3) takes to
Глагол takes нужно было использовать в самом вопросе, а вариантах ответа надо было ограничиться предлогами.
In order to be successful_salespeople must
be persuasive.
1) at doing business
2) in running business
3) with starting business
Слово business повторяется во всех вариантах. Правильнее было бы перенести его в сам вопрос.
Разберем еще один пример слишком длинного, бросающегося в глаза, ответа в тесте.
It infers from the text that
1) There were annual floods in the Colosseum.
2) Fights were not so popular in Rome.
3) The Colosseum could offer more than one kind of entertainment.
4) Water sports were more spectacular than fights.
Пункт 3 является правильным ответом и привлекает внимание тестируемого. Не следует допускать подобного при разработке задания тестового характера.
В приведенном ниже примере разработчик задания ошибочно предлагает выбрать из ряда лексических единиц, вариант 2, который очевидно контрастирует с другими предложенными вариантами, поскольку является фразовым глаголом.
Vick has invited us to her birthday party. If we don't want to be late we should_at once.
1) to start
2) head for
3) move
Рассмотрим следующий пример. Вопрос задается к тексту. Предлагаемый вариант тестового задания содержит две ошибки. Во-первых, дистрактор 3 значительно короче остальных. Он явно выделяется на фоне остальных вариантов, и при этом является правильным ответом. Во-вторых, школьники, обладающие фоновыми знаниями по истории, могут дать ответ на приведенный вопрос, не читая текст.
It contradicts the text
1) The Colosseum was a little different from the Circus Maximus.
2) The trained fighters fought not only each other but wild animals as well.+
3) Admission to the Colosseum was free.
4) The Colosseum could hold fewer spectators than the Circus Maximus.
А в этом задании варианты не симметричны по длине. Первый слишком короткий, последний слишком длинный.
According to the text
1) The Rio Carnival is like carnivals in other countries.
2) Eating and drinking are of no importance during the Rio Carnival.
3) Four days is not enough for such a spirited celebration as the Rio Carnival.
4) The Rio Carnival differs from carnivals in other parts of the world by its special atmosphere.
3) Степень эффективности теста: несоответствие вопроса заданной тематике, тест не выявляет заявленные навыки и умения, в тесте присутствуют задания, ответы на которые можно дать,
опираясь на фоновые знания, не читая текст, несоответствие задания учебной Программе, частичное (не полное) восприятие контекста в заданиях на соответствие.
Приведем пример заданий, ответы на которые можно дать, опираясь на фоновые знания, не читая текст.
According to the text,
1) Caesarea lies to the south-west of Urgup.
2) Urgup lies to the southwest of Ankara.
3) Ankara lies to the northwest of Caesarea.
4) Goreme lies to the northeast of Caesarea.
Данный пример иллюстрирует обращение к
фоновым знаниям во время прослушивания.
When boys use computers to do something
1) They only do the job.
2) They may damage them.
3) They learn other things as well.
4) Результаты тестирования: недостаточное количество разных вариантов повышает риск списывания среди обучаемых, не корректно сформулированная инструкция, непродуманная организация проведения тестирования (вопросы качественного освещения, записи для прослушивания, наличие отвлекающих факторов и пр.), отсутствие опыта в пилотном тестировании подобного формата, субъективность оценивания.
Таким образом, разработчику необходимо подготовиться к проведению тестирования заблаговременно: составить оптимальное количество вариантов, продумать инструкции, обеспечить наличие технических средств.
Перейдем к практическим рекомендациям по разработке тестовых заданий. При составлении тестовых заданий крайне важно следовать определенному алгоритму разработки задания, нацеленного на проверку качества знаний обучаемого, на выявление его языкового уровня.
Резюмируя вышесказанное, 1) составление теста стоит начать с разработки спецификации; 2)
подберите тексты--стимулы; 3) формулируя задания тестового характера, помните: формулировка задания должна быть четкой и понятной; контекст не должен содержать избыточной информации, должен способствовать выбору правильного ответа; при формулировке вопросов лучше избегать употребления слов «иногда», «часто», «редко», поскольку они сами по себе содержат неопределенность и могут пониматься субъективно; все варианты ответов должны быть грамматически согласованы с основной частью задания; ответ на поставленный вопрос не должен зависеть от предыдущих ответов; предлагайте испытуемому в рамках одного задания не менее четырех вариантов ответа, тем самым снижая вероятность угадывания правильного ответа.
Литература:
1. Alan Davies. Principles of Language Testing. 1990.
2. Allan S. Cohen and James A. Wollack Handbook on Test Development: Helpful Tips for Creating Reliable & Valid Classroom Tests. 2003.
3. Alderson, J.C., Caroline C. Diane W. Language Test Construction and Evaluation. Cambridge. Cambridge University Press. 1995.
4. Brown, H.D. Language Assessment Principles and Classroom Practices. New York, Pearson Education. 2004.
5. Cheng, L. Yashilahari W and Andy C.(Eds), Washback in Language Testing. Research Context & Methods. New Jersey. Lawrence Erlbaum Associates. 2008.
6. Christine A. Coombe & Nancy J. Hubley. Assessment Practices. Alexandria, VA: Teachers of English to Speakers of Other Languages. 2006.
7. Grant Henning. Twenty Common Testing Mistakes for EFL Teachers to Avoid. 2012.
8. Manual for Language Test Development and Examining. Council in Europe, 2011.
ПЕДАГОГ1ЧН1 УМОВИ П1ДГОТОВКИ МАЙБУТН1Х УЧИТЕЛ1В ДО РОБОТИ З БАТЬКАМИ МОЛОДШИХ ШКОЛЯР1В З НЕПОВНИХ С1МЕЙ
Шульга А.В.
Чертвецький нацюнальний утверситет 1мен1 Юр1я Федьковича, факультет педагог1ки, психологИ' та сощальног роботи, астрант
PEDAGOGICAL CONDITIONS OF TRAINING OF TEACHERS TO WORK WITH PARENTS OF YOUNGER SCHOOLCHILDREN WITH INCOMPLETE FAMILIES
Shulga A.V., Yuriy Fedkovych Chernivtsi National University the Faculty of Pedagogy, Psychology and Social Work, postgraduate
АНОТАЦ1Я
В статп визначено поняття «умова», «педагопчна умова». Проаналiзовано pi3Hi тдходи щодо визна-чення педагопчних умов професшно1 тдготовки майбутшх учителiв до рiзних видiв дiяльностi. Виокре-млено i розглянуто комплекс педагопчних умов, за яких можливе здшснення ефективно1 професшно1 тдготовки до роботи з батьками молодших школярiв з неповних амей.
ABSTRACT
In the article the term "condition", "pedagogical condition." Different approaches to define the pedagogical conditions of training of teachers to different activities. Thesis there is determined and reviewed a set of
