CC BY
41
YAK 81'33 ББК 81.1
А.Ю. МАЛАФЕЕВ
A.YU. MALAFEEV
АВТОМАТИЧЕСКОЕ СОЗДАНИЕ ТЕСТОВ OPEN CLOZE ЗАДАННОЙ СЛОЖНОСТИ
AUTOMATIC CREATION OF THE OPEN CLOZE TESTS OF THE SET COMPLEXITY
В статье рассматривается проблема автоматического создания тестов open cloze заданной сложности в формате кембриджских сертификационных экзаменов (FCE, CAE или CPE). Приводятся результаты количественного и качественного анализа экзаменационных заданий, написанных экспертами. Описана экспериментальная методика автоматического создания аналогичных тестов.
In the article the problem of automatic creation of the open cloze tests of the set complexity in a format of the Cambridge certified examinations (FCE, CAE or CPE) is considered. Results of quantitative and qualitative analysis of the examination tasks written by experts are given. The experimental technique of automatic creation of similar tests is described.
Ключевые слова: автоматическое создание упражнений, лексико-грамматические упражнения, тесты open cloze, кембриджские сертификационные экзамены.
Key words: automatic creation of exercises, lexical and grammatical exercises, open cloze tests, Cambridge certified examinations.
В преподавании английского языка как иностранного (TEFL) широко используются различные виды языковых упражнений. Создание упражнений вручную - трудоемкий процесс, требующий от исполнителя существенных временных затрат. Вследствие этого в последние два десятилетия появилось несколько программных решений для автоматического создания языковых упражнений. Эти решения различаются по типу создаваемых заданий, поддерживаемым языкам, степени гибкости и эффективности (подробнее см. ниже).
Одним из распространенных видов грамматических / лексико-грам-матических упражнений являются задания типа open cloze, используемые в кембриджских сертификационных экзаменах по английскому языку (First Certificate in English, Certificate in Advanced English и Certificate of Proficiency in English). Так, в разделе Use of English экзамена CAE второе задание (Part II) имеет следующий формат: текст с 15 пропусками (плюс один пропуск в качестве примера). От кандидатов требуется задействовать свои знания о структуре языка и адекватно понять текст для того, чтобы правильно заполнить пропуски. При этом экзаменуемым не предоставляется список слов, из которого необходимо выбирать правильные ответы; они получают лишь текст с пропусками [5, с. 35].
Специфика теста типа open cloze делает его достаточно трудным для многих экзаменуемых. Отметим некоторые характерные особенности данного задания:
- Проверяются грамматические и лексико-грамматические навыки, а именно: (грамматика) употребление артиклей, вспомогательных глаголов, предлогов, местоимений, глагольных времен и форм; (лексика и грамматика) владение фразовыми глаголами, связующими словами и устойчивыми выражениями.
- Каждый пропуск заполняется отдельным словом, а не словосочетанием.
- В некоторых случаях возможно несколько правильных ответов.
- Употребление знаков препинания не учитывается.
- В ответах не должно быть орфографических ошибок, иначе они не засчитываются.
- Некоторые пропущенные слова могут быть восстановлены из непосредственного контекста, тогда как другие требуют понимания всего текста в целом [там же, с. 35-36].
Приведем краткий пример (более подробно с форматом данного задания и кембриджских сертификационных экзаменов по английскому языку можно ознакомиться на сайте http://www.cambridgeenglish.org/). В следующем предложении одно из слов пропущено: According to the World Health
Organisation, malaria, a disease spread_(?) mosquitoes, affects millions of
people every year [там же, с. 38]. Смысл предложения в целом и непосредственное окружение пропущенного слова позволяют восстановить предлог by. В данном случае это единственный возможный правильный ответ.
Подобные лексико-грамматические задания можно создавать автоматически на основе произвольных текстов на английском языке. Это актуально и перспективно по нескольким причинам. Во-первых, этот тип упражнений не поддерживается в большинстве уже существующих генераторов. Во-вторых, поскольку подобные тестовые задания применяются в кембриджских сертификационных экзаменах, существует спрос на упражнения, близкие по формату, которые можно было бы использовать при подготовке к сдаче экзаменов. Наконец, исследования показывают, что соответствие текстов интересам обучаемых повышает мотивацию и способствует эффективному освоению новой лексики [9]; предлагаемый нами подход как раз позволяет использовать любые тексты на английском языке в качестве исходных для создания упражнений.
Главное преимущество собственно автоматического метода создания тестов open cloze, да и других языковых упражнений, заключается в экономии времени преподавателя, которому необходимо лишь подобрать подходящий текст-источник. Впоследствии подобранный источник можно использовать неограниченное количество раз для создания новых упражнений. При этом текст может быть написан преподавателем самостоятельно или получен из сети Интернет и соответствовать любому из достаточно широкого спектра жанров (новостные статьи, блоги, энциклопедии, художественные произведения, находящиеся в открытом доступе, и т. п.). При этом, на наш взгляд, важно предоставить пользователю возможность задавать требуемый уровень сложности для тестов open cloze, примерно соответствующий целевому сертификационному экзамену (FCE, CAE или CPE). Эта статья посвящена решению данной проблемы.
В последние годы появилось довольно много методов автоматического создания языковых упражнений различных видов:
- вопросы на понимание текста [7];
- словоизменение [1, 2, 3, 6, 13];
- исправление ошибок [1];
- нахождение семантически связанных слов [10];
- восстановление порядка слов в предложении [14];
- переводные упражнения [4];
- open cloze (заполнение пропусков без выбора из нескольких вариантов) [3, 13, 14];
- наиболее распространенный вид - multiple choice cloze tests / quizzes (задания на заполнение пропусков с выбором из нескольких возможных ответов) [1, 8, 11, 12, 13, 16].
Системы автоматического создания упражнений поддерживают различные языки: английский (безусловно, самый популярный) [4, 8, 16], французский [14], русский [6] и др. [1, 3]. В некоторых из них реализована функция автоматической проверки данных ответов [3, 13].
Характерно, что ни одна из данных систем не направлена на создание упражнений в формате, соответствующем кембриджским сертификационным
экзаменам. Существующие решения для создания упражнений open cloze, а именно [3, 13, 14] и онлайн-генератор, доступный по адресу http://l.georges. online.fr/tools/cloze.html, отличаются тем, что в них из текста-источника механически убираются все слова, относящиеся лишь к одной целевой части речи, указанной пользователем (предлоги, артикли и т. п.). В кембриджских же заданиях используются сразу несколько частей речи. При этом каждая целевая словоформа (например, артикль the или предлог in) может быть пропущена в отдельно взятом тексте лишь однажды.
Более того, в существующих решениях отсутствует возможность настройки уровня сложности задания и количества пропусков, что было бы важным преимуществом при использовании этих инструментов для подготовки к экзаменам. Разработанная нами методика позволит с высокой точностью имитировать кембриджские open cloze-тесты, а также варьировать их уровень сложности.
Сложность заданий open cloze зависит, на наш взгляд, от двух основных факторов: удобочитаемости (readability) текста-источника и того, какие именно слова заменяются в нем пропусками.
Сложность текста имеет ряд чисто формальных показателей, измеримых количественно, таких как средняя длина предложения, средняя длина слова, частотность слов и др. Безусловно, данные показатели не всегда в точности отражают то, насколько легко тот или иной текст воспринимается читателем. Тем не менее, они могут быть полезны для приблизительной оценки сложности текста. Наличие измеримых показателей привело к разработке нескольких методов автоматического определения уровня удобочитаемости текстов; так, широкую известность получила система Lexile [15]. Эту систему, или подобные ей, можно использовать при выборе текста-источника, соответствующего уровню задания.
В контексте рассматриваемой нами проблемы особенно важен второй фактор сложности теста open cloze: какие именно слова заменены в тексте пропусками. Хорошо известно, что некоторые слова и даже целые классы слов (например, артикли, местоимения, модальные глаголы) вызывают особенные трудности у изучающих английский язык. Следовательно, если эти слова оказываются целевыми в тесте open cloze, восстановить их из контекста может быть намного сложнее, чем более «простые» слова (например, союзы and, or, but).
Таким образом, автоматическое создание упражнений заданной сложности может быть реализовано путем использования текстов надлежащего уровня и регулирования того, какие именно слова принимаются за целевые. Необходимо прояснить критерии отбора слов для задания требуемого уровня сложности. Мы посчитали перспективным провести количественный и качественный анализ тестов open cloze в формате FCE, CAE и CPE, составленных экспертами-носителями английского языка.
Логично предположить, что в экзаменационных заданиях заведомо разных уровней сложности - экзамены FCE, CAE и CPE соответствуют уровням B2, C1 и C2 по Common European Framework of Reference for Languages (CEFR) - используются качественно различающиеся (например, по частереч-ной принадлежности) целевые слова. Понимание того, какие целевые слова наиболее характерны для каждого уровня, может позволить варьировать сложность автоматически создаваемых тестов open cloze.
Мы изучили 48 тестов open cloze, по 16 каждого уровня: FCE, CAE и CPE; общее количество пропусков - 192 + 240 + 240 = 672. Пропуски были восстановлены с помощью ответов, опубликованных издателями тестов. Всего в тестах было задействовано 275 отдельных словоформ. Мы подсчитали частотность данных слов в тестах open cloze, т. е. сколько раз каждая словоформа была использована в качестве целевой (включая альтернативные правильные ответы, указанные в «ключах»). После этого мы выделили словоформы, наиболее характерные для каждого из трех экзаменов. Харак-
терность R словоформы w для того или иного экзамена e рассчитывалась по формуле:
где ke - это количество пропусков с данной словоформой в тестах экзамена e, а m:
т— тах^к^+к^, 0.5 I
то есть максимальное значение из двух: суммарного употребления словоформы w в тестах двух других экзаменов (k1 + k2) и коэффициента 0.5. Последний необходим для того, чтобы избежать деления на 0 при нулевом употреблении слова w в экзаменационных заданиях двух других форматов, а также для увеличения в этих случаях значения R вдвое. Например, если слово w употреблено в экзамене e трижды, и однажды в одном из двух других экзаменов, то R = 3 / 1 = 3. Однако если слово w не использовано в двух других экзаменах ни разу, то R = 3 / 0.5 = 6. Таким образом мы повышаем показатель R у словоформ, которые использовались только в одном из трех экзаменов. Мы считаем, что такие словоформы, по-видимому, являются наиболее характерными для данного экзамена.
Разумеется, речь не идет о том, что тесты open cloze создаются специалистами механически, с использованием раз и навсегда заданного списка целевых слов. Тем не менее, на основании полученных данных нам удалось выявить определенные качественные различия между целевыми словоформами в экзаменационных заданиях FCE, CAE и CPE. Так, для заданий FCE типичны вспомогательные глаголы, высокочастотные фразовые глаголы и знаменательные (т. е. неслужебные) слова в устойчивых сочетаниях. CAE отличается частым использованием предлогов и артиклей в качестве целевых слов. В CPE более вероятны модальные глаголы, местоимения и предлоги, характерные для формальной речи (например, given, due to).
Объем этой публикации не позволяет поместить в ней полученные данные полностью, однако они могут быть свободно предоставлены по обращении к автору. Фрагмент представлен в таблице 1, а именно 15 наиболее частотных и 15 наиболее характерных словоформ для каждого из экзаменов.
Таблица 1
Наиболее частотные и наиболее характерные слова в тестах open cloze в формате FCE, CAE и CPE
Частотность (к) Характерность (R)
n FCE CAE CPE FCE CAE CPE
1 which in that be an should
2 as which to after either against
3 to though with takes never among
4 of for as taking off anybody
5 for that what too or back
6 with with it used through considering
7 have by would well your due
8 if as in whereas any face
9 on from should much before far
10 up so into have over given
11 but who no has whether itself
12 not what could is by let
13 when to might were though many
14 what although out again able means
15 in a such amount during owing
Как видно из таблицы, частотность словоформ, т. е. то, сколько раз они употреблены в тестах каждого уровня, является малоинформативным показателем. Действительно, многие из самых распространенных целевых словоформ в тестах open cloze встречаются в каждом из трех экзаменов с примерно одинаковой частотой (as, to, with и другие). Поэтому качественный анализ наиболее частотных словоформ дает нам довольно мало полезной информации о том, как можно варьировать сложность автоматически создаваемых open cloze тестов путем выбора этих словоформ в качестве целевых. По-видимому, это связано с тем, что сложность пропусков в данном случае в большей степени задается контекстом употребления целевых словоформ. Однако оценку «сложности» контекста достаточно непросто реализовать в автоматическом генераторе упражнений: для этого может потребоваться обширный набор правил для каждого целевого слова.
Напротив, рассчитываемая по специальной формуле характерность (R) оказывается весьма значимой в контексте поставленной задачи. Именно этот показатель позволил выявить большинство качественных различий между целевыми словоформами в экзаменационных заданиях разных уровней. Эти различия (некоторые примеры были приведены выше) довольно легко учитывать при автоматическом создании заданий open cloze и тем самым варьировать их сложность. Так, программа, создающая упражнения, может использовать несколько списков возможных целевых слов, условно «более сложных» и «более простых», для замены их на пропуски в тексте. Тогда из одного и того же текста можно получать задания разной сложности. Это может быть видно даже на уровне отдельного предложения. Приведем примеры:
(a) The cat_washing itself. (was, характерно для FCE)
(b) The cat was washing_. (itself, характерно для CPE)
(a) Their success is due to a lot_hard work. (of, - FCE)
(b) Their success is_to a lot of hard work. (due, - CPE)
Нам представляется, что в обоих случаях пропуски в предложениях (b) сложнее (независимо от более широкого контекста).
Таким образом, на основании анализа реальных тестов, созданных экспертами-носителями языка, мы разработали достаточно легко реализуемый машинный способ варьирования сложности заданий. Этот способ основан на использовании предварительно заданных списков целевых словоформ, различающихся по относительной «сложности» восстановления их из контекста. Целевые словоформы автоматически заменяются в тексте пропусками в соответствии с определенными правилами, позволяющими создавать достаточно реалистичные тесты. Например, пропуски не ставятся слишком близко друг к другу, поскольку для восстановления пропущенного слова необходим минимальный контекст - хотя бы три слова с каждой стороны от пропуска. Другое правило предписывает удалять из текста каждую целевую словоформу лишь однажды, что соответствует формату кембриджских экзаменов.
Важно отметить, что разработанная автором программа свободно предоставляется всем желающим для тестирования или применения в некоммерческих целях. В результате свободного распространения программы автор получил ценные отзывы и замечания от сторонних экспертов-преподавателей английского языка, что в дальнейшем позволило добиться более высокой эффективности создания упражнений.
В перспективе представляется целесообразным обработать более обширную подборку тестов для получения более полных и актуальных данных. Кроме того, необходимо разработать некоторые новые правила для более точного выбора слов для замены на пропуски.
Упражнения, автоматически созданные с помощью предлагаемой методики, можно применять как при подготовке к соответствующим экзаменационным заданиям, так и в процессе обучения английскому или самостоятельного изучения данного языка, поскольку подобные задания могут способствовать развитию лексико-грамматических навыков, а также навыков чтения.
Литература
1. Aldabe, I. ArikIturri: An Automatic Question Generator Based on Corpora and NLP Techniques [Тех^ / I. Aldabe, M.L. de Lacalle, M. Maritxalar, E. Martinez, L. Uria // Intelligent Tutoring Systems: Lecture Notes in Computer Science. Springer Berlin Heidelberg, 2006. - С. 584-594.
2. Antonsen, L. Generating Modular Grammar Exercises with Finite-State Transducers [Тех^ / L. Antonsen, R. Johnson, T. Trondsterud, H. Uibo // Proceedings of the second workshop on NLP for computer-assisted language learning at NODALIDA 2013. Сер. NEALT Proceedings Series 17 / Linkuping Electronic Conference Proceedings 86. - 2013. - С. 27-38.
3. Bick, E. Live Use of Corpus Data and Corpus Annotation Tools in CALL: Some New Developments in VISL [Тех^ / E. Bick // Nordic Language Technology, \ AArbog for Nordisk Sprogteknologisk Forskningsprogram. - 2005. - С. 171-185.
4. Burstein, J. Translation Exercise Assistant: Automated Generation of Translation Exercises for native-Arabic Speakers Learning English [Тех^ / J. Burstein, D. Marcu // Proceedings of HLT/EMNLP on Interactive Demonstrations: HLT-Demo '05. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2005. - С. 16-17.
5. Cambridge English: Advanced Handbook for Teachers [Теxt]. - 2012.
6. Dickinson, M. Developing Online ICALL Exercises for Russian [Теxt] / M. Dickinson, J. Herring // Proceedings of the Third Workshop on Innovative Use of NLP for Building Educational Applications: EANL '08. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2008. - С. 1-9.
7. Gates, D.M. Automatically Generating Reading Comprehension Look-Back Strategy: Questions from Expository Texts [Text] / D.M. Gates. - Pittsburgh: Carnegie Mellon University, 2008.
8. Goto, T. Automatic Generation System of Multiple-Choice Cloze Questions and its Evaluation [Text] / T. Goto, T. Kojiri, T. Watanabe, T. Iwata, T. Yamada // Knowledge Management & E-Learning: An International Journal (KM&EL). -2010. - Т. 2. - № 3. - С. 210-224.
9. Heilman, M. Personalization of Reading Passages Improves Vocabulary Acquisition [Теxt] / M. Heilman, K. Collins-Thompson, J. Callan, M. Eskenazi, A. Juffs, L. Wilson // International Journal of Artificial Intelligence in Education. - 2010. - Т. 20. - № 1. - С. 73-98.
10. Heilman, M. Application of Automatic Thesaurus Extraction for Computer Generation of Vocabulary Questions [Теxt] / M. Heilman, M. Eskenazi // Proceedings of the SLaTE Workshop on Speech and Language Technology in Education2007. - С. 65-68.
11. Hoshino, A. WebExperimenter for Multiple-choice Question Generation [Теxt] / A. Hoshino, H. Nakagawa // Proceedings of HLT/EMNLP on Interactive Demonstrations: HLT-Demo '05. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2005. - С. 18-19.
12. Knoop, S. WordGap - Automatic Generation of Gap-Filling Vocabulary Exercises for Mobile Learning [Теxt] / S. Knoop, S. Wilske // Proceedings of the second workshop on NLP for computer-assisted language learning at NODALIDA 2013. Сер. NEALT Proceedings Series 17. - 2013. - С. 39-47.
13. Meurers, D. Enhancing Authentic Web Pages for Language Learners [Теxt] / D. Meurers, R. Ziai, L. Amaral, A. Boyd, A. Dimitrov, V. Metcalf, N. Ott // Proceedings of the NAACL HLT 2010 Fifth Workshop on Innovative Use of NLP for Building Educational Applications: IUNLPBEA '10. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2010. - С. 10-18.
14. Perez-Beltrachini, L. Generating Grammar Exercises [Теxt] / L. Perez-Beltrachini, C. Gardent, G. Kruszewski // Proceedings of the Seventh Workshop on Building
Educational Applications Using NLP. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2012. - C. 147-156.
15. Stenner, A.J. Measuring Reading Comprehension with the Lexile Framework [Text] / A.J. Stenner // Fourth North American Conference on Adolescent/Adult Literacy, Washington DC. - 1996.
16. Sumita, E. Measuring Non-native Speakers' Proficiency of English by Using a Test with Automatically-generated Fill-in-the-blank Questions [Text] / E. Sumita, F. Sugaya, S. Yamamoto // Proceedings of the Second Workshop on Building Educational Applications Using NLP: EdAppsNLP 05. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2005. - C. 61-68.
