CC BY
162
«ПОЛЕЗНЫЕ ОШИБКИ» И АВТОМАТИЧЕСКОЕ СОЗДАНИЕ
УПРАЖНЕНИЙ ПО АНГЛИЙСКОМУ ЯЗЫКУ
А. Ю. Малафеев
(Нижний Новгород, Россия)
Аннотация. В преподавании иностранных языков широко используются различные виды языковых упражнений, в частности, задания на исправление в тексте лексико-грамматических ошибок. В статье описывается метод автоматического создания подобных упражнений на основе любых текстов на английском языке. Возможность использования произвольных текстов является важным преимуществом с точки зрения мотивации учащихся, поскольку у преподавателя появляется возможность адаптировать содержание заданий под интересы учащихся. Два эксперимента, проведённые для оценки упражнений, подтвердили высокую эффективность нашего метода.
Ключевые слова: преподавание английского языка как иностранного; смешанное обучение; изучение языков с помощью компьютера; автоматическое создание упражнений; лексико-грамматические упражнения, исправление ошибок.
«USEFUL ERRORS» AND ENGLISH LANGUAGE EXERCISE GENERATION
A. Malafeev
(Nizhny Novgorod, Russia)
Abstract In foreign language teaching, various types of linguistic exercises are widely used-in particular; those involving the correction of lexical and grammatical errors in the text. The article describes a method for automatically generating such exercises from arbitrary texts in English. Freedom to choose any text is an important advantage from the point of view of student motivation, since the teacher can adapt the content of the tasks to students' interests. Two experiments involving expert evaluation of exercises showed that our method is highly effective.
Key words: teaching English as a foreign language; blended learning; computer-assisted language learning; automatic exercise generation; lexico-grammatical exercises; error correction.
Как известно, лексико-грамматические упражнения часто используются в преподавании иностранных языков. Упражнения, как правило, создаются преподавателями вручную, что требует времени и приложения значительных усилий. В последние два десятилетия стали появляться компьютерные инструменты, полностью или частично автоматизирующие этот процесс.
Автоматическое создание упражнений, помимо очевидных соображений экономии времени и сил преподавателей, становится всё более актуальной задачей в свете современных образовательных тенденций, в частности, смешанного обучения (blended learning) [3; 2] и изучения языков с помощью компьютера (computer-assisted language learning) [13; 1].
В данной статье мы рассмотрим метод автоматического создания упражнений на исправление лексико-грамматических ошибок в англоязычных текстах. Такие упражнения используются во многих учебниках по английскому языку, что
косвенно свидетельствует о их востребованности. Кроме того, задания на исправление ошибок входят в некоторые международные сертификационные экзамены по английскому языку, такие как Cambridge ВЕС Vantage и ВЕС Higher (http://www. cambridgeenglish.org/). Навык исправления ошибок, который можно развивать с помощью специальных упражнений, помогает учащемуся успешно осуществлять вычитку (proofreading) своих или чужих текстов. Все это является аргументом в пользу актуальности нашей работы.
Необходимо добавить, что упражнения на исправление ошибок часто используются в процессе подготовки преподавателей иностранных языков в российских вузах. Учитывая, что наш метод основан на довольно большой базе наиболее часто допускаемых ошибок, упражнения, созданные с помощью этого метода, могут быть успешно использованы и для подготовки или повышения квалификации преподавателей английского языка.
Новизна описываемого метода заключается
в отсутствии в свободном доступе аналогичных компьютерных программ, а также такой важной особенностью нашего метода, как возможность создавать упражнения на основе любых текстов на английском языке. Специальное исследование подтвердило, что соответствие текстов интересам обучаемых повышает мотивацию и способствует эффективному освоению новой лексики [9].
Отметим, что результаты, полученные в данном исследовании, являются воспроизводимыми и верифицируемыми, поскольку описываемый нами метод создания упражнений реализован в компьютерной программе Exercise Maker, которая находится в свободном доступе (http://www.hse.ru/ staff/aumalafeev#other). Исследователи, интересующиеся проблематикой автоматического создания упражнений, могут использовать нашу программу для сравнения с другими методами и системами. В программе Exercise Maker реализована возможность создания нескольких видов упражнений, однако данная публикация посвящена исправлению лексико-грамматических ошибок; она содержит подробное описание метода автоматического создания таких упражнений и оценку эффективности предлагаемого метода.
Приведём пример упражнения на исправление ошибок, автоматически созданного с помощью нашего метода (исходный текст взят с популярного сайта для изучающих английский Breaking News Engli sh : http : //www. b reaki ngnewsengl i sh. com/0508/050811 -gaming.pdf):
A 28-year-old South Korean man (1) *have -> has died after playing an online computer game for (2) *allmost -> almost 50 hours non-stop in (3) * -> an internet cafe in the city of Taegu. His marathon gaming session (4) *were -> was apparently interspersed only with the occasional toilet break or five-minute nap. The man, known only by his family name of Lee, became engrossed in the popular battle simulation game Starcraft (5) *in -> on August 3 and stayed rooted to his seat (6) *to -> for over two days. Reuters News Agency reports police sources (7) *telling -> saying the man died from cardiac arrest «stemming from exhaustion». He had just finished playing when he suddenly collapsed. Paramedics could not resuscitate (8) *he -> him and he died shortly after arriving (9) *in -> at hospital.
Астериском (*) помечены ошибки, внесённые1 компьютерной программой. Правильный вариант исправления ошибки (т. е. то, как слово было написано в исходном тексте) приводится после стрелки (->). Данный вариант форматирования упражнения предназначен для удобства проверки ответов. Обучающимся предлагается другой вариант задания, в котором ошибки в тексте никак не выделены (например, A 28-year-old South Korean man have died after playing an online computer game for allmost 50 hours non-stop <...>).
Как можно видеть, программа создала ошибки нескольких типов: орфографические (*allmost -> almost), лексические (Helling -> saying) и грамматические (*have -> has, * -> an). Ошибки, связанные с употреблением предлогов (*ш -> on, Но -> for), можно условно классифицировать как лекси-ко-грамматические. Таким образом, при выполнении упражнения проверяется знание и понимание орфографии, значений слов, контекстуальных смыслов, реализуемых в результате активации синтагматических связей между словами, морфо-лого-синтаксических зависимостей и шаблонов, коллокаций и идиоматики целевого языка.
За последнее время было предложено несколько методов создания упражнений в различных форматах, однако одним из наиболее популярных и востребованных типов упражнений является заполнение пропусков в тексте с вариантами ответа (multiple choice cloze) [10; 8; 14; 12]. Повышенное внимание исследователей к данному формату заданий, по-видимому, в значительной степени связано с тем, что он широко используется во всем мире.
Что касается упражнений на исправление лексико-грамматических ошибок, обзор литературы показал, что существует не так много систем, поддерживающих данный тип заданий. Так, зарубежными исследователями были предложены методы создания упражнений на исправление ошибок для
1 В данной статье, говоря об ошибках, мы будем использовать глагол «допускать» для описания ситуаций непреднамеренного ошибочного употребления тех или иных единиц. Когда же речь будет идти об автоматическом создании упражнений компьютерной программой, мы будем употреблять словосочетания «вносить ошибки в текст» и «создавать ошибки». Действительно, программа не «ошибается» в привычном нам смысле, а следует инструкциям, создавая упражнения, поэтому сочетание «допускать ошибку» могло бы в этом случае звучать двусмысленно.
баскского [4] и русского языков [6]. Учитывая отсутствие аналогов для английского языка, можно говорить о существенной новизне нашего метода автоматического создания упражнений.
В целом, предлагаемый в данной работе метод отличается от других систем (для создания упражнений других типов, напр. [5, 15]) в следующем:
1. упражнения создаются на основе любых текстов на английском языке;
2. создание упражнений не зависит от внешних ресурсов, таких как лексическая база данных WordNet [7] или лингвистические корпусы (поэтому наш метод может быть легко адаптирован под другие языки).
Перейдем к описанию предлагаемого метода создания упражнений на исправление ошибок. Чтобы минимизировать количество ложных срабатываний программы, мы стремились достичь высокой точности выбора целевых слов: это должны быть слова любой части речи, не являющиеся именами собственными, аббревиатурами, неологизмами, малоупотребительными или иноязычными словами (последние могут встречаться, например, в цитатах). Наша гипотеза заключалась в том, что можно автоматически создавать полезные упражнения на исправление орфографических, лексических и грамматических ошибок на основе произвольных текстов на английском языке, используя простые правила отбора целевых слов и накопленную базу типичных ошибок.
Метод автоматического создания упражнений был реализован нами на языке программирования Python. Перечислим основные шаги алгоритма:
1) нормализация текста-источника;
2) сегментация текста-источника;
3) анализ сложности текста;
4) первичный отбор слов-кандидатов;
5) окончательный отбор целевых слов;
6) форматирование упражнения;
7) сохранение результатов.
Нормализация текста в данном случае включает в себя замену некоторых символов (апостроф, одинарные и двойные кавычки) на аналогичные с целью внесения единообразия, а также временное превращение текста в простую последовательность слов без учета абзацев. Индексы слов, с которых начинается новый абзац, сохраняются, чтобы на этапе форматирования упражнения «вернуть» разделение текста на абзацы.
Сегментация подразумевает разделение текста на слова и отделение знаков препинания. Последнее необходимо для правильного форматирования упражнений после внесения изменений в текст. Отметим, что мы не используем пунктуационные ошибки, поэтому знаки препинания в исходном тексте должны оставаться неизменными.
Анализ сложности текста, осуществляемый автоматически, основан исключительно на формальных критериях. После экспериментов с различными переменными, влияющими на «читаемость» текста ('readability' в западной литературе), мы сохранили в качестве основной метрики два показателя: среднюю длину предложений и частотность слов в английской речи. Эти два фактора традиционно считаются наиболее тесно связанными со сложностью текста [11]. В нашем случае частотность определяется на основе вхождения слова в два списка наиболее частотных словоформ в английском языке. Наши списки основаны на большой таблице частотности словоформ, извлеченных из субтитров к художественным фильмам (https://invokeit.wordpress.com/frequency-word-lists/). С помощью этих списков, насчитывающих 2274 и 10084 словоформы, можно моделировать три уровня частотности слов: входящие в первый и второй списки условно считаются «общеупотребительными», только во второй-«употребительными», не входящие в списки-«редкими». В нашей простой модели, доля «употребительных» и «редких» слов прямо пропорциональна сложности текста.
При первом последовательном проходе из текста-источника отбираются все словоформы, удовлетворяющие следующим критериям: 1. Слово не должно состоять только из символов верхнего регистра (простая эвристика для отсеивания аббревиатур). 2. Слово должно обладать признаками того, что его употребление изучающими английский язык может вызвать у них трудности и, следовательно, привести к ошибкам. В частности, для определения пригодности слова мы используем два альтернативных условия: вхождение слова в нашу базу данных о типичных ошибках или его принадлежность к определённому грамматическому классу.
Рассмотрим эти альтернативные условия подробнее. В первом случае слово входит в список словоформ, часто вызывающих у учащихся трудности. Каждой такой словоформе соответствует
перечень из нескольких типичных ошибок в её употреблении. Таким образом, каждая запись в нашей базе ошибок содержит как «правильную» словоформу, так и варианты её замены в тексте (т.е., собственно ошибки). Например, accommodation ~> *acommodation, *accomodationy *acomodation; anybody -> *nobody; сап -> *can to. На текущий момент, в собранной нами коллекции типичных ошибок содержится около 400 записей. Поскольку во многих случаях целевой словоформе соответствует несколько вариантов ошибок, общее количество различных ошибок, которые могут быть внесены в текст на основании базы данных, составляет свыше 500.
Второе альтернативное условие является более широким, охватывая гораздо большее количество целевых слов. В этом случае целевая словоформа не входит в вышеназванный список из 400 записей, но содержит определённые аффиксы. Это правило позволяет работать с целыми классами слов, такими как прилагательные и глаголы. Так, в случае прилагательных мы можем создавать следующие ошибки: ...ous -> *...ouse и ...fui -> *... fulL Это позволяет охватить множество слов, например: marvelous, fabulous, hixurious и powerful, forgetful, scornful. В случае глаголов мы можем заменять одни формы другими, например Не *know -> knows <... > или I *getting -> got ир at 6 yesterday. Ложные срабатывания при этом исключаются, поскольку мы используем только те словоформы в тексте, которые однозначно являются глагольными.
На следующем этапе в тексте случайным образом создаются ошибки с учётом их заданного количества. Таким образом, используются не все предварительно отмеченные слова. Еще одно ограничение для окончательного отбора-ошибки не должны находиться слишком близко друг от друга. Для обеспечения минимального контекста, необходимого для исправления ошибок, необходимо оставлять между ними не менее трех слов. Разумеется, среднее расстояние между ошибками будет больше, но насколько именно-это зависит от текста-источника и заданного количества ошибок. Отметим, что на практике вряд ли целесообразно использовать тексты длиннее, чем 300 слов, и вносить в них более 20 ошибок. Важно также добавить, что создавать одинаковые ошибки в тексте нецелесообразно, поэтому мы добавили соответствующее правило, в соответствии
с которым ошибки в одном и том же тексте не повторяются.
При сохранении результатов создаются два файла, один из которых содержит только текст упражнения и короткую инструкцию на английском языке, а другой-текст упражнения с пронумерованными ошибками и правильными ответами (для удобства проверки). Это заключительный этап алгоритма создания упражнений на исправление ошибок.
Для оценки нашего метода автоматического создания упражнений были проведены два эксперимента, в которых участвовали эксперты-преподаватели английского языка. Для первого, пилотного эксперимента мы скопировали пять отрывков из новостных статей с сайта cnn.com (средний объем каждого текста составил 300 слов; тексты ранее не использовались в работе с программой). Из этих текстов были автоматически созданы упражнения на нахождение ошибок. Всего программой было внесено 133 ошибки. Эксперт-преподаватель должен был оценить каждую ошибку на предмет целесообразности её использования как элемента упражнения. Эксперт одобрил 121 из 133 ошибок, что составляет около 91%. Этот результат показался нам недостаточным, поскольку, фактически, каждая десятая ошибка была не принята экспертом.
Мы провели анализ случаев, когда, по мнению эксперта, программа сработала неудовлетворительно. После этого мы отредактировали список правил, на основании которых Exercise Maker создаёт ошибки в текстах. Далее мы провели второй эксперимент, использовав другую выборку текстов и двоих экспертов-преподавателей, не участвовавших в пилотном эксперименте. На этот раз пять текстов были взяты с сайта breakingnewsenglish.com, поскольку мы посчитали, что адаптированные новостные статьи лучше подходят для создания заданий на исправление ошибок, чем новостные тексты, написанные для носителей английского языка. Мы не читали эти тексты до проведения эксперимента, не говоря уже об использовании их в процессе разработки программы. Количество ошибок, внесённых по нашему методу в текст, составило 131.
Задачей экспертов было независимо друг от друга оценить каждую ошибку на предмет возможности её использования в обучении или тестировании. Кроме того, на этот раз эксперты
оценивали каждое из пяти упражнении в целом по следующей шкале: 1-упражнение не пригодно для использования; 2-упражнение может быть использовано только после значительной переработки; 3-упражнение может быть использовано после внесения незначительных исправлений; 4-упражнение можно использовать в неизменённом виде. Оценка в 3 или 4 балла подразумевает, что упражнение пригодно для использования, т.е. её можно считать положительным результатом.
Первый эксперт принял все ошибки, второй-129 из 131 (98,5%). При этом первый эксперт оценил все пять упражнений на три балла из четырёх, а второй дал следующие оценки: 3, 4, 4, 3, 4. Отметим, что некоторое различие в оценках экспертов легко объяснимо субъективностью суждений, которой вряд ли можно избежать при проведении подобных экспериментов.
Таким образом, наш метод создания упражнений на исправление ошибок успешно прошёл экспертную оценку, показав высокие результаты. Гипотеза, выдвинутая в начале нашего исследования, была подтверждена экспериментально. Разработанный нами метод автоматического создания упражнений на исправление ошибок представляется эффективным и пригодным для использования в процессе обучения английскому языку. Учитывая простоту метода, его можно относительно легко адаптировать для других языков.
Список литературы:
1. Карамышева, Т. В. Изучение иностранных языков с помощью компьютера. Союз СПб., 2001.- 192 сс.
2. Ребрин, О., Шолина, П., Сысков, А. Смешанное обучение // Высшее образование в России № 82005.-С. 68-72.
3. Bonk, С.J., Graham, C.R. The handbook of blended learning: Global perspectives, local designs. Pfeiffer, 2006.- 624 p.
4. Aldabel. и др. Ariklturri: An Automatic Question Generator Based on Corpora and NLP Techniques // Intelligent Tutoring Systems Lecture Notes in Computer Science. / под ред. M. Ikeda, K.D.Ashley, Т.-W. Chan.: Springer Berlin Heidelberg, 2006. P. 584-594.
5. Brown, J.C., Frishkoff, G.A., Eskenazi, M. Automatic Question Generation for Vocabulary Assessment // Proceedings of the Conference on
Human Language Technology and Empirical Methods in Natural Language Processing HLT' 05. Stroudsburg, PA, USA: Association for Computational Linguistics 2005. P. 819-826.
6. Dickinson M., Herring J. Developing Online ICALL Exercises for Russian // Proceedings of the Third Workshop on Innovative Use ofNLP for Building Educational Applications EANL '08. Stroudsburg, PA, USA: Association for Computational Linguistics, 2008. P. 1-9.
7. Fellbaum, C. WordNet: An Electronic Lexical Database. Cambridge, MA: MIT Press, 1998 - 447 p.
8. Goto, T. h Automatic Generation System of Multiple-Choice Cloze Questions and its Evaluation // Knowledge Management & E-Learning: An International Journal (KM&EL). T. 2. № 3 2010. P. 210-224.
9. Heilman, M., Collins-Thompson, K., Callan, J., Eskenazi, M., Juffs, A., and Wilson, L. Personalization of Reading Passages Improves Vocabulary Acquisition // International Journal of Artificial Intelligence in Education. 202010. P. 73-98.
10. Hoshino, A., Nakagawa, H. WebExperimenter forMultiple-choiceQuestionGeneration//Proceedings of HLT/EMNLP on Interactive Demonstrations HLT-Demo '05. Stroudsburg, PA, USA: Association for Computational Linguistics 2005. P. 18-19.
11. Klare, G.R. The Role of Word Frequency in Readability //Elementary English, 1968. P. 12-22.
12. Knoop, S., Wilske, S. WordGap-Automatic Generation of Gap-Filling Vocabulary Exercises for Mobile Learning // Proceedings of the second workshop on NLP for computer-assisted language learning at NODALE)A 2013. P. 39-47.
13. Levy, M. Computer-Assisted Language Learning: Context and Conceptualization. ERIC, 1997.-310 p.
14. Meurers, D. et al. Enhancing Authentic Web Pages for Language Learners // Proceedings of the NAACL HLT 2010 Fifth Workshop on Innovative Use of NLP for Building Educational Applications IUNLPBEA '10. Stroudsburg, PA, USA: Association for Computational Linguistics 2010. P. 10-18.
15. Volodina, E. From Corpus to Language Classroom: Reusing Stockholm Umeä Corpus in a Vocabulary Exercise Generator SCORVEX. Gothenburg University, MA, 2008.- 135 p.
