CC BY
26
известия вгпу
Experience of teaching academic writing to students specializing in languages: comparative analysis
The article deals with the features of the process of teaching academic writing to students specializing in languages. The experience of the academic culture formation in English allows identifying both common goals and differences in the contents and the logic of material presentation to linguists and teachers. The differences in perception of course goals by students, the strategies of working with the material, the methods of correction and further implementation of written skills are analyzed in the article.
Key words: culture of academic writing, pedagogical specialization, linguistic specialization, academic writing.
(Статья поступила в редакцию 25.04.2018)
М.А. БоДоньИ (краснодар)
ретроспективный анализ зарубежных подходов к контролю и оценке иноязычной письменной речи
Представлен анализ эволюции зарубежных подходов к оценке письменной речи. Начиная с 1960-х гг. разработка методического инструментария определяется поиском приемов для повышения надежности оценки. Их трансформация соотносится с периодизацией методических подходов к обучению письменной речи. Процедуры оценки определяются переходом от собственно контроля и диагностики к актуализации развивающих и ориентирующих функций.
Ключевые слова: иноязычная письменная речь, контроль, оценка, стандартизированный подход, функции контроля.
В методике обучения иностранным языкам письменная речь рассматривается как эффективный квалиметрический объект, что обусловлено широкими возможностями оцени-
вания языковых и речевых умений обучающихся, их способности к порождению иноязычной письменной речи. Изучение лингво-дидактической практики свидетельствует о варьировании направленности контроля на собственно употребление языковых средств, их корректность, на оценку создаваемого речевого продукта, умений письменной коммуникации, стратегий порождения письменного высказывания и т. д. Оценка письменной речи также дает возможность судить об уровне сформированное™ иноязычной коммуникативной компетенции и ее компонентов. вместе с тем необходимо указать на высокую степень субъективности, проявляющейся как следствие многочисленных факторов, влияющих на результат оценки. Прежде всего, это касается продуктивного и творческого характера речепорождения как условия создания письменного текста, с одной стороны, и индивидуальной личностной интерпретации текста как объекта оценки - с другой. Решение возникающего противоречия возможно при условии разработки валидных и надежных приемов квалификации письменных высказываний, отражающих трудности их репрезентации и интерпретации [16, с. 338]. Преодоление противоречия определяется теоретическим поиском подходов и процедур, обеспечивающих валид-ность и надежность оценки письменной речи.
Предметом данной статьи является исследование развития зарубежных подходов к контролю и оценке иноязычной письменной речи, отражающих непрерывный поиск более эффективных, надежных, валидных инструментов для повышения объективности оценки. Анализ развития подходов к оценке письма предполагает изучение контекста, в котором развивались теории и педагогические стратегии оценки письменной речи, что определяет возможности для дальнейшего совершенствования квалиметрических инструментов, их модификации к новым условиям и вызовам [14].
рассматривая зарубежные подходы, мы учитываем общие тенденции оценки письменной речи вне зависимости от статуса языка (родного или иностранного), что связано с опорой при разработке приемов оценки иноязычной письменной речи на уже сформированные подходы к квалификации продуктивного письма на родном языке. Естественно, письменные высказывания, подготовленные на иностранном языке, требуют учета их специфики (например, это касается большего вни-
О Бодоньи М.А., 2018
мания к использованию языковых средств), но в целом наблюдается корреляция между процедурами оценки письменных высказываний на родном и иностранном языках.
Письменная речь как инструмент оценки начала использоваться в 1851 г., когда в Гарвардском университете был введен экзамен в письменной форме, направленный на оценку знаний студентов. Введение письменного экзамена указывало на понимание существенных возможностей письма для оценки и диагностики уровня знаний, хотя первоначально наблюдалось преобладание направленности не столько на умения порождения письменной речи, сколько на контроль знаний в рамках конкретной предметно-содержательной области [15]. Немного позже введение в Гарвардском университете письменных вступительных экзаменов продемонстрировало низкий уровень владения письменной речью, о чем свидетельствовали многочисленные грамматические, орфографические и пунктуационные ошибки, неясный стиль: лишь 159 чел. из 316 поступающих показали успешные результаты и их письменные работы получили положительную оценку [9]. Следует подчеркнуть, что основными аспектами, на которых фокусировалось внимание при оценке, были корректное использование языковых средств, деление на абзацы, правильное построение предложений. все это способствовало становлению формализованного подхода к оценке письменных высказываний [5].
стандартизированное тестирование по английскому языку, истории и общественным наукам, проводимое в США с 1900 г., включало письменное высказывание [7, с. 21]. Массовый уровень экзамена показал необходимость разработки специальных инструментов для упрощения и удобства проверки работ. впервые внимание привлекла деятельность субъектов оценки, их эффективность. Интересно, что письменная речь рассматривалась как объект, характеризующийся квантитативными характеристиками (как, например, вес или пульс). Это позволило конкретизировать качества письменного высказывания, которые можно было интерпретировать количественно [Там же, с. 22]. Хотя в настоящее время подобное видение письма воспринимается как утопия, оно положило начало стандартизированному подходу к оценке. в 1912 г. Э. торндайк и М. Хиллегас разработали оценочную шкалу, в основе которой лежала балльная система ранжирования языковых ошибок. внимание так-
КИЕ НАУКИ -
же фокусировалось на правильно составленных предложениях и делении текста на абзацы. Для того чтобы создать оценочную шкалу, исследователи проанализировали более 7 000 письменных высказываний. В результате анализа были предложены 10 уровней, отличавшихся друг от друга количеством и качественными характеристиками языковых ошибок [20]. При разработке шкалы исследователи столкнулись с многочисленными разногласиями между экспертами, оценивающими письменные высказывания. Отсутствие единства привело к тому, что лишь 21 эссе из 7 000 получило единогласно высшую оценку [Там же]. Таким образом, исследование Э. Торндай-ка и М. Хиллегаса продемонстрировало сложности оценки письменного высказывания, варьирование мнений экспертов и многообразие аспектов, на которые они обращали внимание, необходимость разработки качественных аспектов, разделяемых всеми экспертами, недостаточность использования только квантитативных характеристик.
Несмотря на возникшие противоречия, которые показывали, что целесообразно и в дальнейшем разрабатывать проблему оценки письменных высказываний, концептуальный подход к повышению объективности и надежности оценки был предложен лишь в 1960-х гг. П.Б. Дьедериком, Дж.У. Френч и С.Т. Карлто-ном [8]. Исследование, проводимое в течение 10 лет, направленное на установление факторов, влияющих на оценку письменных высказываний экспертами, определило формирование новой модели, отличной от традиционной процедуры оценки на основе общего впечатления от прочитанного (general impression marking). Данная модель способствовала сокращению разногласий между субъектами оценки, вызванных отсутствием установленных критериев / качеств письменного высказывания [Там же]. На основе анализа комментариев 53 представителей различных профессиональных областей, принявших участие в эксперименте в качестве экспертов, оценивающих эссе, было выделено 55 категорий комментариев. На основе статистического анализа была разработана классификация из семи факторов, определяющих качественные параметры письменного высказывания: идеи, стиль, организация, деление на абзацы, структура предложений, технические характеристики (орфография, графика и т. п.), легкость в чтении [Там же, с. 21]. Таким образом, П.Б. Дье-дерик, Дж.У. Френч и С.Т. Карлтон сформу-
ИЗВЕСТИЯ вгпу
лировали условия достижения единства подходов к оценке продуктов письменной речи, а также установили базовые критерии оценки письменного высказывания. Подчеркнем, что предложенные авторами факторы лежат в основе современного подхода к оценке продуктов письменной речи. В той или иной конфигурации они рассматриваются в качестве объектов контроля продуктов письменной речи и в настоящее время.
Важным этапом в разработке непосредственно процедуры оценивания стала разработка стратегий, используемых экспертами. В 1977 г. Ч.Р. Купер и Л. Оделлс в качестве фундаментальных подходов, используемых для реализации практических целей квалификации письменных высказываний, определили аналитический подход, позволяющий оценить каждый аспект по отдельной дескриптивной шкале, отражающей некоторые идеализированные параметры и ожидания от продукта письменной речи; холистический подход, основанный на целостном подходе к оценке письменного высказывания, без выделения отдельных аспектов; жанровую оценку, включающую определение соответствия первичных качеств письменного высказывания конкретному жанру. Особенностью жанровой оценки является значительная подготовительная работа по анализу жанров и отбору аспектов, отражающих жанровую специфику для использования в качестве руководства по оценке [6]. Все три рассматриваемых стратегии оценки реализуются в русле текстоцентрированно-го подхода, который ориентирован на текст (и его характеристики) как на продукт письменной речи.
Постепенно с 1970-х гг. начинается трансформация методической системы обучения письменной речи: центральное положение в ней занимает не продукт письменной речи -высказывание, а процесс текстопорождения. Вместе с тем кардинальные изменения, проявившиеся в организации учебного процесса, не повлияли на механизмы оценки письменной речи. Т. Кодери указывает на недостаточную разработанность процедур контроля: «...одна из тенденций в преподавании языка связана с акцентом на процесс порождения письменной речи, хотя сопутствующая тенденция, реализуемая в ходе контроля, не находит широкого применения» [4].
В работе Л. Ксяоксяо и Л. Ян рассматриваются значительные ограничения оценки продуктивного письма в рамках процессного под-
хода, которые могут быть объяснены существенными сложностями, проявляющимися при разработке приемов оценки когнитивных процессов, стратегий и механизмов, обеспечивающих порождение речи [21, с. 25].
Статистическое исследование Л. Яо и Л. Чэ-на, проведенное в 1980-х гг., демонстрирует крайне низкую частоту обращения к оценке процесса порождения речи и, напротив, доминирование оценки, ориентированной на текст: из 165 работ, исследующих вопросы контроля письменной речи при обучении английскому языку в Китае, только 3 посвящены оценке собственно процесса текстопорождения [24]. Как правило, к наиболее используемым формам оценки процесса создания текста относятся оценка отдельных этапов порождения письменного высказывания, характеризующихся разрозненностью показателей, и целостная оценка, не отражающая роль каждого этапа [21, с. 25].
Обратим внимание на то, что часто оценка процесса порождения речи приобретает обучающие функции. Это, например, проявляется в ходе динамического оценивания, направленного на стимулирование развития способности к порождению письменной речи на основе непосредственного сопровождения преподавателем процесса создания письменного высказывания [13; 19; 21]. Понятие динамической оценки было предложено Дж. Эллиоттом [10] как фактор активизации когнитивного развития обучающихся. Совместная деятельность преподавателя и обучающихся способствует сокращению ошибок на основе их совместного анализа и коррекции в процессе порождения речи, а не по факту при анализе уже готовых продуктов речи.
Динамическая оценка рассматривается в кругу альтернативных форм оценки письма, разрабатываемых зарубежными специалистами с конца 1990-х гг. Х.Д. Браун к подобным способам относит оценивание на основе непрерывного долгосрочного контроля, что соотносится с приемами портфолио, оценку на основе приема свободного ответа, использование контекста как условия для создания ситуации оценки, актуализацию креативности при работе с заданиями с развернутым ответом, обращение к формативному и интерактивному оцениванию [2].
Дж.Д. Браун и Т. Хадсон указывают на требования к альтернативной оценке:
- нацеленность на создание продукта -текста;
- моделирование ситуации коммуникации в условиях учебной аудитории;
- ненавязчивый характер оценки, что достигается ее включенностью в учебный процесс;
- акцент на содержательную сторону учебной деятельности;
- направленность оценки на учет процесса и результата;
- активизация когнитивных процессов;
- оценка достижений и недостатков обучающихся;
- открытость по отношению к стандартам и рейтингам [3].
разработка форм альтернативной оценки стала фактором для создания технологии оценки письменной речи на основе портфолио. По мнению Л. Хэмп-Лайонс и В. Кондон, «порт-фолио обеспечивает более широкую оценку того, что могут сделать студенты, они заменяют временный контекст письма, что особенно важно в условиях овладения иностранным языком» [12]. Если традиционная оценка предлагает одномоментный срез, диагностирующий степень сформированности письменной речи обучающихся, то портфолио позволяет продемонстрировать их усилия, трудности, динамику развития способностей, достижения, рефлексию над формируемыми умениями и т. п. [23]. Формы и механизмы оценки на основе портфолио в настоящее время находятся на стадии обоснования и разработки.
Таким образом, описание развития зарубежных подходов к оценке письменной речи показывает направленность исследований на повышение объективности оценки, поиск надежных оценочных процедур, что отражается в их периодизации. Так, К.Б. Янси, используя метафору «волна» для описания периодов развития процедур оценки письменной речи, выделяет следующие этапы.
Первая волна (1950-1970 гг.) - период становления процедур и механизмов оценки письменной речи на основе текстоцен-трированного подхода. Оценка продуктивных письменных высказываний приобретает массовый характер, что требует разработки надежных и эффективных средств оценки.
Вторая волна (1970-1986 гг.) - развернутое письменное высказывание (эссе) определяется как наиболее распространенное средство оценки, для чего предлагаются многочисленные критерии оценки, образцы письменных высказываний и т. п. Основным инструментом оценки является холистический подход.
кие науки -
Третья волна (с 1986 г. и до наших дней) - основным инструментом оценки является портфолио, которое позволяет оценить способности обучающихся к порождению разных типов текстов. Оценка, таким образом, имеет обобщенный характер, выявляется на основе комплексного подхода. Ведущим принципом оценки письменных работ является принцип функционально-смысловой и жанровой вариативности, который демонстрирует широкий подход к отбору типов текстов для обучения письму (например, в зависимости от риторической ситуации и жанра), и это, безусловно, находит отражение в оценке. Выделяются два направления оценки:
- косвенная, в основе которой лежит потенциал оценивания для развития способности обучающихся к порождению письменных высказываний;
- прямая, т. е. определение соответствия учебным целям и требуемому уровню сформи-рованности продуктивных письменных умений [22].
Если К.Б. Янси в качестве основания периодизации предлагает собственно механизмы оценки, то в исследовании Н. Бехизадех и Дж. Энгельхард в основе периодизации лежат теории оценки и теории письма, рассматриваемые в качестве приоритетных в разные периоды [1]. Концептуализация письма как навыка, социального и социокультурного процесса, лингвистической категории, когнитивного механизма в разные периоды прошлого века повлияла на доминирующие аспекты письменной речи, определяемые также в качестве основы для организации процедуры оценивания.
Так, с 1900-х гг. до середины 1940-х гг. контроль фокусируется на формальных признаках текста, с конца 1940-х гг. появляются тенденции оценивать не только языковые средства, но и содержание, что доминирует в 1950-е гг. и 1960-е гг. Начиная с 1970-х гг. тенденция меняется и социокультурный контекст выступает в качестве основы для разработки механизмов оценки письменной речи [1, с. 193].
Л. Хэмп-Лайонс, выделяя в истории оценки письменной речи четыре поколения, ориентируется на механизмы и технологии оценивания:
- непосредственная оценка (эссе);
- опосредованная оценка (тесты множественного выбора);
- оценка портфолио;
известия вгпу
- оценка на основе компьютерных технологий [11].
Как видим, Л. Хэмп-Лайонс указывает на период снижения внимания к продуктивным формам письменной речи и переход к тестовым формам, предлагающим косвенную оценку письменной речи. Безусловно, тестовая форма не может заменить собственно порождение речи и создаваемый продукт письма, но включение его в периодизацию кажется объективным: отход от письменной речи стал периодом осмысления ее роли и позволил вернуться с новыми идеями и инструментарием.
Периодизация, предлагаемая Л. Хэмп-Лай-онс, отражает современные тенденции развития технологий оценки письменной речи, а именно использование программных средств автоматизированной оценки, которые достаточно распространены за рубежом. В то же время сами разработчики автоматизированных средств оценки письменной речи признаются, что хотя программное обеспечение является эффективной технологией, оно не способно заменить человека, оценивающего письменную работу.
Действительно, автоматизированная оценка предполагает акцент на корректности использования языковых средств (орфографии, грамматики, пунктуации и т. п.), на следовании правилам употребления слов и т. п. В то же время представляется невозможным ожидать от компьютера оценки соответствия письменного высказывания коммуникативным задачам или определения способности выразить мысли [18]. Несмотря на это, автоматизированные средства активно разрабатываются, и в настоящее время существует 4 концептуальные модели автоматизированной оценки письменных высказываний.
1. Project Essay grader - система оценивания. Начало ее применения соотносится с 1960-ми гг. [17]. Она признается как первое успешное программное обеспечение, ориентированное на определение правильности использования языковых средств.
2. E-rater - система, разработанная Образовательным агентством по тестированию (ETS). Даная система основана на использовании интегративного подхода как комплекса лингвистического анализа и статистических методов. Используется также нейролинг-вистическое программирование, предполагающее моделирование действий эксперта, принимающего решения при оценке письменной работы.
3. Latent Semantic Analysis - программное обеспечение, реализующее оценку письменного высказывания на основе контекстуального использования слов. Разработке программы предшествовал анализ значительного корпуса текстов и использование технологии машинного обучения. В ходе анализа письменного высказывания моделируются значения слов, фраз и оцениваются комбинирование и выбор лексики, в то же время другие лингвистические (например, синтаксис) и текстовые характеристики (структура) остаются без внимания.
4. Text Categorization Techniques - система, использующая комбинированную технологию учета ключевых слов и лингвистических характеристик. При разработке программного обеспечения были выделены категории текстов в соответствии с их содержанием. При оценке письменного высказывания анализ осуществляется на основе технологии машинного обучения и статистических классификаций, которые позволяют отнести оцениваемый текст к определенной категории и на основе сопоставления с принятыми базовыми характеристиками провести оценку [18].
Потенциал автоматизированных средств оценки колоссален как с точки зрения экономии времени и денежных средств, так и в отношении надежности оценки языковых средств. Вместе с тем порождение письменной речи предполагает, прежде всего, выражение мыслей, мнений, решение коммуникативных задач, очевидно, что понимание смысла программному обеспечению пока недоступно. Поэтому одним из решений данной проблемы является использование полуавтоматизированной оценки, когда на первом этапе работа проверяется программой, а потом оценка осуществляется экспертом.
В заключение отметим, что анализ исторического контекста развития подходов к письменной речи свидетельствует о фундаментальности зарубежных исследований, посвященных оценке письменной речи. Изучение направлений оценки письменной речи за рубежом расширяет возможности опоры на зарубежный опыт при учете отечественного контекста обучения иностранным языкам.
Вместе с тем мы понимаем, что полная адаптация зарубежных подходов не может рассматриваться целесообразной стратегией. Важно подчеркнуть опасность полного переноса зарубежных методов и приемов контроля письма. Необходимо создание собственной
концептуальной системы, опирающейся на результаты многочисленных исследований, но учитывающей контекст развития отечественной лингводидактики и имеющие место подходы к обучению иноязычной письменной речи.
Список литературы
1. Behizadeh N., Engelhard G. Jr. Historical view of the influences of measurement and writing theories on the practice of writing assessment in the United States // Assessing Writing. 2011. № 16. P. 189211.
2. Brown H.D. Language assessment: Principles and classroom practices. Longman: United States of America, 2004.
3. Brown J.D., Hudson T. The alternatives in language assessment. TESOL Quarterly, 1998. 32(4). P. 653-675.
4. Caudery T. The validity of timed essay tests in the assessment of writing skills // ELT Journal. 1990. № 44. P. 122-131.
5. Connor U. Linguistic/rhetorical measures for international persuasive student writing // Research in the Teaching of English. 1990. 24. P. 67-87.
6. Cooper Ch.R., Odell's L. Evaluating Writing: Describing, Measuring, Judging. National Council of Teachers of English, Urbanl, Ili., 1977.
7. Crusan D. Assessment in the Second Language Writing Classroom. Ann Arbor: University of Michigan Press, 2010.
8. Diederich P.B., French J.W., Carlton S.T. Factors in judgements of writing ability // Research Bulletin. RB-61-15. Princeton, NJ: Educational Testing Service, 1961.
9. Elliot N. On a scale: A social history of writing assessment in America. New York, NY: Peter Lang Publishing, 2005.
10. Elliott J.G. Dynamic assessment in educational contexts: Purpose and promise // Dynamic assessment: Prevailing models and applications. 2000. Vol. 6. P. 713-740.
11. Hamp-Lyons L. The scope of writing assessment // Assessing Writing. 2002. № 8. P. 516.
12. Hamp-Lyons L., Condon W. Assessing the portfolio: Principles for practice, theory, and research. Cresskill, NJ: Hampton, 2000.
13. Lantolf J.P. Dynamic assessment: The dialectic integration of instruction and assessment // Language Teaching Journal. 2009. Vol. 42. № 3. P. 355368.
14. Matsuda P. Process and post-process: A discursive history. Journal of Second Language. 2003. № 12. P. 5-83.
15. Newkirk T. The politics of intimacy: The defeat of Barrett Wendell at Harvard // Taking stock:
КИЕ НАУКИ -
The writing process movement in the '90s. Portsmouth, NH: Boynton / Cook, 1994. P. 115-131.
16. Norris J.M. Interpretations, intended uses and designs in task-based language assessment // Language Testing. 2002. № 19(4). P. 337-346.
17. Page E.B. The imminence of grading essays be computer // Phi Lelta Kappan. 1966. January. P. 238243.
18. Shaw S.D. Automated writing assessment: a review of four conceptual models // Research Notes.
2004. № 17. P. 13-18.
19. Shrestha P., Coffin C. Dynamic assessment, tutor mediation and academic writing development // Assessing Writing. 2012. № 17. P. 55-70.
20. Thorndike E.L. Educational psychology [Electronic resource]. New York: Teachers College, Columbia University, 1913. URL: https://catalog. hathitrust.org/ Record/100414378 (дата обращения: 13.04.2018).
21. Xiaoxiao L., Yan L. A case study of dynamic assessment in EFL process writing // Chinese Journal of Applied Linguistics. 2010. № 33(1). P. 24-40.
22. Yancey K.B. Looking Back as We Look Forward: Historicizing Writing Assessment // College Composition and Communication. 1999. Vol. 50. № 3. P. 483-503. Yancey, 1999
23. Yang N.D. Integrating portfolios into learning strategy-based instruction for EFL college students. IRAL. 2003. № 41. P. 293-317.
24. Yao L., Cheng L. A research on domestic research on EFL writing // Foreign Language World.
2005. № 5. P. 2-16.
Retrospective analysis of foreign approaches to control and evaluation of foreign language writing
The article deals with the analysis of the evolution of foreign approaches to evaluation of written speech. Since the 1960s, the development of methodological tools has been determined by the search for methods to improve the reliability of evaluation. Their transformation is correlated with the periodization of methodological approaches to teaching writing. The evaluation procedures are determined by the transition from the control and diagnostics to the actualization of developing and orienting functions.
Key words: foreign language written language, control, evaluation, standardized approach, control functions.
(Статья поступила в редакцию 11.05.2018)
