CC BY
54
УДК 81-132
DOI: 10.17673/vsgtu-pps.2019.3.5
ИСПОЛЬЗОВАНИЕ МЕТОДА "PEER REVIEW" ДЛЯ КОНТРОЛЯ И ОЦЕНКИ ЯЗЫКОВЫХ ЗНАНИЙ
И.В. Коровина1, Д.В. Константинова2, О.С. Сафонкина3
1 Национальный исследовательский Мордовский государственный университет им. Н.П. Огарёва
Россия, Республика Мордовия, 430005, г. Саранск, ул. Большевистская, 68/1
E-mail: korirfox@gmail.com
2Университет Трансильвании в г. Брашов
B-dul Eroilor nr. 29, Brasov, Romania
E-mail: dashakonst@gmail.com
Национальный исследовательский Мордовский государственный университет им. Н.П. Огарёва
Россия, Республика Мордовия, 430005, г. Саранск, ул. Большевистская, 68/1 E-mail: olga.safonkina@gmail.com
Аннотация
Рассматривается метод рецензирования "peer review" в применении к контролю и оценке языковых знаний учащихся, который обеспечивает последовательные результаты анализа критериев оценивания и учебных заданий в короткий период времени. Целью исследования является анализ функциональных особенностей и эффективности применения данного метода. В процессе работы использовались такие методы исследования, как метод сравнительного анализа, анкетирование, описательный метод, статистический метод. В результате исследования для проверки работ в жанре сочинения были разработаны критерии оценивания, которые отображают специфику данного жанра, отличающегося по своим стилистическим и функциональным характеристикам от эссе и статьи. Были выявлены преимущества и недостатки метода "peer review", среди которые в том числе отмечено, что рецензирование помогает вовлечь студентов в учебный процесс и развивает критическое мышление. Был проанализирован список лингводидактических функций данного метода, выявлено отношение студентов к использованию метода "peer review" в ходе обучения иностранным языкам применительно к оценке лингвистических знаний и навыков. Кроме того, был сделан вывод, что проверка грамматики илексики в письменных работах остается прерогативой преподавателя, так как в силу своего опыта и знаний преподаватель значительно более компетентен в этих аспектах, нежели студент. В связи с этим эффективность применения метода рецензирования достигается в том случае, если и автор, и рецензент имеют одинаковый уровень знаний в области практики иноязычной письменной речи, а соответственно, и сопоставимые навыки письменной речи на иностранном языке.
Ключевые слова: метод "peer review", метод рецензирования, оценка знаний, письменная речь, обратная связь от преподавателя, обратная связь от студента.
1 Коровина Ирина Валерьевна, кандидат филологических наук, доцент кафедры «Английская филология».
2 Константинова Дарья Вадимовна, магистрант кафедры «Лингвистика и межкультурная коммуникация».
3 Сафонкина Ольга Сергеевна, кандидат филологических наук, доцент кафедры «Английская филология».
Введение
В традиционно сложившейся системе образования России, которая до сих пор присуща многим образовательным учреждениям, наблюдается преимущественно главенствующая позиция преподавателя в ходе процесса обучения. Для учащихся привычен факт того, что преподаватель является тем, кто принимает все решения, кто преподносит и объясняет новую информацию, кто оценивает качество выполненных работ и выносит свой вердикт. В данной ситуации можно сказать, что роль преподавателя в своей сущности авторитарна, а учащиеся являются пассивными слушателями и исполнителями разнообразных заданий [1]. Кроме того, в данной системе при контроле знаний учащихся используется традиционная система оценки усвоенного материала, включающая в себя такие формы, как тесты, самостоятельные работы и сочинения, а ответственность при оценивании знаний учащихся берет на себя преподаватель.
Отойдя от стандартной системы контроля знаний, можно встретить так называемую альтернативную систему, в рамках которой роль учащихся при оценивании и контроле знаний значительно возрастает. Образовательный подход, который ориентирован на учащихся, подразумевает их активное участие в ходе проверки и анализа своих работ [2]. Метод взаимного оценивания (рецензирования), широко известный в западной практике как "peer review", имеет широкую область применения при обучении иностранным языкам в общем, и в частности в области обучения письменной речи. При данном подходе особую роль играет оценивание самого процесса обуче-ния. В рамках отечественной системы образования использование данного метода пока еще не получило широкого распространения, однако зарубежные исследователи и ученые отмечают высокую эффективность применения метода рецензирования при обучении иностранным языкам. Согласно Патрисии Картни, «метод взаимного оценивания существенно влияет на повышение уровня обучения» [3].
Преимущество использования преподавателями метода рецензирования наряду с оценкой учеников заключается в первую очередь в том, что и у преподавателя, и у учащегося есть право голоса при оценивании работы. Также метод рецензирования является отличной возможностью для преподавательского состава увидеть именно те аспекты, которые играют важную роль в процессе обучения и помогают студен -там воспринимать и изучать материал лучше, что позволяет преподавателям сконцентрироваться на качестве обучения и на улучшении своей работы.
1. Обзор литературы
В данном исследовании особое внимание уделяется рассмотрению метода рецензирования в целом, а также его использованию для контроля и оценки навыков письменной речи на английском языке. Для этого было изучено достаточно большое количество зарубежных научных исследований, описывающих метод рецензирования, и было проведено исследование, в ходе которого мы выявили особенности использования данного метода при обучении английскому языку. К сожалению, как уже было отмечено выше, в отечественном гуманитарном образовательном дискурсе использование данного метода пока еще не получило широкого распространения.
В ходе изучения метода "peer review" была использована обширная теоретическая база, которая включала в себя различные научные статьи, публикации, монографии и пособия (R.R. Cavanagh, L. Keig, C.J. Lee, K. Lundstrom & W. Baker, C. Moore and S. Teather, J.A. Crowe, T. Silva, & R. Ceresola и проч.) [4, 5, 6, 7, 8, 9, 10,
11]. Среди них особое место занимает англоязычная литература, так как использование метода "peer review" широко распространенно в первую очередь в англоязычных странах. В англоязычной литературе термин "peer review" относится ко всем сферам использования данного метода. Однако при переводе на русский язык следует различать два понятия: метод рецензирования и метод экспертной оценки. Метод экспертной оценки, как следует из названия, заключается в привлечении экспертов в конкретной области. Данный метод зачастую встречается в научной сфере при подаче заявок на гранты и стипендии, при редактуре научных статей, монографий ипубликаций [12, 13]. Метод экспертной оценки производится по разработанным и согласованным критериям.
Использование метода рецензирования при изучении и оценке научных работ имеет давнюю историю применения. Согласно "Elsevier", метод рецензирования является формальной частью коммуникации в сфере науки с момента появления первых научных периодических изданий. «Философские труды Королевского общества» ("The Philosophical Transactions of the Royal Society"), научный журнал, издаваемый Лондонским королевским обществом и основанный в 1665 г., является старейшим научным журналом англоязычного мира. Считается, что именно он под редакцией Генри Олденбурга впервые официально оформил использование процесса рецензирования [14].
При переводе с английского языка на русский язык термина "peer review method" как «метода рецензирования» подразумевается гораздо более узкая область применения. Метод рецензирования относится к процессу оценивания письменных работ, видеофильмов или спектаклей. Помимо анализа и изучения произведения на предмет соответствия отдельным критериям, здесь также играет существенную роль субъективное мнение рецензента [12].
Следует отметить, что метод "peer review" можно рассматривать с двух позиций: формирующая (или созидательная - formative) и итоговая (summative). В сфере образования формирующая оценка обычно направлена на сам процесс работы, на его улучшение и помогает скорректировать и улучшить процесс работы преподавателя [5]. Итоговая оценка, напротив, дает итоговую характеристику работы педагога. Подобная оценка не используется для улучшения или изменения качества работы преподавателя, а представляет собой конечную характеристику [4].
«Несмотря на обилие определений данного метода, его основная суть остается неизменной: peer review представляет собой оценку какой-либо работы, которую (оценку) осуществляет человек, находящийся на одной с автором работы ступени социальной/профессиональной иерархии (= peer)» [17]. Мы в данном исследовании рассматриваем метод рецензирования применительно к процессу обучения, а именно к процессу оценивания письменных работ обучающихся. В данном случае речь идет не об оценке работы самого преподавателя, а о взаимной оценке обучающихся работ друг друга.
2. Материалы и методы
Метод рецензирования является одним из методов проблемного обучения [12]. Само понятие «проблемное обучение» было представлено американским психологом, педагогом и философом Джоном Дьюи. Его главной идеей было значительное отступление от сложившихся устоев и методов обучения путем предоставления учащимся возможности активно использовать самостоятельную практическую дея -тельность для решений проблемных задач. Что касается отечественной научной литературы, идеи проблемного обучения начинают обретать популярность с середины
XX века. В частности, Н.К. Гончаров считал, что «одна из главных задач обучения заключается в пробуждении и развитии у учащихся самостоятельной мысли» [15]. Его идея преподавать творчески, в движении стала одним из важнейших принципов организации проблемного обучения.
Основным элементом проблемного обучения является проблемная ситуация. С ее помощью пробуждается познавательная потребность учащихся и активизируется мышление. Можно выделить три группы проблемных ситуаций: 1) познавательные; 2) оценочные; 3) организаторско-производственные. Познавательные проблемные ситуации напрямую затрагивают теоретическое мышление. Важную роль здесь играет умение проводить сравнение, выдвигать гипотезы и предположения, в результате которых ученики могут выявить новые выводы и понятия в науке. При оценочных ситуациях в ход идет критическое мышление, то есть учащимся необходимо критически оценить предметы или результаты труда. Организаторско-производственные ситуации, в свою очередь, требуют использования практического мышления. Данные ситуации связаны с поиском путей положительных изменений окружающего мира и действительности и ведут к поиску возможного применения знаний на практике.
Метод рецензирования, направленный на «взаимную оценку обучающимися письменных работ друг друга на предмет их соответствия изучаемой структуре» [12], рассматривает проблемную ситуацию в рамках оценочной группы проблемных ситуаций. Основными целями проблемных ситуаций являются развитие критического мышления учащихся, развитие способности к анализу ситуации и умения находить ошибки и обосновывать их [16].
Перед началом исследования мы проанализировали список лингводидактиче-ских функций данного метода: перенос доли ответственности за результат овладения учебным материалом с преподавателя на обучающихся, мониторинг студентов со стороны преподавателя, организация взаимодействия обучающихся в процессе выполнения задания на рецензирование, создание дидактических условий для обучающихся для осознания своих сильных и слабых сторон во владении учебным материалом, сокращение сроков проверки письменных работ преподавателем. При этом не стоит рассматривать метод рецензирования как возможность для преподавателя сократить свой объем работы. Напротив, эффективное применение метода рецензирования требует от преподавателя дополнительных усилий по части организации данной формы работы учащихся. "It goes without saying that the process of peer review must be controlled by the teacher. However, 'control' doesn't mean 'correcting' or 'punishing': the teacher should make sure the students are using this assessment technique in the proper way and he/she is supposed to contribute into the final outcome of peer review" [10]. В частности, преподаватель обязан предоставлять учащимся четкие критерии оценивания той или иной работы.
Для проведения исследования нами было выбрано три жанра письменных работ студентов, для оценки которых использовался метод рецензирования: эссе, публицистическая статья и сочинение творческого характера. Все письменные работы были написаны на английском языке русскоязычными студентами, обучающимися на факультете иностранных языков НИ МГУ им. Н.П. Огарёва. Для письменных работ каждого жанра были разработаны критерии оценивания и шкала перевода баллов в привычную нам систему оценок (табл. 1-3).
Критерии оценивания публицистической статьи
Мнение рецензента
Критерии Пояснительный комментарий Баллы
3 2 1
Грамматика Правильно ли использование Ошибки отсут- Малое количество Есть 1-2 ошибки, вли- Присутствует множество
грамматических конструкции, ствуют ошибок, яющие на понимание грамматических ошибок,
употребление времен и других не влияющих предложения затрудняющих понима-
грамматических явлений? на понимание предложения ние идеи текста
Лексика Правильно ли употребление Ошибки отсут- 2-3 лексические 4-6 лексических еди- Более 6 лексических
лексических единиц ствуют единицы исполь- ниц неправильно ис- единиц неправильно
в определенном контексте? зованы неверно в определенном контексте пользованы в контексте использованы в контексте
Структура текста Наличие вступления, основной Текст четко структурирован, присут- В тексте присутствуют В работе отсутствует
письменной работы части и заключения. Присут- ствуют слова-связки и союзы, абзацы введение, основная одна из ключевых ча-
ствуют ли слова-связки оптимальной длины, заключение под- часть и заключение, стей (введение или за-
и союзы, необходимые для держивает мысль введения, предложе- присутствуют слова- ключение), присутству-
логического перехода от мысли ния в абзаце стоят в логическом по- связки и союзы, но ют слова-связки
к мысли? Присутствуют ли рядке (видно развитие мысли) некоторые использова- и союзы, но большин-
слишком длинные/короткие ны неверно, предложе- ство использовано не-
абзацы? Связано ли заключение ния в абзаце стоят верно, заключение не
с введением? Логично ли рас- в логическом порядке передает мысль введе-
положены предложения ния
в абзаце?
Шкала переводов баллов в оценку 9 б. 5 Excellent
7-8 б. 4+ Very good
5-6 б. 4 Good
< 4 б. 3 Satisfactory
Критерии оценивания эссе
Критерии Пояснительный комментарий Мнение рецензента
Баллы
3 2 1
Постановка проблемы (решение коммуникативной задачи) Поставлена ли проблема во введении (thesis / topic sentence)? Полностью ли раскрыты аспекты проблемы, которые должны быть освещены в работе? Автор поставил проблему и указал аспекты, которые будут затронуты в работе Автор установил проблему, но не указал необходимые аспекты Автор не поставил проблему и не выделил необходимые аспекты
Структура текста письменной работы Наличие вступления, основной части и заключения. Присутствуют ли слова-связки и союзы, необходимые для логического перехода от мысли к мысли? Присутствуют ли слишком длинные/короткие абзацы? Связано ли заключение с введением? Логично ли расположены предложения в абзаце? Текст четко структурирован, присутствуют слова-связки и союзы, абзацы оптимальной длины, заключение поддерживает мысль введения, предложения в абзаце стоят в логическом порядке (видно развитие мысли) В тексте присутствуют введение, основная часть и заключение, присутствуют слова-связки и союзы, но некоторые использованы неверно или их мало, есть небольшие проблемы со связностью частей текста В работе отсутствует одна из ключевых частей (введение или заключение), отсутствуют слова-связки и союзы, заключение не передает мысль введения
Использование цитат (прямых и непрямых) Присутствуют ли цитаты в работе (прямые и непрямые)? Корректно ли они оформлены? Автор использует цитирование, всегда указывает источник информации Автор использует цитирование, но не всегда указывается источник информации Автор практически не ссылается на внешние источники информации
Содержание текста Интересны и значимы ли идеи, представленные в работе? Идеи в работе оригинальны, интересны и значимы Идеи в работе интересны, но банальны и часто встречаемы в других текстах Идеи в работе банальны и неинтересны
Шкала перевода баллов в оценку 12 б. 5 Excellent
10-11 б. 4+ Very good
8-9 б. 4 Good
< 7 б. 3 Satisfactory
Критерии оценивания сочинения творческого характера
Критерии Пояснительный комментарий Мнение рецензента
Баллы
3 2 1
Постановка проблемы (решение коммуникативной задачи) Поставлена ли проблема во введении (thesis / topic sentence)? Полностью ли раскрыты аспекты проблемы, которые должны быть освещены в работе? Автор поставил проблему и указал аспекты, которые будут затронуты в работе Автор установил проблему, но не указал необходимые аспекты Автор не поставил проблему и не выделил необходимые аспекты
Структура текста письменной работы Наличие вступления, основной части и заключения. Присутствуют ли слова-связки и союзы, необходимые для логического перехода от мысли к мысли? Присутствуют ли слишком длинные/короткие абзацы? Связано ли заключение с введением? Логично ли расположены предложения в абзаце? Текст четко структурирован, присутствуют слова-связки и союзы, абзацы оптимальной длины, заключение поддерживает мысль введения, предложения в абзаце стоят в логическом порядке (видно развитие мысли) В тексте присутствуют введение, основная часть и заключение, присутствуют слова-связки и союзы, но некоторые использованы неверно или их мало, есть небольшие проблемы со связностью частей текста В работе отсутствует одна из ключевых частей (введение или заключение), отсутствуют слова-связки и союзы, заключение не передает мысль введения
Грамматика Правильно ли использование грамматических конструкций, употребление времен и других грамматических явлений? Ошибки отсутствуют / Малое кол-во ошибок, не влияющих на понимание предложения Есть 1-2 ошибки, влияющие на понимание предложения Присутствует множество грамматических ошибок, затрудняющих понимание идеи текста
Содержание текста Интересны и значимы ли идеи, представленные в работе? Идеи в работе оригинальны, интересны и значимы Идеи в работе интересны, но банальны и часто встречаемы Идеи в работе банальны и неинтересны
Шкала перевода баллов в оценку 12 б. 5 Excellent
10-11 б. 4+ Very good
7-9 б. 4 Good
< 6 б. 3 Satisfactory
Как уже было сказано выше, в качестве материала для рецензирования были выбраны три жанра письменных работ: эссе, публицистическая статья и сочинение творческого характера. Темы эссе были сформулированы по-разному, но ключевая проблема (thesis) при этом совпадала: "Reasons for learning foreign languages", "Invasion of English into Russian: what are the reasons?" и "Invasion of English into Russian: where can it lead to?". Темы публицистической статьи также имели разные интерпретации, но все были связаны с изучением языков: "How learning new languages can change you and your life? " и "Why should people learn foreign languages?". Эссе и публицистические статьи были написаны студентами второго курса, обучающимися на факультете иностранных языков НИ МГУ им. Н.П. Огарёва, в рамках освоения дисциплины «Практика иноязычной письменной речи». Сочинения творческого характера имели общую тему "A letter to my younger self' и были написаны студентами четвертого курса, обучающимися на факультете иностранных языков НИ МГУ им. Н.П. Огарёва. Важно отметить, что студенты четвертого курса не осваивали курс «Практика иноязычной письменной речи», в отличие от студентов второго курса.
В роли рецензентов выступали студенты второго и третьего курса, знакомые с использованием метода "peer review", который они применяли достаточно часто в ходе прохождения ими курса «Практика иноязычной письменной речи». Перед началом рецензирования все студенты-рецензенты были проинструктированы и ознакомлены с этапами проведения "peer review", а также студентам были подробно объяснены критерии оценивания письменных работ различных жанров.
Нами было задействовано 46 рецензентов и 24 письменные работы для проведения нашего исследования, а также 51 респондент принял участие в анкетировании, целью которого было выявление отношения студентов к использованию метода рецензирования в ходе обучения иностранным языкам для оценки знаний.
Все использованные в качестве материала исследования письменные работы были проверены кандидатом филологических наук, доцентом И.В. Коровиной, которая также является преподавателем дисциплины «Практика иноязычной письменной речи» (на английском языке) в Национальном исследовательском Мордовском госу-дарственном университете им. Н.П. Огарёва. И преподаватель, и студенты-рецензенты находились в одном контекстуальном поле: они были знакомы с использованием метода рецензирования и его особенностями, а также проверяли письменные работы по одним критериям оценивания.
3. Результаты исследования
В итоге проведенного исследования мы получили довольно неоднозначные результаты. Ниже представлены результаты сравнительного анализа оценки письменных работ трех жанров, выполненной преподавателями и студентами (рис. 1-3). Начнем со сравнения оценок по жанру «публицистическая статья» (см. табл. 1, рис. 1).
Согласно критериям оценивания публицистической статьи (см. табл. 1) максимальное количество баллов составляет 9, что соответствует оценке "Excellent", или 5; 7 баллов соответствует оценке "Very Good", или 4+; 5 баллов - "Good", или 4; 3 балла - "Satisfactory", или 3.
Article 1 Article 2 Article 3 Article 4 Article 5 Article 6 □ Teacher's mark ■ Reviewer's mark
Pue. 1. Соотношение оценок преподавателя и студента-рецензента (публицистическая статья)
На представленном графике белым цветом выделена шкала оценок преподавателя, серым - шкала оценок рецензента. Как мы видим, ни в одной работе мнения преподавателя и рецензента не сошлись. В трех статьях оценка, данная студентом, ниже оценки преподавателя, в трех статьях - выше.
Возможным объяснением подобного несоответствия оценок при отсутствии какой-либо ярко выраженной закономерности могут служить следующие моменты : 1) студенты 2-3-х курсов еще недостаточно хорошо знакомы с жанром публицистической статьи и особенностями ее написания, соответственно критерий «Структура текста письменной работы» им сложен для оценивания; 2) знания студентов не являются достаточными для компетентного оценивания критериев «Лексика» и «Грамматика», так как знания грамматики и лексического состава английского языка автора работы (студента) и рецензента (студента) находятся примерно на одном уровне. Доказательством подобного утверждения могут являться комментарии, которые студенты-рецензенты оставляли в работе : "A process cannot resemble a clue. Possible lexical error", "Construction seems to be inaccurate". Как мы видим, рецензенты не уверены в своей оценке ряда лексических и грамматических аспектов.
Таким образом, исходя из полученных промежуточных результатов можно вы -двинуть предположение о том, что проверка грамматики и лексики в письменных работах должна оставаться прерогативой преподавателя, так как в силу своего опыта и знаний преподаватель более компетентен в оценке этих аспектов, чем студент.
Далее рассмотрим график соотношения оценок преподавателя и рецензента при проверке работ жанра эссе (рис. 2).
При составлении критериев оценивания эссе больше внимание уделялось структуре текста, а также были полностью исключены критерии «Лексика» и «Грамматика». Согласно получившимся критериям (см. табл. 2) максимальное количество баллов составляет 12, что соответствует оценке "Excellent", или 5; 10 баллов соответствует оценке "Very Good", или 4+; 8 баллов - "Good", или 4; 6 баллов -"Satisfactory", или 3.
10 1010
1010
8 8
б 6
10
8 8
Essay Essay Essay Essay Essay Essay Essay Essay l 2 C] Teach^'s marjj * ■ R^vieweajs markg "
Pue. 2. Соотношение оценок преподавателя и рецензента (эссе)
Как видно из представленного графика, при проверке работ жанра «эссе» у преподавателя и студента-рецензента в большинстве случаев совпадают мнения: 5 работ из 8 были оценены студентом так же, как и преподавателем. Из оставшихся 3 работ только в одной присутствует сильное расхождение оценок преподавателя и студента-рецензента, а в двух оставшихся это различие незначительно. При этом в этих двух работах можно заметить тенденцию студента-рецензента завышать результаты оценки.
На базе полученных результатов можно предположить, что студенты чувствуют себя намного увереннее, работая с эссе. Одной из отличительных особенностей данного жанра является четкая структура текста и понятное содержание каждого абзаца. У студентов не вызывает больших затруднений написать или проверить эссе. Возможно, одним из ключевых факторов, влияющим на довольно качественное овладение навыком написания работ подобного жанра, является задание 40 в Едином государственном экзамене по английскому языку. Уже в старших классах учащихся подробно знакомят с правилами написания эссе, использованием слов-связок, структурой и содержанием работы подобного жанра. Кроме того, в рамках курса «Практика иноязычной письменной речи», выполняя различные задания, студенты чаще всего сталкиваются именно с жанром эссе.
Одной из задач, поставленных перед студентами-рецензентами, было составление письменного комментария по возможному улучшению работы в будущем. Просматривая проверенные эссе, можно заметить, что студенты в большинстве своем делали поправки, которые напрямую относятся к структуре работы или использова-нию слов-линкеров: "There could be more linking words, and those which were used could be replaced with more appropriate ones"; "There is no conclusion in the essay"; "The linker 'Anyway' is misused" и другие.
Исходя из полученных результатов можно сделать вывод, что применение метода "peer review" особенно продуктивно при проверке четко структурированных жанров письменных работ. В данном случае данный метод имеет определенное пре-
имущество перед стандартной проверкой преподавателя, так как рецензирование работ другого студента позволяет обучающимся сделать определенные выводы и внести важные поправки в структуру своих работ, что играет существенную роль в написании эссе.
Последним из выбранных нами жанров было сочинение творческого характера, а именно работа на тему "A letter to my younger self". На рис. 3 представлен график соотношения оценок преподавателя и студента-рецензента при проверке сочинений творческого характера. Отличительной чертой результатов представленной диаграммы, с точки зрения проведения метода рецензирования, является наличие нескольких рецензентов. Каждую работу проверил преподаватель, а затем индивидуально три студента-рецензента. Отличительной чертой самих работ, которые легли в основу исследования, является тот факт, что они были написаны студентами 4-го курса, которые не осваивали дисциплину «Практика иноязычной письменной речи».
При составлении критериев оценивания сочинения внимание уделялось содержанию текста и грамматике, в связи с этим критерии «Лексика» и «Цитирование» были исключены. Согласно получившимся критериям (см. табл. 3) максимальное количество баллов составляет 12, что соответствует оценке "Excellent", или 5; 10 баллов соответствует оценке "Very Good", или 4+; 8 баллов - "Good", или 4; 6 баллов - "Satisfactory", или 3.
Рис. 3. Соотношение оценок преподавателя и рецензента (сочинение творческого характера)
Согласно полученным результатам, лишь одна работа (8) из 10 была оценена одинаково и преподавателем, и тремя рецензентами. В четырех работах (3, 5, 6, 10) оценка преподавателя совпадает с двумя оценками рецензента. Две работы (2, 9) показывают несовпадение оценки преподавателя и рецензента, однако мы видим присутствие одинаковых оценок, данных студентами. В остальных случаях (работы 1, 4, 7) мы видим абсолютно разные оценки: как правило, оценка преподавателя совпадает с мнением одного рецензента, а две остальных варьируются. Стоит отметить, что жанр «сочинение» заметно отличается по своим стилистическим и функциональным характеристикам от эссе и статьи, и студенты-рецензенты не так часто сталкиваются с подобным жанром. Возможно, при разработке более точных критериев оценивания сочинения, отражающих специфику данного жанра, мы могли бы получить более однозначный результат.
Однако если посмотреть на весь график целиком, можно увидеть, что несколько сочинений, которые получили более высокую оценку преподавателя, имеют и более высокие оценки от студентов-рецензентов. И, соответственно, те сочинения, которые получили невысокую оценку от преподавателя, от большинства (двух) рецензентов получили также невысокую оценку. Сильное расхождение оценок наблюдается только в сочинениях 7 и 9.
Подобный результат можно объяснить следующим: студенты'-рецензенты, проверявшие данные работы, находятся в процессе освоения дисциплины «Практика иноязычной письменной речи», которую преподает И.В. Коровина, и она же являлась преподавателем, оценивавшим сочинения творческого характера. Таким образом мы видим, что и преподаватель, и студенты-рецензенты находились в одном контекстуальном поле, их методы и приемы оценивания работы в большей части совпадают.
Однако сами авторы работ высказали удивление, когда узнали оценки студентов-рецензентов и преподавателя. Их собственное мнение по поводу написания работ было значительно выше получившихся результатов. Объяснением данному расхождению во взглядах может послужить следующее: авторами сочинений являлись студенты четвертого курса, у которых не было возможности освоить курс «Практика иноязычной письменной речи» (он был введен в учебный план всего два года назад). Они не изучали подробно особенности составления англоязычных текстов и структуру письменных работ разных жанров, чего нельзя сказать о студентах-рецензентах. Соответственно, когда студенты четвертого курса писали сочинения, они не задумывались о структуре и системности текста, а скорее просто высказывали свои идеи, мысли и переживания.
4. Обсуждение и заключение
Целью данного исследования являлось изучение применения метода рецензирования при обучении письменной речи на иностранном языке. Основываясь с помощью метода рецензирования на изучении ряда этапов при обучении письменной речи (знакомство студентов со структурой письменной работы, обсуждение характеристики метода рецензирования, изучение возможных клише для составления комментариев при обратной связи, знакомство студентов с примерами рецензирования письменных работ, пробное рецензирование студентами с последующим анализом, выбор способа проведения рецензирования, знакомство студентов с критериями оценки письменной работы, подготовка и написание письменной работы, публика-
ция работ, рецензирование студентами опубликованных работ, анализ рецензий и комментариев и внесение студентами необходимых изменений, подготовка итогового варианта письменной работы, оценка работ преподавателем и рефлексия студентов), в данной статье мы проанализировали результаты оценки письменных работ трех жанров: эссе, публицистическая статья и сочинение творческого характера.
В результате нам представляется возможным прийти к нескольким выводам. Прежде всего, для проверки работ в жанре сочинения необходимо разработать более точные критерии оценивания, которые отображали бы специфику данного жанра, сильно отличающегося по своим стилистическим и функциональным характеристикам от эссе и статьи. Соответственно, применение метода "peer review" особенно продуктивно при проверке четко структурированных жанров письменных работ (например, эссе).
Следующий вывод может быть сделан относительно эффективности применения метода рецензирования. Наибольшая результативность при использовании данного метода достигается в том случае, если и автор, и рецензент имеют одинаковый уровень знаний в области практики иноязычной письменной речи, а соответственно, и сопоставимые навыки письменной речи на иностранном (в нашем случае английском) языке.
Последний вывод направлен на проверку грамматики и лексики в письменных работах, которая должна оставаться прерогативой преподавателя, так как в силу своего опыта и знаний преподаватель значительно более компетентен в этих аспектах, нежели студент. Давать студентам задание по оценке грамматических и лексических аспектов в письменных работах одногруппников/однокурсников имеет смысл лишь при отработке ими определенных грамматических конструкций/правил и нового лексического материала.
В ходе нашей работы были выявлены преимущества и недостатки данного метода с точки зрения опоры на исследования зарубежных ученых: метод рецензирования обеспечивает последовательные результаты анализа критериев оценивания и учебных заданий в короткий период времени; рецензирование обеспечивает преподавателя существенной информацией об успеваемости учащихся; у студентов улучшаются навыки объективной оценки своей и чужой работы; рецензирование помогает вовлечь студентов в учебный процесс и развивает в них критическое мышление; учащиеся лучше начинают реагировать на критику других и учатся прислушиваться к чужим мнениям; также происходит развитие общественных навыков, таких как работа и обучение в команде. К недостаткам можно отнести различный уровень языковой подготовки студентов, которые проводят рецензирование, и личные качества студентов, не позволяющие им объективно провести анализ работы или прислушаться к возможной критике в свой адрес.
В результате проведения анкетирования мы выяснили, что студенты положительно относятся к использованию метода "peer review", но интерес к данному методу зависит от учебной дисциплины и задания. Среди преимуществ использования метода рецензирования можно выделить следующее: возможность наблюдать различные взгляды/мнения на одну работу, возможность получать полезные комментарии по работе и возможность развивать навыки объективного оценивания. Недостатков данного метода мы увидели меньше, однако одним из основных отрицательных моментов метода "peer review" является возможность предвзятого отношения рецензента при проверке работы.
Мы пришли к выводу, наибольшая эффективность применения метода рецензирования достигается в том случае, если и автор работы, и проверяющий имеют одинаковый уровень знаний по предмету либо если у рецензента уровень знаний выше, чем у автора. Также стало очевидно, что применение метода "peer review" не одинаково эффективно для всех типов задания. Наиболее продуктивное использование данного метода наблюдается при проверке четко структурированных жанров письменных работ (например, эссе). Для менее структурированных жанров, например сочинения, необходима разработка более точных критериев оценивания, которые отображали бы специфику данного жанра, сильно отличающегося по своим стилистическим и функциональным характеристикам от эссе и статьи [17].
Необходимо отметить, что оценка преподавателя и оценка студента-рецензента не являются взаимозаменяемыми. Чаще всего эффективность оценки зависит от учебной дисциплины и конкретного задания. Также мы на практике убедились, что расхождения в оценивании работ преподавателем и студентом-рецензентом зависят не от объективности студентов, а от характера задания и критериев оценивания. Кроме того, проверка грамматического и лексического аспектов в письменных рабо -тах должна оставаться прерогативой преподавателя, так как в силу большего опыта и большего объема знаний преподаватель значительно более компетентен в этих аспектах, нежели студент.
Обратная связь, составление комментариев и рекомендаций являются отличительными особенностями метода рецензирования. Именно благодаря обратной связи у студентов есть возможность улучшить и доработать свою работу, увидеть ошибки и попытаться избежать их в будущем. Несмотря на важность данной особенности метода "peer review", именно формулировка рекомендаций по улучшению работы и составление комментариев являются одними из наиболее сложных аспектов данного метода.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Safonkina O.S., Burenina N.V., Kalinina A.G. Assessment of English for Russian universities: implementing new techniques and moving forward // Язык, культура и общество в современном мире: Мат-лы междунар. науч. конф. Отв. ред. Б.А. Жигалев. - 2012. - С. 173-176.
2. Borisova S., Chmykh I. и др. Course handbook for promoting sustainable excellence in English language testing and assessment. - M., 2014.
3. Cartney P. Exploring the use of peer assessment as a vehicle for closing the gap between feedback given and feedback used. Assessment & Evaluation in Higher Education, August 2010. Vol. 35. No. 5. Pp. 551-564.
4. Cavanagh R.R. Formative and summative evaluation in the faculty peer review of teaching. Innovative Higher Education Press, 2006. Pp. 241-248.
5. Keig L. Collaborative peer review: The role of faculty in improving college teaching / L. Keig, M.D. Waggoner. ASHE-ERIC Higher Education Report No. 2, Washington, D.C.: The George Washington University, School of Education and Human Development. Washington University Press, 1995. Pp. 267-298.
6. Lee C.J., Sugimoto C.R. Bias in Peer Review. Journal of the American Society for Information Science and Technology, 2013. 64(1):2-17. Pp. 255-298.
7. Lundstrom K., Baker W. To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of Second Language Writing, 2009. No. 18(1). Pp. 1-43.
8. Moore C., Teather S. Engaging students in peer review: Feedback as learning. Issues in Educational Research, 2013. No. 23(2). Special Issue. Pp. 196-211.
9. Crowe J.A., Silva T., Ceresola R. Effect of peer review on student learning outcomes in a research methods course. Teaching Sociology, 2015. Vol. 43(3). Pp. 201-213.
10. Peer review as a universal assessment technique // Обучая, вдохновляй: к новым высотам педагогического мастерства: Мат-лы XXI междунар. конф. национального объединения преподавателей английского языка в России. Отв. ред. Е.В. Шустрова. - 2015. - С. 131-132.
11. Korovina I.V. Peer review method as an effective tool of in-class assessment // Иностранные языки в диалоге культур: Мат-лы Всеросс. науч.-практ. конф. (с междунар. участием). Отв. ред. И.В. Коровина. - 2018. - С. 541-545.
12. Мерзляков К.А. Метод рецензирования в методике обучения письменной речи на иностранном языке // Вестник Тамбовского университета. Сер. Гуманитарные науки. -2016. - № 3. - С. 159-165.
13. Тишкова И.Л. Проблемное обучение. Метод рецензирования в обучении письменной речи на иностранном языке // Наука без границ. - М., 2018. - № 4(21). - С. 142-145.
14. Spier R. The history of the peer-review process trends in Biotechnology, 2002.
15. ГончаровH.K. Педагогическая система К.Д. Ушинского. - М.: Педагогика, 1974. - 272 с.
16. Пономаренко Н.Ф. Метод проблемного обучения в современной школе. - М.: Просвещение, 2005. - 270 с.
17. Коровина И.В. Универсальность метода peer review при преподавании иностранных языков // Лингвистические и экстралингвистические проблемы коммуникации: теоретические и прикладные аспекты: Межвуз. сб. науч. тр. (с междунар. участием). Отв. ред. И.В. Коровина. - Саранск, 2017. - С. 201-205.
Поступила в редакцию 19.08.2019 В окончательном варианте 10.09.2019
UDC 81-132
USING "PEER REVIEW" METHOD FOR LANGUAGE ASSESSMENT
I. V. Korovina1, D.V. Konstantinova2, O.S. Safonkina3
National Research Mordovia State University. N.P. Ogarev
68, Bol'shevistskaya st., Saransk, 430005, Republic of Mordovia, Russia
E-mail: korirfox@gmail.com
2Transilvania University of Brasov
B-dul Eroilor nr. 29, Brasov, Romania
E-mail: dashakonst@gmail.com
3National Research Mordovia State University. N.P. Ogarev
68, Bol'shevistskaya st., Saransk, 430005, Republic of Mordovia, Russia
E-mail: olga.safonkina@gmail.com
Abstract
The article discusses the peer review method in reference to the assessment of students' language knowledge. This method provides consistent analysis, which results in assessment criteria and study assignments in a short period of time. The aim of the study is to analyze the func-
1 Irina V. Korovina, Cand. Philol. Sci., Associate Professor of Foreign Languages Department.
2 Daria V. Konstantinova, Master Student of Linguistics and Intercultural Communication Department.
3 Olga S. Safonkina, Cand. Philos. Sci., Associate Professor of Foreign Languages Department.
tional features and effectiveness of this method. In the process, the authors employed such research methods as the comparative analysis, questionnaires, descriptive method, and statistical method. As a result of the study the authors developed such evaluation criteria that can evaluate the specific features of such genre as an essay. That effects stylistic and functional characteristics that differ the essay from an article. The advantages and disadvantages of the peer review method were identified, among which, among other things, it was noted that peer review helps to engage students in the educational process and develops critical thinking in them. It analyzed the list of linguo-didactic functions of this method and discussed the students' attitude to the use of the "peer review " method in teaching foreign languages in relation to the assessment of linguistic knowledge and skills. In addition, the authors conclud on that checking grammar and vocabulary in written works should remain the prerogative of the teacher, because teachers remain more competent in these aspects than students. In this regard, the effectiveness of the peer review method is achieved if both the author and the reviewer have the same level of knowledge in the field offoreign language writing practice, and, accordingly, comparable writing skills in a foreign language.
Key words: "peer review" method, review method, knowledge assessment, written speech, feedback from the teacher, feedback from the student.
REFERENCES
1. Safonkina O.S., Burenina N.V., Kalinina A.G. Otsenka angliiskogo yazyka dlya rossiiskikh vuzov: vnedrenie novykh tekhnologii i dvizhenie vpered [Assessment of English for Russian universities: implementing new techniques and moving forward]. YAzyk, kul'tura i ob-shchestvo v sovremennom mire: Mat-ly mezhdunar. nauch. konf. [Language, culture and society in the modern world. Conferenceproccedings]. Nizhny Novgorod, 2012. Pp. 173-176.
2. Borisova S., Chmykh I. et al. Posobie po kursu dlya sodeistviya ustoichivomu sovershenstvu v testirovanii i otsenke angliiskogo yazyka [Course handbook for promoting sustainable excellence in English language testing and assessment]. Moscow, 2014.
3. Cartney P. Exploring the use of peer assessment as a vehicle for closing the gap between feedback given and feedback used. Assessment & Evaluation in Higher Education. August 2010. Vol. 35. No. 5. Pp. 551-564.
4. Cavanagh R.R. Formative and summative evaluation in the faculty peer review of teaching. Innovative Higher Education Press. 2006. Pp. 241-248.
5. Keig L., Waggoner M.D. Collaborative peer review: The role of faculty in improving college teaching. ASHE-ERIC Higher Education Report. No. 2, Washington, D.C.: The George Washington University, School of Education and Human Development. Washington University Press, 1995. Pp. 267-298.
6. Lee C.J., Sugimoto C.R. Bias in Peer Review. Journal of the American Society for Information Science and Technology. 2013. 64 (1):2-17. Pp. 255-298.
7. Lundstrom K., Baker W. To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of Second Language Writing. 2009. No. 18(1). Pp. 1-43.
8. Moore C., Teather S. Engaging students in peer review: Feedback as learning, Issues in Educational Research. 2013. No. 23(2): Special Issue. Pp. 196-211.
9. Crowe J.A., Silva T., Ceresola R. Effect of peer review on student learning Outcomes in a Research Methods Course. Teaching Sociology. 2015. Vol. 43(3). Pp. 201-213.
10. Retsenzirovanie kak universal'naya metodika otsenki [Peer review as a universal assessment technique]. Obuchaya, vdokhnovlyay: k novym vysotam pedagogicheskogo masterstva: Mat-ly XXI mezhdunar. konf. natsional 'nogo ob "yedineniya prepodavateley angliyskogo yazyka v
Rossii [Teaching, Inspire: To New Heights of Pedagogical Mastery. Proceedings of XXI international conference of the national association of English teachers in Russia]. Otv. red. E.V. Shustrova. Moscow, 2015. Pp. 131-132.
11. Korovina I.V. Metod ekspertnoi otsenki kak effektivnyi instrument otsenki v klasse [Peer review method as an effective tool of in-class assessment]. Inostrannyye yazyki v dialoge kul'tur: Mat-ly Vseross. nauch.-prakt. konf. (s mezhdunar. uchastiyem) [Foreign languages in the dialogue of cultures. Proceedings of the All-Russian conference (with international participation)]. Otv. red. I.V. Korovina. Saransk, 2018. Pp. 541-545.
12. Merzlyakov K.A. Metod retsenzirovaniya v metodike obucheniya pis'mennoy rechi na in-ostrannom yazyke [Review method in a methodology for teaching written language in a foreign language]. Vestnik Tambovskogo universiteta. Ser. Gumanitarnyye nauki [Bulletin of the Tambov University. Series: Humanities]. Moscow, 2016. Vol. 3(2). Pp. 159-165.
13. Tishkova I.L. Problemnoye obucheniye. Metod retsenzirovaniya v obuchenii pis'mennoy rechi na inostrannom yazyke [Peer review method in teaching written language in a foreign language]. Nauka bezgranits [Science without borders]. Moscow, 2018. Vol. 4(21). Pp. 142-145.
14. Spier R. The history of the peer-review process trends in Biotechnology, 2002.
15. Goncharov N.K. Pedagogicheskaya sistema K.D. Ushinskogo [Pedagogical system by K.D. Ushinsky]. Moscow, 1974. 272 p.
16. Ponomarenko N.F. Metod problemnogo obucheniya v sovremennoy shkole [The problem learning method in a modern school]. Moscow, 2005. 270 p.
17. Korovina I.V. Universal'nost' metoda peer review pri prepodavanii inostrannykh yazykov [The universality of the peer review method in teaching foreign languages]. Lingvisticheskiye i ekstralingvisticheskiye problemy kommunikatsii: teoreticheskiye i prikladnyye aspekty: Mezhvuz. sb. nauch. tr. (s mezhdunar. uchastiyem) [In the proceedings: Linguistic and ex-tralinguistic problems of communication: theoretical and applied aspects. Interuniversity collection of scientific papers (with international participation)]. Otv. red. I.V. Korovina. Saransk, 2017. Pp. 201-205.
Original article submitted 19.08.2019 Revision submitted 10.08.2019
