CC BY
87
ВЗАИМНОЕ РЕЦЕНЗИРОВАНИЕ В УЧЕБНЫХ КУРСАХ ВУЗА
ХАРЧЕНКО Вера Сергеевна - канд. социол. наук, доцент, директор Центра социологических исследований факультета социологии. E-mail: verakharchenko@yandex.ru Уральский государственный педагогический университет, Екатеринбург, Россия Адрес: 620017, Екатеринбург, пр. Космонавтов, 26
Аннотация. В статье представлен опыт использования метода взаимного рецензирования в обучении студентов вуза. Одним из распространённых определений взаимного рецензирования является «взаимная оценка » и «оценка коллег ». Peer review используется в различных сферах, в том числе в образовании (особенно дистанционном, online). На основе рецензий, подготовленных студентами после освоения курса «Социология занятости », проанализированы возможности и ограничения применения данного метода. Позитивный эффект peer review в организации самостоятельной работы может снижаться трудоемкостью его реализации. Автором предложены рекомендации по внедрению взаимного рецензирования в практику преподавания и организации самостоятельной работы студентов вуза.
Ключевые слова: peer review в обучении, взаимное рецензирование, самостоятельная работа студентов, рецензия, сообучение, референтная группа
Для цитирования:: Харченко В. С. Взаимное рецензирование в учебных курсах вуза // Высшее образование в России. 2017. № 2 (209). С. 86-92.
Взаимную оценку (peer review) используют в разных областях жизни; во всех случаях её основная цель - стремление снизить субъективизм оценщика и повысить объективность итоговой оценки на основе нескольких мнений. К примеру, peer review используется в процедуре рейтингования университетов; в этом случае взаимное рецензирование понимается как «стандартный способ определения качества работы академических сотрудников вуза » и эмпирически измеряется через число упоминаний вуза академическим сообществом [1]. Главное преимущество взаимного рецензирования заключается в том, что «оценка осуществляется специалистом, владеющим проблематикой исследований » [2].
Традиционное (обычное) рецензирование - это оценка экспертом некоего продукта; она может быть открытой (имя рецензента и/или автор работы известны) или слепой (автор и/ или рецензент анонимны). При этом слепое рецензирование, несмотря на очевидные преимущества, зачастую вызывает трудности для экспертов; счита-
ется, что диалогическое общение с автором могло бы снять возникающие сомнения [3]. С наличием возможности у автора стать рецензентом появляется «взаимное рецензирование».
Использование взаимного рецензирования в образовании. Опыт взаимного рецензирования как способа оценивания накоплен в столичных вузах России. Так, например, при организации онлайн-курсов в МВШСЭН предусмотрено взаимное рецензирование как эффективный метод для знакомства с различными точками зрения: «При прохождении отдельного курса для промежуточных заданий используется система оценки реегЧо-реег, где в роли цензора выступает каждый учащийся, в том числе и вы сами. Работа, выполненная вами, назначается для проверки одному из ваших одногруппников, в то время как вы получаете работу кого-то из них. Такое взаимное рецензирование зарекомендовало себя как эффективный метод для ознакомления учащихся с разными точками зрения и мнениями по тому или иному вопросу и лучшему
усвоению материала» Практика взаимного рецензирования используется в учебном курсе «Экономическая социология» в Высшей школе экономики; подробные методические рекомендации позволяют говорить о внедрении дополнительных оценщиков при определении итоговой оценки 2. «Он-лайн-обучение заставляет студентов думать » - гласит заголовок обзора экспертного сайта ВШЭ, в котором подчеркивается важность взаимного рецензирования в проверке знаний студентов 3. В сети встречаются отзывы об освоении онлайн-курсов на Coursera, в которых подчеркивается специфика оценки работы обучающихся: «Вам нужно вычитывать и оценивать эссе других студентов по набору качеств и характеристик, и желательно ещё оставлять рецензии и писать рекомендации, как это эссе можно было бы сделать ещё лучше » 4.
Взаимное рецензирование как способ оценки самостоятельной работы студентов в оффлайновой среде обучения описано А.С. Кольбе; автор определяет его как «кросс-рецензирование» [4]. На примере опыта использования взаимной оценки в курсе «Компьютерная графика» автор представляет комплексную технологию внедрения peer review. Отметим, что наиболее подробно с точки зрения методических приёмов описано использование взаимного рецензирования при изучении иностранного языка [5].
На сегодняшний день методическая литература по организации взаимного рецензирования в процессе обучения в вузе практически не встречается. Ее дефицит объяс-
няется прежде всего условиями, в которых находятся участники образовательного процесса: для промежуточной аттестации преподаватели всё чаще используют тестовые формы проверки знаний, что имеет ряд несомненных для организации работы преподавателя преимуществ (простота в организации и подготовке, обработке данных), однако при тестировании мы не сможем зафиксировать уровень владения аналитическими умениями,оценить продукты познавательной деятельности обучающихся, проанализировать эффекты саморефлексии и сообучения студентов[6].
Значимость peer review в обучении связана с эффектом среды (peer group effect), иными словами - с фактом зависимости индивидуальных результатов агента от характеристик и действий референтной для него группы. В ситуации взаимного рецензирования обучающиеся исполняют две роли - автора и рецензента, а преподаватель сохраняет роль эксперта, выступая «независимым» рецензентом. Важно, что взаимное рецензирование должно подлежать строгой алгоритмизации с точки зрения организации: должны быть проработаны принципы оценивания работ, введены элементы анонимности, принципы подсчета оценок и пр. Особенно это важно при двойном рецензировании, чтобы впоследствии рецензия не стала «приговором» сокурснику и возник феномен сообучения -воздействие на академическую успеваемость учащегося характеристик, поведения, успеваемости других учащихся [7].
Можно выделить ряд достоинств и
1 On-line образование. Официальный сайт Московской высшей школы социальных и экономических наук // URL: http://www.msses.ru/about/on-line-obrazovanie/
2 Практикум по экономической социологии. Материалы итоговой студенческой конференции памяти А.А. Сусоколова. Программа и резюме докладов. М., 2012; Сусоколов А.А. Сборник методических документов по курсу «Практикум по экономической социологии». М., 2009. 176 с. URL: http://ecsocman.hse.ru/text/26497480/
3 Онлайн-обучение заставляет студентов думать. Экспертный сайт Высшей школы экономики. URL: http://opec.ru/text/l832723.html
4 Мой первый (законченный) курс на Coursera: личный опыт. URL: http://geekchick.ru/2013/ 05/21/my_first_completed_coursera/
ограничений метода взаимного рецензирования в обучении. К достоинствам peer review относятся: рефлексия требований к выполнению задачи, задания; повышение ответственности при выполнении задания; повышение качества аналитической работы, подготовки текстов; развитие беспристрастности, объективности в оценивании интеллектуального труда (коллег); развитие навыков академического письма. Также отметим, что в ходе подготовки рецензий обучающиеся рефлексируют по поводу качества собственной работы, что может привести к переоценке качества научно-исследовательской работы, формированию конструктивной самокритики.
Несмотря на наличие ряда позитивных эффектов, метод взаимного рецензирования имеет ряд ограничений: для выполнения задания студентам необходима дополнительная подготовка, освоение материалов, текстов; может возникнуть групповой эффект (конфронтация, личная неприязнь или, наоборот, симпатия); студенты, выступающие в роли рецензентов, могут иметь недостаточный уровень компетентности (что связано с низкой успеваемостью по дисциплине), а это может привести к необъективности оценки. Кроме того, использование взаимного рецензирования требует от преподавателя дополнительных организационных издержек (подготовка заданий, распределение их среди студентов, постоянный контроль за ходом выполнения, в т.ч. отслеживание дедлайнов). Дополнительные издержки может внести открытое рецензирование - это усилит указанные ограничения, поэтому предлагать такой вид взаимного рецензирования можно только в группах с благоприятным социально-психологическим климатом. Использование слепого peer review может решить эту проблему, но добавляет преподавателю организационные издержки.
Итак, основная задача применения метода взаимного рецензирования (peer review) в образовании заключается в стрем-
лении исключить субъективизм преподавателя в оценке итогов освоения дисциплины или её отдельных элементов, а также повысить качество самостоятельной работы обучающихся.
Исследовательский кейс. Автором накоплен материал по использованию взаимного рецензирования в учебном курсе «Социология занятости ». С 2012 г. итоговым заданием по курсу является подготовка эссе. Из рабочей программы дисциплины: «Выполнение эссе приравнивается к зачётной работе по курсу и должно продемонстрировать работу над темами дисциплины и самостоятельную работу - освоение источников, анализ статистических данных, применение освоенных из предшествующих курсов компетенций. Цель эссе - продемонстрировать знания и навыки по курсу «Социология труда и занятости». Необходимо показать в этой работе знание теоретической и методической дискуссии, развивающейся в рамках социологии труда и занятости, а также продемонстрировать высокий уровень владения навыками аналитической работы».
С 2013 г. подготовка итоговых эссе осуществляется в режиме взаимного рецензирования - студенты готовят рецензию на работы друг друга (внутри учебной группы). Так как у студентов не было готовых шаблонов и алгоритмов, они задались вопросом, как подготовить рецензию, что в ней отразить. В ходе дискуссии один из студентов, вспомнив опыт подготовки к ЕГЭ, заявил, что рецензия готовится с указанием на «три плюса работы и три минуса». Именно этот «механический» подход к подготовке рецензии обусловил необходимость постановки нескольких учебно-методических задач, в т.ч. разработки требований к содержанию эссе (вопросы, ответы на которые должны быть изложены в тексте).
Для анализа эффективности предлагаемого метода взаимного рецензирования студенческих работ были отобраны и проанализированы рецензии (N=27) на итого-
вые работы (эссе), подготовленные студентами по курсу «Социология занятости» в 2013-2015 учебных годах. Взаимное рецензирование было во всех случаях открытым. Средний объём рецензии составил 200 слов. Чуть менее половины работ содержали замечания, в остальных было указано, что работа выполнена в соответствии со всеми требованиями. Остановимся на особенностях замечаний.
Специфика замечаний в рецензиях студентов. Самым распространённым замечанием было указание на соответствие/ несоответствие требованиям к итоговой работе: «изначально автором были заявлены 4 проблемы, а далее по факту раскрыто только три »*; «не совсем чётко выделены смысловые блоки в работе; недостаточно уделено внимание федеральному законодательству по проблемам инвалидов»; «Несмотря на то, что выводы аргументированы, недостатком работы является то, что не используется прямых источников информации, данные по которым сделаны выводы, опосредованы от главного аспекта темы. Хотя, это доказывает уникальность работы, и полную свободу автора в выражении своей позиции. Также в работе много информации, непосредственно не связанной с темой «занятости наркозависимых », эта информация, безусловно, интересна и важна для понимания проблемы, но её количество, на наш взгляд, можно сократить. Оставить, допустим, статистику и несколько основных тезисов ». Частота появления в рецензиях такого рода замечаний обусловлена простотой вычленения недостатков, «освоенных» в ходе подготовки собственной работы самим рецензентом.
Некоторые замечания касались отдельных требований к содержанию эссе; такие рецензии были менее критичными, здесь, как и в предыдущем примере, срабатывало знание требований к эссе и простота выявления несоответствия: «Недостаточно пол-
но раскрыта сегментация на рынке труда данной категории граждан»; «Недостатки работы: не хватает ответа на вопрос, распространена ли была безработица среди вольнонаемных рабочих; как государство защищало трудовые права субъектов трудовых отношений и каким образом оно контролировало соблюдение трудового законодательства, в работе нет ссылок на используемые источники».
Реже встречались замечания относительно общего стиля работы (академического эссе), рецензенты в этом случае несколько расширяли формальные требования к работе, «призывали» к академичности: «В работе огромное количество цифр, не хватает их анализа. Информация из-за этого воспринимается плоховато. Так же не хватает обобщающих выводов, собственных комментариев »; «На мой взгляд, не хватило законодательного аспекта, который бы отражал меры социальной защиты данной группы»; «Описывается их дискриминация при устройстве на работу, гомофобия, но нет статистических данных, отражающих данные факты. Автор вскользь говорит нам о мерах государственной реакции на гомосексуалистов (запрет на пропаганду гомосексуализма), но данный критерий освещён не полностью»; «Не хватило законодательного аспекта, который бы отражал меры социальной защиты данного типа занятости, но эти новые профессии только постепенно внедряются на российский рынок труда и, возможно, появится вскоре законодательный фундамент социальной защиты, поддержки данного типа занятости».
Более подробный и конкретный вариант замечаний в рецензии встречался крайне редко; примером таких замечаний в рецензии является следующий: «По ходу изучения представленной работы у меня возникло несколько вопросов к автору: 1. Почему для своего исследования N взяла именно 129 респондентов? Как сложилось это число?
* Здесь и далее приведены выдержки из рецензий, подготовленных студентами в 2013-2015 гг. Орфография и пунктуация сохранены.
2. В чём все-таки она видит проблему в увеличении занятости студентов? 3. Не изучала ли автор вопрос легальности работы студентов, что раскрыло бы тему отношения работников с работодателями? 4. В заключительных выводах автор отмечает, что «при поисках работы у студентов преобладают мотивы, связанные с развитием профессиональных навыков», но при этом ранее было представлено, что для 55,2% исследуемых главным мотивом было наличие собственных денег, как шел подсчёт?» и «Как я думаю, было бы не лишним, если бы автор подробнее изучила вопрос о переходе к хенд-мейду как средству заработка. На мой взгляд, тезис «занятие такими "новыми" для нас профессиями обуславливается у людей нежеланием играть роль подчинённого, сидеть весь день в офисе, иметь свой личный доход и распоряжаться временем по своему усмотрению» звучит несколько голословно, т.к. нет ссылок на соответствующий материал. Может, одной из причин перехода к такому средству заработка послужила структурная безработица, желание раскрыть творческий потенциал, отсутствие необходимости в постоянной работе ввиду достаточной материальной обеспеченности и т.д.».
Ряд замечаний в эссе содержали указание на его специфику, заключающуюся в том, что в работе должна быть отражена личная оценка автора, представлен индивидуальный продукт интеллектуального труда: «К недостаткам работы можно отнести маленький объём личных мыслей, собственных высказываний по решению данной проблематики »; «Так же хотелось бы отметить недостатки эссе. В первую очередь, это отсутствие авторской точки зрения на ситуацию. Тут хорошо обозначены проблемы, которые раскрываются различными авторами в статьях, но не мнение автора эссе. Это довольно большой минус, по моему мнению. Ну и еще одно замечание - это разный шрифт».
Специально следует отметить, что ни в одной из рецензий не были продемонстрированы теоретические знания (ссылки на работы, теоретические исследования, авто-
ры), не предложены иные интерпретации, подходы и т.п. На наш взгляд, это характеризует уровень подготовки, прежде всего теоретической, самого рецензента, но также указывает на качество освоения им проблематики рецензируемой работы. Возможны следующие интерпретации полученных результатов.
1. Групповой эффект. Подготовка открытых эссе является не анонимной процедурой, и каждый студент, рецензируя работу коллеги, адресует её конкретному человеку, с которым у него сложились определенные взаимоотношения. Даже в случаях, когда между студентами может быть конфронтация, они пишут положительные отзывы или отзывы без замечаний. Чаще всего группа «выбирает» общую установку на некритичные рецензии без замечаний.
2. Среди студентов мало распространен критический взгляд на продукт интеллектуального труда, в данном случае - академический текст. Зачастую студентам трудно «найти недостатки» эссе, что можно объяснить нежеланием критиковать работу товарища.
3. Отсутствие замечаний также свидетельствует о трудностях поиска аргументов. Этот факт можно рассматривать как маркер низкого уровня подготовки работы, он выявляет пробелы в освоении дисциплины, курса.
Как оптимизировать опыт применения peer review в процессе обучения? Несомненно, организация взаимного рецензирования напрямую зависит от индивидуальных особенностей образовательной программы, курса обучения, дисциплины, учебной группы, ситуации обучения. Однако можно предложить ряд методических рекомендаций по оптимизации организации peer review в вузе при освоении той или иной дисциплины, а именно:
1) практиковать подготовку аноним-ныхрецензий (слепое взаимное рецензирование). Преподаватель распределяет студентов и контролирует подготовку рецен-
зий. При этом, с одной стороны, снижается групповой эффект и стремление дать социально одобряемые (исключительно положительные) оценки, с другой - возрастает нагрузка на преподавателя, который должен больше времени уделять подготовительному этапу peer review;
2) поощрять критические отзывы в оценке работ. Это можно сделать, как минимум, двумя способами: во-первых, давать небольшие задания в ходе освоения дисциплины, в которых основной задачей является критический анализ; во вторых, в качестве обязательного элемента при подготовке рецензии должно быть минимум одно замечание. Нельзя утверждать, что этот способ будет эффективен, однако внешняя мотивация может способствовать формированию навыков критического мышления;
3) подготовить формальные требования к рецензиям. Степень формализации будет зависеть от уровня подготовки группы, но в целом, если в требованиях будет зафиксировано, что необходимо указать на замечания, предложить альтернативные подходы к анализу, интерпретации, дополнительные источники аргументации, студент будет вынужден дополнительно поработать над темой и проблематикой предложенной для рецензирования работы;
4) для повышения качества подготовки рецензий применять «двойное взаимное рецензирование» (открытое или слепое), что, несомненно, повысит качество оценивания. Однако даже в этом случае невозможно будет избежать группового эффекта и одинаково низкого уровня подготовки рецензий;
5) наконец, можно ввести оценивание рецензий. Преимуществом этого методического приёма является необходимость соответствовать формальным требованиям. Затруднения в данном случае может вызвать определение критериев оценки и субъекта оценивания рецензий.
Несмотря активное распространение практики использования взаимного рецен-
зирования в образовании, стимулируемое в том числе развитием онлайн-образования, в настоящий момент не выработаны конвенциональные методические требования к их внедрению в «обычный» образовательный процесс. Трудности, возникающие при использовании взаимного рецензирования, компенсируются тем, что само задание становится для студента поводом для рефлексии, сообучения и в конечном счёте повышает качество самостоятельной подготовки.
Литература
1. Артюшина И.А., Шутилин В.А. Глобальные
рейтинги на повестке дня // Вопросы образования. 2008. № 2. С. 240-259.
2. Ларионова М.В. Сравнительный анализ опы-
та оценки исследовательского потенциала университетов // Вестник международных организаций. 2011. № 1. С. 4-28.
3. Роботова А.С. Научно-педагогическое ре-
цензирование: большие проблемы малого жанра // Высшее образование в России. 2016. № 8/9 (204). С. 142-148.
4. Кольбе А.С. Технологии МООК в очном кур-
се: применимость пирингового метода // Новые информационные технологии в автоматизированных системах. 2015. №18. С. 435-439.
5. Беляева И.С. Метод «peer review» как
неотъемлемая составляющая коммуникативно-ориентированной технологии обучения иностранному языку в неязыковом вузе // Мониторинг качества и содержания образования в учебном заведении: Материалы докладов заочной научно-практической конференции. Центр менеджмента качества Тверского государственного технического университета. 2013. С. 21-24.
6. Пономарева Т.М., Алексеева Е.Ю. Стиму-
лирующая функция оценивания результатов образовательного процесса в вузе // Современные проблемы науки и образования. 2015. № 1-1.
7. Польдин О.В., Юдкевич М.М. Эффекты со-
обучения в высшем образовании: обзор теоретических и эмпирических подходов // Вопросы образования. 2011. №4. С. 106-123.
Статья поступила в редакцию 11.12.16.
PEER REVIEW IN UNIVERSITY COURSES
KHARCHENKO Vera S. - Cand. Sci. (Sociology), Assoc. Prof., Department of Sociology and Political Science, e-mail: verakharchenko@yandex.ru Ural State Pedagogical University, Ekaterinburg, Russia Address: 26, Kosmonavtov Avenue, Ekaterinburg, 620017, Russian Federation
Abstract. The article presents the experience of using the method of peer review by higher school students. One of the common definitions of peer review is a «mutual assessment» and «assessment of colleagues». Peer review is used in various spheres, including education (especially remote, online-education). On the basis of the reviews prepared by the students after the completion of the course «Sociology of Employment» (2013-2015), the author analyzes the possibilities and limitations of this method. The advantages of the method are the reflection of the task and requirements to its fulfilling, the greater responsibility, the better quality ofanalytic work, objectivity in assessment ofcolleagues' intellectual product, mastering of academic writing. Nevertheless, the positive effect of peer review in the organization of individual work may be reduced by excessive labour input in its implementation. The author offers advice on the implementation of the mutual review into the practice of teaching and the organization of higher school students' individual study.
Keywords: peer review in studying, review, mutual reviewing, self-study, individual study, co-studying, reference group
Cite as: Kharchenko, V.S. (2017). [Peer Review in University Courses]. Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 2 (209), pp. 86-92. (In Russ., abstract in Eng.)
References
1. Artyushina, I.A., Shutilin, V.A. (2008). [Global Ratings on the Agenda]. Voprosy obrazovaniya
[Educational Studies]. No. 2, pp. 240-259. (In Russ., abstract in Eng.)
2. Larionova, M.V. (2011). [Comparative Analysis of Universities' Research Capacity Assessment
Practices]. Vestnik mezhdunarodnykh organizatsiy. [Bulletin of International Organizations] No. 1, pp. 4-28.
3. Robotova, A.S. (2016). [Scientific and Pedagogical Reviewing: Big Problems of a Small Genre].
Vysshee obrazovanie v Rossii [Higher Education in Russia]. No. 8-9 (204), pp. 142-148. (In Russ., abstract in Eng.)
4. Kolbe, A.S. (2015). [Technology MOOC in Full-Time Courses: Scope Peer Method]. Novyye
informatsionnyye tekhnologii v avtomatizirovannykh sistemakh. [New Information Technologies in Automated Systems] No. 18, pp. 435-439. (In Russ.)
5. Belyayeva, I.S. (2013). [Method «Peer Review» as an Integral Part of Communication Oriented
Technology of Foreign Language Teaching in Non-language Universities]. Monitoring kachestva i soderzhaniya obrazovaniya v uchebnom zavedenii. Materialy dokladov zaochnoy nauchno-prakticheskoy konferentsii. [Monitoring Quality and Contents of Education in Educational Institutions: Proceedings ofCorrespondence Scientific-Practical Conference. Quality Management Center of Tver State Technical University], pp. 21-24. (In Russ.)
6. Ponomareva, T.M., Alekseeva, E.Yu. (2015). [The Stimulating Function of the Estimation Results
of the Educational Process at the University]. Sovremennyeproblemy nauki i obrazovaniya [Modern Problems of Science and Education]. No.1-1. (In Russ., abstract in Eng.)
7. Pol'din, O.V., Yudkevich, M.M. (2011). [Effects of Co-Teaching in Higher Education: Overview of
Theoretical and Empirical Approaches]. Voprosy obrazovaniya. [Educational Studies]. No. 4, pp. 106-123. (In Russ.)
The paper was submitted 11.12.16.
