CC BY
32DOI: 10.25586/RNU.HET.18.08.P.49 УДК 378.146
И. А. Ким,
Национальный исследовательский университет «Высшая школа экономики»
Внеаудиторное жульничество: возможности выявления и минимизации
Национальный исследовательский университет «Высшая школа экономики»
Введение
Современные исследователи выделяют целый ряд видов мошеннических действий студентов в процессе обучения (в англоязычной литературе для их обозначения используют словосочетание «academic dishonesty and cheating»): плагиат, подделка, жульничество. Последнее включает использование шпаргалок, списывание, неразрешенное сотрудничество [1].
При выполнении внеаудиторных работ (домашних заданий, эссе, самостоятельно выполняемых тестовых заданий и др.) жульничество может заключаться в неразрешенной помощи студенту со стороны иного лица (например, другого студента, репетитора) или даже в выполнении за студента всей работы или ее части.
Подобные виды жульничества (здесь и далее будем называть его «внеаудиторным») особо трудно обнаружить. Повсеместное распространение онлайн-образования порождает опасения, что при дистанционном контроле знаний студентов жульничество может стать угрозой для его эффективности, снизить доверие к результатам обучения на онлайн-курсах.
Насколько оправданы такие опасения?
Распространено ли жульничество на онлайн-курсах фактически настолько, насколько мы априори ожидаем?
Жульничают ли студенты онлайн-курсов больше, чем их товарищи, получающие образование в традиционном ключе?
Для ответа на эти вопросы необходимо сначала каким-то образом выявить и количественно описать это ненаблюдаемое напрямую явление. Один из возможных подходов к решению данной задачи обсуждается в нашей статье.
Исследованию проблемы мошенничества студентов посвящен широкий ряд работ отечественных (см., например, [3]) и зарубежных специалистов (внеаудиторное жульничество при этом обычно отдельно не выделяется). В работе [4] приведен обзор отечественных и зарубежных исследований по данной проблематике.
Публикации, посвященные сравнению мошенничества при традиционном и онлайн-обучении, демонстрируют неоднозначные результаты. Некоторые исследователи отмечают, что, по сравнению с традиционным форматом, мошенничество более распространено на онлайн-курсах [7, 8]. Однако есть и противоположные результаты [5, 11, 12]. При этом автору не известны работы, посвященные исследованию этого феномена для онлайн-курсов на русском языке.
В большинстве случаев источником информации для исследователей являются данные опросов студентов. Однако существуют и другие подходы, использующие расчетные методы (см., например, 7]).
Отличительными особенностями нашей работы является то, что мы исследовали аудиторию русскоязычного онлайн-курса, сфокусировались из всех видов ака-
© Ким И. А., 2018
ИГОРЬ АЛЕКСАНДРОВИЧ КИМ
, кандидат экономических наук, доцент департамента теоретической
экономики Национального исследовательского университета «Высшая школа экономики».
Сфера научных интересов: макроэкономическое моделирование, межотраслевой анализ, методика преподавания экономических дисциплин. Ав-***/. тор более 25 опубликованных научных работ
Рассматривается феномен внеаудиторного жульничества, под которым понимаются мошеннические действия студентов при выполнении заданий вне прямого контроля преподавателя. В качестве примера подобных действий приводится неразрешенная помощь и выполнение за студента всей работы или ее части другим лицом. Показано, что такие виды жульничества особо трудно обнаружить и доказать, особенно в случае онлайн-тестирования. Предлагается индикатор, способный подтвердить наличие этого прямо ненаблюдаемого явления, а именно сочетание двух признаков: повышенной средней оценки за данную работу и низкой корреляции оценок за работу с оценками по другим дисциплинам. Представлен анализ нескольких образовательных программ, в которых одновременно использовалось два типа заданий: аудиторные и внеаудиторные (в том числе онлайн-тесты). Показано, что у студентов всех рассмотренных программ и для всех видов внеаудиторных работ были зафиксированы и повышенная средняя оценка, и низкая корреляция с другими оценками. Хотя найденная закономерность проявлялась для всех внеаудиторных работ, в некоторых случаях она была выражена сильнее, а в некоторых - слабее. Обсуждены возможные причины различий и следующие из них рекомендации по минимизации жульничества.
Ключевые слова: академическое мошенничество, дистанционное образование, МООК, онлайн-тестирование, academic dishonesty and cheating.
The phenomenon of out-of-court fraud, which is understood as fraudulent actions of students in the performance of tasks outside the direct control of the teacher. As an example of such action is the unauthorized assistance and performance of the student's entire work or part of it by another person. It is shown that such types of fraud are particularly difficult to detect and prove, especially in the case of online testing. An indicator is proposed that can confirm the presence of this directly unobservable phenomenon, namely, a combination of two features: an increased average score for this work and a low correlation of scores for work with assessments in other disciplines. The analysis of several educational programs, which simultaneously used two types of tasks, classroom and extracurricular (including online tests). It is shown that the students of all considered programs and for all types of extracurricular activities were recorded and increased average score, and low correlation with other estimates. Although the found pattern was manifested for all out -of-court works, in some cases it was expressed more strongly, and in some-weaker. The possible reasons for the differences and the following recommendations to minimize fraud are discussed.
Key words: academic fraud, distance education, mooc, online testing, academic dishonesty and cheating.
демического мошенничества на внеаудиторном жульничестве и возможности его выявления и использовали для решения данной задачи не опросы, а статистический подход.
Описание работы
Мы рассмотрели несколько групп студентов, в которых выполнялись как традиционные проверочные работы, так и различные внеаудиторные задания (см. табл. 1).
Оценки студентов из этих групп сопоставлялись с их кумулятивными рейтингами (в НИУ ВШЭ кумулятивный рейтинг студента рассчитывается как взвешенная сумма оценок за курсы, пройденные им ранее, вес оценки за тот или иной курс в рейтинге тем больше, чем больше образовательных кредитов за него начисляется).
Наша гипотеза состояла в том, что если для внеаудиторных работ характерен больший объем жульничества, чем для аудиторных, то оценки студентов за такие работы должны хуже коррелировать с их общими достижениями, которые характеризуются кумулятивным рейтингом. Кроме того, средний балл за внеаудиторные работы должен быть выше, чем средний балл за аудиторные виды работ и итоговый средний балл за весь наш курс.
Конечно, более высокие средние баллы за внеаудиторные виды работ сами по себе не свидетельствуют о жульническом поведении. Они могут объясняться и тем, что:
- на выполнение этих работ у студентов есть больше времени;
- при выполнении работы они находятся в психологически более комфортных условиях;
- работу можно повторить несколько раз, повышая свой результат, и др.
Высокий балл у каждого отдельного студента, имеющего по другим видам работ и другим предметам посредственные оценки, тоже не свидетельствует однозначно о факте его жульничества. Однако если такое явление распространено повсеместно и для множества студентов проявляется в низкой корреляции между оценкой за данную работу и оценкой за другие виды работ или за другие курсы, и сочетается с другими признаками, обзор которых приводится ниже, то это, по нашему мнению, уже может служить индикатором наличия жульничества.
Результаты
Результаты для разных групп студентов (для краткости мы обозначили их названиями соответствующих образовательных программ) приведены в табл. 2.
Разумеется, интерпретировать полученные результаты необходимо с большой осторожностью.
Прежде всего, студент может иметь более высокий рейтинг не только благодаря хорошим знаниям, но и за счет таких качеств, как активность, коммуникабельность, умение агрессивно отстаивать свои интересы. Возможно, этим на «Политологии» объясняется более сильная корреляция с рейтингом оценки за семинары, нежели оценки за письменный экзамен: первая оценка также в некоторой степени определяется именно коммуникабельностью и активностью студентов, в то время как на вторую эти качества не оказывают влияния. С другой стороны, вероятно, успешность студента и его будущая карьера в неменьшей степени зависят от этих полезных качеств, чем от подготовки по тому или иному предмету.
Второй проблемой, связанной с рейтингом, является разнородность предметов, составляющих его. Многие из них, такие, напри-
Таблица 1
Группы студентов, результаты которых анализировались в работе
Название учебного курса Образовательная программа Кол-во человек Структура итоговой оценки
«Макроэкономика» «Политология», НИУ ВШЭ, г. Москва 62 - оценка, выставленная преподавателем за семинарские занятия (25%); - оценка, полученная дистанционно на онлайн-платформе Курсера (25%); - оценка за «традиционный» письменный экзамен (50%)
«Макроэкономика» «Менеджмент», НИУ ВШЭ, г. Москва 120 - оценка за семинары, включающая тесты в LMS (20%, в т.ч. 3% за тесты в LMS, выполняемые дистанционно); - две оценки за проводимые в аудитории контрольные работы (по 12,5%) и итоговый экзамен (50%); - оценка за эссе (5%)
«Экономика для неэкономистов» «Реклама и связи с общественностью», НИУ ВШЭ, г. Москва 266 - оценка, полученная дистанционно на онлайн-платформе Курсера (другие компоненты оценки не рассматривались)
«Экономика для неэкономистов» «Юриспруденция», НИУ ВШЭ, г. Нижний Новгород 61 - аналогично предыдущему
«Экономика для неэкономистов» «Востоковедение», НИУ ВШЭ, г. Санкт-Петербург 107 - аналогично предыдущему
Примечание LMS, Learning Management System - локальная онлайн-плаформа, используемая в НИУ ВШЭ, содержащая видеозаписи лекций, слайды, онлайн-те-сты и другие учебные материалы.
мер, как английский язык или философия, весьма далеки от экономических дисциплин. Должна ли обязательно быть сильной корреляция между успехами студента по философии и по экономике? Возможно, но не обязательно.
Исходя из этих соображений, мы рассчитали коэффициенты корреляции оценок студентов не со всем рейтингом, а только с оценкой за другую, тесно связанную с «Макроэкономикой» дисциплину - «Микроэкономику». Микро- и макроэкономика являются частями общего курса, но читаются двумя разными преподавателями, выставляющими оценки независимо друг от друга. Насколько коррелированны оценки за разные виды заданий на нашем курсе с оценкой по «Микроэкономике», демонстрирует табл. 3.
Из сопоставления таблиц 2 и 3 видно, что для студентов-политологов, для которых указанные дисциплины не являются базовыми, корреляция оценок по «Макроэкономике» со всем рейтингом хуже, чем только с оценкой по «Микроэкономике». Можно предположить, что, микро-и макроэкономика для них близки между собой, но «чужеродны» по сравнению с другими предметами. Для менеджеров же, для которых экономические предметы более важны, коэффициенты корреляции с оценкой по «Микроэкономике» и с рейтингом в целом достаточно близки.
Наконец, в табл. 4 сопоставляются средние баллы, полученные изучаемыми группами студентов по разным видам работ. Так как за разные виды работ баллы могли выставляться по разной шкале (10-балльной, 100-балльной и др.),
для удобства сравнения все результаты были переведены в проценты.
Данные таблиц 2 и 3 свидетельствуют, что какую бы корреляцию мы ни брали - и с оценкой по «Микроэкономике», и с рейтингом в целом, наиболее низкие коэффициенты корреляции характерны для видов работ, которые студенты выполняют вне прямого контроля преподавателя; средние баллы за все эти виды работ - самые высокие. Все это в совокупности согласуется с нашей гипотезой о больших объемах жульничества при выполнении внеаудиторных работ по сравнению с аудиторными.
Хочется отметить, что тот факт, что результаты согласуются с гипотезой, еще не означает обязательного ее выполнения. Однако в случае с описанными группами для некоторых студентов существовали и дополнительные признаки жульнического поведения:
- неестественно короткое время выполнения внеаудиторных тестовых заданий;
- неестественная результативность;
- нелогичный порядок выполнения заданий;
- нехарактерные для данного студента языковые обороты, «слишком грамотный» или «слишком научный» язык, апелляция к терминам, фактам и понятиям, которые еще незнакомы студентам на данной ступени обучения (при выполнении письменных работ).
При наличии хотя бы некоторых из вышеописанных признаков низкая корреляция и высокий средний балл за работу могут быть дополнительным индикатором наличия внеаудиторного жульничества.
Исходя из полученных результатов, встает очевидный вопрос о целесообразности использования подобных внеаудиторных заданий. С нашей точки зрения, внеаудиторные задания для студентов будут оправданными, если они в большей степени относятся к формативной оценке (formative assessment), нацеленной на использование задаваемых
Таблица 2
Коэффициенты корреляции между рейтингом студентов и их оценками за рассматриваемый курс
Образовательная программа Корреляция рейтинга студентов с оценкой...
Политология за семинары 0,55
на платформе Курсера" 0,25
за письменный экзамен 0,33
Менеджмент за семинары 0,72
только с оценкой за тесты в LMS 0,48
за контрольную работу 1 0,59
за контрольную работу 2 0,60
за эссе 0,28
за итоговый экзамен 0,70
Реклама и связи с общественностью на платформе Курсера 0,17
Юриспруденция на платформе Курсера 035
Востоковедение на платформе Курсера 0,23
* Здесь и далее курсивом выделены дистанционные задания, выполняемые студентами вне прямого контроля преподавателя.
Таблица 3
Коэффициенты корреляции между оценкой студентов за курс «Микроэкономика» и оценками за заданиями курса «Макроэкономика»
Образовательная программа Корреляция оценки студентов по «Микроэкономике» с оценкой.
Политология за семинары 0,59
на платформе Курсера 0,42
за письменный экзамен 0,65
Менеджмент за семинары 0,70
только с оценкой за тесты в LMS 0,46
за контрольную работу 1 0,47
за контрольную работу 2 0,52
за эссе 0,31
за итоговый экзамен 0,69
Таблица 4
Средние баллы за различные виды работ у студентов
Образовательная программа Средние баллы, % от максимальной оценки за данную работу
Политология за семинары 69,7
на платформе Курсера 82,6
за письменный экзамен 69,4
Менеджмент за семинары 67,9
только с оценкой за тесты в LMS 77,4
за контрольную работу 1 55,2
за контрольную работу 2 66,8
за эссе 823
за итоговый экзамен 65,7
вопросов в качестве дополнительного учебного средства, а не к средствам контрольного оценивания (summative assessment). К примеру, сравним между собой два вида он-
лайн-тестов - тесты на Курсере и тесты в LMS. Первые, с нашей точки зрения, рассматриваются студентами в основном как средство контрольного оценивания. Во втором
случае тесты в LMS в большей степени являются средством формативной оценки, тренировочным инструментом, мало влияющим на итоговую оценку, но помогающим подготовиться к выполнению более значимых для итоговой оценки заданий. Поэтому можно ожидать при выполнении тестов в LMS меньшего распространения внеаудиторного жульничества, что и подтверждают наши «индикаторы».
Важнейшим фактором снижения внеаудиторного жульничества, без сомнения, является высокая мотивация студентов. Если основной мотивацией студента при выполнении данного задания является не формальное получение высокой оценки за курс, а приобретение знаний, исчезает сам смысл жульничества.
Наконец, наиболее очевидным способом решения проблемы внеаудиторного жульничества в случае онлайн-курсов может быть использование прокторинга, т.е. мониторинга процесса прохождения студентом онлайн-тестирования с привлечением специального наблюдателя - проктора. Согласно множеству исследований (например, [7,9]) прокторинг действительно способен сократить мошенническое поведение. Однако в российских условиях влияние прокторинга на снижение жульнического поведения студентов пока не изучено, что задает очевидное направление для продолжения исследований.
Итоги
Для оценки эффективности внеаудиторных заданий важно осознавать степень распространения жульничества, связанного с их выполнением. Особенно это важно для онлайн-курсов, на которых внеаудиторные задания являются единственным возможным способом контроля. При этом зарубежные исследователи онлайн-курсов расходятся в оценке масштабов присутствующего на них студенческого мошенничества.
Наша работа свидетельствует о том, что для студентов рассмотренных нами образовательных программ жульничество действительно может иметь место как при онлайн-тестировании, так и при выполнении других видов внеаудиторных работ.
Основываясь не только на качественных, но и на количественных результатах, полученных с использованием предложенного нами индикатора, можно сделать следующие выводы.
Для всех рассмотренных видов внеаудиторных работ характерно сочетание в среднем более высоких оценок и их более низкой корреляции с общей успеваемостью студентов, чем для аудиторных работ, что, с нашей точки зрения, может свидетельствовать о большем распространении жульнического поведения при выполнении данного типа работ.
Распространение внеаудиторного жульничества можно снизить, снизив стимулы студентов к жульническому поведению.
Естественным продолжением нашей работы было бы проведение подобного анализа для более широкого круга студентов, образовательных программ и онлайн-кур-сов, а также проверка действенности использования прокторинга при проведении онлайн-тестиро-вания как метода снижения масштабов жульничества.
ЛИТЕРАТУРА
1. Лиги М, Трасберг К. Причины недобросовестности в учебе и представления студентов о правилах поведения // Вопросы образования. 2014. № 4. С. 184-208.
2. Сивак Е. В. Преступление в аудитории. Детерминанты нечестного поведения студентов (плагиата и списывания). Препринт WP10/2006/06. Серия WP10 (Научные доклады лаборатории институционального анализа). М.: Изд. дом ВШЭ, 2006.
3. Шмелева Е.Д. Плагиат и списывание в российских вузах: роль образовательной среды и индивидуальных характеристик студента // Вопросы образования. 2016. №1. С. 84-109.
4. Шмелева Е. Д. Академическое мошенничество в современных университетах: обзор теоретических подходов и результатов эмпирических исследований // Экономическая социология. 2015. Т. 16. № 2. С. 55-79.
5. Grijalva T. C, Kerkvliet J, Nowell C (2006) Academic honesty and online courses // College Student Journal. 40(1). P. 180-185.
6. Harmon O. R., Lambrinos J. (2008) Are Online Exams an Invitation to Cheat? // Journal of Economic Education 39:2.116-125.
7. Harmon O. R., Lambrinos J., Buffolino J. (2010) Assessment Design and Cheating Risk in Online Instruction // Online Journal of
Distance Learning Administration. Vol.XIII. № 3.
8. King C. G, Guyette R. W, and Piotrowski C. (2009) Online Exams and Cheating: An Empirical Analysis of Business Students' Views // The Journal of Educators Online. 6(1). P 1-11.
9. Krsak A. (2007) Curbing Academic Dishonesty in Online Courses // TCC 2007 Proceedings. 2007. P. 159-170.
10. Lanier M. (2007) Academic Integrity and Distance Learning // Journal of Criminal Justice Education. 17:2. 244-261.
11. Stuber-McEwen D, Wiseley P., and Hoggatt S. (2009) Point, click, and cheat: Frequency and type of academic dishonesty in the virtual classroom // Online Journal of Distance Learning Administration. 12(3). P. 1-10.
12. Watson G, Sottile J. (2010) Cheating in the Digital Age: Do Students Cheat More in Online Courses? // Online Journal of Distance Learning Administration. 13(1).
LITERATURA
1. Ligi M, Trasberg K. Prichiny nedobrosovestnosti v uchebe i predstavleniya studentov o pravilah povedeniya // Voprosy obrazovaniya. 2014. № 4. S. 184-208.
2. SivakE. V. Prestuplenie v auditorii. Determinanty nechestnogo povedeniya studentov (plagiata i spisyvaniya) Preprint WP10/2006/06. Seriya WP10 (Nauchnye doklady laboratorii institucional'nogo analiza). M.: Izd. dom VShEh, 2006.
3. Shmeleva E. D. Plagiat i spisyvanie v rossijskih vuzah: rol' obrazovatel'noj sredy i individual'nyh harakteristik studenta // Voprosy obrazovaniya. 2016. №1. S. 84-109.
4. Shmeleva E. D. Akademicheskoe moshennichestvo v sovremennyh universitetah: obzor teoreticheskih podhodov i rezul'tatov ehmpiricheskih issledovanij // Ehkonomicheskaya sociologiya. 2015. T. 16. № 2. S. 55-79.
5. Grijalva T. C, Kerkvliet J, Nowell C. (2006) Academic honesty and online courses // College Student Journal 40(1). P. 180-185.
6. Harmon O. R., Lambrinos J. (2008) Are Online Exams an Invitation to Cheat? // Journal of Economic Education 39:2. 116-125.
7. Harmon O.R, Lambrinos J., Buffolino J. (2010) Assessment Design and Cheating Risk in Online Instruction // Online Journal of
Distance Learning Administration. Vol. XIII. № 3.
8. King C. G, Guyette R. W, and Piotrowski C. (2009) Online Exams and Cheating: An Empirical Analysis of Business Students' Views // The Journal of Educators Online 6(1). P 1-11.
9. Krsak A. (2007) Curbing Academic Dishonesty in Online Courses // TCC 2007 Proceedings. 2007. P. 159-170.
10. Lanier M. (2007) Academic Integrity and Distance Learning // Journal of Criminal Justice Education. 17:2. 244-261.
11. Stuber-McEwen D, Wiseley P., and Hoggatt S. (2009) Point, click, and cheat: Frequency and type of academic dishonesty in the virtual classroom. // Online Journal of Distance Learning Administration 12(3). P. 1-10.
12. Watson G, Sottile J. (2010) Cheating in the Digital Age: Do Students Cheat More in Online Courses? // Online Journal of Distance Learning Administration 13(1).
