CC BY
26Научные исследования экономического факультета. Электронный журнал. 2023. Том 15. Выпуск 1 (47) ЭО!: 10.38050/2078-3809-2023-15-1-126-163
Экономическое образование: научно-методические вопросы
АНАЛИЗ ЗАЩИТ ВЫПУСКНЫХ КВАЛИФИЦИОННЫХ РАБОТ НА ЭКОНОМИЧЕСКОМ ФАКУЛЬТЕТЕ МГУ ИМЕНИ М.В. ЛОМОНОСОВА
Мирзоян Ашот Гамлетович
ассистент кафедры экономики инноваций, МГУ имени М.В. Ломоносова, Экономический факультет
(г. Москва, Россия)
Щукина Полина Олеговна
студентка магистратуры, МГУ имени М.В. Ломоносова, Экономический факультет
(г. Москва, Россия)
Аннотация
Выпускная квалификационная работа в российских университетах является финальной исследовательской работой, по результатам написания которой студент получает степень бакалавра. В ходе написания данной работы у студента может возникнуть ряд проблем, начиная от недостаточной коммуникации с научным руководителем и заканчивая отсутствием релевантных для исследования данных. На качество написания работы и дальнейшую защиту могут воздействовать как внутренние психологические характеристики студента, так и академические способности. В данной работе проведен количественный анализ защит выпускных квалификационных работ на направлении «Экономика» экономического факультета МГУ имени М.В. Ломоносова, а также предложен список противоречий, возникающих во время процедуры защиты. Выявлены основные факторы, определяющие получаемые студентом баллы и составлена прокси-переменная способностей, объясняющая наибольшую долю разброса получаемых баллов.
Ключевые слова: выпускная квалификационная работа, образование, эконометрика.
ЛЕЬ коды: 123, А20.
Для цитирования: Мирзоян А.Г., Щукина П.О. Анализ защит выпускных квалификационных работ на экономическом факультете МГУ имени М.В. Ломоносова // Научные исследования экономического факультета. Электронный журнал. 2023. Том 15. Выпуск 1. С. 126-163. В01: 10.38050/2078-3809-2023-15-1-126-163
Мирзоян А. Г., е-шаЛ: kell56@vandex.ru Щукина П. О., е-шаЛ: роПпа. 8сЬискта@,уаМех. ги
Введение
Выпускная квалификационная работа (далее - ВКР) является финальным исследованием в российских высших учебных заведениях для получения степени бакалавра по соответствующей специальности. В рамках данной работы студент демонстрирует использование теоретического и прикладного инструментария, изученного за 4 года обучения в бакалавриате. ВКР позволяет раскрыть исследовательский потенциал студента, и работа над ее написанием часто является определяющим моментом при выборе дальнейшего пути (сферы интересов, перехода на следующую ступень образования). Исследование факторов, оказывающих влияние на качество ВКР, может не только помочь студентам и их научным руководителям, но и выявить основные особенности современных процессов, стоящих за написанием и защитой работ.
Нами был проведен анализ защит ВКР, проходивших на направлении «Экономика» на Экономическом факультете МГУ имени М.В. Ломоносова в 2022 г.
1. Этапы работы над ВКР
Процесс написания ВКР начинается с сентября соответствующего учебного года, и защиты ВКР происходят в мае следующего календарного года (текущего учебного года). Написание ВКР разбивается на следующие этапы1:
1) выбор темы ВКР, научного руководителя и этап согласования темы с научным руководителем (до начала декабря соответствующего учебного года);
2) составление индивидуального графика работы над ВКР совместно с научным руководителем (до начала декабря соответствующего учебного года);
3) написание аннотации и выгрузка JEL-кодов (до середины апреля соответствующего учебного года);
4) процесс написания ВКР (с момента согласования темы до загрузки финального текста ВКР);
5) прохождение проверки в системе «Антиплагиат» (конец апреля - начало мая соответствующего учебного года);
6) загрузка финального текста ВКР (начало мая соответствующего учебного года);
7) составление презентации для защиты ВКР (с момента загрузки финального текста ВКР до защиты с участием государственной экзаменационной комиссии);
8) защита с участием государственной экзаменационной комиссии (ГЭК) (середина мая - конец мая соответствующего учебного года).
На большинстве этапов должна складываться двусторонняя коммуникация между студентом и научным руководителем. Важность построения двусторонней коммуникации подчеркиваются в работе (Seth, 2021).
На качество написания может воздействовать большое количество факторов. Многие студенты сталкиваются со сложностями. По выборке студентов университета Танджунгпура Сариянто и Сиариф (Sariyanto et.al, 2015) отмечают, что в целом трудности можно разделить на 4 компонента: трудности с написанием текста работы, трудности из-за коммуникации с научным руководителем, психологические проблемы студента, приоритет работы над учебой (и из-за этого ограниченность времени на написание выпускной работы). Схожее деление
1 Сформировано на основании положения о ВКР на экономическом факультете МГУ (Положение о ВКР).
производится на примере Юньнаньского университета (Shao, Мо, 2020): факторы студента, факторы научного руководителя и факторы учебного учреждения. На примере бакалаврских и магистерских выпускных работ в Финляндии (Tuononen, Parpala, 2021) авторы разграничивают академические компетенции (к примеру, анализ, структуризация и критическое мышление) и способности учиться (детализированный подход и дисциплина). В рамках российской действительности Иванова и ее коллеги (2022) отметили на выборке Алтайского государственного университета, что у всех студентов есть страх ответить «не так» на поставленные вопросы и незнание содержания возможных вопросов в процессе публичной защиты, а у 57% студентов существует страх в отношении использования статистических методов.
На наш взгляд, в процессе написания ВКР можно выделить следующие группы проблем.
1. Коммуникация. Для продвижения в написании работы важны небольшие, но регулярные шаги. Если не выстроен процесс регулярного обсуждения достигаемых результатов, то написание работы может отложиться на последние две недели до сдачи диплома.
2. Инструментарий. Обработка статистической информации занимает важное место в большом числе работ. Научный руководитель не всегда может предоставить студенту помощь в этом вопросе, и студент не знает, куда обратиться за консультацией.
3. Различное понимание того, чем является ВКР. Существует несколько пониманий того, чем является выпускная квалификационная работа, например: 1) студент должен выявить существующую в экономической практике проблему и предложить ее решение (выдвинуть рекомендации); 2) студент должен провести исследование экономических процессов и проверить свои гипотезы об особенностях этих процессов на эмпирических данных. Различие во взглядах между научным руководителем и комиссией приводит к негативным последствиям на защитах.
4. Предзащиты. Для написания хорошей работы важно услышать мнение нескольких людей. Публичное выступление до финальной сдачи работы позволяет выявить слабые места и направления для улучшения работы. Отсутствие предзащит снижает не только качество работ, но и уверенность студента перед выходом на основную защиту.
5. Данные. Выстраивая работу исходя из собственных исследовательских предпочтений, студент нередко обнаруживает, что не может найти данные, на которых он мог бы провести количественное исследование. Нередко это обнаруживается уже после того, как тема утверждена.
Заметим, что большая часть проблем может быть решена за счет управления процессом взаимодействия со студентом со стороны научного руководителя.
В рамках данной работы мы поставили своей целью описание результатов защит ВКР и выявление основных факторов, связанных с получением высоких оценок.
2. Работа над ВКР
На начальном этапе студент должен составить свое представление о предмете исследования. Особенность исследований в общественных науках состоит в том, что сам по себе предмет исследования не доступен непосредственно: он отражен в статистических данных, опубликованных документах и интервью акторов, рассуждениях авторов
опубликованных статей. Всякий раз приходится работать с его отражением и формировать собственное представление о нем по вторичным источникам. Во многом это способствует тому, что начинающий исследователь чувствует себя дилетантом и быстро приходит к мысли о том, что ему сложно составить собственное мнение о происходящем и его работа больше сводится к обобщению и систематизации взглядов акторов, которые непосредственно погружены в процесс.
Он может сделать попытку перейти к списку интересующих его вопросов: каковы основные типы акторов изучаемого социально-экономического пространства? Каковы их стимулы и каковы их возможные действия? Какие ключевые характеристики среды, в которой происходит взаимодействие? Какие переменные могут оказывать влияние на процессы? Эти вопросы можно назвать онтологическими (что существует в рассматриваемом пространстве?). Начальный уровень знакомства с предметом уже требует разделения микро- и мезоуровней, перехода от списка элементов к их взаимосвязи.
Работа студента напоминает археологические изыскания: как восстановить реальность по найденным артефактам, которые зачастую фрагментарны и абстрактны? Ситуация усугубляется тем, что он не принадлежит сообществу исследователей, в котором можно было бы обсудить свои представления и выслушать позиции других сторон. Дополнительные трудности возникают при изучении публикаций, которые изобилуют все более усложняющимся математическим инструментарием и приводят к мыслям о том, что хорошая работа состоит в применении «сложной» статистической модели к тем данным, которым удается раздобыть. Часто можно слышать, что, с точки зрения студента применение методов линейной регрессии не подходит для хорошей работы, и он стремится к использованию самых изощренных моделей, которые только удается найти в литературе. Попадают в эту ловушку и некоторые научные руководители.
Проведение разведывательного исследования в виде серии интервью с участниками не представляется перспективным из-за высоких временных затрат и малого полезного эффекта: с точки зрения студента, комиссия не оценит его усилий, ведь за 10 минут выступления он должен представить основные результаты, которые опять же должны быть сформулированы в виде результатов построенных формальных моделей и их интерпретации.
Решение этого противоречия находят в поиске всех возможных статистических переменных, которые могут иметь отношение к делу. Ценой такого перехода зачастую становится непонимание социоэкономического содержания предмета. Ставятся только те вопросы, на которые можно было бы ответить на имеющихся данных.
По-видимому, решение этой задачи состоит в формировании модели исследуемого предмета и сужении предметной области. Достаточно узкий предмет может быть охвачен по вторичным источникам. Процесс моделирования означает отход от работы с «реальным» предметом и переход к его абстрактному представлению в виде набора характеристик и взаимодействия между ними. Это действие требует определенных навыков абстрагирования, и они должны развиваться в рамках учебных курсов, включенных в образовательную программу. Заметим, что подобный переход невозможен в одностороннем порядке, и члены комиссии на защите ВКР должны его разделять и учитывать все сложности разработки предмета со стороны студента. На защитах часто можно услышать вопросы к защищающемуся, на которые невозможно ответить на основании имеющихся данных, или же
они требуют от студента опыта участия в конкретной сфере, который по понятным причинам отсутствует.
3. Противоречия на защитах
Оценивание проведенного исследования сложно превратить в формальную процедуру, свободную от субъективизма оценивающих. Именно поэтому в комиссии привлекаются специалисты в конкретных предметных областях, знакомые с последними исследованиями и способные по достоинству оценить полученные результаты. Процедура защиты по жанру приближается к критике текста и, как и всякая критика, обнаруживает набор противоречий, чьи размытые рамки оставляют пространство для субъективного решения. Выделим набор противоречий, которые могут возникнуть во время проведения процедуры защиты и ведут к неопределенности в отношении выставляемой оценки.
1. Экономический смысл. Несмотря на экспансию экономических дисциплин во множество общественных областей, не сформировалось однозначного представления о том, где заканчивается «экономика» и начинается нечто иное. Во время защит нередко возникает обсуждение того, относится ли подвергаемый анализу объект к экономической области, что может сказаться на итоговой оценке.
2. Рекомендации. Комиссии нередко делятся в своих основных требованиях на две категории: одни требуют от защищающегося сформулированных рекомендаций по поводу того, как можно «улучшить» рассматриваемые процессы; другие сосредоточивают свое внимание на выявленных закономерностях, причинно-следственных связях и оценке эффективности. В зависимости от типа комиссии одна и та же работа может быть оценена высоко или низко. Многие рекомендации могут рассматриваться комиссией как тривиальные, причем критерии этого сложно определить формально. Крайние позиции можно сформулировать так: «любое экономические исследование имеет целью улучшение существующего положения дел, а потому должно содержать рекомендации»; «исследователь является сторонним наблюдателем, а рекомендации и действия по преобразованию экономического мира - это дело непосредственных акторов».
3. Тривиальность/противоречие интуиции. Смысл построения статистической модели по большому счету сводится к проверке выдвинутых гипотез о наличии взаимосвязи (или влияния) или же к количественной оценке этого влияния. Когда экономическая реальность представляется в виде набора количественных переменных, то делается попытка перейти от субъективных впечатлений акторов к объективному представлению наблюдающихся процессов. Этот процесс можно рассмотреть как критику интуиций непосредственных участников событий, которая нередко оказывается ошибочной: за символическими представлениями скрывается отрицание или легитимация, радикально отличающаяся от действительных процессов. Во время защит может оказаться, что подтверждение интуиции акторов рассматривается как нечто тривиальное, а потому не приносящее ничего нового (хотя должно быть как раз наоборот: интуиция впервые получает свое объективное подтверждение: интуиция - это только гипотеза). Если же выводы противоречат интуиции, существует возможность того, что к ним не проявят доверия и «спишут» на ошибочность процедуры оценивания или пропуск существенных переменных.
4. Новизна гипотез. Обзор существующих исследований должен привести к пониманию того, на какие вопросы исследователи уже ответили, а какие области еще остаются серыми. От студента требуется, чтобы, с одной стороны, выдвинутые им гипотезы
основывались на гипотезах предшественников, а с другой стороны - содержали научную новизну. Это создает основание для критики любого набора выдвинутых гипотез. Крайние позиции таковы: «гипотезы основываются на существующих теориях, а потому не должны быть оригинальными»; «исследователь должен создавать приращение знания, а потому ставить новые вопросы, которые прежде не встречались».
5. Польза для экономики страны. Один из часто встречающихся вопросов посвящен тому, какую пользу приносит проведенное исследование для экономики страны. Неоднозначность подобной постановки вопроса обсуждалась нами в разделе о рекомендациях.
6. Критика выборки. Некоторые исследования (например, проводимые в предметной области маркетинга) подразумевают самостоятельный сбор данных со стороны студента. Чаще всего студент имеет доступ лишь к обучающимся других курсов или своим друзьям. При этом нередко именно его выборка подвергается критике с точки зрения репрезентативности и количества наблюдений. Требования различных комиссий в этом вопросе могут существенно различаться. Это приводит к тому, что исследования, основанные на самостоятельно собранных данных, заранее оказываются в проигрышной позиции. По нашему опыту наблюдения за процессом защит самостоятельно собранные данные не приносят дополнительных «баллов» защищающемуся. Крайние позиции: «Если студент самостоятельно собирает данные, то выборка должна быть объемной и не содержать оснований для любого вида критики. Это не дает ему никаких преференций с точки зрения выставляемой оценки по сравнению с работой со вторичными данными»; «Самостоятельно собранные данные имеют преимущество перед работой со вторичными данными. С учетом ограниченности ресурсов студента к самостоятельно собранным данным могут предъявляться более мягкие требования».
7. Эндогенность. Это один из терминов, чаще всего встречающихся в вопросах комиссии на защитах. Под этим подразумевают как проблему пропуска существенных переменных, так и наличие двухсторонней причинно-следственной связи, которая не позволяет говорить в терминах влияния (воздействия), а лишь дает возможность утверждать наличие статистически значимой корреляции. Безусловно, тщательный анализ всех возможных факторов воздействия и использование инструментальных переменных являются важной частью исследовательской работы, тем не менее следует учитывать, что подобной критике потенциально подвержена любая работа. Крайние позиции: «Работа студента должна учитывать все возможные значимые факторы. В противном случае результаты оцененных моделей рассматриваются как некорректные»; «Во внимание должна приниматься невозможность сбора некоторых данных. Ссылки на исследования в рецензируемых журналах, не содержащих такой переменной, достаточно для парирования критики».
Учитывая эти противоречия и порождаемые ими риски для защищающегося, может быть целесообразным введение набора детализированных критериев, по которым члены комиссий оценивают работы. Основная проблема состоит в том, что один из описанных выше факторов оценивания может преобладать над другими и вносить непропорционально большой вклад в общий результат. Помимо прочего, формальные критерии могут снизить вариативность оценок одной и той же работы разными членами комиссии, что неизбежно возникает при субъективном подходе. Другим подходом к снижению неопределенности может быть разработка рекомендаций для членов комиссии, в которых указывается усредненная позиция по каждому из противоречий. Они могут быть не универсальными и учитывать специфику тем, защищаемых в рамках конкретной комиссии.
4. Описание переменных2
Нами рассмотрены данные по защитам 256 студентов экономического факультета МГУ имени М.В. Ломоносова (далее - ЭФ МГУ) по направлению «Экономика», которые защищали свои ВКР в 2022 г. Данные были собраны нами из открытых источников, а средние баллы за время обучения были предоставлены администрацией. Рассмотрим переменные, которые были использованы нами во время анализа.
Комиссии - номер комиссии. Функционирующие комиссии на направлении «Экономика» имели номера 3, 4, 5 и 6. К 3-й комиссии относились ВКР по тематикам «макроэкономика», «международная экономика», «экономическая история и история мысли, развитие», к 4-й комиссии - ВКР по темам «микроэкономика», «отраслевые рынки», «маркетинг», «конкурентные стратегии компаний» и «городская экономика», к 5-й -«финансовые рынки», «корпоративные финансы», «банки», «учет и анализ», «управление фирмой», а к 6-й - «экономика труда», «экономика образования», «экономика здоровья и здравоохранения», «развитие территорий».
Пол - пол студента. Могут наблюдаться различия в академической успеваемости между представителями различных полов. Так, в статье Феррейра (Ferreira, 2003) рассматривается вопрос сравнения мужчин и женщин по отношению к завершению аспирантуры с получением степени. Выявлено, что больше женщин не получили степени из-за существования конкуренции в аспирантуре. При этом, в норвежской практике (Thune et al., 2012) женщины и мужчины имеют одинаковые показатели по завершении обучения, невзирая на тот факт, что женщины чаще брали перерыв от учебной деятельности.
Номер группы - номер академической группы студента. Количество академических групп на направлении «Экономика» - 12. Первая академическая группа является группой повышенной академической нагрузки. Часть студентов была отобрана в первую группу при поступлении с использованием дополнительного теста по экономике, а другая часть - по результатам сессии.
Другие академические группы (2-11) были сформированы с учетом результатов тестов по математике и английскому языку при поступлении. Студенты с баллом за тест по математике выше медианного попадали в академические группы 2-6, а остальные - в 7-12. Тем самым, получилось два потока. Внутри потоков ранжирование происходило по результатам теста по английскому языку.
Институциональная экономика - баллы студента за предмет «Институциональная экономика», изучаемый на 4 курсе бакалавриата ЭФ МГУ. Неявка на экзамен записана как 2 балла.
Эконометрика-1 - баллы за обязательную для всех студентов дисциплину «Эконометрика-1», изучаемую на 3 курсе бакалавриата ЭФ МГУ. В процессе изучения эконометрики студент знакомится с инструментами статистического анализа, используя программы Gretl или RStudio. Полученные знания могут быть применены в процессе написания ВКР.
2 Ссылка на скрипт в R для построения графиков, моделей и таблиц: https://drive.google.com/drive/folders/1p3VhxxyxjVnR214M492SqtOw6BACAhql?usp=sharing.
Эконометрика-2 - бинарная переменная, отражающая присутствие на предмете «Эконометрика-2». Предмет «Эконометрика-2» включает в себя более продвинутый инструментарий по сравнению с базовым предметом «Эконометрика-1».
Дата - дата защиты ВКР. Защиты проходили с 16 мая 2022 г. по 27 мая 2022 г. (не включая резервные дни). График работы комиссий отличался. Так, 16 мая функционировали комиссии 3, 4 и 5.
Баллы за защиту ВКР - балл за защиту ВКР (от 1 до 10). Результаты апелляций были учтены в данных. Согласно Положению о выпускных квалификационных работах на программе бакалавров экономического факультета МГУ имени М. В. Ломоносова от 27.12.2019 г. баллы за защиту ВКР выставляются следующим образом (см. табл. № 16).
Оценка за защиту ВКР - оценка за защиту ВКР (от «неудовлетворительно» до «отлично»). Если балл за защиту ВКР составляет 10, 9 или 8, то студенту ставится оценка «отлично», если балл составляет 6 или 7, то оценка «хорошо». В случае, когда балл за защиту ВКР составляет 4 или 5, ставится оценка «удовлетворительно», в противном случае -«неудовлетворительно».
Кафедра - кафедра, где работает научный руководитель.
Наличие эконометрических моделей в презентации - наличие эконометрических моделей в презентации на защите ВКР (бинарная переменная).
GPA - средний балл студента по всем изученным дисциплинам без учета полученной оценки за ВКР.
Баллы при поступлении - сумма баллов ЕГЭ и дополнительного вступительного испытания при поступлении на ЭФ МГУ.
В 2018 г. при поступлении на ЭФ МГУ студенты сдавали три экзамена ЕГЭ: русский язык, математику и английский язык, а также дополнительное вступительное испытание (ДВИ) по математике. Информация была взята посредством использования архива сайтов3 при рассмотрении выгрузок за 2017-2018 гг.
Аналог данной переменной был включен в работы Паскарелла и Теренцини (Pascarella et al., 1983), Райта и Кокрейна (Wright et al., 2000). При этом в работе Райта и Кокрейна показано, что балл по вступительным испытаниям не влияет на вероятность завершения по итогам обучения, а в статье Паскарелла и Теренцини (Pascarella et al., 1983) подчеркивается, что влияет не вступительный балл, а социальный и академический бэкграунд. В связи с этим интересно рассмотреть взаимосвязь входного и выходного показателей в российском контексте.
5. Описательные статистики
Рассмотрим описательные статистики собранных нами переменных (см. табл. 1, 2). Число наблюдений (N) различается из-за того, что не по всем переменным доступны полные данные. По этой же причине различается число наблюдений в построенных нами моделях.
3 Wayback Machine // Web.Archive URL: web.archive.org (дата обращения: 12.08.2022).
Таблица 1
Описательные статистики количественных переменных4
N Меап 8Б Мт Р25 МеШап Р75 Мах
Институциональная экономика 230 4.07 0.88 2 4 4 5 5
Эконометрика-1 181 66.28 15.72 34.5 54.7 64.6 77 98.9
вРА 241 4.15 0.43 3.18 3.85 4.15 4.51 5
Баллы при поступлении 235 337.86 23.78 264 323.50 341 351 400
Баллы за защиту ВКР 250 7.07 1.68 2 6 7 8 10
Таблица 2
Описательные статистики факторных переменных5
Переменная N = 2567
Комиссия
3 76 (30%)
4 70 (28%)
5 67 (26%)
6 41 (16%)
Нет данных 2
Пол
Ж 156 (61%)
М 100 (39%)
Номер группы
1 25 (10%)
2 24 (10%)
3 24 (10%)
4 22 (9.2%)
5 24 (10%)
6 19 (7.9%)
7 22 (9.2%)
8 18 (7.5%)
9 16 (6.7%)
10 22 (9.2%)
11 12 (5.0%)
12 11 (4.6%)
Нет данных 17
Эконометрика-2 (участие)
0 145 (58%)
1 105 (42%)
Нет данных 6
Оценка за защиту ВКР
отлично 119 (46%)
хорошо 88 (34%)
удовлетворительно 41 (16%)
неудовлетворительно 8 (3.1%)
Эконометрические модели в
презентации
0 105 (47%)
1 119 (53%)
Нет данных 32
1 n (%)
Продолжение табл. 2
Дополнительный комментарий к таблице: у некоторых факторных переменных существует позиция «Нет данных». Значение «Нет данных», принимаемое для двух студентов переменной «Комиссия», означает, что эти студенты защищались в резервный день; «Нет данных» для переменной «Номер группы» означает, что некоторые студенты не смогли защититься в прошлом году и вышли на защиту ВКР в 2022 г.; «Нет данных» в «Эконометрика-2» означает, что по 6-ти студентам не удалось посмотреть, брали ли они Эконометрику-2 в 6-м семестре; «Нет данных» в «Эконометрические модели в презентации» означает, что 32 студента не загрузили свои презентации в облачное хранилище One Drive факультета, и информации об использовании эконометрических моделей в ВКР нет.
Большая часть студентов ЭФ МГУ (30%) писала ВКР по тематикам «макроэкономика», «международная экономика», «экономическая история и история мысли, развитие». При этом большая доля защищающихся приходится на кафедру экономики инноваций (29 студентов) и кафедру финансов и кредита (28 студентов). Вдобавок мы отмечаем наличие часто встречаемых слов в названиях ВКР. Среди них: «влияние» (встречается 42 раза), «России» (42 раза), «компаний» (26 раз), «развития» (26 раз) и «оценка» (17 раз).
Наблюдаются высокие и статистически значимые корреляции между баллами за диплом и переменными, которые характеризуют успехи в обучении. Среди них наиболее высокой является корреляция между баллами за ВКР и баллами за курс «Эконометрика-1». Значимость коэффициентов корреляции демонстрирует соответствие процесса защиты ВКР
идее выявления компетенций, приобретенных студентом в процессе обучения, а также его связь с уровнем способностей студента и его вовлеченностью в учебный процесс (см. табл. 3).
Таблица 3
Корреляционная матрица основных переменных6
Институциональная экономика
Эконометрика-1 ОРЛ
Баллы при поступлении
Баллы за защиту ВКР
Институциональная экономика Эконометрика-1 ОРЛ Баллы при поступлении Баллы за защиту ВКР
0.346** 0.574**
0.236* 0.420**
0.346***
0.531*
0.478*
0.478*
0.574**
0.531*
0.340*
0.489*
0.236**
0.478*** 0.340***
0.420***
0.478*** 0.489***
0.358***
0.358*
По итогам защиты ВКР 46% студентов получили оценку «отлично» (см. рис. 1). При этом максимальные 10 баллов получили лишь 9 студентов. Подавляющее большинство оценок «отлично» представлено баллом, равным 8 (56% из всех получивших «отлично»), и этот балл является модальным (см. рис. 2).
100-
75-
50-
25-
Отлично Хорошо Удовл Неуд
Отлично Хорошо
Удовл
Неуд
Рисунок 1. Распределение оценок за защиту ВКР7
6 * - значимость на уровне 10%, ** - значимость на уровне 5%, *** - значимость на уровне 1%. Источник: расчеты авторов.
7 Источник: расчеты авторов.
12
27
39
44
65
42
Рисунок 2. Распределение баллов за защиту ВКР8
Комментарий к графику: по горизонтальной оси отложены баллы за защиту ВКР, по вертикальной оси -количество студентов, получивших тот или иной балл за защиту ВКР.
6. Распределение баллов по академическим группам
Учебные академические группы (за исключением 1-й группы) имеют схожее среднее значение ОРЛ (см. рис. 3). Если убрать из данных студентов 1-й группы, то гипотеза о равенстве ОРЛ не отвергается на 5% уровне значимости.
о.
и >.
о
123456789 10 11 12
Номер группы
Рисунок 3. Усредненный по студентам группы GPA без учета оценки за диплом с доверительным интервалом в 2 стандартных отклонения9
Комментарий к графику: посредством желтых линий отображен разброс значений переменной в виде 95% доверительного интервала.
Как по ОРЛ, так и по доле «отлично» за защиту диплома выделяются академические группы 1, 2 и 5 (см. рис. 4). Количество оценок «отлично» в 1-ой группе составляет 23 (92% от всех оценок внутри группы), во 2-й - 15 (62,5% от оценок внутри группы), в 5-й - 16 (67% от оценок внутри группы).
Рисунок 4. Распределение оценок за защиту ВКР по академическим группам10
Комментарий к графику: данный график можно визуально разделить на две части: верхнюю и нижнюю. На верхней части отложены варианты оценок за защиту ВКР - «отлично», «хорошо», «удовлетворительно» (сокр. -«удовл»), «неудовлетворительно» (сокр. - «неуд»). На нижней части отложены номера групп - от первой (1) до двенадцатой (12). Ширина полосы, идущей от академической группы, показывает число людей, которые получили ту или иную оценку. Цвет полосы соответствует академической группе.
Аналогичная ситуация наблюдается при анализе баллов за защиту ВКР (см. рис. 5): выделяются академические группы 1, 2 и 5. Гипотеза о равенстве среднего балла за защиту дипломов в разных группах не принимается на уровне значимости в 1%.
о. и
0.0
123456789 10 11 12
Номер группы
Рисунок 5. Средние баллы за защиту ВКР по академическим группам с доверительным интервалом в 2 сигмы11
Комментарий к графику: посредством желтых линий отображен 95% доверительный интервал для среднего значения баллов за защиту ВКР.
7. Распределение баллов по комиссиям
Комиссии отличаются как по темам работ, которые в них защищаются, так и по составу комиссии (см. рис. 6). Комиссия номер 3 демонстрирует наименьший разброс оценок, при этом членами третьей комиссии не было поставлено ни одной оценки «неудовлетворительно» (см. рис. 7). По проведенным тестам о равенстве дисперсий баллов за защиту ВКР в разных комиссиях:
• внутри 3 и 4 комиссий не похожи (на уровне значимости 5% дисперсии разнятся);
• внутри 3 и 6 комиссий не похожи (на уровне значимости 5% дисперсии разнятся).
Различие баллов за защиту ВКР может быть обусловлено следующими факторами:
1) разная по умениям и навыкам выборка студентов в различных комиссиях;
2) разный подход к выставлению баллов за защиту ВКР в комиссиях.
При этом среди комиссий не наблюдается различий по уровню GPA (на уровне значимости 5%).
Рисунок 6. Распределение баллов за защиту ВКР по комиссиям12
Комиссия 3
404
30-
25201510
24
Комиссия 4
24
17
Отлично Хорошо Удовл
Отлично Хорошо Удовл Неуд
30-
20-
10
0-
Комиссия 5
37
25
Отлично Хорошо Удовл Неуд
Комиссия 6
15-
10
0-
19
12
|—Г
Отлично Хорошо Удовл Неуд
Рисунок 7. Распределение оценок за защиту ВКР по комиссиям1
Как видно из построенных моделей, среднее значение баллов в комиссиях 4 и 6 значимо ниже, чем в комиссиях 3 и 5, даже при использовании контрольных переменных. Например, при учете контрольных переменных в виде академической группы, среднего балла и наличия эконометрики в презентации средний балл за защиту ВКР по комиссии 4 ниже в среднем на 0,867, чем в комиссии 3 (см. табл. 4).
Таблица 4
Линейные модели. Зависимая переменная: «Баллы за защиту ВКР»14
Баллы за защиту ВКР
Модель 1 Модель 2 Модель 3
Константа 7.316*** (0.159) 6.762*** (0.173) 2.109* (1.204)
Комиссия [4] -0.886*** (0.281) -0.836*** (0.266) -0.867*** (0.268)
Комиссия [5] 0.266 (0.241) 0.077 (0.242) 0.015 (0.238)
Комиссия [6] -0.438 (0.336) -0.514* (0.310) -0.704** (0.298)
Номер группы GPA Эконометрические модели в презентации R2 F статистика Нет Нет Нет 0.072 6.349*** Нет Нет Нет 0.219 15.169*** Да Да Да 0.416 8.283***
*p<0.1; *р<0.05; **р<0.01
Комментарий к построенным моделям: на ЭФ МГУ на направлении «Экономика» было представлено 4 комиссии. Результаты защит в комиссии 3 отражены в константе.
Статистически значимые различия могут свидетельствовать как о наличии различных подходов к оцениванию в различных комиссиях, так и о том, что наиболее «сильные» работы сосредоточены в определенной тематике.
8. Распределение баллов по дням защит
Существенных различий в средних баллах за диплом по дате защиты не обнаружено (см. табл. 5). Гипотеза о равенстве среднего балла за защиту на протяжении всех дней защит не отвергается на 5% уровне значимости.
Таблица 5
Распределение средних баллов за защиту ВКР по дням защит15
Средние баллы за защиту
Дата ВКР
16.05.2022 7.39
17.05.2022 6.72
18.05.2022 6.82
19.05.2022 6.67
20.05.2022 7.71
21.05.2022 7.72
23.05.2022 7.10
24.05.2022 6.39
25.05.2022 7.11
26.05.2022 7.00
27.05.2022 7.39
резерв 5.00
Можно выделить несколько дней (см. рис. 8), в которых большая часть баллов распределена на интервале от 4 до 6 («удовлетворительно»): 24 мая - комиссия 4 и 19 мая -комиссия 6. В целом студенты были равномерно распределены по дням защит: в один день в среднем защищалось 9-10 студентов в рамках одной комиссии. Тем не менее, 21 мая в 4 комиссии защищалось всего 6 человек.
Комиссии функционировали не во все даты с 16 мая по 27 мая. Так, в график работ всех комиссий не входило воскресенье, 22 мая, и другие дни исходя из индивидуального графика работы комиссий.
Комиссия 3
Комиссия 4
108642-
□
ь
108642-
16 18 19 20 23 25 26 27
16 17 18 19 21 23 24 26
108642-
Комиссия 5
Ф
Л
т
0:
а
10-
8-
6-
4-
2-
Комиссия 6
?ф
16 18 19 20 21 24 25
17 19 20 23 27
Рисунок 8. Распределение баллов за защиту ВКР по комиссиям и дням16
Комментарий к графику: по горизонтальной оси отображены даты проведения защит, по вертикальной оси -баллы за защиту ВКР. График представляет собой «ящик с усами», где отображается распределение исследуемых параметров. Так, высота прямоугольника отображает межквартильный размах. Жирная линия посреди прямоугольника отображает медианное значение рассматриваемого параметра. Отмеченные точки - выбросы.
9. Распределение оценок по кафедрам
Кафедры, на которых работают научные руководители защищавшихся студентов, ранжированы по критерию доли оценок «отлично» в общей структуре оценок. В столбце «итого» в табл. 6 указано общее число защищающихся. В целом, в табл. 6 указаны 10 кафедр, ранжированных по наибольшей доле оценок «отлично».
Таблица 6
Распределение оценок за защиту ВКР по кафедрам17
Кафедра Отлично Хорошо Удовл. Неуд. Доля отлично Итого
Кафедра конкурентной и промышленной политики 6 1 0 0 0.86 7
Кафедра статистики 3 0 1 0 0.75 4
Кафедра народонаселения 10 3 1 0 0.71 14
Кафедра Отлично Хорошо Удовл. Неуд. Доля отлично Итого
Кафедра математических методов анализа экономики 11 3 1 1 0.69 16
Кафедра учета, анализа и аудита 10 6 0 0 0.62 16
Кафедра экономики инноваций 17 7 4 1 0.59 29
Кафедра экономики природопользования 9 5 2 0 0.56 16
Кафедра прикладной институциональной экономики 6 5 0 0 0.55 11
Кафедра Финансов и кредита 15 11 1 1 0.54 28
Кафедра истории народного хозяйства и экономических учений 6 8 1 0 0.40 15
Различаются кафедры и по среднему значению ОРЛ у студентов, которые пишут на них свои дипломные работы. Стоит отметить, что у кафедры конкурентной и промышленной политики самая высокая доля оценок «отлично» и наибольшая успеваемость у студентов, исходя из параметра ОРЛ (см. табл. 7).
Таблица 7
10 кафедр ЭФ МГУ, ранжированных по среднему ОРЛ студентов18
КАФЕДРА ОРЛ
СТУДЕНТОВ
Кафедра конкурентной и промышленной политики 4.51
Кафедра математических методов анализа экономики 4.42
Кафедра учета, анализа и аудита 4.35
Кафедра народонаселения 4.29
Кафедра экономики природопользования 4.27
Кафедра экономики инноваций 4.17
Кафедра статистики 4.15
Кафедра Финансов и кредита 4.13
Кафедра прикладной институциональной экономики 4.10
Кафедра политической экономии 4.09
При анализе соотношения академической группы и кафедры (см. рис. 9) можно заметить, что в некоторых группах имеются общие предпочтения - большое число студентов склоняется к выбору одной и той же кафедры. Выделяются 1 (кафедра математических методов анализа экономики), 2 (кафедра экономики природопользования), 5 (кафедра экономики инноваций) и 10 (кафедра маркетинга) группы. Можно предположить, что этот эффект связан с тем, что научные руководители выбираются по результатам опыта сотрудничества в раках учебных предметов на предыдущих курсах. Это приводит к тому, что сразу несколько студентов делает выбор в пользу одного преподавателя, который вел семинары у их группы по одному из предметов.
Кафедра конкурентной и промышленной политики Кафедра математических методов анализа экономики Кафедра экономики природопользования Кафедра прикладной институциональной экономики
Кафедра экономики инноваций
Кафедра народонаселения
Кафедра макроэкономической политики и стратегического управления Кафедра финансов и кредита
Кафедра маркетинга
Кафедра учета, анализа и аудита Кафедра философии и методологии экономики Кафедра истории народного хозяйства и экономических учений Кафедра агроэкономики Кафедра экономики труда и персонала Кафедра мировой экономики Кафедра управления рисками и страхования
Кафедра политической экономии
Кафедра статистики Кафедра управления организацией Кафедра экономической информатики
Рисунок 9. Общее соотношение академических групп и кафедр19
10. Связь пола и оценки
В нашей выборке представлено 156 девушек и 100 юношей. В работах Феррейра (Ferreira, 2003) и Тьюна и его коллег (Thune et al., 2012) показываются разнонаправленные результаты по академическим достижениям женщин и мужчин. В рамках выборки выпускников 2022-го г. направления «Экономика» на ЭФ МГУ было выяснено, что плотность распределения баллов за защиту диплома не различается существенно между полами на 5% уровне значимости (см. рис. 10).
Плотность распределения баллов за защиту ВКР
0.2-
0.1-
0.02 4 6 8 10
Баллы за защиту ВКР Пол | | ж | | м
Рисунок 10. Плотность распределения баллов за защиту ВКР по полу20
19 График можно анализировать как со стороны академической группы, так и со стороны кафедры. Источник: расчеты авторов.
20 Источник: расчеты авторов.
Плотность распределения ОРЛ для юношей имеет два пика (см. рис. 11), что может объясняться различием в стратегиях (сдать экзамен/зачет, или же получить как можно более высокую оценку).
Плотность распределения СРА
1.000.750.500.250.003.5 4.0 4.5 5.0
в РА Пол | | ж | | м
Рисунок 11. Плотность распределения ОРЛ по полу21
При этом полученная за защиту ВКР оценка оказывается статистически от пола защищающегося (см. табл. 8).
Таблица сопряженности для пола и оценки за защиту ВКР22
Пол
Оценка Всего
М Ж
Отлично 76 73 43 46 119 119
Хорошо 56 54 32 34 88 88
Удовлетворительно 21 25 20 16 41 41
Неудовлетворительно 3 5 5 3 8 8
Всего 156 100 256
156 100 256
X2=4.171 • ^^=3 • Сгатег^ V=0.128 • Fisher'sр=0.270
21 Источник: расчеты авторов.
22 На пересечении строки и столбца находится число индивидов с соответствующими признаками. Серо-голубым цветом указано число индивидов, которое наблюдалось бы при полной независимости признаков. Источник: расчеты авторов.
независимой
Таблица 8
Отсутствует связь и между полом и полученными баллами - при добавлении ОРЛ в качестве контрольной переменной коэффициент перед бинарной переменной, отвечающей за мужской пол, становится незначимым (см. табл. 9).
Таблица 9
Регрессии для определения связи баллов за защиту ВКР и пола23
Баллы за защиту ВКР
Модель 4 Модель 5 Модель 6 Модель 7 Модель 8
Константа 7.356*** 7.685*** 9 239*** 2.635** 2.617**
(0.141) (0.197) (0.294) (1.302) (1.305)
Пол [М] -0.279 -0.439* -0.499* -0.214 -0.274
(0.246) (0.253) (0.254) (0.251) (0.248)
Комиссия [4] -1.019*** -1.018*** -0.922*** -0.905***
(0.313) (0.298) (0.286) (0.276)
Комиссия [5] 0.201 0.097 0.069 0.032
(0.256) (0.267) (0.247) (0.237)
Комиссия [6] -0.379 -0.570 -0.576* -0.773**
(0.385) (0.362) (0.339) (0.315)
ОРЛ 1.401*** (0.268) 1 249*** (0.273)
Эконометрические модели в презентации [1] 0.799*** (0.234)
Число наблюдений 203 203 203 203 203
Я2 0.007 0.093 0.278 0.378 0.421
Номер группы Нет Нет Да Да Да
* р < 0.1, ** р < 0.05, *** p < 0.01
11. Переменные, оказывающие наибольшее влияние на баллы и оценку
Построение регрессионного дерева (см. рис. 12) указывает на то, что наиболее важными (с точки зрения предсказания баллов за защиту ВКР) факторами оказываются значение ОРЛ и наличие эконометрических моделей в презентации24. Так, студенты в среднем получают 7,8 баллов за защиту, если отвечают следующим критериям: 1) у них имеются эконометрические модели в презентации; 2) ОРЛ от 3,8 до 4,4; 3) они не принадлежат к академическим группам 7 и 12 (группы второго потока).
23 Источник: расчеты авторов.
24 Критерии прекращения деления узлов дерева: минимальное число наблюдений в узле до разбиения = минимальное число элементов в получившемся узле после разделения = 3; complexity parameter = 0,01.
Экононетрнчвские модели в презентации - О
Экононетрические модели в презентации - О
Институциональная экономика < 4
Номер группы = 3,5,9
БРА < 4.7 Номер группы = 2,3,8,9,10,11,12
1.4.5,6,7
р группы = 7,12
1,2,3,4,5,6,8.9,10,11
Рисунок 12. Регрессионное дерево для среднего балла за защиту ВКР25
Схожие результаты можно увидеть при построении дерева классификации (см. рис. 13). Заметим, что переменная «номер академической группы» не используется на первых этапах разбиения.
Эконометрииеские модели в презентации = 1
Комиссия = 3,5
4,6
Номер группы = 2,3/7,11
4,5,6,8,9,10,12
И:Д|1 И
Рисунок 13. Дерево классификации для оценки за защиту ВКР2
25 Очередность разделения показывает, какие переменные вносят наибольший вклад в сокращение суммы квадратов отклонения от среднего внутри узлов. Источник: расчеты авторов.
26 Источник: расчеты авторов.
Метод случайного леса (Random forest) использует большое количество деревьев для задачи регрессии. Каждое отдельное дерево дает невысокое качество прогноза, но из-за большого количества их использования результат становится более надежным. Подход с использованием случайного леса позволяет ранжировать переменные по степени их важности для предсказания зависимой переменной. Наиболее важным для предсказания баллов за защиту ВКР оказывается значение GPA, номер академической группы, наличие эконометрики в презентации (см. рис. 14).
80-
л
I-
о
I-1-1 5 т
I
<и X <и 5 т
20-
Рисунок 14. Влиятельные переменные для полученных баллов за защиту ВКР27
«Отлично» является наивысшей оценкой при защите ВКР. Моделирование вероятности получения «отлично» с использованием логистической регрессии позволяет сделать вывод (см. табл. 10), что номер комиссии оказывает значимое влияние только на 10% уровне значимости, ОРЛ и наличие эконометрических моделей в презентации влияют положительно, что согласуется с результатом рис. 13.
Таблица 10
Отношения шансов, оцененные при помощи логистической регрессии. Зависимая переменная: бинарная переменная, равная единице при получении оценки «отлично» и нулю
оо
в противном случае28
• <
(н омер группы ] gpa]
[Эконометрические модели в презентации ]
(Комиссия]
| Пол |
•
Т-1-г
0.1 0.2 0.3
Изменение MSE
Модель 9
Константа 0.005**
_[0.00003,0.675]
Комиссия [4] 0.384* _[0.140, 1.017]
27 Источник: расчеты авторов.
28 Зависимая переменная принимает значение равное 1, если получена оценка «отлично», и 0 - в противном случае. Под оценками приведены 95% доверительные интервалы. Источник: расчеты авторов.
Комиссия [5] 1.061
[0.410, 2.761]
Комиссия [6] 0.333*
[0.097, 1.087]
GPA 5.468***
[2.188, 14.592]
Эконометрические модели 4.125***
в презентации [1]
[1.953, 9.024]
Пол [М] 0.713
[0.316, 1.586]
Число наблюдений 203
Номер группы Да
R2 McFadden 0.296
AUC ROC 0.847
*p<0.1; **p<0.05; ***p<0.01
В табл. 10 приведены изменения отношения шансов (odds ratio), возникающие при изменении значения регрессора на единицу, формула (1):
Р(Оценка за защиту ВКР = «Отлично»)
Odds ratio = ^^-zrrr::-----(1)
Р(Оценка за защиту ВКР ф «Отлично»)
Вероятность получения «отлично», деленная на вероятность получения иной оценки, в комиссии 4 на 61,6% меньше, чем в комиссии 3 (оценка значима на уровне значимости в 10%). Отношение шансов в комиссии 6 на 66,7% меньше, чем в комиссии 3 (оценка значима на уровне значимости в 10%). Увеличение GPA на единицу увеличивает отношение шансов в 5,468 раз.
12. Наличие эконометрических моделей в презентации
Общее количество людей, использовавших эконометрику в презентации ВКР: 119 из 22429. При этом обнаруживается статистически значимая связь между оценками за защиту и наличием эконометрических моделей в презентации: работ с оценкой «отлично» существенно больше, а работ, получивших «хорошо», существенно меньше при наличии эконометрических моделей, чем должно было быть в случае статистической независимости (см. табл. 11). Стоит отметить, что исследование, проведенное на экономическом факультете МГУ имени
29 Данные о наличии эконометрических моделей в презентации сформированы на основании выложенных в открытом доступе презентаций к защите. Не все студенты выкладывали свои презентации, а потому количество наблюдений по этой переменной оказалось меньше 256.
М.В. Ломоносова в 2021 г., показало, что 66% защищенных на «отлично» работ содержали регрессионный анализ (Марков и др., 2022).
Таблица 11
Связь между полученной за защиту ВКР оценкой и наличием эконометрических моделей в
презентации
30
Эконометрические модели в презентации Отлично Хорошо Оценка Удовлетворительно Неудовлетворительно Всего
29 48 25 3 105
52 35 15 2 105
83 26 8 2 119
60 39 18 3 119
112 74 33 5 224
112 74 33 5 224
X2=40.818 • df=3 • Cramer's V=0.427 • Fisher'sp=0.000
В более чем половину работ, защищавшихся в комиссиях 5 и 6, были включены эконометрические модели (см. рис. 15).
1.00-
0.75-
0.50-
0.25-
0.00-
экм
Да Нет
3 4 5 6
Комиссия
Рисунок 15. Распределение работ с использованием эконометрических моделей по комиссиям31
При увеличении полученного за защиту балла увеличивается и доля работ с эконометрическими моделями. Все работы, получившие высший балл, использовали эконометрические модели (см. рис. 16).
30 На пересечении строки и столбца находится число индивидов с соответствующими признаками. Серо-голубым указано число индивидов, которое наблюдалось бы при полной независимости признаков. Источник: расчеты авторов.
31 Источник: расчеты авторов.
1.00-
0.75-
0.50-
ЭКМ
Да Нет
0.25-
0.00-
1.00-
23456789 10
0.75-
0.50-
ЭКМ
В
Да Нет
0.25-
0.00-
Отлично Хорошо Удовл Неуд
Рисунок 16. Доля работ с эконометрическими моделями в зависимости от баллов и оценок за защиту ВКР32
Наиболее часто эконометрические модели встречаются в работах студентов из академических групп 1, 2, 5 (см. рис. 17).
1.00-
0.75-
0.50-
0.25- -
0.00- -II-II--------II- -
-1-1-1-1-1-1-1-1-1-1-1-1—
123456789 10 11 12
Номер группы
Рисунок 17. Доля работ с эконометрикой по академическим группам33
Наблюдающиеся закономерности позволяют предположить, что отсутствие статистических методов в работе снижает ее ценность в глазах членов комиссии при прочих равных.
13. Поиск наилучшей прокси-переменной для способностей
В большинстве моделей мы использовали ОРЛ как прокси для способностей студента, а также его вовлеченности в учебный процесс. Среди имеющихся у нас переменных в качестве прокси могут быть использованы: баллы по институциональной экономике, ОРЛ, вступительные баллы. Использование баллов по курсу «Эконометрика-1» приводит к потере четверти выборки, а потому данная переменная не используется.
Нами были построены линейные регрессии, где зависимой переменной является количество баллов за защиту ВКР, а в качестве регрессоров используются различные комбинации из трех переменных. Модели ранжированы по исправленному коэффициенту детерминации. Наличие «звезды» указывает на использование переменной в модели (см. табл. 12).
Таблица 12
Различие в скорректированном коэффициенте детерминации при включении в модель
34
разных регрессоров34
Я2 скорректированный Институциональная экономика ОРЛ Баллы при поступлении
0.23 * * *
0.21 * *
0.21 * *
0.20 * *
ЭКМ
Пда □ Нет
Я2 скорректированный Институциональная экономика Орд Баллы при поступлении
0.18 *
0.17 *
0.09
*
Комментарий к графику: по вертикальной оси - значение исправленного коэффициента детерминации.
Использование переменной ОРЛ демонстрирует = 0,18, а включение всех трех переменных несколько повышает качество модели: = 0,23. Из построенных моделей видно, что включение дополнительных переменных не существенно увеличивает прогностическую силу модели и позволяет предположить, что все переменные отражают одну и ту же информацию о студенте.
Учитывая, что переменные имеют высокую корреляцию между собой, мы можем представить индекс вовлеченности в учебу как линейную комбинацию стандартизированных переменных с использованием метода главных компонент (см. рис. 18).
Рисунок 18. Единичная корреляционная окружность, построенная с использованием метода главных
35
компонент35
Первая главная компонента позволяет объяснить 61,21% информации, содержащейся в переменных. Она положительно коррелирует со всеми рассматриваемыми переменными и может быть интерпретирована как показатель способностей и вовлеченности студентов в образовательный процесс. Вторая главная компонента объясняет 25,7% всех данных и демонстрирует противоречие между высокими баллами при поступлении и образовательными
35 Косинус угла между стрелками показывает корреляцию переменных между собой, а длина стрелки указывает, насколько «хорошо» переменная проецируется в подпространство, построенное на двух главных компонентах. Координаты каждого вектора отражают корреляцию с нормированными главными компонентами. Источник: расчеты авторов
результатами. Учитывая относительно невысокие корреляции с ОРЛ и баллами по предмету «Институциональная экономика», это противоречие не является острым.
В матрице нагрузок (см. табл. 13) приведены значения корреляций рассматриваемых переменных и первых трех главных компонент.
Таблица 13
Матрица нагрузок36
Б1ш. 1 Б1ш. 2 Б1ш. 3
Институциональная экономика 0.83 -0.37 0.42
вРЛ 0.86 -0.21 -0.46
Баллы при поступлении 0.63 0.77 0.07
Мы построили парную регрессию, где в качестве регрессора использовалась первая главная компонента, являющаяся линейной комбинацией трех других переменных (см. табл. 14). Нами была использована формула (2) (по результатам применения метода главных компонент; все переменные в формуле стандартизированы):
Первая компонента = 0,61 * Институциональная экономика + 0,64 * GPA +
0,47 * Баллы при поступлении (2)
Таблица 14
Регрессия с баллами за диплом в качестве зависимой переменной и первой главной
37
компонентой в качестве регрессора
Модель с первой
главной компонентой
Константа 7.147***
(0.100)
Первая компонента 0.610***
(0.074)
Число наблюдений 214
Д2 0.244
*р<0.1; **р<0.05; ***р<0.01
Таким образом, при помощи введенного индекса удается объяснить больше вариации зависимой переменной, чем с использованием всех трех переменных, с точки зрения исправленного й2. Для проверки устойчивости результатов нами была построена общая
36 По столбцам таблицы находятся корреляции с нормированными главными компонентами. Источник: расчеты авторов
37 В таблице приведен исправленный коэффициент детерминации. Источник: расчеты авторов.
модель и проведено ее сравнение с моделью, где в качестве прокси-переменной способностей используется переменная ОРЛ (см. табл. 15).
Таблица 15
Линейные модели для зависимой переменной «Баллы за защиту ВКР»38
Модель с компонентой Модель с GPA
Константа 7 697*** 2.810**
(0.373) (1.353)
Первая компонента 0.432*** (0.098)
Эконометрические модели в презентации [1] 0 779*** (0.250) 0.863*** (0.249)
Пол [М] -0.226 -0.218
(0.245) (0.256)
Комиссия [4] -0.953*** -0.898***
(0.276) (0.286)
Комиссия [5] 0.089 0.140
(0.249) (0.242)
Комиссия [6] -0.964*** -0.830**
(0.323) (0.330)
Номер группы [2] -0.192 -0.189
(0.409) (0.424)
Номер группы [3] -0.607 -0.609
(0.439) (0.461)
Номер группы [4] -0.450 -0.523
(0.451) (0.441)
Номер группы [5] -0.189 -0.286
(0.339) (0.334)
Номер группы [6] -0.680* -0.845**
(0.376) (0.399)
Номер группы [7] -0.618 -0.777
(0.531) (0.510)
Номер группы [8] -0.664 -0.864**
(0.448) (0.404)
Номер группы [9] -0.493 -0.588
(0.420) (0.435)
Номер группы [10] -0.267 -0.600
(0.605) (0.620)
Модель с компонентой Модель с GPA
Номер группы [11] -0.293 -0.661
(0.655) (0.602)
Номер группы [12] -1.108** -1.579***
(0.554) (0.522)
ОРЛ 1 178*** (0.287)
Число наблюдений 190 190
Д2 0.435 0.426
* р < 0.1, ** р < 0.05, *** р < 0.01
Модели с использованием главной компоненты и ОРЛ дают схожие результаты. Только коэффициент перед бинарной переменной, отвечающей за принадлежность студента к 8-й группе, оказывается незначимым, все прочие выводы сохраняются, что говорит об устойчивости полученных результатов.
Заключение
По результатам анализа мы можем указать на несколько потенциальных источников разброса результатов защит: со стороны комиссии и даты защиты. Даже с учетом контрольных переменных разница между средними баллами в комиссиях составила 0,867 балла. При этом мы не обладаем достаточным объемом информации, чтобы отделить эффект темы комиссии от влияния особенностей ее состава (можно предположить, что некоторые комиссии оценивают более строго, чем другие). Несмотря на то, что визуальный анализ обнаруживает различия между средними баллами между днями защит, статистически этот эффект не значим. Это объясняется высокой дисперсией оценок внутри каждого дня и относительно малым числом защищающихся в один день.
Академические группы тоже демонстрируют неоднородность: некоторые группы (1, 2, 5) значимо отличаются от других как по среднему баллу за все время обучения, так и по среднему баллу по результатам защит. В группах 1 и 5 высокая доля участников склоняется к выбору одной кафедры, однако этот эффект не наблюдается для группы 3. Кроме этого, не объясняется значимое отличие среднего значения ОРЛ в этих группах от остальной выборки. Можно предположить наличие взаимного воздействия учащихся друг на друга внутри групп.
Оценки юношей в среднем всегда ниже, чем у девушек, однако при добавлении контрольной переменной ОРЛ это различие перестает быть значимым. При этом девушки относительно однородны с точки зрения ОРЛ, а распределение юношей по этому параметру демонстрирует два пика, что позволяет предположить наличие двух стратегий во время обучения: «сдать сессию независимо от оценки», «получить максимально возможную оценку». Если наша интерпретация верна, в будущих исследованиях было бы интересно посмотреть, на каком этапе обучения эти стратегии формируются.
Наиболее важными переменными, предсказывающими средний балл за защиту, являются ОРЛ и наличие эконометрических моделей в презентации (что мы рассматриваем как прокси-переменную наличия эконометрического инструментария в работе). Наличие эконометрических моделей увеличивает средний балл за защиту на 0,799 с учетом контрольных переменных. При этом доля работ с эконометрическими моделями возрастает при увеличении полученного балла. Мы интерпретируем это как общий сдвиг в представлениях о том, как должна выглядеть исследовательская работа.
Наблюдается высокая значимая корреляция между баллами при поступлении, ОРЛ и средними баллами за защиту, баллами по предмету «Институциональная экономика». Переход от трех регрессоров к индексу позволяет увеличить предсказательную способность моделей, однако значимость основных переменных не меняется.
В качестве направления дальнейшего исследования было бы интересно посмотреть на эффект воздействия выбора кафедры и научного руководителя. Это осложняется несколькими факторами: 1) во-первых, как кафедры, так и научные руководители, демонстрирующие высокие результаты (доля «отлично» среди всех студентов) привлекают студентов с высокими значениями ОРЛ, что зачастую делает их вклад в результат статистически не значимым (больше 10 баллов из 10 получить невозможно); 2) во-вторых, количество студентов у одного научного руководителя не велико, что затрудняет сравнение со средним по выборке. Сбор данных по результатам защит за несколько лет и использование мэтчинга могут частично ослабить эти проблемы.
Ограничения исследования
Отсутствие доступа к некоторой важной информации приводит к невозможности ответить на отдельные важные вопросы. Так, отсутствие доступа к полным текстам ВКР не позволяет исследовать глубину обзора существующих исследований, актуальность и обширность списка используемой литературы, качество интерпретации полученных при математическом моделировании выводов. Интересным представляется исследование траектории, по которой движется студент: какие предметы были им выбраны в процессе обучения и как это влияет на выбор исследуемого предмета, используемый инструментарий? Как выбор научного руководителя на младших курсах связан с выбором научного руководителя и кафедры на 4 курсе? Отдельным вопросом является исследование влияние отзывов и оценок рецензентов на получаемую при защите оценку - эти данные в открытом доступе тоже отсутствуют.
Список литературы
Иванова М.М., Волков П.Ю., Бобров А.Д. Анализ типичных ошибок выпускных квалификационных работ и пути их предотвращения // Проблемы современного педагогического образования. 2022. №75 (3). С. 170-173.
Марков А.Р., Павлова Н.С., Калмыкова Н.М., Шахова М.С., Кузин Д.В., Никишина Е.Н., Мерекина Е.В., Маркова О.А., Филиппова И.Н. Новые данные о качестве и форматах ВКР на экономическом факультете МГУ // Вест. Моск. ун-та. Сер. 6. Экономика. 2022. № 2. С. 222-247. DOI: 10.38050/013001052022211.
Ferreira M. Gender issues related to graduate student attrition in two science departments // International Journal of Science Education. 2003. № 25 (8). P. 969-989. DOI: 10.1080/09500690305026.
Pascarella E.T., Terenzini P.T. Predicting voluntary freshman year persistence/withdrawal behavior in a residential university: a path analytic validation of Tinto's model // Journal of Educational Psychology. 1983. № 75 (2). P. 215-226. DOI: 10.1037/0022-0663.75.2.215.
Sariyanto I.S., Syarif H. An analysis on factors causing undergraduate students' difficulties in writing thesis // English Education Study Program of Language and Arts Education Department FKIP UNTAN, Pontianak. 2015. Vol. 4 (3). DOI: 10.26418/jppk.v4i3.9226.
Seth G. A Guide for Student-led Undergraduate Research in Empirical MicroEconomics // Journal of Economics Teaching. 2021. Vol. 5 (3). P. 83-115.
Shao H.M., Mo B., Li Z.-b. Analysis of Factors Influencing the Quality of Economics and Management Undergraduate Graduation Thesis Based on Structural Equation: Taking the universities in Yunnan Province as an example // International Conference on Artificial Intelligence and Education (ICAIE). 2020. P. 506-508. DOI: 10.1109/ICAIE50891.2020.00122.
Thune T., Kyvik S., Sorlin S., Olsen T.B., Vab0 A., T0mte C. PhD education in a knowledge society: An evaluation of PhD education in Norway. Nordic Institute for Studies in Innovation, Research and Education (NIFU). Oslo, 2012. 138 p.
Tuononen T., Parpala A. The role of academic competences and learning processes in predicting Bachelor's and Master's thesis grades // Studies in Educational Evaluation. 2021. № 70. 101001. DOI: 10.1016/J.STUEDUC.2021.101001.
Wright T., Cochrane R. Factors Influencing Successful Submission of PhD Theses // Studies in Higher Education. 2000. № 25 (2). P. 181-195. DOI: 10.1080/713696139.
Положение о ВКР ЭФ МГУ: URL:
https://www.econ.msu.ru/sys/raw.php?o=63865&p=attachment (дата обращения: 17.09.2022).
Приложения
Таблица 16
Критерии выставления баллов за защиту ВКР39
Количество баллов Описание выставления
Оценка «отлично»40
10 баллов Работа, содержащая научную новизну, очевидное и значимое приращение научного знания, и потенциально публикуемая в реферируемом журнале (после редактирования/уточнения результатов)
9 баллов Отличная работа, содержащая элементы научной новизны и некоторое приращение научного знания, ограниченное в силу специфичности проблемы, одного или нескольких недочетов, не критичных с точки зрения аргументации или методологии, или не более чем одной не критичной ошибки, которые не обесценивают основных результатов и исправление которых не элементарно для студентов бакалавриата
8 баллов Очень хорошая работа, показывающая способность автора ставить и решать исследовательские задачи, соотносить свои результаты с другими результатами, отраженными в современной научной литературе, использующая адекватные исследовательские методы для уровня бакалавриата экономического факультета МГУ и/или более сложные методы. В работе могут встречаться некоторые не критичные с точки зрения результатов недостатки в аргументации или методологии. Так же могут быть оценены аккуратно выполненные работы, воспроизводящие методологию ранее опубликованных работ, если они расширяют сферу применения их аналитических методов, и/или проливают дополнительный свет на природу и причины исследуемых явлений
Оценка «хорошо»
7 баллов Хорошая работа, демонстрирующая способность студента проводить экономический анализ, знание современной экономической литературы, навыки владения инструментарием современной экономической науки на уровне требований учебной программы бакалавриата экономического факультета, при этом содержащая заметные содержательные ошибки в описании теории или использовании эмпирических методов, которые не позволяют воспринимать результаты как полностью корректные и аргументированные
6 баллов Достаточно хорошая работа, показывающая владение студентом методами экономического анализа, научной литературой, аналитическим инструментарием на уровне требований учебной программы бакалавриата экономического факультета, однако содержащая явные содержательные недочеты. Так же могут быть оценены попытки провести оригинальное исследование и/или использовать оригинальные данные, которые были
39 Источник: составлено авторами на основании положения о ВКР ЭФ МГУ от 27.12.2019.
40 «Работы, содержащие даже незначительные нарушения академической этики, не могут получить оценку "отлично"».
Количество баллов Описание выставления
сделаны с существенными недочетами или пробелами, обесценивающими заявленные результаты
Оценка «удовлетворительно»41
5 баллов Работа, показывающая знакомство студента с принципами экономического анализа, литературой и исследовательскими методами на уровне требований базовой учебной программы экономического факультета, однако содержащая серьезные ошибки, свидетельствующие о пробелах в знании автора релевантной научной литературы или критически важных фактов по выбранной теме, и/или ошибочная с точки зрения исследовательской методологии и стратегии
4 балла Приемлемая работа, показывающая понимание студентом принципов экономического анализа, знакомство с отдельными работами в области экономических наук и исследовательскими методами на уровне бакалавриата экономического факультета, примененные таким образом, что они не могут привести к научно или практически значимым выводам
3 балла Работа, не демонстрирующая четкого понимания студентом принципов и методов экономического анализа, и/или содержащая фундаментальные ошибки с точки зрения аргументации результатов
1-2 балла Работа, содержащая значительные нарушения академической этики
Таблица 17
Количество защищающихся студентов по дням и по комиссиям42
3 комиссия 4 комиссия 5 комиссия 6 комиссия
16 мая 9 10 8 -
17 мая - 9 - 8
18 мая 10 9 9 -
19 мая 10 10 10 9
20 мая 10 - 10 8
21 мая — 6 10 -
23 мая 10 10 - 9
24 мая — 10 10 -
25 мая 9 - 10 -
26 мая 10 9 - -
27 мая 10 - - 8
Комментарий: «-» означает, что комиссия не осуществляла деятельность в этот день.
41 «Работа реферативного содержания не может рассчитывать на оценку выше чем "удовлетворительно", даже в случае наличия самостоятельных суждений и критических оценок».
42 Источник: расчеты авторов.
DOI: 10.38050/2078-3809-2023-15-1-126-163
Education: Scientific and Methodological Issues
ANALYSIS OF 'GRADUATION QUALIFICATION WORK' DEFENSE AT THE FACULTY OF ECONOMICS OF LOMONOSOV MOSCOW STATE UNIVERSITY
Ashot G. Mirzoyan
Assistant
Lomonosov Moscow State University, Faculty of Economics
(Moscow, Russia)
Polina O. Shchukina
Bachelor of Economics Lomonosov Moscow State University, Faculty of Economics
(Moscow, Russia)
Abstract
In Russian universities the graduation qualification work (GQW) is the final step for acquiring a bachelor's degree. Doing the research work a student may face a few problems, starting from insufficient communication with the supervisor and ending with the lack of relevant data for the study. The quality of the research work and further performance and defense of it can be affected by both the internal psychological characteristics of a student and academic abilities. This article includes quantitative analysis of GQW defense at the Faculty of Economics (bachelor program - Economics) of Lomonosov Moscow State University. Authors mention a list of contradictions arising during the GQW defense procedure. The main factors for determining the student's score are identified and a proxy variable of abilities explaining the largest share of the spread of points is compiled to collect information.
Keywords: graduation qualification work, education, econometrics. JEL: I23, A20.
For citation: Mirzoyan, A.G., Shchukina, P.O. (2023) Analysis of 'Graduation Qualification Work' Defense at the Faculty of Economics of Lomonosov Moscow State University". Scientific Research of Faculty of Economics. Electronic Journal, vol. 15, no. 1, pp. 126-163. DOI: 10.38050/2078-38092023-15-1-126-163
References
Ivanova M.M., Volkov P.Yu., Bobrov A.D. Analiz tipichnykh oshibok vypusknykh kvalifikatsionnykh rabot i puti ikh predotvrashcheniya. Problemy sovremennogo pedagogicheskogo obrazovaniya. 2022. No.75 (3). P. 170-173. (In Russ.).
Markov A.R., Pavlova N.S., Kalmykova N.M., Shakhova M.S., Kuzin D.V., Nikishina E.N., Merekina E.V., Markova O.A., Filippova I.N. Novye dannye o kachestve i formatakh VKR na ekonomicheskom fakul'tete MGU. Vestnik Moskovskogo universiteta. Seriya 6. Ekonomika. 2022. No. 2. P. 222-247. DOI: 10.38050/013001052022211. (In Russ.).
Ferreira M. Gender issues related to graduate student attrition in two science departments. International Journal of Science Education. 2003. No. 25 (8). P. 969-989. DOI: 10.1080/09500690305026.
Pascarella E.T., Terenzini P.T. Predicting voluntary freshman year persistence/withdrawal behavior in a residential university: a path analytic validation of Tinto's model. Journal of Educational Psychology. 1983. No. 75 (2). P. 215-226. DOI: 10.1037/0022-0663.75.2.215.
Sariyanto I.S., Syarif H. An analysis on factors causing undergraduate students' difficulties in writing thesis. English Education Study Program of Language and Arts Education Department FKIP UNTAN, Pontianak. 2015. Vol. 4 (3). DOI: 10.26418/jppk.v4i3.9226.
Seth G. A Guide for Student-led Undergraduate Research in Empirical MicroEconomics. Journal of Economics Teaching. 2021. Vol. 5 (3). P. 83-115.
Shao H.M., Mo B., Li Z.-b. Analysis of Factors Influencing the Quality of Economics and Management Undergraduate Graduation Thesis Based on Structural Equation: Taking the universities in Yunnan Province as an example. International Conference on Artificial Intelligence and Education (ICAIE). 2020. P. 506-508. DOI: 10.1109/ICAIE50891.2020.00122.
Thune T., Kyvik S., Sorlin S., Olsen T.B., Vab0 A., T0mte C. PhD education in a knowledge society: An evaluation of PhD education in Norway. Nordic Institute for Studies in Innovation, Research and Education (NIFU). Oslo, 2012. 138 p.
Tuononen T., Parpala A. The role of academic competences and learning processes in predicting Bachelor's and Master's thesis grades. Studies in Educational Evaluation. 2021. № 70. 101001. DOI: 10.1016/J.STUEDUC.2021.101001.
Wright T., Cochrane R. Factors Influencing Successful Submission of PhD Theses. Studies in Higher Education. 2000. № 25 (2). P. 181-195. DOI: 10.1080/713696139.
Polozhenie o VKR EF MGU: Available at:
https://www.econ.msu.ru/sys/raw.php?o=63865&p=attachment (accessed: 17.09.2022). (In Russ.).
