CC BY
5
НОВЫЕ ДАННЫЕ О КАЧЕСТВЕ И ФОРМАТАХ ВКР
НА ЭКОНОМИЧЕСКОМ ФАКУЛЬТЕТЕ МГУ
Статья представляет собой первую публикацию из серии, в которой будут отражены исследовательские результаты проекта Учебно-методической комиссии ЭФ МГУ «Диагностика качества ВКР бакалавриата ЭФ МГУ».
Авторы провели общую оценку качества и разработали типологию основных форматов выпускных квалификационных работ в бакалавриате Экономического факультета МГУ. Анализ качества использует специально разработанную методологию, построенную на принципах позитивной экономической теории. Ее применение позволило показать объективные характеристики массива выпускных работ по таким параметрам, как качество аналитического обзора литературы, постановка исследовательского вопроса, применение методов исследования и содержательная интерпретация результатов. Предложены меры по усилению аналитического фокуса ВКР, включая подготовку обоснования темы, чтение курсов по выбору по методам экономических исследований и организация научных семинаров для студентов бакалавриата.
В статье представлена типология форматов работ, которые готовятся по направлению Экономика и Менеджмент. Позитивный анализ позволил выделить шесть основных форматов ВКР, которые могут быть сведены к трем укрупненным: академическому, проектно-исследовательскому и проектному. Сравнительный анализ форматов ВКР по направлениям Экономика и Менеджмент позволил сделать вывод о возможности сохранения общих критериев оценивания и принципов подготовки ВКР для различных направлений подготовки. Сделан также вывод о применимости разнообразных аналитических методов для получения исследовательского результата.
Ключевые слова: выпускные квалификационные работы по экономике и менеджменту; цели и задачи исследовательских работ; количественные методы экономических исследований.
Цитировать статью: Марков, А. Р., Павлова, Н. С., Калмыкова, Н. М., Шахова, М. С., Кузин, Д. В., Никишина, Е. Н., Мерекина, Е. В., Маркова, О. А., & Филиппова, И. Н. (2022). Новые данные о качестве и форматах ВКР на экономическом факультете МГУ. Вестник Московского университета. Серия 6. Экономика, (2), 222-247. https://doi.org/10.38050/013001052022211.
A. R. Markov
Lomonosov Moscow State University (Moscow, Russia) N. S. Pavlova
Lomonosov Moscow State University (Moscow, Russia)
N. M. Kalmykova
Lomonosov Moscow State University (Moscow, Russia)
M. S. Shakhova
Lomonosov Moscow State University (Moscow, Russia)
D. V. Kuzin
Lomonosov Moscow State University (Moscow, Russia)
E. N. Nikishina
Lomonosov Moscow State University (Moscow, Russia) E. V. Merekina
Lomonosov Moscow State University (Moscow, Russia)
0. A. Markova
Lomonosov Moscow State University / RANEPA (Moscow, Russia)
1. N. Filippova
Lomonosov Moscow State University (Moscow, Russia) JEL: A22
NEW FACTS ON ACADEMIC QUALITY AND FORMATS OF ECONOMIC FACULTY FINAL PAPERS
This is the first publication in a series of the three papers that present the research findings of the diagnostic project on the quality of Bachelors' final papers initiated by the Faculty of Economics Pedagogical committee in 2021. We present the findings of academic quality analysis and the typology of the main formats of Bachelors' final papers. The research is based on a methodology that is specially developed along the lines of positive economics approach. Its application allows us to demonstrate the qualitative features of the body of final papers prepared by our graduates which include inter alia quality of literature review, research statement, tools of analysis and interpretation of findings. We offer the steps for further strengthening the analytical quality of final papers, including early submission of research hypothesis, elective courses on the methods of academic research and research seminars for undergraduates. We also present a typology offormats for final papers covering Economics and Management streams of study. Based on our positive analysis, we have identified six primary formats of Bachelors'final papers, which can be combined into three more general categories: academic, project and research, and applied project formats. A comparative analysis offormats in economics and management papers confirms the applicability of common criteria for evaluating and grading the papers, alongside common guidelines for final paper preparation. The study proves the viability of diverse analytical methods while preparing final papers in both streams of study.
Keywords: Bachelors' final papers, Economics and Management; research aims and objectives; quantitative methods in economic research.
To cite this document: Markov, A. R., Pavlova, N. S., Kalmykova, N. M., Shakhova, M. S., Kuzin, D. V., Nikishina, E. N., Merekina, E. V., Markova, O. A., & Filippova, I. N. (2022). New facts on academic quality and formats of Economic Faculty Final Papers. Moscow University Economic Bulletin, (2), 222-247. https://doi.org/10.38050/013001052022211.
Введение
Подготовка и защита выпускных квалификационных работ (далее — ВКР) представляют собой важный элемент подготовки студентов-бакалавров. С одной стороны, сама защита — это аттестация и оценка полученных знаний и компетенций по выбранному направлению подготовки. С другой стороны, во время написания ВКР продолжается формирование знаний и компетенций будущего выпускника, с фокусом на проведение исследовательской работы.
Работа экономического факультета по подготовке и защите ВКР организуется в соответствии с Положением о защите выпускных квалификационных работах на программе бакалавра экономического факультета МГУ (далее — Положение о ВКР)1, которое было утверждено в декабре 2019 г. после проведения серьезной аналитической работы, обсуждений на Педагогических чтениях и Ученом совете. В центре этих обсуждений были вопросы оценивания ВКР, соблюдения стандартов академической этики, порядка и процедуры формирования комиссий по защитам ВКР. По итогам этой работы сформировалась практика централизованного формирования межкафедральных экзаменационных комиссий, изменились показатели дифференциации итоговых оценок ВКР.
Ежегодно на факультете защищается до 350 выпускных работ по направлениям «Экономика» и «Менеджмент». В 2021 г. на экономическом факультете были подготовлены 362 ВКР (355 из них были защищены). Защита работ осуществлялась на 6 экзаменационных комиссиях; из 112 членов комиссий примерно половина (57 человек) были приглашенными специалистами, не являвшимися сотрудниками факультета. К рецензированию были привлечены 296 преподавателей, научных сотрудников и аспирантов. Распределение оценок на направлениях «Экономика» и «Менеджмент» представлено на рис. 1.
1 https://www.econ.msu.ru/sys/raw.php?o=62780&p=attachment
46,02%, ^ 52 работы
39,82%, ^ 45 работ
12,39%, 14 работ
1,77%, 2 работы
■ Неудовлетворительно «Удовлетворительно «Хорошо Отлично
Рис. 1. Распределение работ, защищенных в 2021 г., по оценкам (доля в общем числе работ направления и число работ) Источник: составлено авторами
Мотивация и цель исследования
В 2021 г. Ученый совет факультета поручил Учебно-методической комиссии (далее — УМК) проанализировать состояние дел в области подготовки и защиты ВКР в бакалавриате. Была сформирована рабочая группа УМК, которая в июле 2021 г. определила направления работы, масштабы и методологию проведения исследования1. Экспертная группа рассматривала два блока вопросов. Во-первых, это оценка того, что представляют собой современные ВКР на ЭФ, и в какой степени защищаемые работы соответствуют общему требованию к ВКР как к «самостоятельному научному исследованию» (формулировка Положения о ВКР). В этом контексте была проанализирована типология защищаемых работ, вопросы выбора тем ВКР, формы работы кафедр и научных руководителей с дипломниками. Во-вторых, в рамках проекта рассматривался широкий перечень вопросов организации, рецензирования и защиты ВКР, а также их оценивания.
Оценка качественных параметров совокупности аналитических работ представляет собой сложную исследовательскую задачу. В данной статье будет дано общее описание выработанной методологии, на основе которой проводилась диагностика, и приведены основные выводы из анализа качества и уровня выпускных работ. Смежная проблема типологии за-
1 Авторы благодарят участников экспертной группы д.э.н. Ф. С. Картаева и К. Ю. Ти-мербулатову за помощь в анализе ВКР по макроэкономике.
щищаемых работ по направлениям «Экономика» и «Менеджмент» будет также освещена в данной статье
Помимо результатов диагностики, мы также представим некоторые предложения в области организации учебного процесса, которые должны будут помочь в дальнейшем повышении качества ВКР.
Результаты, полученные по итогам анализа подготовки и защиты работ, наряду с обсуждением тематики выпускных работ по направлению «Менеджмент», мы планируем представить в отдельных статьях.
Данная статья — не попытка создать инструкцию по написанию ВКР. Библиография работ, содержащих различные рекомендации по написанию исследовательских текстов, обширна и включает советы по подготовке дипломных исследований (Эко, 2003), диссертаций (Волков, 2017; Райзберг, 2010; Алескеров, 2013; Cochrane, 2005), в целом научных текстов (Радаев, 2011; Бут и др., 2007; Смирнов, 2015, Панарин (ред.), 2012; Zerubavel, 1999; Becker, 2007; Jalongo, Saracho, 2016, Baglione 2008) и др. Эти работы опубликованы как в академических, так и в научно-популярных источниках; они адресованы и студентам, и исследователям с большим опытом. Мы перечислили лишь некоторые работы по данной тематике, хотя их круг гораздо шире; кроме того, сами высшие учебные заведения также создают инструкции и методические документы в помощь своим студентам и сотрудникам. В ряде работ также обсуждаются количественные оценки факторов, которые вносят наибольший вклад в успешное написание ВКР бакалавра (Shao et al., 2020). В отличие от приведенной литературы задача нашей работы — не формулировать образ некоторой «идеальной» (или хотя бы достаточно хорошей) ВКР, а представить методологию диагностического анализа тех ВКР, которые студенты де-факто пишут и защищают: каковы их сильные и слабые стороны, какие типы ВКР распространены на сегодняшний день. Насколько нам известно, задача подобного позитивного анализа ВКР по направлениям «Экономика» и «Менеджмент» ранее не ставилась исследователями.
Изначально анализ был заточен на выработку рекомендаций по улучшению системы подготовки и защиты ВКР на экономическом факультете МГУ. Полученные в итоге рекомендации отражают специфику той организации, на примере которой проводился анализ, и имеют в основном прикладную ценность. Вместе с тем мы считаем, что в проекте были разработаны и апробированы инновационные подходы к анализу, которые, на наш взгляд, могут оказаться интересны более широкому кругу специалистов, и именно они находятся в фокусе данной статьи.
Общие подходы к проведению исследования
При обсуждении оценки качества ВКР экспертная группа столкнулась с необходимостью пройти несколько смысловых развилок для того, чтобы сформулировать подходы к исследованию.
1) Должен ли анализ быть нормативным или позитивным?
Здесь представлялись возможными два пути. Одним вариантом был поиск проблемных мест и выработка рекомендаций исходя из представлений о некоторой «совершенной» ВКР, точнее, о ВКР высокого уровня, к которой у профессиональных исследователей нет не только претензий, но и сомнений в корректности формулировок проблем, целей и задач; выбора методов и качества их применения; новизны и значимости результатов и т.д. Содержательный анализ массива защищаемых работ в этом случае должен был бы фокусироваться на отклонениях содержания реальных работ от искомого идеального (нормативного) образа.
Второй вариант — анализ того, как на сегодняшний день выглядит весь массив реальных работ, которые получают на защите оценку «отлично», «хорошо», «удовлетворительно». В этом случае можно выделить признаки, которые говорили бы нам о существовании проблем в системе подготовки выпускных работ или их оценивания (входили в противоречие с официальными критериями). Например, нет ли доминирования исключительно дескриптивных (реферативных) работ, которые, тем не менее, получают оценку «отлично»; нет ли наличия какого-то одного метода исследования, без которого работа не может рассчитывать на высокую положительную оценку, и т.д.
В итоге был выбран курс на позитивный анализ, основанный на принципе доверия оценкам, которые выставляют аттестационные комиссии. Эксперты исключили для себя возможность какой-либо переоценки работ, которые прошли защиту в рамках государственной итоговой аттестации (далее — ГИА), и сосредоточились на диагностической задаче: обрисовать реальную картину того, какие работы на сегодняшний день защищаются на факультете. В то же время и нормативные вопросы нашли место в проведении позитивной диагностики. В частности, оценка общего уровня качества, сильных и слабых сторон ВКР неизбежно производилась на основе некоторых нормативных принципов (образа «идеальной» выпускной работы), поскольку подразумевала в том числе выявление точек роста и для работ, которые получили оценку «отлично».
2) Обеспечивать в первую очередь «глубину» или «широту» анализа ?
Выбирая между глубоким погружением в отдельные примеры удавшихся и неудавшихся ВКР и широким анализом, позволяющим оценить всю картину ВКР бакалавриата, а также между глубокой проработкой небольшого количества вопросов и комплексной оценкой по широкому числу параметров, но без глубокого погружения в детали каждой работы, было принято решение постараться получить максимально широкую картину. В целях обеспечения широкой, комплексной оценки экспертной группой было принято решение анализировать ВКР, а также процедуру их защиты и оценивания сразу по нескольким направлениям, каждое из которых стало отдельной задачей исследования:
— общая оценка качества ВКР по отдельным направлениям (макроэкономика, микроэкономика и отраслевые рынки, финансы и т.д.), выявление типичных недостатков и сильных сторон;
— классификация моделей/форматов ВКР по направлениям «Экономика» и «Менеджмент»;
— соответствие утвержденных тем ВКР направлениям подготовки выпускников;
— оценка владения методами количественного и качественного анализа в ВКР;
— выявление лучших практик работы кафедр и научных руководителей со студентами;
— оценка качества обзоров литературы и оформления работ.
Фактически каждое из направлений потребовало реализации отдельного исследовательского проекта. Часть перечисленных задач будут обсуждаться в рамках настоящей статьи, другие найдут отражение в будущих публикациях.
3) Количественный или качественный анализ?
На экономическом факультете МГУ многократно предпринимались попытки качественного анализа ВКР, которые принесли свои плоды и на основе которых проводились реформы, сформировавшие существующую на сегодняшний день систему. Однако полномасштабный количественный анализ системы защиты ВКР до недавнего времени не проводился, в связи с чем было принято решение использовать количественный анализ как основу исследования, а качественный анализ применять в дополнение к нему.
В итоге были создано две базы для количественного исследования. Первая база формировалась несколькими экспертами, каждый из которых читал выборочно или целиком работы по своей предметной области. Эксперт заполнял вопросник, отражающий широкий набор аспектов работы, оценка каждого из которых, тем не менее, не требовала глубокого погружения. За счет этого каждый эксперт имел возможность проанализировать большее количество работ, а благодаря сравнительной простоте оценки каждого критерия удалось обеспечить объективность и сопоставимость оценок разных экспертов (подробнее о вопроснике см. ниже). Вторая база формировалась вокруг узкого набора вопросов по итогам сплошного чтения ВКР по направлениям «Экономика» и «Менеджмент» в целях выявления типичных форматов работ. Результаты этого анализа представлены в разделе 4 настоящей статьи.
Результаты, отраженные в данной статье, представляют собой первую известную нам попытку комплексного, «широкого», позитивного исследования системы защиты ВКР бакалавров по экономике и менеджменту, основанного на сочетании количественного и качественного анализа.
Общий уровень качества ВКР
Основным ориентиром в подходе к пониманию качества ВКР, которые использовала рабочая группа, были положения и критерии оценивания, сформулированные в Положении о ВКР. В Положении сделан упор на «аналитичности» ВКР, которая выражается в наличии ясно сформулированного исследовательского вопроса, логики и структуры изложения, степени обоснованности выводов и соответствия работы методологическим требованиям к исследованиям в области экономических наук. Особое значение в этом контексте имеет наличие аналитического обзора литературы, который должен продемонстрировать понимание современного состояния научного знания по изучаемому вопросу, показать, что является аналитическим основанием ВКР (на какие выводы предшествующих исследований она опирается) и в чем будет состоять приращение научного знания данного исследования. Положение о ВКР также формулирует в качестве критерия отличной работы тезис о наличии научной новизны (10-балльные работы) или ее элементов (9-балльные работы). Несмотря на то, что эти требования являются высокими, они не мешают получить студенту оценку отлично (8-балльные работы)1, но в то же время задают планку и стандарт, к которому могут стремиться наиболее сильные студенты.
Методология исследования качества ВКР
Исходной точкой работы над анализом массива ВКР было создание вопросника, на основе которого можно было бы единообразно оценить параметра качества всех рассматриваемых работ. Его содержание отражает видение ВКР как аналитического продукта, и в этом отношении носит нормативный характер. Экспертная группа уделила значительное внимание вопросам исследовательского фокуса ВКР (цель, задачи ВКР, формулировка основного исследовательского вопроса), качеству использованной литературы и наличию аналитического обзора литературы, используемым методам исследования (качественные, количественные). Несколько вопросов было посвящено использованию данных, методам сбора и способам их обработки. Отдельный блок вопросов посвящен результатам исследования и их интерпретации2.
Все работы были распределены для чтения членам экспертной группы, и по итогам прочтения была сформирована общая информационно-ана-
1 В соответствии с положением 8 баллов ставится за работы, показывающие способность автора ставить и решать исследовательские задачи, соотносить свои результаты с другими результатами, отраженными в современной научной литературе, использующие адекватные исследовательские методы для уровня бакалавриата экономического факультета МГУ и/или более сложные методы.
2 Перечень всех вопросов приведен в приложении.
литическая база, которая стала основой для содержательного анализа массива ВКР. В общей сложности вопросник заполнен по 157 ВКР, защищенных в 2021 г. («Экономика» — 88, «Менеджмент» — 69)1. На основе этой базы данных проведен количественный и качественный анализ различных аспектов содержания и структуры ВКР.
Содержание и аналитический фокус ВКР
Все эксперты, имевшие предшествующий опыт анализа ВКР и участия в защитах, отметили рост аналитичности и владения количественными методами по сравнению с ситуацией пять-шесть лет назад. Появились выпускные исследовательские работы, результаты которых опубликованы или которые могут быть опубликованы в хороших журналах. Если п лет назад опора на учебники в ВКР считалась нормальной практикой, то в настоящее время это уже не соответствует «стандарту» ВКР.
В то же время анализ сформированной базы данных показал, что повышение уровня качества работ далеко от завершения, и многие студенты продолжают испытывать сложности с использованием стандартных элементов научного исследования:
— Не все студенты формулируют исследовательский вопрос и ставят исследовательские задачи (так, как минимум в 30% работ цель звучит скорее описательно и сформулирована в терминах процесса, а не аналитического результата).
— Аналитический обзор литературы, структурированный по темам и проблемам, присутствует лишь в 42% работ. В остальных случаях обзор либо подменяется рефератом из аннотаций статей, либо отсутствует (подменяется описанием ситуации). Встречается неудовлетворительный выбор литературы для обзоров (старые публикации, учебники, справочники). Довольно часто студенты не позиционируют свою работу относительно других работ.
— Отдельные части работы, даже связанные по смыслу, не направлены на решение исследовательской / управленческой проблемы. В 54% работ автор должным образом не обосновывает постановку гипотез или управленческую проблему; в 18% работ исследовательские гипотезы в принципе не сформулированы, хотя характер работы этого требует. Обширность вводных глав ВКР (автор начинает «слишком издалека») приводит к тому, что для собственного исследования не остается места, в ряде работ оно и не планируется.
1 Процедура формирования выборки работ предполагала отбор всех ВКР, получивших на защите оценку «неудовлетворительно» и «удовлетворительно», а также квотированный по кафедральному принципу случайный отбор каждой третьей работы, получившей оценку «хорошо» или «отлично». Построенная выборка позволяет увидеть общие и кафедральные специфичные особенности ВКР, защищаемых на экономическом факультете МГУ.
— Студенты не всегда демонстрируют связь своей темы с проблемным полем предметов, изучаемых на ЭФ, как в части теорий, так и в части общеметодологических подходов.
— В ряде работ после описания результатов отсутствует их содержательная интерпретация и сравнение с другими работами (дискуссия). Так, в 53% работ автор не соотносит полученные результаты с теорией и/или другими исследованиями.
Зачастую недостаточный аналитический фокус работы заложен уже в формулировке темы. Распространенное мнение о том, что широко сформулированная тема позволит на каком-то этапе получить интересный результат, как правило не находит подтверждения. Мы видим, что если изначально отсутствует четкое понимания исследовательской проблемы, то оно имеет немного шансов появиться по ходу работы. В качестве иллюстрации мы приводим наиболее часто встречающиеся в студенческих работах примеры неправильной постановки исследовательского вопроса:
1) Использование слова «проблема» вместо содержательной формулировки проблемы, о которой идет речь, например, «Проблема государственного долга в современной экономике», «Проблема развития коммерческих банков в России» и др.;
2) Констатация наличия явления («Дифференциация социально-экономического развития регионов России»);
3) Обоснование важности темы просто самим фактом ее недостаточной изученности без объяснения того, в чем же состоит ее актуальность;
4) Обоснование темы самим фактом ее социальной значимости («Бедность в современном мире») и обещание найти решение;
5) Решение насущной прикладной проблемы одного отдельно взятого субъекта экономической деятельности (например, убыточность фирмы или бедность в регионе);
6) Попытка написать обширную главу учебника («Инфляция: природа и причины», «Слияния и поглощения в России»).
Этот список может быть продолжен. По нашему мнению, основная причина аналитической слабости работ состоит в том, что студенты пропускают важный подготовительный этап в написании работы: знакомство с основными публикациями, поиск информационной базы по предлагаемой теме и формулировка первой версии исследовательской проблемы.
Направленияработы по улучшению аналитического фокуса ВКР
Формирование компетенций и навыков исследовательской и аналитической работы в процессе освоения основной учебной программы ЭФ. Исследовательские и аналитические компетенции являются важным элементом процесса обучения как по направлению «Экономика», так и по направле-
нию «Менеджмент». Формирование этих компетенций происходит в процессе освоения основной программы. Общеэкономические и управленческие дисциплины формируют у студентов понимание актуальных вопросов и вызовов современной исследовательской повестки в области экономики и менеджмента. Здесь важна реалистичность и релевантность этих вопросов, знание методологических оснований для их изучения, а также понимание спектра методов качественного и количественного исследования. Дисциплины общегуманитарного цикла готовят студентов к пониманию междисциплинарного характера исследований в области экономики и менеджмента. Инструментальные дисциплины готовят студентов к применению количественных методов, в том числе формируют понимание значимости качественного анализа и формирования исследовательской гипотезы, которая проверяется количественными методами. Курсы про-филизации позволяют улучшить понимание исследовательской повестки по более узким вопросам теории, экономической политики и бизнес-практики, понять применимость различных методов исследования.
Встраивание вопросов исследовательской программы в регулярные учебные курсы требует некоторой корректировки их содержания и расширения использования таких методов преподавания, как групповая проектная работа, подготовка письменных эссе и рефератов.
Важную роль в формировании исследовательских навыков и компетенций должны играть специальные дисциплины (по выбору), которые знакомят студентов с требованиями к исследовательским работам, включают разбор примеров удачных и неудачных ВКР.
Особую роль играет обеспечение студентов практичными методическими материалами (методическое пособие «Как написать хорошую выпускную работу»).
Активизация работы научных руководителей и кафедр со студентами с фокусом на аналитическую составляющую ВКР. Рабочая группа познакомилась с опытом организации работы научных руководителей и кафедр со студентами в процессе написания ВКР. Часть кафедр публикует для студентов уже сформулированные темы ВКР, тогда как другие подразделения предлагают студентам сформулировать тему ВКР в диалоге с научным руководителем. В этом случае исходной точкой является довольно широкая формулировка тематики исследований, которыми занимаются отдельные преподаватели. Второй из подходов стимулирует раннее обсуждение преподавателем и студентом возможной темы ВКР, и кажется предпочтительным.
Большая результативность такого обсуждения может быть получена если его предметом будет подготовка краткого обоснования темы ВКР, на основе которого кафедра и затем учебный блок деканата могут утверждать тему ВКР. В этом обосновании должны быть три пункта: (а) первая версия формулировки исследовательского вопроса; (б) перечень несколь-
ких основных статей по теме; (в) характеристика наличия данных для эмпирического исследования.
Активизация научной работы студентов. На факультете существуют интересные практики вовлечения в научную работу студентов с целью подготовки ими ВКР. Например, на кафедре ММАЭ, благодаря энтузиазму группы преподавателей, больше 20 лет работает научный семинар «Макроэкономические исследования»1. Это уникальный проект, объединяющий студентов (со 2-го курса бакалавриата), магистрантов, аспирантов и преподавателей в научно-образовательное сообщество. Ряд кафедр и инициативных преподавателей приглашают студентов в научные кружки, где обсуждаются процесс и результаты научных исследований, проводятся консультации и предзащиты с участием выпускников-практиков.
На наш взгляд, целесообразно распространить такой опыт взаимодействия со студентами на весь факультет. Регулярные встречи и научные дискуссии, с одной стороны, мотивируют студентов к исследовательской работе, с другой, помогают планировать ее процесс и контролировать реализацию. Вовлечение в научную деятельность следует начинать с 3-го курса бакалавриата путем проведения на постоянной основе кафедральных научных семинаров. На 4-м курсе процесс подготовки ВКР может быть разделен на этапы со сроками выполнения и обсуждения на семинарах: (1) подготовительный — выбор и утверждение темы ВКР, подбор и систематизация источников, определение цели и задач, стратегии эмпирического исследования; (2) основной — написание текста ВКР; (3) заключительный — предзащита.
Форматы ВКР
Методология исследования форматов ВКР
Для выявления моделей ВКР, как уже отмечалось, были полностью просмотрены все работы, защищенные в 2021 г. Были разработаны две классификации2, первая из которых базировалась на первичном анализе работ по направлению «Экономика», вторая — работ по направлению «Менеджмент». Анализировались структура работ, характер поставленной проблемы, масштаб объекта исследования, подходы к самостоятельному исследованию, приемы аргументации собственной точки зрения. Впоследствии классификации были сопоставлены и сделан вывод о соотношении выделенных моделей.
1 Страница семинара: https://www.econ.msu.ru/departments/mmae/mr/
2 В данном случае имеются в виду эмпирические классификации, категории которых изначально выявляются и формулируются на основе анализа объектов, их сходств и различий, а не выводятся из каких-либо теоретических принципов.
Помимо обобщающего осмысления современного состояния ВКР бакалавриата, экспертов интересовал и ряд прикладных вопросов:
— Правда ли, что высоко оцениваются только ВКР определенного формата, или среди высоко оцениваемых работ существует разнообразие форматов?
— Правда ли, что на направлениях «Экономика» и «Менеджмент» защищаются работы разных форматов, следовательно, должны быть дифференцированные критерии оценки?
— Правда ли, что высоко оцениваются только ВКР с применением определенных методов?
Классификация работ по направлению «Экономика»
На основе анализа ВКР по направлению «Экономика» было выделено шесть основных форматов (моделей) работ.
«Классический» — знакомый студентам и научным руководителям формат. Как правило, в такой работе три (но не обязательно) логические части, где первая содержит вопросы теории, связанной с поставленной проблемой, или проясняет понятийный аппарат исследования; во второй главе описаны подходы к эмпирическому анализу изучаемого явления; в третьей приведены собственное исследование и обсуждение его результатов.
«Эмпирический» формат схож с классическим, однако выделен нами в отдельный тип работ в связи с тем, что в данном формате проблема, которая ставится и изучается, либо касается выявления эмпирических взаимосвязей, которые могут не иметь под собой развернутого теоретического обоснования или в принципе не предсказываются ни одной существующей на сегодняшний момент теорией, либо, напротив, объясняются теорией довольно прямолинейно, в связи с чем интерес представляет именно эмпирическая оценка (примеры: определение основных факторов, от которых зависит цена на рынке, и их вклада в конечную цену; оценка величины сетевого эффекта и др.). По структуре работы данного типа, как правило, отличаются от «классического» формата тем, что теоретический обзор в них — гораздо более сжатый, в фокусе обзорной части находятся в первую очередь различные способы эмпирической оценки, на основании которых строится собственное исследование студента.
«Методологический» формат также похож на «классический», однако главное его отличие в том, что вместо анализа авторских способов оценки того или иного явления, студент погружается в анализ тонкостей методик, применяемых в различных странах или различными организациями. Такой формат встречается, например, в работах по бухгалтерскому учету или по статистике.
«Отраслевой» формат, как правило, содержит обзорную часть, посвященную некоторому понятию, явлению или теории; часть, в которой
проводится анализ рынка или отрасли; собственное исследование в рамках выбранного рынка или отрасли. Данный формат может иметь и иную структуру, однако анализ рынка или отрасли выступает обязательным элементом.
Формат «Бизнес-кейс», на первый взгляд, в большей степени характерен для работ по направлению «Менеджмент», но встречается и на «Экономике». В рамках данного формата имеет место анализ бизнеса конкретной организации, решение конкретной бизнес-задачи. При этом результаты исследования впоследствии могут распространяться на всю отрасль, а могут и не распространяться.
Еще один сформировавшийся формат — «Обобщение опыта», причем анализ в таких работах может касаться как международной, так и российской экономической и бизнес-практики. В таком формате систематизация международного и/или российского опыта составляет значительную часть ВКР, и сформулированные рекомендации или сама идея исследования выведены из проведенного анализа опыта.
Наконец, нужно сделать оговорку, что выделенные форматы — всего лишь основные модели, которые представлены в защищаемых ВКР. Данная классификация не претендует на охват всей совокупности ВКР (всегда будет оставаться категория «Иное» с работами менее распространенных или даже уникальных форматов), и, кроме того, не всегда работа соответствует лишь одному из перечисленных форматов в чистом виде — часто работы находятся на стыке форматов.
Классификация работ по направлению «Менеджмент»
На основе анализа ВКР по направлению «Менеджмент» были выделены три основных формата работ.
Академический формат — исследование теоретического и эмпирического характера, осуществляемое в целях получения новых знаний о трендах, структуре, свойствах и закономерностях изучаемого объекта (явления и/или процесса). Предполагает:
1) Оригинальный критический взгляд на выбранную проблематику и отражение широкого спектра литературы по рассматриваемому вопросу.
2) Теоретическое осмысление качественно новых явлений и тенденций развития управления, выявление факторов и причин развития систем управления и взглядов на управление (в том числе эмпирическое исследование с использованием статистических методов и математических моделей).
3) Четкое определение места предлагаемых подходов, теорий и гипотез в «системе координат» имеющейся литературы по изучаемым вопросам.
4) Четко сформулированную теоретическую задачу и описание методологии и техники ее решения.
5) Исследование применения в российском и международном бизнесе тех или иных концепций современного менеджмента.
Проектно-исследовательский формат подразумевает анализ и разработку решения прикладной проблемы. Предполагает:
1) Постановку управленческой проблемы на основе изучения современных исследований (прежде всего статей и аналитических материалов) в конкретной области менеджмента;
2) Описание и систематизацию характеристик среды и трендов, отрасли, конкуренции, конкурентной ситуации и конкурентных стратегий в какой-либо отрасли, опыта функционирования реально существующих компаний;
3) Четкое изложение методики/методологии исследования;
4) Описание разработанного целостного или частичного проекта возможных мероприятий (рекомендаций, по необходимости), проведение релевантного анкетирования и опросов (по необходимости), обоснование целесообразного набора рекомендаций (по необходимости), методик или инструментария для различных областей менеджмента; и, в некоторых случаях, анализ конкурентной ситуации.
Проектный формат подразумевает разработку прикладной проблемы (в том числе и междисциплинарной). Предполагает:
1) Краткое обобщение современных исследований в данной области;
2) Сопоставление существующих практик (аналогичных проектов);
3) Ясное изложение управленческой проблемы и задачи, обоснование оригинальности проекта, его возможного практического применения;
4) Получение предметного результата — обоснование стратегии развития объекта, разработка бизнес-плана проекта, демонстрация его реального (или возможного) внедрения и описание реальных (или возможных) результатов внедрения.
Соотношение классификаций
Приведенные классификации по направлениям «Экономика» и «Менеджмент» не противоречат, а скорее дополняют друг друга. Основное различие кроется главным образом в расстановке акцентов: для «Экономики» важным аспектом классификации были характеристики структуры работы, которые вытекали из особенностей постановки исследовательского вопроса (в явном или неявном виде), в то время как для «Менеджмента» акцент в классификации сделан на соотношении теоретических и прикладных аспектов. Более пристальный анализ показал, что форматы
«Классика» и «Эмпирический», выделенные на примере работ по «Экономике», по своему содержанию и свойствам довольно схожи с «Академическим» форматом, выделенным на основе работ по «Менеджменту». «Проектно-исследовательский» формат фактически служит объединяющей характеристикой для большинства «Методологических» и «Отраслевых» работ, а также работ по «Обобщению опыта». Наконец, «Прикладной» формат также характерен и для работ по направлению «Экономика», включая часть «Отраслевых» работ (это прежде всего работы, где на примере отдельных предприятий анализируются особенности отрасли), а также работы формата «Бизнес-кейс». Таким образом, мы делаем вывод о принадлежности работ по направлениям «Экономика» и «Менеджмент» единому полю форматов.
Некоторые работы находятся «на стыке» форматов и могут быть отнесены сразу к нескольким категориям (рис. 2). Приведенный выше пример работы, в которой сначала раскрываются некоторые отраслевые особенности, затем анализируется ситуация конкретного предприятия (или нескольких), и в результате предлагается интерпретация полученных для предприятия выводов в масштабе всей отрасли, иллюстрирует пересечение «Отраслевого» формата и формата «Бизнес-кейса», а также пересечение «Проектно-исследовательского» и «Проектного» форматов.
Академический формат Проектно- Проектный формат
исследовательский формат
Рис. 2. Соотношение двух классификаций форматов ВКР Источник: составлено авторами.
Распределение работ по форматам
Для анализа форматов были проанализированы только работы, получившие оценку «Отлично» и «Хорошо», как более целостные и выверенные. Распределение работ по форматам представлено на рис. 3.
Рис. 3. Распределение работ на «Отлично» и «Хорошо» по форматам ВКР на двух направлениях
Примечания:
1) На рисунке представлены доли от общего количества работ, получивших соответствующую оценку («Отлично» или «Хорошо»), приходящиеся на каждый формат. Сумма долей по каждой оценке не составляет 100%, поскольку некоторые работы находятся на стыке форматов.
2) Число работ на направлении «Экономика» с оценкой «Отлично» — 111, «Хорошо» — 87; на направлении «Менеджмент» с оценкой «Отлично» — 52, «Хорошо» — 45.
Источник: составлено авторами.
Полученные оценки распределения работ по форматам позволяют сделать сразу несколько важных выводов.
Во-первых, среди сильных работ и на направлении «Экономика», и на направлении «Менеджмент» присутствует разнообразие форматов. Отвечая на первый из трех прикладных вопросов, сформулированных в начале раздела 4, мы можем утверждать, что нет форматов, которые бы гарантировали — или исключали — оценку «отлично». Вместе с тем некоторые особенности преобладания тех или иных форматов имеют со-
держательный смысл. Так, в «отличных» работах на «Экономике» существенна доля «Эмпирического» формата, т.е. авторы значительной части сильных работ фокусировались именно на выявлении эмпирических зависимостей. На наш взгляд, данное явление отражает усиление «эмпирического поворота» в экономической науке (Либман, 2007; Нашегше8Ь, 2013). При этом формат «Обобщение опыта», как правило (но не всегда!), оказывается сложным для демонстрации именно «отличных» знаний и навыков. Можно предположить, что в таком формате студентам оказывается сложно продемонстрировать новизну собственного исследования.
Во-вторых, отвечая на второй прикладной вопрос, мы можем сделать вывод, что студенты направлений «Экономика» и «Менеджмент» при написании ВКР оперируют в едином поле форматов, хотя у каждого направления есть определенные особенности. Так, в настоящее время выполняется довольно мало работ в духе «Академического» менеджмента (мало работ в формате «Классика» и отсутствуют работы в формате «Эмпирический») — в отличие от направления «Экономика», где эти форматы популярны. Формат «Бизнес-кейс», напротив, более характерен для работ на направлении «Менеджмент». Это видно в том числе по оценкам за него на направлении «Экономика»: среди отличных работ у студентов-экономистов этот формат встречается крайне редко, вероятно потому, что в нем сложно продемонстрировать высокий уровень именно экономической квалификации (в противоположность управленческой).
Аналитические методы, используемые в ВКР
Еще один аспект дифференциации форматов работ — применяемые студентами аналитические методы. Результаты предварительного анализа применения методов приведены на рис. 4 (в планах рабочей группы — углубленное изучение применения количественных и качественных методов, результаты которого мы надеемся представить в будущих статьях).
Таким образом, анализ распределения работ по используемым методам позволяет нам ответить на третий из прикладных вопросов исследования: нет какого-то одного метода, который был бы обязательным для получения оценки «отлично» или гарантировал бы такую оценку. Обзор оценок, выставленных за ВКР с различными методами исследования, подтверждают вывод, который подсказывает логика: любой применяемый аналитический метод должен соответствовать поставленной задаче, и любой метод необходимо корректно применять. Вместе с тем мы действительно наблюдаем, что в сильных работах направления «Экономика» студенты предпочитали применять регрессионный анализ, что свидетельствует в том числе о высоком уровне подготовки по эконометрике на факультете. В то же время есть и методы, которые заведомо оказываются менее выигрышными. В категорию «Дескриптивная статистика» на рис. 4 включены работы,
Рис. 4. Распределение ВКР по методам, применяемым в рамках собственного исследования
Примечания:
1) На рисунке представлены доли от общего количества работ, получивших соответствующую оценку («Отлично», «Хорошо», «Удовлетворительно»), приходящиеся на каждый метод. Сумма долей по каждому методу не составляет 100%, поскольку некоторые работы находятся на стыке форматов.
2) Число работ на направлении «Экономика» с оценкой «Отлично» — 111, «Хорошо» — 87, «Удовлетворительно» — 46; на направлении «Менеджмент» с оценкой «Отлично» — 52, «Хорошо» — 45, «Удовлетворительно» — 14.
Источник: составлено авторами.
где для аргументации используются только ссылки на уже готовые статистические таблицы и показатели, собранные и рассчитанные другими авторами/организациями. Хотя в базе присутствуют и работы с дескрип-
тивной статистикой, оцененные на «отлично», это скорее редкость, которую можно объяснить в том числе спецификой темы и данных или использованием других релевантных методов. В целом применять только готовую статистику — не выигрышный подход для студента, из-за которого ему зачастую не удается продемонстрировать высокий уровень аналитических навыков, владение эмпирическими методами, предусмотренными учебными планами, и наличие собственного оригинального вклада в разработку темы, необходимые, согласно положению о ВКР, для получения высокой оценки.
Данные, представленные на рис. 4, также иллюстрируют различия в освоении аналитических методов на двух направлениях подготовки. Регрессионный анализ является сравнительно непопулярным методом у студентов направления «Менеджмент», поскольку эконометрика в качестве специальной дисциплины не преподается этим студентам. При этом опросы, интервью и бизнес-кейсы весьма активно используются при написании ВКР студентами направления «Менеджмент». В то же время навыки проведения опросов на направлениях «Экономика» и «Менеджмент» явно нуждаются в совершенствовании. Описание кейса также представляется инструментом, который лучше освоен студентами направления «Менеджмент». С учетом приведенных выше данных о преобладающих форматах ВКР остается открытым вопрос о том, насколько и при каких условиях метод анализа бизнес-кейса является достаточным для подтверждения квалификации студентов на направлении «Менеджмент» и особенно — на направлении «Экономика». Этот вопрос будет предметом дополнительных обсуждений на факультете.
Заключение
Методологический подход, представленный в данной статье, стал результатом выбора в рамках трех основных развилок исследования. Результатом стало использование позитивного анализа, акцент на широту охвата, и использование количественных оценок. На этой основе получена общая картина качества ВКР, защищающихся на современном этапе по направлениям «Экономика» и «Менеджмент», выявлены проблемные точки и сформирована повестка дальнейшего обсуждения качества научных работ студентов факультета.
Анализ качества аналитики привел к выводу о том, что в процессе обучения необходимо усиливать акцент на навыках формулирования исследовательского вопроса, подготовки и структурирования аналитического обзора литературы, а также интерпретации и позиционирования собственных результатов на фоне уже существующих исследований. Некоторые организационно-методические меры, которые могут помочь в этом, будут в ближайшее время внедряться на факультете.
Разработанная «карта» форматов ВКР может быть полезна для студентов, которые пока не имеют представления о том, как может быть построена их дипломная исследовательская работа. Кроме того, понимание основных форматов ВКР будет использовано для подготовки методических рекомендаций для студентов.
Панорама применяемых аналитических методов также указывает на необходимость усилить подготовку по отдельным компетенциям. Вопрос количественных и качественных методов исследования в студенческих работах — следующий на очереди в плане более глубокой проработки экспертной группой, вместе с вопросами качества рецензирования и качества подбора литературы студентами. Мы надеемся представить результаты разработки данных вопросов в следующей публикации на страницах этого журнала.
Список литературы
Алескеров, Ф. (28 мая 2013) Как подготовить и написать диссертацию? Постнаука. 26.01.2022 https://postnauka.ru/longreads/12747 (дата обращения: 26.01.2022).
Бут, У. К., Коломб, Г.Дж., Уильямс, Дж.М. (2007). Исследование: шестнадцать уроков для начинающих авторов / Пер. с англ. А. Станиславского. 2-е изд., испр. и доп. М.: Флинта : Наука, 360 с.
Волков, Ю. Г. (2017). Диссертация: подготовка, защита, оформление: практическое пособие, 6 -е изд., перераб. и доп. М.: КНОРУС, 218 с.
Либман, А. (2007). Современная экономическая теория: основные тенденции. Вопросы экономики, 3, 35-54. https://doi.org/10.32609/0042-8736-2007-3-35-54
Панарин, С. А. (ред.) (2012). Как писать научный текст: опыт Школы молодого автора: учебно-методическое пособие / Н. А. Дидковская, В. И. Дятлов, Н. В. Липатова, С. А. Панарин. Иркутск: Изд-во «Оттиск», 240 с.
Радаев, В. В. (2011). Как написать академический текст. Вестник образования, 1, 271-293.
Райзберг, Б. А. (2010). Диссертация и ученая степень: Пособие для соискателей, 9-е изд., доп. и испр. М.: ИНФРА-М, 240 с.
Смирнов, С. (2015). Моя исследовательская работа. Как писать реферат, курсовую, ВКР и научную статью (а также цитировать и указывать источники). М. 60 с.
Эко, У. (2003). Как написать дипломную работу. Гуманитарные науки: учебно-мето-дическоепособие/ Пер. с ит. Е. Костюкович. М.: Книжный дом «Университет», 2 изд., 240 с.
Baglione, L. (2008). Doing Good and Doing Well: Teaching Research-Paper Writing by Unpacking the Paper. Political Science and Politics, 41 (3), 595-602.
Becker, H. S. (2020) Writing for Social Scientists. How to Start and Finish Your Thesis, Book, or Article. Third Edition. University of Chicago Press, 248 p.
Cochrane, J. H. (2005). Writing Tips for Ph. D. Students. University of Chicago.
Hamermesh, D. S. (2013). Six Decades of Top Economics Publishing: Who and How? Journal of Economic Literature, 51 (1), 162-172. https://doi.org/10.1257/jel.51.1.162
Jalongo, M. R., Saracho, O. N. (2016). Writing for Publication. Transitions and Tools that Support Scholars' Success. Springer, Cham., 315 p.
Shao, H. M., Mo, B., Li, Z. B. (2020). Analysis of factors influencing the quality of economics and management undergraduate graduation thesis based on structural equation: taking the universities in Yunnan province as an example. 2020 International Conference on Artificial Intelligence and Education (ICAIE), 506—508.
Zerubavel, E. (1999). The Clockwork Muse: A Practical Guide to Writing Theses, Dissertations, and Books. Harvard University Press, 123 p.
References
Aleskerov, F. (May 28th 2013) How to prepare and write a thesis paper? Postnauka, accessed on 26.01.2022. https://postnauka.ru/longreads/12747
Booth, W. C., Colomb, G. G., Williams, J. M. (2007). The craft of research / Translated by A. Stanislavsky. Moscow: Flinta : Nauka, 360 p.
Volkov, Yu.G. (2017). Thesis paper: preparation, defense, formatting: practical aid. Moscow: KNORUS, 218 p.
Libman, A. (2007). Modern Economic Theory: The Main Tendencies. Voprosy Ekonomiki. 3, 35-54. https://doi.org/10.32609/0042-8736-2007-3-35-54
Panarin, S. A. (ed.) (2012). How to write a scientific text: the experience of the Young Author's School:a teaching aid/N. A. Didkovskaya, V. I. Dyatlov, N. V. Lipatova, S. A. Panarin. Irkutsk: "Ottisk", 240 p.
Radaev, V. V. (2011). How to write an academic text. Educational Studies, 1, 271-293.
Rayzberg, B. A. (2010). Thesis and Degree: Application Guide. Moscow: INFRA-M, 240 p.
Smirnov, S. (2015). My research work. How to write a paper, a course paper, a final paper and a research paper (and quote and cite sources). Moscow, 60 p.
Eco, U. (2003). How to Write a Thesis. Humanitarian sciences: guidance manual / Translated by Ye. Kostyukovich. Moscow: Knizhniy dom "Universitet", 240 p.
Приложение
Анкета, использованная для формирования базы качественных и количественных характеристик массива защищенных ВКР
Критерий оценивания Варианты
Цель работы — сформулирована в терминах процесса («изучить») — сформулирована в терминах результата или получения ответа на конкретный исследовательский вопрос («определить связь между ...») — сформулирована в терминах рекомендаций («выработать рекомендации для...») — не сформулирована — другое
Задачи работы — есть — нет
Обзор работ — представляет собой последовательный пересказ исследований — структурирован по темам, проблемам, а не исследованиям — другое
Автор позиционирует свое исследование относительно других исследований, описанных в обзоре — да — нет — другое
Исследовательские гипотезы — гипотезы есть, формулировки позволяют их верифицировать — гипотезы есть, но формулировки не позволяют их верифицировать — гипотез нет, характер работы допускает их отсутствие — гипотез нет, характер работы не допускает их отсутствия — другое
Сформулирована управленческая проблема, которую решает автор — да — нет, формат работы этого не требует — нет, но формат работы этого требует — другое
Постановка гипотез / управленческой проблемы обоснована — да — нет — другое
Критерий оценивания Варианты
Используемые методы — качественный анализ (описание взаимосвязей, передаточных механизмов и др.) — математическое моделирование изучаемого явления — анализ кейсов (кейс-стади) — контент-анализ — анализ данных качественной социологии (интервью, фокус-группы и др.) — дескриптивный анализ количественных данных («На графике видно, что темп роста вырос») — эконометрический анализ данных (модели, кластерный, факторный анализ и др.)
Источник используемых количественных данных в работе — общедоступные данные (Росстат и др.) — данные, доступные по подписке (Спарк и др.) или запросу — закрытые данные (данные компаний, доступ к которым внешнего человека ограничен) — вторичные данные, самостоятельно собранные автором (например, через «парсинг») — первичные данные, самостоятельно собранные в рамках социологического опроса — первичные данные, самостоятельно собранные в рамках проведенного эксперимента — в работе не используются количественные данные — другое
Тип анализируемых данных — пространственные — временные ряды — панельные данные — в работе не используются количественные данные
Методы, используемые при работе с данными — дескриптивный анализ данных (Как видно на графике, Россия превосходит Германию...) — содержательный или критический анализ данных — анализ описательной статистики (описание числа наблюдений, средних значений, дисперсии и т.д) — базовые эконометрические модели (МНК) — модели временных рядов (УАЯ, МА и др.) — продвинутые эконометрические модели (панельные данные, Ж-т-Ж и др.) — кластерный и/или факторный анализ — в работе не используются количественные данные — другое
Автор обосновал выбор данных, а также метод работы с данными — да, обоснование выбора данных и метода не вызывает сомнений — да, но обоснование выбора данных и/или метода вызывает сомнения в его корректности — нет, автор не обосновал выбор используемых данных и/или методов — другое
Критерий оценивания Варианты
При описании результатов эконометрического моделирования автор ... (необходимо отметить все подходящие варианты ответа) — обосновывает набор используемых переменных — приводит описательные статистики используемых данных — обосновывает выбор оцениваемой модели — приводит результаты моделирования — приводит интерпретацию полученных результатов — проверяет устойчивость результатов — комментирует проблему эндогенности или возможных обратных причинно-следственных связей
Содержание ВКР соответствует заявленной теме — да — нет — другое
Результат — получен ответ на исследовательский вопрос — получен частичный ответ на исследовательский вопрос — отсутствует ответ на исследовательский вопрос или работа носит реферативный характер — другое
Автор дает содержательную интерпретацию полученным результатам (соотносит с теорией и другими исследованиями и т.д.) — да — нет — другое
Выводы ВКР — обоснованы, связаны с проведенным исследованием — не обоснованы, хотя и связаны с проведенным исследованиям — не связаны с проведенным исследованием иди «за все хорошее против всего плохого» — другое
Автор пишет о возможных ограничениях полученных результатов (малая выборка, низкая валидность, узкий вопрос, нехватка данных и т.д.) — да — нет — другое
Работа логично выстроена, все ее главы взаимосвязаны — да — скорее да — скорее нет — нет — другое
