CC BY
15
УДК 378 DOI: 10.22227/2305-5502.2018.3.6
Опыт проведения конкурса выпускных квалификационных работ в области строительства в заочной форме
М.П. Саинов
Национальный исследовательский Московский государственный строительный университет (НИУ МГСУ), 129337, г. Москва, Ярославское шоссе, д. 26
АННОТАЦИЯ: Введение: конкурсы выпускных квалификационных работ являются важной частью взаимодействия между образовательными организациями в сфере качества реализации образовательных программ. Поэтому Международная общественная организация содействия строительному образованию (Ассоциация строительных вузов (АСВ)) на протяжении многих лет организовывала и проводила конкурсы дипломных проектов и работ по строительным специальностям. Однако после перехода на двухуровневую систему подготовки появилась необходимость изменения формата проведения конкурса выпускных квалификационных работ. В 2016 г. было принято решение сделать конкурс единым и проводить его в заочной форме. Потребовалось разработать организационную и методическую базу проведения конкурса в дистанционной форме.
Материалы и методы: решение поставленных задач основывалось на накопленном опыте проведения подобных мероприятий. Проанализированы литературные источники и нормативные документы.
Результаты: разработана методика оценивания выпускных квалификационных работ, представленных на конкурс, которая включает в себя перечень показателей и критериев, шкалу и процедуру оценивания. Новшеством явилось то, что критерии оценивания были сформулированы в виде критериальных вопросов (утверждений) с четкими регламентированными ответами. Это позволило формализовать и автоматизировать процедуру оценивания. Несмотря на продемонстрированные преимущества, у созданной методики оценивания выявлены и недостатки. Потребовалось ввести дополнительные ограничения для исключения субъективности оценок жюри. С этой целью проведен статистический анализ оценок жюри.
Выводы: заочная форма проведения конкурса выпускных квалификационных работ продемонстрировала как преимущества, так и недостатки. Благодаря дистанционной форме проведения удалось сохранить конкурс и вовлечь в него большое количество участников, а также дифференцировать номинации. Однако с точки зрения организации заочный конкурс оказался довольно сложным и для участников, и для жюри. Необходимо продолжать работу по совершенствованию организационной и методической базы проведения конкурса.
КЛЮЧЕВЫЕ СЛОВА: конкурс, выпускная квалификационная работа, строительство, оценки, жюри, критерии оценки, дистанционный формат проведения, Международная общественная организация содействия строительному образованию (АСВ)
ДЛЯ ЦИТИРОВАНИЯ: Саинов М.П. Опыт проведения конкурса выпускных квалификационных работ в области строительства в заочной форме // Строительство: наука и образование. 2018. Т. 8. Вып. 3. Ст. 6. DOI: 10.22227/23055502.2018.3.6
The experience of the competition of qualification theses in the field of construction in extramural form of study
Mikhail P. Sainov
Moscow State University of Civil Engineering (National Research University) (MGSU), 26 Yaroslavskoe shosse,
Moscow, 129337, Russian Federation
ABSTRACT: Introduction: competitions of qualification theses are an important part of interaction between educational organizations in the sphere of the quality of educational programs. Therefore, the International public organization of assistance to construction education (Association of construction universities) (ASV)) has organized and conducted competitions of qualification theses and projects on building specialties for many years. However, after the transition to a two-tier system of training, it became necessary to change the format of the competition of qualification theses. In 2016 it was decided to make the competition unified and hold it in the extramural form. It was necessary to develop the organizational and methodological basis of the competition in the remote form.
Materials and methods: the solution of the set tasks was based on the accumulated experience of holding similar events. Literature sources and normative documents are analyzed.
Results: a methodology for evaluating qualification theses submitted to the competition was developed, which includes a list of indicators and criteria, a scale and an evaluation procedure. The innovation was that the evaluation criteria were formulated in the form of criteria questions (statements) with clear regulated answers. It allowed us to formalize and automate the evaluation procedure. Despite the demonstrated advantages, the created methodology of evaluation revealed shortcomings. It was necessary to introduce additional restrictions to exclude the subjectivity of the jury's evaluation. For this purpose, a statistical analysis of the jury's evaluation was conducted. Conclusions: the extramural form of the competition of qualification theses demonstrated both advantages and disadvantages. Thanks to the remote form of the competition it was possible to keep the competition and involve a large 2 number of participants in it, as well as differentiate the nominations. However, from the point of view of the organization, the
© M.n. CauHOB, 2018 79
ce ce
CD Ы
absentee competition was quite difficult for the participants and for the jury. It is necessary to continue work on improving the organizational and methodological basis of the competition.
KEY WORDS: competition, qualification theses, civil engineering, evaluation, jury, evaluation criteria, remote mode of running competition, International public organization of assistance to construction education (ASV)
FOR CITATION: Sainov M.P. Opyt provedeniya konkursa vypusknykh kvalifikatsionnykh rabot v oblasti stroitel'stva v zaochnoy forme [The experience of the competition of qualification theses in the field of construction in extramural form of study]. Stroitel'stvo: nauka i obrazovanie [Construction: Science and Education]. 2018, vol. 8, issue 3, pp. 6. Available at: http://nso-journal.ru. DOI: 10.22227/2305-5502.2018.3.6 (In Russian)
ВВЕДЕНИЕ
Студенческие олимпиады и конкурсы играют важную роль в системе образования, их можно рассматривать как еще одну, дополнительную, составляющую образовательного процесса [1]. Они не только позволяют выявлять, поощрять наиболее способных обучающихся и повышать их интерес к выбранной профессии, но и способствуют формированию их компетенции. Большую роль студенческие олимпиады играют в формировании научных и научно-педагогических кадров образовательных организаций (вузов) [2, 3].
В России студенческие олимпиады являются частью общенациональной системы выявления и развития молодых талантов [4]. Утверждены Концепция общенациональной системы выявления и развития молодых талантов и комплекс мер по ее реализации1, а также ряд нормативно-правовых документов по реализации концепции. Ежегодно Министерством образования и науки РФ утверждается план проведения мероприятий Всероссийской студенческой олимпиады.
Студенческие олимпиады и конкурсы в нашей стране имеют давнюю историю. В Советском Союзе организовывались конкурсы дипломных проектов и работ по строительным и архитектурным специальностям. В современной России в рамках Всерос-СЯ сийской студенческой олимпиады — олимпиады — и конкурсы выпускных квалификационных работ „ по различным специальностям высшего образования [5-15]. Проводились мероприятия двух типов. И Первый тип — это олимпиады, заключающиеся ¿5 в творческом состязании студентов между собой.
Второй — это конкурсы выпускных квалификаци-2 онных работ (ВКР). На конкурсы ВКР образователь-® ные организации представляли лучшие дипломные
§ х 1 Концепция общенациональной системы выявле-
32 ния и развития молодых талантов (утв. Президентом
§» РФ 3.04.2012 № Пр-827), Комплекс мер по реализации Концепции общенациональной системы выявления и
а о
х развития молодых талантов на 2015-2020 годы (утв. за* местителем председателя Правительства РФ 27.05.2015 х № 3274п-П8).
проекты и работы, которые рассматривались и оценивались, и из них выбирались лучшие.
Строительные вузы всегда активно участвовали в организации студенческих олимпиад и конкурсов [11-15]. Этой работой занималось Учебно-методическое объединение вузов по образованию в области строительства и Международная общественная организация «Ассоциация строительных вузов» (АСВ)2. Однако в 2012 г. Министерство образования и науки РФ прекратило организацию и финансирование конкурсов ВКР по специальностям высшего образования. В этих условиях АСВ взяла на себя эту миссию. Организация студенческих олимпиад и конкурсов — важное направление деятельности АСВ, так как эти мероприятия позволяют налаживать взаимодействие между образовательными организациями в сфере повышения качества реализации образовательных программ.
До 2017 г. конкурсы ВКР проводились в очной форме по 10 строительным специальностям, относившимся к направлению подготовки «Строительство»:
• 270101 Механическое оборудование и технологические комплексы предприятий строительных материалов, изделий и конструкций;
• 270102 Промышленное и гражданское строительство;
• 270104 Гидротехническое строительство;
• 270105 Городское строительство и хозяйство;
• 270106 Производство строительных материалов, изделий и конструкций;
• 270109 Теплогазоснабжение и вентиляция;
• 270112 Водоснабжение и водоотведение;
• 270113 Механизация и автоматизация строительства;
• 270114 Проектирование зданий;
• 270115 Экспертиза и управление недвижимостью.
Но после 2017 г. подготовка по этим специальностям была прекращена, поэтому проведение конкурсов завершилось.
2 После 2017 г. — Международная общественная организация содействия строительному образованию.
В связи с этим было предложено организовать один, единый конкурс ВКР для того, чтобы иметь возможность регулировать количество номинаций конкурса в зависимости от количества участников и тематики работ.
Однако проведение единого конкурса представляет большие затруднения из-за большого количества участников. Таким образом, решено проводить его дистанционно, в заочной форме.
Заочная форма по сравнению с очной имеет как преимущества, так и недостатки.
Объединение и изменение формата конкурса ВКР потребовало разработки организационной и методической базы его проведения. Необходимо было решить следующие задачи:
• проанализировать преимущества и недостатки заочной формы проведения конкурса и предложить меры по минимизации негативных последствий изменения формата и расширения его положительных сторон;
• создать единую методику оценивания работ, представленных на конкурс;
• разработать процедуру проведения конкурса;
• проведя конкурс, проанализировать полученные результаты и предложить меры по корректировке правил проведения конкурса.
МАТЕРИАЛЫ И МЕТОДЫ
С 2011 г. подготовка кадров для строительной отрасли стала осуществляться по федеральным государственным образовательным стандартам высшего (профессионального) образования (ФГОС ВО). Подготовка стала двухуровневой (первый уровень — бакалавриат, второй — магистратура, специалитет). Вместо 10 строительных специальностей обучение стало вестись по двум направлениям подготовки и одной специальности:
• бакалавры по направлению подготовки 08.03.01 Строительство;
• магистры по направлению подготовки 08.04.01 Строительство;
• инженеры-строители по специальности 08.05.01 Строительство уникальных зданий и сооружений.
В связи с этим возник вопрос об изменении формата конкурса. Его нужно было переориентировать на ВКР бакалавров, магистров и специалистов. Необходимо было определиться, сколько конкурсов ВКР проводить и какими они должны быть. Сложность решения этого вопроса заключается в особенностях ФГОС ВО. Федеральный государственный образовательный стандарт высшего (профессионального) образования для бакалавров и магистров не регламентирует направленность (профиль) образовательных программ, он устанавливает требования к строительному образованию в целом. Только в ФГОС по специальности 08.05.01 был зафиксирован перечень специализаций. При подготовке бакалавров и магистров образовательные организации получили право самим определять содержание образовательных программ. Профили образовательных программ бакалавриата, как правило, устанавливались по аналогу с предшествующими инженерными специальностями, поэтому некоторое единство образовательного пространства России сохранялось. Профили же образовательных программ магистров имеют очень широкий спектр направленностей.
Было выявлено, что образовательные организации реализуют не одинаковые образовательные программы, эти программы различаются не только названиями, но и содержанием. При этом перечень и содержание реализуемых вузами образовательных программ может изменяться год от года. Кроме того, в разных вузах (образовательных организациях) приняты разные требования к виду и содержанию ВКР. ВКР может выполняться в разных форматах — она может иметь проектный или научно-исследовательский характер.
Таким образом, проблематично установить жесткий перечень конкурсов ВКР, которые необходимо проводить. Существует еще одна сложность — трудно предугадать количество участников профильного конкурса. Объявленный конкурс может не состояться из-за малого количества представленных работ или наоборот оказаться слишком многочисленным.
Решение поставленных задач достигалось разными способами. Разработка процедуры проведения конкурса в заочной форме, анализ ее преимуществ и недостатков осуществлялись в ходе обсуждения проекта положения о проведении данного конкурса. При этом учитывался многолетний опыт проведения различных конкурсов в очной форме, а также опыт проведения заочного конкурса АСВ на лучшую студенческую научную работу.
В 2016 г. был разработан проект Положения об организации и проведении конкурсов выпускных квалификационных работ в области строительства. Вузы, входящие в состав АСВ, приняли активное участие в его обсуждении. Положение об организации и проведении конкурсов выпускных квалифика- i ционных работ в области строительства впервые ут- = верждено правлением АСВ в 2016 г. Затем с учетом П „ первого опыта проведения дистанционного ВКР Es оно было исправлено, дополнено и переутверждено g = правлением АСВ в 2017 г.3 gg
Самой сложной оказалась задача разработки ="
методики оценивания ВКР, представленных на кон- g
курс. Необходимо было создать единую систему 8
оценивания работ разного профиля, которой до это- I
S
__се
3 Положение об организации и проведении конкурсов CD
выпускных квалификационных работ в области строи- (
тельства. URL: http://asv.mgsu.ru/universityabout/UMO- М
ASV/olimpiady/. 2
го момента не существовало. В конкурсах ВКР по каждой строительной специальности применялись свои показатели и критерии оценивания.
Вопрос о критериях оценивания ВКР — довольно непростой и не имеет универсального решения. Этому посвящен ряд статей [16-26]. Авторы рассматривают, как по косвенным критериям можно оценить готовность выпускника к профессиональной деятельности, уровень сформированности его компетенций. Но все предлагаемые методики решают иную задачу, не относящуюся к конкурсам ВКР.
Поэтому критерии оценивания ВКР на конкурсе разрабатывались на основе опыта проведения конкурсов дипломных проектов и работ по специальностям «Гидротехническое строительство», «Водоснабжение и водоотведение», «Промышленное и гражданское строительство» и другим строительным специальностям. Интересно отметить, что на этих конкурсах использовались критерии, похожие на представленные в труде [22].
При разработке критериев оценки ВКР мы также ориентировались на требования, предъявляемые к работам в профессиональной среде. Например, при выборе критериев оценки научно-исследовательских работ мы ориентировались на требования, предъявляемые к диссертациям на соискание ученых степеней. А при выборе критериев оценки проектных работ — на требования, предъявляемые к проектной документации. В этой связи было важно сместить акцент оценивания в сторону содержания работы.
Практическое применение выбранной методики оценивания ВКР показало, что она не позволяет гарантировать объективность всех членов жюри, поэтому потребовалось внесение коррективов в правила подведения результатов конкурса. Для этого была проведена статистическая обработка оценок жюри.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Одно из преимуществ заочной формы — более тщательное изучение и качественная оценка СЯ ВКР. Появляется возможность проверить сведения, — указанные для подтверждения достижений автора „ и признания результатов работы (статьи, конференции, грамоты, дипломы, патенты и др.).
Качеству оценок способствует то, что к про-¿5 цессу оценивания, к работе в составе жюри может быть привлечено большее количество научно-педа-¡2 гогических работников, а также представители работодателей.
„ в Еще один положительный момент — частич-£ Ц ное устранение субъективности оценок жюри. При очной форме ВКР представляет сотрудник соот-х £ ветствующей образовательной организации. Каче-р ство представления зависит от его квалификации Ц и осведомленности. Поскольку данный сотрудник х является и членом жюри, оценка работы зависит от
его авторитета в профессиональной среде. При дистанционной форме работа предлагается в виде презентации или анкеты, и качество зависит от самого участника.
Однако каждое из преимуществ, которые дает дистанционный формат конкурса, влечет за собой и появление недостатков.
На конкурс, проводимый в дистанционной форме, работы должны быть представлены в электронном виде, что приводит к увеличению трудозатрат участников.
Самый большой недостаток, по мнению большинства научно-педагогических работников, которые в разном качестве принимали активное участие в конкурсах ВКР, — отсутствие возможности осуществлять очное обсуждение конкурсных работ. Заочный формат уменьшает взаимодействие между вузами, обмен опытом. Но такая возможность сохраняется в рамках проведения студенческих олимпиад, проводимых АСВ.
По нашему мнению, большим недостатком является невозможность оценить степень самостоятельности выполнения автором своей работы — невозможно задать автору вопросы и оценить его ответы. Однако справедливости ради, следует отметить, что и в очной форме такая опция отсутствовала. Это связано со сложностью организации присутствия автора ВКР на конкурсе, так как к моменту проведения конкурса он может уже не являться студентом вуза.
Для того чтобы автору достойно представить свою работу была разработана анкета участника, в которой в сжатой форме он смог отразить все преимущества своего труда.
Благодаря тому, что конкурс ВКР стал единым, появилась возможность проводить сравнение конкурсных работ разного профиля между собой. Но для этого потребовалась разработка единой системы оценивания ВКР, включающей показатели, критерии и шкалы оценивания. Единая система могла использоваться как для оценки ВКР бакалавров, так и ВКР магистров и специалистов.
Тем не менее была создана не одна единая система оценивания, а две, для того чтобы учесть наличие двух очень отличающихся видов ВКР — проектного и научно-исследовательского характера.
При оценке работ проектного характера наиболее важно соответствие уровню проектирования проектных организаций. Соответственно основными объектами оценивания являются качество принятых технических, технологических решений, возможность реализации проекта на практике, качество расчетного обоснования проектных решений. Чтобы отразить наличие в проектной работе исследовательской части, в составе показателя «Обоснование и исследования» были предусмотрены соответствующие критерии.
При оценке ВКР научно-исследовательского характера должны учитываться общепринятые кри-
терии оценки подобных работ, которые отражены в требованиях к диссертациям на соискание ученых степеней. Это актуальность, научная новизна, теоретическая и практическая значимость работы. Данные критерии объединены в показатель с условным названием «значимость работы».
Остальные показатели оценивания были приняты одинаковыми для двух видов ВКР, хотя критерии оценки отличались. Показатель «уровень задачи» был введен для того, чтобы оценить объем и сложность ВКР. Показатель «Признание результатов ВКР» объединил критерии, связанные с апробацией труда в виде публикаций и докладов на конференциях, а также внешними оценками работы.
Кроме того, введены показатели оценивания, в которых член жюри мог отразить свое положительное или отрицательное экспертное мнение о ВКР. В показателе «Экспертное мнение» предусмотрена также возможность учесть при выставлении балла достоинства работы, которые не вошли в перечень критериев. В качестве одного из критериев использовано создавшееся у члена жюри впечатление от работы — достойна ли она призового места или нет.
В показателе «Критика ВКР» член жюри сможет отразить свое отрицательное мнение о работе. Несмотря на то, что представляемые на конкурс работы, как правило, самые достойные и качественные, можно оценить наличие в них ошибочных решений.
В итоге для работ проектного характера был принят следующий перечень показателей оценивания:
• уровень решения задачи;
• конструкторские решения;
• технологические и организационные решения;
• обоснование и исследования;
• критика ВКР;
• признание результатов ВКР;
• оформление и представление ВКР;
• экспертное мнение.
Для работ научно-исследовательского характера был принят следующий перечень показателей оценивания:
• уровень задачи;
• значимость работы;
• критика ВКР;
• признание результатов ВКР;
• оформление и представление ВКР;
• экспертное мнение.
Показатели оценивания включали перечень критериев. Их количество принято большим, чтобы детально оценить работу. Для работ проектного характера сформулированы 30 критериев, для работ научно-исследовательского характера — 20.
Применен особенный подход к формулированию критериев в виде критериальных вопросов (утверждений), на которые члены жюри должны дать
четкий ответ. Предоставлены только три варианта ответа: «Да», «Нет» и «Частично да». Такой подход позволил формализовать процедуру оценивания.
Перечень показателей и критериальных вопросов (утверждений) приведен в табл. 1 и 2.
Шкала оценивания работ была принята 100-балльной.
Для того чтобы упростить членам жюри работу с подробным перечнем критериев, с помощью редактора электронных таблиц Microsoft Excel был создан специальный электронный бланк оценивания. Он представляет собой таблицу с перечислением показателей и критериев оценки и соответствующими им оценками. В зависимости от вида ответа члена жюри на критериальные вопросы электронный бланк автоматически выставляет оценки и подсчитывает их сумму. Автоматизация подсчета позволяет исключить арифметические ошибки. Но самым главным преимуществом использования электронного бланка является снижение риска субъективности в выставлении оценки — работа члена жюри заключается не в выставлении баллов, а в ответах на вопросы, при этом количество начисляемых баллов привязано к ответам на критериальные вопросы.
Впервые конкурс ВКР в заочной форме был проведен в 2017 г. в качестве эксперимента. В целом эксперимент оказался довольно удачным, однако выявил и недостатки заочного формата.
Одним из наиболее значимых преимуществ заочной формы проведения конкурса явилось привлечение большого количества участников. В 2017 г. на конкурс представлены 208 работ от 28 образовательных организаций высшего образования. Наибольшее количество представили: Казанский государственный архитектурно-строительный университет (29), Самарский государственный университет (25) и Донской государственный технический университет (21). Благодаря заочной форме в конкурсе смогли принять участие вузы, удаленные от центральных регионов России. Это способствует расширению сотрудничества вузов и повышению статуса конкурса.
В конкурсе были выделены следующие 12 основных номинаций по профилям конкурсных работ:
• Промышленное и гражданское строительство;
• Автомобильные дороги;
• Архитектурно-строительное проектирование;
• Водоснабжение и водоотведение;
• Геотехника;
• Гидротехническое строительство;
• Городское строительство и хозяйство;
• Инвестиционно-строительная деятельность;
• Механизация строительства и строительной индустрии;
• Производство и применение строительных материалов, изделий и конструкций;
• Теплогазоснабжение и вентиляция;
• Технология и организация строительства.
м се
ев
оо 2
Табл. 1. Показатели и критерии оценивания работ проектного характера
Показатель оценивания Критериальный вопрос (утверждение)
Уровень задачи В ВКР решена масштабная задача
В ВКР решена сложная задача
Конструкторские решения Автор ВКР применил оригинальное, незаимствованное конструкторское решение
Выбор конструкторского решения произведен на основе сравнения вариантов
Проведены сложные расчеты по обоснованию конструкторского решения
Разработанное в ВКР конструкторское решение эффективно в данных условиях
Принятое конструкторское решение детально проработано
Конструкторское решение задачи осуществлено комплексно, с учетом технологических, экологических и иных особенностей
Разработанное конструкторское решение в определенной мере инновационно и может быть рекомендовано к дальнейшему применению
Технологические и организационные решения Автор ВКР применил оригинальное, не заимствованное технологическое и/или организационное решение
Выбор технологического и/или организационного решения произведен на основе сравнения вариантов
Применимость разработанного технологического и/или организационного решения подтверждена расчетами
Разработанное в ВКР организационно-технологическое решение эффективно в данных условиях
Технология и организация работ детально проработаны
Организационно-технологическое решение — комплексное, учитывает конструктивные, экологические и иные факторы
Разработанное организационно-технологическое решение в определенной мере инновационно и может быть рекомендовано к дальнейшему применению
Обоснование и исследования Автором доказана техническая и экономическая эффективность разработанного проекта
Автором проведены исследования, которые позволили обосновать принятые решения
Проведенные исследования обладают определенной новизной
Критика ВКР Не учтен ряд важных факторов, которые ставят под сомнение преимущества выбранного конструкторского решения
Не учтен ряд важных факторов, которые ставят под сомнение технологические и организационные решения
В обосновании принятых решений допущены ошибки
Признание результатов ВКР Преимущества и/или инновационность принятых в ВКР решений, проведенных исследований нашли отражение в публикациях, изданных с момента начала работы над ВКР
Автор провел апробацию принятого решения задачи, проведенных исследований на конференциях, семинарах, выставках и т.д. в период с момента начала работы над ВКР
Преимущества и/или инновационность принятых в ВКР решений были признаны профессиональным сообществом в виде актов внедрения и/или наград
Оформление и представление ВКР Пояснительная записка оформлена очень качественно
Графическая часть ВКР оформлена очень качественно
Автором разработаны дополнительные презентационные материалы, демонстрирующие преимущества ВКР
Экспертное мнение Вклад автора ВКР в полученные результаты очень весом
ВКР заслуживает присуждения призового места
еч со и
и се ■а еа С в
0 со
Табл. 2. Показатели и критерии оценивания работ научно-исследовательского характера
Показатель оценивания Критериальный вопрос (утверждение)
Уровень задачи В ВКР решена актуальная задача, имеющая важное значение для развития строительной отрасли
Автором усовершенствована методика исследований
Усовершенствование методики исследований позволило автору получить новые результаты
Автором выполнен большой объем исследований
Значимость работы Результаты исследований обладают новизной
Автором доказана техническая и/или экономическая эффективность результата НИР
Результаты имеют важное теоретическое значение
Результаты имеют практическую значимость
Результаты ВКР имеют внедрение
Критика ВКР В методике исследований допущен ряд неточностей, которые ставят под сомнение достоверность полученных результатов
В исследованиях не учтен ряд важных факторов, которые умаляют значимость полученных результатов
Признание результатов ВКР Результаты проведенных исследований нашли отражение в публикациях ВАК, изданных с момента начала работы над ВКР
Результаты проведенных исследований нашли отражение в международных публикациях, изданных с момента начала работы над ВКР
Автор провел апробацию принятого решения задачи, проведенных исследований на конференциях, семинарах, выставках и т.д. в период с момента начала работы над ВКР
Инновационность результатов исследований была признана профессиональным сообществом в виде наград и/или патентов
Оформление и представление ВКР Подготовлен качественный обзор накопленного опыта исследований в рассматриваемой сфере
Пояснительная записка оформлена очень качественно
Автором разработаны дополнительные презентационные материалы, демонстрирующие преимущества ВКР
Экспертное мнение Вклад автора ВКР в полученные результаты очень весом
ВКР заслуживает присуждения призового места
Данный перечень отличается от перечня реализуемых в вузах образовательных программ. Кроме того, в рамках перечисленных основных номинаций устанавливались дополнительные. Всего в конкурсе 2017 г. призерами стали 88 участников, их работы признаны качественными и интересными. Представители 24 вузов были награждены дипломами АСВ. Возможность установления дополнительных номинаций и поощрения более широкого круга участников — еще одно важное преимущество заочной формы.
Однако конкурс 2017 г. выявил и серьезный недостаток заочной формы — организовать заочное оценивание конкурсных работ оказалось труднее. Расширение количества участников и электронный формат представления конкурсных работ привели к увеличению трудозатрат членов жюри. Новый формат создал для членов жюри новые сложности. Выяснилось, что для некоторых членов жюри представляет затруднение работа с электронными таблицами, также непростым оказалось открытие файлов разных форматов. Поэтому в конкурсе 2017 г. не
удалось обеспечить широкое участие научно-педагогических работников в жюри конкурса.
Проведение конкурса ВКР в заочной форме стало очень длительным процессом. Это связано с тем, что все коммуникации в рамках конкурса осуществлялись посредством электронной почты и необходима была обратная связь. Все рабочие операции конкурса требовали многоуровневого контроля. ? Конкурс состоит из трех основных этапов. = Первый этап — прием работ. Он осуществлял- 5 „ ся как минимум два месяца. Работы системати- ЕЦ зировались по уровням образования и профилям, = =
а Я
составлялась информационная база участников. =5'
Информационная база размещалась на сайте АСВ, ="
конкурсные работы — на электронном носителе. =
Затем участникам конкурса предоставлялась воз- 8
можность проверить комплектность размещенных I
на электронном носителе конкурсных работ и пра- ^ вильность заполнения информационной базы.
Второй этап — организация работы жюри. ы
Участвующие в конкурсе вузы сами могли опреде- 2
лить членов жюри. Членам жюри предоставлялись £
еч
СО и
гиперссылки на конкурсные работы. На оценку работ членам жюри выделялось два месяца. Еще месяц отведен на проверку и сведение оценок.
На третьем этапе сводная информация о выставленных оценках размещалась на сайте для ознакомления и проверки. Участникам конкурса была дана возможность подать апелляцию на результаты конкурса. На это потребовалось больше месяца. Только после этого решением правления АСВ был утвержден список призеров и победителей конкурса.
Таким образом, конкурс проводился почти год, его большая длительность — серьезный недостаток заочной формы.
Но перечисленные выше недостатки удалось несколько сгладить при проведении конкурса в 2018 г. — было меньше организационных сложностей, сокращалась длительность конкурсных процедур.
На конкурс 2018 г. было представлено 343 работы. По сравнению с 2017 г. количество работ возросло более чем на 60 % (рис. 1). Работы представили 32 образовательные организации. Наиболее активное участие принял Казанский государственный архитектурно-строительный университет (67 работ). Также активное участие приняли Новосибирский государственный архитектурно-строительный университет (Сибстрин), представивший 31 работу; Донской государственный технический университет и Нижегородский государственный архитектурно-строительный университет (каждый по 26 работ).
Особенностью конкурса 2018 г. стало то, что впервые на конкурс были представлены ВКР по специальности 08.05.01 Строительство уникальных зданий и сооружений, первый выпуск по которой состоялся в 2017 г. (рис. 1). Резко увеличилось и количество представленных на конкурс ВКР магистров.
3
5
и Я ■а ва С в
0 со
Несмотря на увеличившееся количество участников, в 2018 г. члены жюри легче справлялись со своей работой, к работе в жюри было привлечено большее количество научно-педагогических работников. Всего в жюри приняли участие представители 22 вузов.
Анализ показал, что на конкурс представлены разные по качеству работы. Ряд работ был оценен очень высоко (80 баллов и выше), другие — низко (ниже 40 баллов) (рис. 2). Большой диапазон оценок жюри свидетельствует о том, что разработанная система оценок позволяет комплексно, с разных сторон, оценивать работы участников.
Средний балл всех работ составил около 61. Средний балл ВКР бакалавров оказался ниже, чем средний балл ВКР магистров и специалистов, принятая система оценивания адекватно отражает уровень работ. Хотя следует признать, что много бакалаврских работ было оценено выше, чем ВКР магистров. Однако это может говорить не о недостатках системы оценивания, а о недостатках самих работ.
Но при проведении конкурса 2018 г. проявилась другая проблема. Выявлено, что оценки членов жюри по каждому из участников могут сильно отличаться — проявляется субъективность оценок. Какие-то члены жюри оценивают более строго, другие — мягче. Среднее значение среднеквадратиче-ского отклонения оценок жюри по всем конкурсным работам составило 16 баллов. Это довольно много в сравнении со средним баллом всех работ (61).
Был проведен анализ разброса значений членов жюри. Для этого по каждому из участников подсчитаны средний балл и среднеквадратическое отклонение с оценок жюри. Далее были вычислены значения коэффициента вариации, который характеризует разброс значений в долях от среднего балла.
343
□ 2017 ■ 2018
208
200 188 150 " 129
I ■ .
0 ----I—1-—•-^--1—
12У 0
57
°гп
Бакалавриат Магистратура Специалитет Рис. 1. Сравнение количества работ, представленных на конкурс
Всего
Проект НИР Проект НИР Проект НИР Бакалавры Магистры Специалисты
Рис. 2. Диапазон оценок жюри за работы разных уровней и характеров
Он вычисляется как отношение среднеквадратиче-ского отклонения конкурсных баллов по участнику к их среднему арифметическому.
Результаты анализа показаны на рис. 3 в виде зависимости коэффициента вариации в зависимости от среднего балла. На рис. 3 хорошо видно, что бывают случаи, когда разброс оценок членов жюри небольшой (около 10 %), однако он может и превышать 60-70 %. Выяснилось, что чем ниже средний балл участника, тем больше разброс значений членов жюри, т.е. тем более неоднозначной становится оценка жюри.
Большой разброс оценок может означать неоднозначность критериев оценок, недостатки системы оценивания.
Однако наибольшую озабоченность вызывают случаи, когда оценки отдельных членов жюри по какому-то из участников «выбиваются» из общего фона. При этом оценка может отличаться от среднеарифметической на несколько десятков баллов. Оргкомитет конкурса получил ряд апелляций на такие оценки жюри.
Было принято решение при окончательном распределении мест не учитывать те оценки членов жюри, которые сильно отличаются от средней («промахи»). Оценка члена жюри не учитывается, если одновременно выполняются следующие условия:
• данную работу оценивало не менее пяти членов жюри;
80 70
К
I 60
я я
о. 50
та со
х 40
(и к
§ 30
5 20
И
10 о
□
И □ в □ В
п в ■ □ в в в
■ в 3 ■ в О 1" 1 ъ □ в £п п оЪ в о ■ □ □
□ □ ш ш "иы дтА® □ ■ ■■
Во ■ |Я Ж' □
а ™ * I-1 Л3^
в ■ в № □ ■
О 10 20 30 40 50 60 70 80 90 100
Баллы
Рис. 3. Характеристика разброса оценок членов для каждого из участников
се се
о
со 2
Рис. 4. Распределение вероятности значений оценок
• коэффициент вариации оценок составляет более 20 %;
• отличие оценки от средней больше критического.
Первое условие вводилось из-за того, что только при относительно большом количестве оценок можно судить о том, является ли данная оценка промахом. Второе условие вводилось потому, что маленький разброс оценок членов жюри свидетельствует об их достоверности, в этом случае необходимость пересмотра оценок отсутствует.
Третье условие является основным для корректировки оценки. Критическое значение отличия оценки от среднего (или доверительный интервал А) выражалось в долях от среднеквадратического отклонения с. Но, чтобы им воспользоваться, нужно установить эту долю (А/с). Для выполнения этой задачи было проведено исследование по оценке степени ограничений оценок на окончательные результаты.
Так, выявлено, что при А/с = 1 у почти 50 % оценка будет скорректирована в сторону увеличения, а у 25 % работ — в сторону уменьшения. Ограничение А/с = 1,5 затронет 42 % работ: у 30 % оценка увеличится, а у 12 % уменьшится. При А/с = 2 оценка увеличится у 4 %, а уменьшится — у 1 % работ.
Как видим, установление симметричного ограничения оценок А/с приводит преимущественно к повышению конкурсного балла, а не к его умень-и шению. Это связано с тем, что распределение веро-¿5 ятности значений оценок имеет несимметричный характер (рис. 4). Оценки величиной меньше сред-ив ней встречаются чаще, чем оценки, превышающие среднюю.
,.в В результате критическое отклонение оценки 5 Ц от средней было принято равное А/с = 1,8. У 11,8 % с| работ оценка была повышена, а у 2,4 % — по-х £ нижена.
ее
¡5 Ц Коррекция окончательных оценок позволила Ц сделать их более справедливыми.
еч со
В 2018 г. были рекомендованы к награждению 123 участника конкурса.
ЗАКЛЮЧЕНИЕ И ОБСУЖДЕНИЕ
1. Дистанционный (заочный) формат проведения конкурсов выпускных квалификационных работ обладает как преимуществами, так и недостатками. Наиболее целесообразным является сочетание очной и заочной форм проведения конкурса, когда на отборочном этапе конкурс проводится заочно, а на основном этапе — очно. Применение заочной формы конкурса ВКР в области строительства было вынужденной мерой в условиях неопределенности направленности реализуемых образовательных программ. Ее применение позволило сохранить конкурсы ВКР в области строительства и привлечь к участию в них большее количество вузов.
2. К недостаткам заочной формы проведения конкурса ВКР относятся увеличение трудозатрат участников и жюри, и большая длительность проведения конкурса. Однако в этом есть и положительные стороны — работы на конкурсе стали проверяться более тщательно.
3. Для проведения конкурса в заочной форме была разработана новая система оценивания представленных на конкурс работ. Она характеризуется увеличением количества критериев оценивания и их формализацией. Критерии оценивания были сформулированы в виде критериальных вопросов с четкой регламентацией ответа («Да», «Нет», «Частично да»). Это позволило несколько снизить субъективность оценок и автоматизировать подсчет конкурсных баллов.
4. Опыт проведения конкурса ВКР показал, что оценки жюри могут характеризоваться значительным разбросом значений. Для исключения особенно субъективных оценок необходимо вводить статистические ограничения, а также совершенствовать методику оценивания.
ЛИТЕРАТУРА
1. Наумкин Н.И., Кильмяшкин Е.А., Купряш-кин В.Ф. Научно-методические основы организации и проведения всероссийских студенческих конкурсов (монография) // Международный журнал прикладных и фундаментальных исследований. 2014. № 3. Ч. 2. С. 183-184. URL: http://applied-research. ru/ru/article/view?id=4922.
2. Гоник И.Л., Юрова О.В., Текин А.В., Фетисов А.В., Чесноков О.К. Студенческие олимпиады: проблемы и перспективы // Высшее образование в России. 2015. № 5. C. 119-124. URL: https://cyber-leninka.ru/article/n/studencheskie-olimpiady-problemy-i-perspektivy.
3. Назарова И.Б. Кадровые стратегии российских вузов-лидеров: планы и реализация. М., 2011. С. 3-82. (Экономика высшей школы: Аналитические обзоры по основным направлениям развития высшего образования / ФИРО; Вып. 6).
4. Кошкин В.И., Гордеев А.И., Белоцерков-ский А.В., Каплунов И.А., Мальцева А.А., Пустова-лова Е.Л. О повышении эффективности всероссийских студенческих олимпиад // Высшее образование в России. 2014. № 11. С. 25-30.
5. Шавернева А.А. Конкурсы выпускных квалификационных работ как форма повышения творческой активности студентов // сб. Научно-образовательная деятельность в сфере сервиса и туризма как инвариантная совокупность организационно-педагогических условий и принципов : мат. междунар. на-уч.-метод. конф. проф.-преп. сост. и асп. Белгород : БУКЭП. 2017. С. 152-156.
6. Ливандовская А.Д., Шпигунов М.Г. Первый в России конкурс выпускных квалификационных работ по специальности «Маркетинг» // Вестник Дальневосточной государственной академии экономики и управления. 2003. № 2 (26). С. 104-106.
7. Семенцов С. XXII Международный смотр-конкурс выпускных квалификационных работ по архитектуре и дизайну // Архитектура. Строительство. Дизайн. 2014. № 1 (74). С. 36-43.
8. Водяной А. XXIV Международный смотр-конкурс выпускных квалификационных работ по архитектуре и дизайну // Архитектура. Строительство. Дизайн. 2016. № 1-2. С. 36-46.
9. Масягин А.В., Харламов Е.В. Всероссийский смотр-конкурс выпускных квалификационных работ по подъемно-транспортным, строительным, дорожным средствам и оборудованию // Механизация строительства. 2017. Т. 78. № 6. С. 62-64.
10. Тюрин М.Ю. Опыт участия архитектурного факультета Южно-Уральского государственного университета в международных смотрах-конкурсах выпускных квалификационных работ // Архитектура, градостроительство и дизайн. 2018. № 16. С. 29-34.
11. Шеина С.Г., Новоселова И.В. Всероссийская студенческая олимпиада и конкурс выпускных квалификационных работ (дипломных проектов) по специальности 270115 «Экспертиза и управление недвижимостью» в 2010 г. // Недвижимость: экономика, управление. 2010. № 1-2. С. 102-103.
12. Бальзанников М.И., Евдокимов С.В., Ми-хасек А.А. Организация конкурсов выпускных квалификационных работ по специальности «Гидротехническое строительство» // Вестник СГАСУ. Градостроительство и архитектура. 2014. № 2 (15). С. 54-62.
13. Бальзанников М.И., Евдокимов С.В., Миха-сек А.А. Инновационные решения гидротехнических сооружений конкурсных выпускных работ // Научное обозрение. 2014. № 5. С. 92-100.
14. Масягин А.В. Всероссийский смотр-конкурс выпускных квалификационных работ // Механизация строительства. 2015. № 6 (852). С. 40-42.
15. Масягин А.В., Харламов Е.В. Юбилейный всероссийский смотр-конкурс выпускных квалификационных работ // Механизация строительства. 2016. № 6 (864). С. 7-10.
16. Влазнев А.И. Показатели оценивания и анализ развитости компетенций студентов вуза в процессе подготовки и защиты выпускной квалификационной работы // Известия высших учебных заведений. Поволжский регион. Гуманитарные науки. 2016. № 2 (38). С. 224-230. DOI: 10.21685/20723024-2016-2-21.
17. Граничина О.А., Онищенко Э.В. Оценка качества выпускной квалификационной работы бакалавров: проблемы и пути решения // Герценовские чтения. Начальное образование. 2015. Т. 6. № 1. С. 232-239.
18. Козьмина М.А. Технология квалиметриче-ского оценивания выпускной квалификационной работы в вузе // Вестник КГУ им. Н.А. Некрасова. 2007. № 13. С. 69-74.
19. Дадян Э.Г. Об одной методике итоговой оценки студентов бакалавриата // Интерактивная ? наука. 2016. № 6. С. 24-26. DOI: 10.21661/г-112497. С
20. Саинов М.П. Принципы методики выстав- 5 „ ления оценок на итоговой аттестации в форме за- ЕЦ щиты выпускной квалификационной работы // Тен- = =
а Я
денции развития науки и образования : мат. XXXIV =о
междунар. науч. конф. 2018. № 34. Ч. 2. С. 37-39. 5 "
21. Сидорин В.В. Методика оценки выпускных = квалификационных работ выпускников технических университетов // Фундаментальные проблемы ради- I оэлектронного приборостроения. 2011. Т. 11. № 4. ^ С. 38-42. е
22. Соловьева Н., Крылова М. Рейтинговая оо оценка выпускной квалификационной работы // 2 Высшее образование в России. 2007. № 9. С. 91-94. 2
23. ПокровскаяМ.В., Сидорин В.В. Оценка выпускных квалификационных работ выпускников в техническом университете // Инженерное образование. 2011. № 8. С. 76-80.
24. Почеткова Е.С. Оценка качества подготовки выпускников через создание фондов оценочных средств по выпускной квалификационной работе (опыт ВИПЭ ФСИН России) // Ведомости уголовно-исполнительной системы. 2014. № 7 (146). С. 17-22.
25. Шкуркин В.В., Никифоров И.П. Выпускная квалификационная работа: организация выполнения
и оценка // Вестник Псковского государственного университета. Сер. : Технические науки. 2016. № 3. С. 18-21.
26. Сапронов Ю.Г., Асцатуров Ю.Г. К вопросу оценки итоговых результатов обучения студентов по направлению «Эксплуатация транспортно-тех-нологических машин и комплексов» // сб. ст. VIII Международной научно-производственной конференции. 2014. С. 107-111.
Поступила в редакцию Принята в доработанном виде Одобрена для публикации
Об авторе: Саинов Михаил Петрович — кандидат технических наук, доцент кафедры гидравлики и гидротехнического строительства, Национальный исследовательский Московский государственный строительный университет (НИУ МГСУ), 129337, г. Москва, Ярославское шоссе, д. 26, mp_sainov@mail.ru.
INTRODUCTION
Student olympiads and competitions play an important role in the education system, they can be considered as another, additional, component of the educational process [1]. They not only allow identifying, encouraging the most capable students and increasing their interest in the chosen profession, but also contribute to the formation of their competence. Student competitions play an important role in the formation of scientific and scientific-pedagogical personnel of educational organizations (universities) [2, 3].
In Russia, student olympiads are part of a national system for the identification and development of young talents [4]. The Concept of a national system for the identification and development of young talents and a set of measures for its implementation, and a number of legal documents for the implementation of the e» concept were approved. Annually, the Ministry of Education and Science of the Russian Federation approves ^ the plan of events of the All-Russian student olympiad.
Student olympiads and competitions in our country C have a long history. In the Soviet Union competitions of ¿5 qualification theses projects and theses on construction and architectural specialties were organized. In mod-g ern Russia within the All-Russian student olympiad are ® olympiads and competitions of qualification theses theses on various specialties of higher education [5-15]. 5 H There were two types of activities. The first type is the c H olympiads, which consist in a creative contest between s S students. The second is the competitions of qualification SH theses (VKR). For VKR competitions, educational or-H ganizations have submitted the best qualification proj-
ects and theses that were reviewed and evaluated, and the best of them were selected.
Construction universities have always actively participated in the organization of student olympiads and competitions [11-15]. This work was engaged in the Educational and Methodical Association of Higher Educational Institutions for Education in the Field of Construction and the International Public Organization "Association of Construction Universities" (ASV). However, in 2012 the Ministry of Education and Science of the Russian Federation stopped organizing and funding VKR competitions in higher education. In these circumstances, the ASV has undertaken this mission. Organization of student olympiads and competitions is an important area of activity of the ASV as these activities allow to establish interaction between educational organizations in the sphere of improving the quality of educational programs.
Until 2017, VKR competitions were held in intramural form in 10 construction specialties related to the field of training "Construction":
• 270101 Mechanical equipment and technological complexes of enterprises of construction materials, products and structures;
• 270102 Industrial and civil engineering;
• 270104 Hydraulic engineering;
• 270105 Urban development and economy;
• 270106 Manufacture of building materials, products and structures;
• 270109 Heat and gas supply and ventilation;
• 270112 Water supply and water disposal;
• 270113 Mechanization and automation of construction;
• 270114 Building design;
• 270115 Expertise and property management.
But after 2017, training in these specialties was discontinued, so the competitions were completed.
Since 2011, training for the construction industry has been carried out by the Federal State Education Standards of Higher (Professional) Education (FSES HE). Training has become a two-tier (the first tier — bachelor's degree, the second — master's degree, specialist's program). Instead of 10 construction specialties, training began in two areas of training and one specialty:
• bachelor's degree in the field of Construction 08.03.01;
• master's degree in the field of Construction 08.04.01;
• civil engineers in the field of Construction of unique buildings and structures 08.05.01.
In this regard, there was an issue of changing the format of the competition. It had to be reoriented to VKR of bachelors, masters and specialists. It was necessary to decide how many VKR competitions to hold and what they should be. The complexity of this issue lies in the specifics of the FSES HE. The Federal State Education Standards of Higher (Professional) Education for bachelors and masters does not regulate the direction (profile) of educational programs; it establishes requirements for construction education in general. Only in the FSES in the specialty 08.05.01 was fixed list of specializations. During the training of bachelors and masters educational organizations have the right to determine the content of educational programs. As a rule, the profiles of bachelor's degree programs were established by analogy with the previous engineering specialties, so some unity of the educational space of Russia remained. Profiles of educational programs of masters have a very wide range of directions.
It was found that educational organizations do not implement the same educational programs, these programs differ not only in names but also in content. The list and content of educational programs implemented by universities may vary from year to year. In addition, different universities (educational institutions) have different requirements for the type and content of VKR. VKR can be carried out in different formats — it can have a project or research character.
In this regard, it was proposed to organize one, a unified VKR competition in order to be able to regulate the number of nominations of the competition depending on the number of participants and topics of work.
However, holding a unified competition presents great difficulties because of the large number of participants. Thus, it was decided to conduct it remotely in the extramural form.
Extramural form in comparison with intramural form has both advantages and disadvantages.
The merger and modification of the format of VKR competition required the development of an organizational and methodological base for its conduct. It was necessary to solve the following tasks:
• analyze the advantages and disadvantages of the extramural form of the competition and propose measures to minimize the negative consequences of changing the format and expand its positive aspects;
• create a unified method of works evaluation submitted to the competition;
• develop a procedure for the competition;
• after the competition, analyze the results and propose measures to adjust the rules of the competition.
MATERIALS AND METHODS
The solution of the set tasks was achieved in different ways. Development of the procedure for holding the competition in the extramural form, an analysis of its advantages and disadvantages was carried out during the discussion of the draft regulations on the conduct of this competition. At the same time, many years of experience in conducting various contests in the intramural form, as well as the experience of conducting an extramural competition for the best student scientific work were taken into account.
In 2016, a Draft regulation on the organization and holding of competitions of qualification theses in the field of construction was developed. The universities that are part of the ASV took an active part in its discussion. The Regulation on the organization and holding of competitions of qualification theses in the field of construction was first approved by the ASV Board in 2016. Then, taking into account the first experience of remote VKR, it was amended, supplemented and re-confirmed by the ASV Board in 20174.
The most difficult task was to develop a methodology for VKR estimating submitted to the competition. It was necessary to create a unified system for evaluation the work of different profiles, which until then did not exist. In the competitions of VKR for each construction specialty used their indicators and evaluation criteria.
The issue of VKR evaluation criteria is rather complicated and does not have a universal solution. This is i the subject of a number of articles [16-26]. The authors = consider as indirect criteria to evaluate the readiness of S „ graduates for professional activities, the level of devel- E M opment of it competences. But all the proposed meth- = C ods solve a different problem that is not related to VKR =5' competitions.
Therefore, VKR evaluation criteria in the competi- = tion were developed on the basis of the experience of 8 holding competitions for diploma projects and theses I
M
M
4 Regulations onthe organization andholding ofcompetitions CD of qualification theses in the field of construction. URL: http:// ( asv.mgsu.ru/universityabout/UMO-ASV/olimpiady/.
in the specialties "Hydraulic engineering", "Water supply and disposal", "Industrial and civil engineering", etc. construction specialties. It is interesting to note that these criteria used criteria similar to those presented in the work [22].
When developing VKR evaluation criteria, we also focused on the requirements for papers in a professional environment. For example, when choosing the evaluation criteria for research work, we focused on the requirements for theses for obtaining scientific degrees. And when choosing evaluation criteria for design work is the requirements for design documentation. In this regard, it was important to shift the focus of evaluation towards the content of the work.
The practical application of the chosen method of VKR evaluation showed that it does not guarantee the objectivity of all jury members, so it was necessary to make adjustments to the rules of summing up the results of the competition. For this purpose, the statistical processing of the jury's evaluation was carried out.
RESEARCH RESULT
One of the advantages of the extramural form is a more thorough study and a qualitative evaluation of VKR. There is an opportunity to verify the information specified to confirm the author's achievements and the recognition of the results of the work (articles, conferences, diplomas, patents, etc.).
The quality of the evaluation is facilitated by the fact that a greater number of scientific and pedagogical workers, as well as representatives of employers, can be attracted to the evaluation process, to work in the jury.
Another positive point is the partial elimination of the subjectivity of the jury's evaluation. In case of extramural form, VKR is represented by an employee of the relevant educational organization. The quality of the presentation depends on its skill and awareness. Since this employee is also a member of the jury, the work evaluation depends on his authority in a professional environment. In case of remote form, the work is offered in the form of a presentation or questionnaire, and e» the quality depends on the participant himself.
However, each of the advantages of the remote ^ format of the competition entails the appearance of dis-g advantages.
For the remote competition, the works shall be ¿5 submitted in electronic form, which leads to an increase
in the labor costs of participants. ■s The biggest disadvantage, according to the major® ity of scientific and pedagogical workers, who took an „ „ active part in VKR competitions in different quality, is 5 H the lack of opportunity to carry out an intramural disc H cussion of competitive works. Extramural format reduc-£ £ es interaction between universities, exchange of experi-J| H ence. But this possibility remains within the framework H of student olympiads held by the ASV
In our opinion, the biggest drawback is the inability to evaluate the degree of independence of the author's performance of his work — it is impossible to ask the author questions and evaluate his answers. However, in fairness, it should be noted that in intramural form this option was not available. This is due to the complexity of the organization of the presence of the author of VKR in the competition, because by the time of the competition, he may no longer be a student of the University
In order for the author to adequately present his work, a participant questionnaire was developed, in which he was able to reflect all the advantages of his work in a concise form.
Due to the fact that VKR competition became one, it became possible to compare competitive works of different profiles among themselves. But this required the development of a unified evaluation system for VKR, including indicators, criteria and evaluation scales. A unified system could be used both for the evaluation of VKR Bachelor's degree and for VKR Master's degree and specialists.
Nevertheless, there were two unified evaluation system in order to take into account the presence of two very different VKR types — project and research one.
During evaluation of project-based works, it is most important to match the design level of design organizations. Accordingly, the main objects of evaluation are the quality of technical and technological decisions taken, the possibility of implementing the project in practice, and the quality of the design justification for design decisions. To reflect the availability of the research part in the project work, the corresponding criteria were included in the "Justification and Research" indicator.
During evaluation of research-based VKR, generally accepted criteria for the evaluation of such studies should be taken into account, which are reflected in the requirements for theses for obtaining scientific degrees. This is topicality, scientific novelty, theoretical and practical significance of the work. These criteria are combined in the indicator with the conditional name "work relevance".
The remaining evaluation indicators were adopted the same for the two types of VKR, although the evaluation criteria differed. The indicator "task level" was introduced in order to evaluate the volume and complexity of VKR. The indicator "Recognition of the VKR results" combined the criteria related to the approbation of labor in the form of publications and reports at conferences, as well as external evaluation of the work.
In addition, the evaluation indicators were introduced, in which the jury member could reflect his positive or negative expert opinion on VKR. The indicator "Expert opinion" also provides an opportunity to take into account the advantages of the work, which are not included in the list of criteria. As one of the criteria,
the jury member's impression of the work is used — whether it is worthy of a prize or not.
In the indicator "VKR Criticism" the member of the jury will be able to reflect his negative opinion about the work. Despite the fact that the works submitted to the competition, as a rule, are the most worthy and qualitative, one can estimate the presence of erroneous decisions in them.
As a result, the following list of evaluation indicators for project-based works was adopted:
• The level of task solution;
• Design solutions;
• Technological and organizational solutions;
• Justification and research;
• VKR Criticism;
• Recognition of the VKR results;
• Editing and presentation of VKR;
• Expert opinion.
For scientific-research work, the following list of evaluation indicators was adopted:
• Task level;
• Work relevance;
• VKR Criticism;
• Recognition of the VKR results;
• Editing and presentation of VKR;
• Expert opinion.
The evaluation indicators included a list of criteria. Their number is taken large to assess the work in detail. For project-based work, 30 criteria are formulated, for scientific research work is 20.
A special approach is used to formulate criteria in the form of criteria questions (statements), to which the jury members shall give a clear answer. Only three answers are given: "Yes", "No" and "Partially yes". This approach allowed us to formalize the evaluation procedure.
The list of indicators and criteria questions (statements) is given in Table 1 and 2.
A 100 point evaluation scale for work was adopted.
In order to simplify the work of the jury members with a detailed list of criteria, a special electronic evaluation form was created using the Microsoft Excel spreadsheet editor. It is a table listing the indicators and evaluation criteria and the corresponding evaluation. Depending on the type of the jury member's answer to the criteria questions, the electronic form automatically submits the scores and calculates their amount. Automation of the calculation allows excluding arithmetic errors. But the most important advantage of using the electronic form is the reduction of the risk of subjectivity in the evaluation — the work of the jury member is not in the scoring, but in the answers to the questions, while the number of points added is tied to the answers to the criteria questions.
For the first time the VKR competition in extramural form was held in 2017 as an experiment. In general, the experiment turned out to be quite successful,
but also revealed the disadvantages of the extramural format.
One of the most significant advantages of the extramural form of the competition was the attraction of a large number of participants. In 2017, the competition presented 208 works from 28 educational institutions of higher education. Most represented: Kazan State University of Architecture and Civil Engineering (29), Samara State University (25) and Don State Technical University (21). Due to the extramural form, universities that were remote from the central regions of Russia were able to take part in the competition. This contributes to the expansion of cooperation between universities and the status of the competition.
In the competition the following 12 main nominations for the profiles of the competitive works were singled out:
• Industrial and civil engineering;
• Motor road;
• Architectural and construction design;
• Water supply and water disposal;
• Geotechnics;
• Hydraulic engineering;
• Urban development and economy;
• Investment and construction activities;
• Mechanization of construction and construction industry;
• Production and application of building materials, products and structures;
• Heat and gas supply and ventilation;
• Technology and organization of construction.
This list differs from the list of educational programs implemented in universities. In addition, additional nominations were established within the framework of the listed main nominations. In total, 88 participants became winners in the 2017 competition, their works are recognized as high-quality and interesting. Representatives of 24 universities were awarded diplomas of ASV. The possibility of establishing additional nominations and encouraging a wider range of participants is another important advantage of the extramural form.
However, the competition in 2017 revealed a serious lack of extramural form — it was more difficult to organize the extramural evaluation of competitive works. The expansion of the number of participants and the electronic format of submission of competitive works led to an increase in the labor costs of jury members. The new format created new difficulties for the jury members. It turned out that for some members of the jury it is difficult to work with spreadsheets, it was also difficult to open files of different formats. Therefore, it was not possible to ensure wide participation of scientific and pedagogical workers in the jury of the competition in 2017.
The conduct of the VKR competition in extramural became a very lengthy process. This is due to the fact that all communications within the competition
ce ce
CD
GO 2
Table 1. Indicators and criteria for evaluating project-based works
Evaluation indicator Criteria question (statement)
Task level VKR solved a large-scale task
VKR solved a difficult task
Design solutions The author used an original, unborrowed design solution
Complex calculations were made to substantiate the design solution
The choice of the design solution is based on a comparison of options
The design solution developed in VKR is effective in these conditions
The accepted design solution is worked out in detail
The design solution of the task was implemented in a complex manner, taking into account technological, environmental and other features
The developed design solution is innovative to some extent and can be recommended for further use
Technological and organizational solutions The author of VKR used an original, unborrowed technological and / or organizational solution
The choice of the technological and / or organizational solution is based on a comparison of options
The applicability of the developed technological and / or organizational solution is confirmed by calculations
The organizational and technological solution developed in VKR is effective in these conditions
The technology and organization of work are worked out in detail
The organizational and technological solution is complex, takes into account design, environmental and other factors
The developed organizational and technological solution is innovative to some extent and can be recommended for further use
Justification and research The author proved the technical and economic efficiency of the developed project
The author conducted research that allowed to justify the solutions
The conducted research has a certain novelty
VKR Criticism A number of important factors that cast doubt on the advantages of the chosen design solution are not taken into account
A number of important factors that cast doubt on technological and organizational solutions
There were some mistakes in the justification of the adopted solutions
Recognition of the VKR results The advantages and / or innovativeness of the solutions taken in the VKR and the studies carried out are reflected in the publications issued since the beginning of VKR work
The author tested the solution of the task, conducted research at conferences, seminars, exhibitions, etc. in the period from the beginning of VKR
The advantages and / or innovativeness of VKR solutons were recognized by the professional community in the form of implementation acts and / or awards
Editing and presentation of VKR The explanatory note is issued very qualitatively
The graphic part of VKR is very well structured
The author developed additional presentation materials demonstrating the advantages of VKR
Expert opinion Author's contribution in VKR results is very significant
VKR deserves a prize place
eN
eo u
u (b
.a ea
c ®
9 CO
Table 2. Indicators and criteria for evaluating scientific-research based works
Evaluation indicator Criteria question (statement)
Task level In VKR an crucial task that is important for the development of the construction industry is solved
The author improved the research methodology
Improvement of research methods allowed the author to obtain new results
The author made a large amount of research
Work relevance The research results are novel
The author proved the technical and / or economic effectiveness of the R&D result
The results have great theoretical relevance
The results have practical relevance
Introduction of the VKR results
VKR Criticism There are a number of inaccuracies in the research methodology that cast doubt on the reliability of the results obtained
The research does not take into account a number of important factors that downplay the importance of the results obtained
Recognition of the VKR results The research results are reflected in the publications of the Higher Attestation Commission, published since the beginning of VKR
The research results are reflected in international publications published since the beginning of VKR
The author tested the solution of the task, conducted research at conferences, seminars, exhibitions, etc. in the period from the beginning of VKR
Innovation of research results was recognized by the professional community in the form of awards and / or patents
Editing and presentation of VKR A qualitative review of the accumulated experience of research in this field was prepared
The explanatory note is issued very qualitatively
The author developed additional presentation materials demonstrating the advantages of VKR
Expert opinion Author's contribution in VKR results is very significant
VKR deserves a prize place
were carried out via e-mail and feedback was necessary. All the operations of the competition require multi-level control.
The competition consists of 3 main stages.
The first stage is submission of works. It was carried out at least 2 months. The works were systematized according to the levels of education and profiles, the information base of the participants was formed. The information base was available on the ASV website, the competitive works are on electronic media. Then the contestants were given the opportunity to check the work completeness on the electronic medium and the correctness of filling the information base.
The second stage is the organization of the jury work. The participating universities could determine the jury members themselves. The members of the jury were provided with hyperlinks to the competitive works. The jury members are given 2 months for work evaluation. Another month is spent on checking and combining the evaluation.
At the third stage, evaluation summary information was posted on the website for review and verification. The competition participants were given the opportunity to appeal the results of the competition. It took more than a month. Only after it, ASV board approved a list of winners and awardees of the competition.
Thus, the competition was held for almost a year, its long duration is a serious disadvantage of extramural form.
But the above disadvantages were somewhat smoothed out during the competition in 2018, there were fewer organizational difficulties; the duration of competitive procedures was reduced.
343 works were submitted for 2018 competition. In comparison with 2017, the number of works has increased by more than 60 % (Figure 1). The work was presented by 32 educational organizations. The Kazan State University of Architecture and Civil Engineering i took the most active part (67 works). Novosibirsk State = University of architecture and Civil Engineering (Sib- 5 „ strin), which presented 31 works, Don State Technical E M University and Nizhny Novgorod State University of = C Architecture and Civil Engineering (each of 26 works) =5' as well as took an active part.
The peculiarity of the competition in 2018 was that = for the first time the VKR was represented on the spe- 8 cialty 08.05.01. The construction of unique buildings I and structures, the first issue of which was held in 2017 M (Fig. 1). The number of masters submitted to the VKR § competition has also increased dramatically. CO
In spite of the increased number of participants, 2 in 2018 the jury members more easily coped with their 2
350
300
250
200
.0 150 ■
100
50
0
343
□ 2017 ■ 2018
208
188 -
tel
12a 0
57
on
Bachelor's Master's Specialists
Fig. 1. Comparison of the number of works submitted to the competition
Total
work, the work of the jury involved a greater number of scientific and pedagogical workers. In total, the jury was attended by representatives of 22 universities.
The analysis showed that different quality works are presented for the competition. A number of works were evaluated very highly (80 points and higher), others — low (below 40 points) (Fig. 2). A wide range of jury evaluation testifies that the developed system of evaluation allows evaluating the work of participants from the different sides.
The average point of all works was about 61. The average point of the VKR bachelors was lower than the average point of the VKR masters and specialists,
the adopted evaluation system adequately reflects the level of work. Although it should be admitted that many bachelor's works were evaluated higher than the VKR masters. However, it can speak not about the shortcomings of the evaluation system, but about the shortcomings of the works themselves.
But during 2018 competition, there was another problem. It has been revealed that the evaluation of the jury members for each of the participants can be very different — the subjectivity of evaluation is manifested. Some members of the jury are evaluated more strictly, others are softer. The average value of the standard deviation of the jury's evaluation for all the competitive
eN
n u
U CO
•a m C ®
s n
Specialists
Fig 2. The range of jury evaluation for the works of different levels and characters
80
70
60
а 50
Я
40
5 30
> 20
10
□
111 □ В □ В
п в ■ □ в в в
■ в 3 ■ В о п" 1 ъ □ в £п п оЪ в о ■ □ □
□ □ m JVJb □ ь1"
в В ST™ ■ |Я inïP ЯлЬ* □
а Œ Оз Lt45J * Ï-1 LîfVn
в ■ в □ ■
0 10 20 30 40 50 60 70 80 90 100
Points
Fig. 3. Characteristics of the members evaluations spread for each of the participants
works was 16 points. This is quite a lot in comparison with the average point of all the works (61).
The analysis of the spread of values of the jury members was carried out. To do this, for each of the participants, the average point and the standard deviation of the jury's evaluation are calculated. Then, the values of the variation coefficient were calculated, which characterizes the scatter of values in fractions of the average point. It is calculated as the ratio of the standard deviation of the competition points by the participant to their average arithmetic mean.
The results of the analysis are shown in Fig. 3 as a function of the variation coefficient depending on the average point. In Fig. 3 it is clear that there are cases when the range of evaluations of jury members is small (about 10 %), but it may exceed 60-70 %. It turned out that the lower the average point of the participant; the greater the scatter of the jury members' evaluations, i.e. the more ambiguous is the jury evaluation.
A wide range of evaluations can mean the ambiguity of the evaluation criteria, the shortcomings of the evaluation system.
However, the greatest concern is the cases when the evaluations of individual jury members for some of the participants "stand out" from the General background. In this case, the evaluation may differ from the arithmetic mean by several tens of points. The organizing Committee received a number of appeals to the jury.
It was decided that the final distribution of places did not take into account those evaluations of the jury, which are very different from the average ("misses"). The evaluation of the jury member is not taken into account if the following conditions are met simultaneously:
• this work was evaluated by at least 5 members of the jury;
• variation coefficient of evaluations is more than 20 %;
• difference between the evaluations and the average is more critical.
The first condition was introduced because only with a relatively large number of evaluations can we judge whether the given evaluation is a miss. The second condition was introduced because the small spread of evaluations of the jury members indicates their reliability, in this case, there is no need to revise the evaluations.
The third condition is the main one for evaluation adjusting. Critical difference evaluation from the mean (or confidence interval Д) was expressed as percentage of the standard deviation c. But to use it, you need to set this share (Д/c). To perform this task, a study was conducted to assess the degree of evaluation limitations for final results.
So, it is revealed that when Д/c = 1 almost 50 % of the evaluation will be adjusted upwards, and 25 % is downward. Restriction Д/c = 1.5 will affect 42 % of the work: in 30 % evaluation will increase, and in 12 % will decrease. When Д/c = 2 evaluation will increase by 4 % and decreased 1 % works.
As you can see, establishing symmetry restraints evaluations Д/c leads mainly to increased competitive point and not to its reduction. This is due to the fact that the probability distribution of the values of the evaluations is asymmetric (Fig. 4). Evaluations of less than the average are more common than evaluations that exceed the average.
As a result, the critical deviation of the evaluation from the average was taken equal to Д/c = 1.8. In 11.8 % of the works, the evaluation was increased, while 2.4% was lowered.
Correction of final evaluations made it possible to make them more fair.
In 2018, 123 participants were recommended for the award.
CONCLUSION AND DISCUSSION
1. Remote (extramural) format of competitions of qualification theses has both advantages and disadvan-
ce ce
CD
GO 2
Fig. 4. The probability distribution of the values of evaluations
tages. The most expedient is the combination of extramural and intramural forms of the competition, when the qualifying stage of the competition is held in extramural form and at the main is in intramural form. The use of the extramural form of the VKR competition in the field of construction was a forced measure in the conditions of uncertainty of the direction of educational programs. Its application allowed to keep VKR competitions in the field of construction and to attract more universities to participate in them.
2. The disadvantages of the extramural form of the VKR competition include an increase in the labor costs of participants and the jury, and a long duration of the competition. However, there are also positive aspects — the work began to be checked more carefully
3. For the extramural form of competition was developed a new system of evaluation of the submitted works. It is characterized by an increase in the number of evaluation criteria and their formalization. Evaluation criteria were formulated in the form of criteria questions with a clear regulation of the answer ("Yes", "No", "Partially yes"). This made it possible to reduce the subjectivity of evaluations somewhat and to automate the calculation of competitive points.
4. The experience of VKR competition showed that the jury's evaluations can be characterized by a significant spread of values. To exclude especially subjective evaluations, it is necessary to introduce statistical limitations, as well as improve the evaluation methodology.
REFERENCES
1. Naumkin N.I., Kil'myashkin E.A., Kupryash-kin V.F. Nauchno-metodicheskie osnovy organizatsii i provedeniya vserossiyskikh studencheskikh konkursov (monografiya) [Scientific and methodical bases of the
ç» organization and carrying out the all-Russian student competitions (monograph)]. Mezhdunarodnyy zhurnal „ prikladnykh i fundamental'nykh issledovaniy [Internait tional journal of applied and fundamental research]. E 2014, no. 3, part 2, pp. 183-184. URL: http://applied-¿5 research.ru/ru/article/view?id=4922. (In Russian)
2. Gonik I.L., Yurova O.V., Tekin A.V., Feti-■s sov A.V., Chesnokov O.K. Studencheskie olimpiady: ® problemy i perspektivy [Student olympiad: problems ,.a and prospects]. Vysshee obrazovanie v Rossii [Higher |l|| education in Russia]. 2015, no. 5, pp. 119-124. URL: c S https://cyberleninka.ru/article/n/studencheskie-olimpi-sâ ady-problemy-i-perspektivy. (In Russian)
P 3. Nazarova I.B. Kadrovye strategii rossiyskikh x vuzov-liderov: plany i realizatsiya [The personnel strat-x egy of the Russian universities among the leaders, plans
and implementation]. Moscow, 2011, no. 6, pp. 3-82. (Analiticheskie obzory po osnovnym napravleniyam razvitiya vysshego obrazovaniya. Ekonomika vysshey shkoly. Federal'nyy institut razvitiya obrazovaniya. [Analytical reviews on the main directions of higher education development. Economics of higher education. Federal Institute of education development] / FIRO; Vol. 6). (In Russian)
4. Koshkin V.I., Gordeev A.I., Belotserkovs-kiy A.V., Kaplunov I.A., Mal'tseva A.A., Pustovalo-va E.L. O povyshenii effektivnosti vserossiyskikh studencheskikh olimpiad [Improving the efficiency of national student competition]. Vysshee obrazovanie v Rossii [Higher education in Russia]. 2014, no. 11, pp. 25-30. (In Russian)
5. Shaverneva A.A. Konkursy vypusknykh kvali-fikatsionnykh rabot kak forma povysheniya tvorcheskoy aktivnosti studentov [Competitions of final qualifying works as a form of increasing creative activity of students]. Sb. Nauchno-obrazovatel'naya deyatel'nost' v
sfere servisa i turizma kak invariantnaya sovokupnost' organizatsionno-pedagogicheskikh usloviy i printsipov : materialy mezhdunarodnoy nauchno-metodicheskoy kon-ferentsii professorsko-prepodavatel 'skogo sostava i as-pirantov [Collection Scientific and educational activities in the field of service and tourism as an invariant set of organizational and pedagogical conditions and principles: materials of the international scientific and methodological conference of faculty and graduate students]. Belgorod, BUKEP publ. 2017, pp. 152-156. (In Russian)
6. Livandovskaya A.D., Shpigunov M.G. Per-vyy v Rossii konkurs vypusknykh kvalifikatsionnykh rabot po spetsial'nosti «Marketing» [The first in Russia competition of final qualifying works in the specialty "Marketing"]. Vestnik Dal'nevostochnoy gosudarstven-noy akademii ekonomiki i upravleniya [Bulletin of the far Eastern State Academy of Economics and management]. 2003, no. 2 (26), pp. 104-106. (In Russian)
7. Sementsov S. XXII Mezhdunarodnyy smotr-konkurs vypusknykh kvalifikatsionnykh rabot po arkhi-tekture i dizaynu [XXII international review competition final qualifying works on architecture and design]. Arkhi-tektura. Stroitel'stvo. Dizayn [Architecture, Construction, Design]. 2014, no. 1 (74), pp. 36-43. (In Russian)
8. Vodyanoy A. XXIV Mezhdunarodnyy smotr-konkurs vypusknykh kvalifikatsionnykh rabot po arkhi-tekture i dizaynu [XXIV international competition of final qualifying works on architecture and design]. Arkh-itektura. Stroitel'stvo. Dizayn [Architecture, Construction, Design]. 2016, no. 1-2, pp. 36-46. (In Russian)
9. Masyagin A.V., Kharlamov E.V. Vserossiyskiy smotr-konkurs vypusknykh kvalifikatsionnykh rabot po pod"emno-transportnym, stroitel'nym, dorozhnym sredstvam i oborudovaniyu [All Russia review contest of graduation qualification projects]. Mekhanizatsiya stroitel'stva [Mechanization of construction]. 2017, vol. 78, no. 6, pp. 62-64. (In Russian)
10. Tyurin M.Yu. Opyt uchastiya arkhitekturnogo fakul'teta Yuzhno-Ural'skogo gosudarstvennogo uni-versiteta v mezhdunarodnykh smotrakh-konkursakh vypusknykh kvalifikatsionnykh rabot [Experience of participation of the architectural faculty of the South Ural State University in the international competitions-competitions of exhaust qualifications]. Arkhitektura. Stroitel'stvo. Dizayn [Architecture, Construction, Design]. 2018, no. 16, pp. 29-34. (In Russian)
11. Sheina S.G., Novoselova I.V. Vserossiys-kaya studencheskaya olimpiada i konkurs vypusknykh kvalifikatsionnykh rabot (diplomnykh proektov) po spetsial'nosti 270115 «Ekspertiza i upravlenie nedvizhimost'yu» v 2010 g. [All-Russian student Olympiad and competition of final qualifying works (diploma projects) in the specialty 270115 "Examination and management of real estate" in 2010]. Nedvizhimost': ekonomika, upravlenie [Real estate: Economics, management]. 2010, no. 1-2, pp. 102-103. (In Russian)
12. Bal'zannikov M.I., Evdokimov S.V., Mikha-sek A.A. Organizatsiya konkursov vypusknykh kvali-
fikatsionnykh rabot po spetsial'nosti «Gidrotekh-nicheskoe stroitel'stvo» [Organization of competitions of final qualifying works in the specialty "Hydraulic engineering construction"]. Vestnik Samarskogo gosudarstvennogo arkhitekturno-stroitel'nogo universiteta. Gradostroitel'stvo i arkhitektura (Vestnik SGASU) [Bulletin of Samara State University of architecture and construction . Urban planning and architecture (Vestnik SGASU)]. 2014, no. 2 (15), pp. 54-62. (In Russian)
13. Bal'zannikov M.I., Evdokimov S.V., Mikha-sek A.A. Innovatsionnye resheniya gidrotekhnicheskikh sooruzheniy konkursnykh vypusknykh rabot [Innovative solutions of hydro-technical constructions in contest graduation works]. Nauchnoe obozrenie [Scientific review]. 2014, no. 5, pp. 92-100. (In Russian)
14. Masyagin A.V. Vserossiyskiy smotr-konkurs vypusknykh kvalifikatsionnykh rabot [All-Russian review-competition of final qualifying works]. Mekhanizatsiya stroitel'stva [Mechanization of construction]. 2015, no. 6 (852), pp. 40-42.
15. Masyagin A.V., Kharlamov E.V. Yubileynyy vserossiyskiy smotr-konkurs vypusknykh kvalifikatsionnykh rabot [Anniversary all-Russian review-competition of final qualifying works]. Mekhanizatsiya stroitel'stva [Mechanization of construction]. 2016, no. 6 (864), pp. 7-10. (In Russian)
16. Vlaznev A.I. Pokazateli otsenivaniya i analiz razvitosti kompetentsiy studentov vuza v protsesse pod-gotovki i zashchity vypusknoy kvalifikatsionnoy raboty [Evaluation indicators and competences development analysis of university students in the process of diploma work preparation and defence]. Izvestiya vysshikh uchebnykh zavedeniy. Povolzhskiy region. Gumanitar-nye nauki [News of higher educational institutions. Volga region. Humanities]. 2016, no. 2 (38), pp. 224-230. DOI: 10.21685/2072-3024-2016-2-21. (In Russian)
17. Granichina O.A., Onishchenko E.V. Otsenka kachestva vypusknoy kvalifikatsionnoy raboty bakalav-rov: problemy i puti resheniya [Assessment of the quality of bachelor's graduate qualification work: problems and solutions]. Gertsenovskie chteniya. Nachal'noe ob-razovanie [Herzen readings. Primary education]. 2015, vol. 6, no. 1, pp. 232-239. (In Russian)
18. Koz'mina M.A. Tekhnologiya kvalimetri-cheskogo otsenivaniya vypusknoy kvalifikatsionnoy raboty v vuze [Technology of qualification evaluation of final qualifying work at the University]. Vestnik Kostromskogo gosudarstvennogo universiteta (Vestnik KGU im. N.A. Nekrasova) [Bulletin of Kostroma State University (Bulletin of KSU. N.Ah. Nekrasov)]. 2007, no. 13, pp. 69-74. (In Russian)
19. Dadyan E.G. Ob odnoy metodike itogovoy ot-senki studentov bakalavriata [On a method of final grade undergraduate students]. Interaktivnaya nauka [Interactive science]. 2016, no. 6, pp. 24-26. DOI: 10.21661/r-112497. (In Russian)
20. Sainov M.P. Printsipy metodiki vystavleniya otsenok na itogovoy attestatsii v forme zashchity vy-
ce ce
n
ы 2
pusknoy kvalifikatsionnoy raboty [The principles of the method of assessment for final certification in the form of protection of final qualifying work]. Tendentsii razvitiya nauki i obrazovaniya : mat. XXXIV mezhdun-arodnoy nauchnoy konferentsii [Trends in the development of science and education : materials XXXIV international scientific conference]. 2018, no. 34, part 2, pp. 37-39. (In Russian)
21. Sidorin V.V. Metodika otsenki vypusknykh kvalifikatsionnykh rabot vypusknikov tekhnicheskikh universitetov [Methods of evaluation of final qualifying works of graduates of technical universities]. Fundamental'nye problemy radioelektronnogo pribo-rostroeniya [Fundamental problems of radio-electronic instrument-making]. 2011, vol. 11, no. 4, pp. 38-42. (In Russian)
22. Solov'eva N., Krylova M. Reytingovaya ot-senka vypusknoy kvalifikatsionnoy raboty [Rating evaluation of final qualifying work]. Vysshee obrazovanie v Rossii [Higher education in Russia]. 2007, no. 9, pp. 91-94. (In Russian)
23. Pokrovskaya M.V., Sidorin V.V. Otsenka vypusknykh kvalifikatsionnykh rabot vypusknikov v tekh-nicheskom universitete [Evaluation of the graduation papers of graduates of the technical University]. Inzhen-ernoe obrazovanie [Engineering education]. 2011, no. 8, pp. 76-80. (In Russian)
24. Pochetkova E.S. Otsenka kachestva podgoto-vki vypusknikov cherez sozdanie fondov otsenochnykh sredstv po vypusknoy kvalifikatsionnoy rabote (opyt VIPE FSIN Rossii) [Quality assurance of graduates qualification with the help of evaluation tool funds on qualification works (practice of the Vologda Institute of Law and Economics of the Federal Penal Service of Russia)]. Vedomosti ugolovno-ispolnitel'noy sistemy [Statements of the penal correction system]. 2014, no. 7 (146), pp. 17-22. (In Russian)
25. Shkurkin V.V., Nikiforov I.P. Vypusknaya kvalifikatsionnaya rabota: organizatsiya vypolneniya i otsenka [Final qualifying works: organization of implementation and evaluation]. Vestnik Pskovskogo gosu-darstvennogo universiteta. Ser. : Tekhnicheskie nauki [Bulletin of the Pskov State University. Ser. : Technical science]. 2016, no. 3, pp. 18-21. (In Russian)
26. Sapronov Yu.G., Astsaturov Yu.G. K voprosu otsenki itogovykh rezul'tatov obucheniya studentov po napravleniyu «Ekspluatatsiya transportno-tekhno-logicheskikh mashin i kompleksov» [Assessment of student learning outcomes in the direction of "Operation of transport and technological machines and complexes"]. Sb. statey VIII Mezhdunarodnoy nauchno-proizvodstvennoy konferentsii [Collection articles VIII International scientific-production conference]. 2014, pp. 107-111. (In Russian)
About the author: Mikhail P. Sainov — Candidate of Technical Sciences, Associate Professor of the Department of hydraulic and hydraulic construction, Moscow State University of Civil Engineering (National Research University) (MGSU), 26 Yaroslavskoe shosse, Moscow, 129337, Russian Federation, mp_sainov@mail.ru.
