УДК 378.146 DOI: 10.22227/2305-5502.2021.1.7
Вариант методики оценивания результатов обучения студентов
М.П. Саинов
Национальный исследовательский Московский государственный строительный университет
(НИУ МГСУ); г. Москва, Россия
АННОТАЦИЯ
Введение. На сегодняшний момент в России отсутствует единая методика оценивания уровня сформированности у студентов компетенций и результатов обучения — образовательные организации разрабатывают ее самостоятельно. Не установлены единые критерии выставления оценок, существует путаница в понятиях «показателя» и «критерия оценивания». Это создает сложности в оценке качества образовательной деятельности и вызывает нарекания в необъективности оценок. В связи с этим существует потребность в создании обоснованных правил оценивания результатов обучения.
Материалы и методы. При участии автора в НИУ МГСУ был создан вариант методики оценивания результатов обучения. Для выявления преимуществ и недостатков этой методики проведен сравнительный анализ методик оценивания, описанных в публикациях разных авторов. Произведено сравнение предлагаемой методики с таксономией Блума. Результаты. Анализ показал, что применяемые методики оценивания далеки от совершенства, выявлен ряд проблем их формирования. На основе анализа предложены принципы выбора показателей и критериев оценивания. В качестве показателей оценивания целесообразно использовать результаты обучения, которыми являются знания и навыки. Предложена система критериев оценивания знаний и навыков, характеризующих их объем и качество. Выводы. Предложенная методика оценивания обладает преимуществами и недостатками. К преимуществам относятся: наличие четких критериев выставления оценок, использование которых обеспечивает всестороннюю оценку знаний и навыков; универсальность критериев оценивания. Недостатками методики выступают сложность системы критериев и не учет при оценивании формирования личностных качеств обучающегося.
КЛЮЧЕВЫЕ СЛОВА: оценки, результаты обучения, образовательные цели, критерии оценивания, знания, навыки, показатель оценивания
ДЛЯ ЦИТИРОВАНИЯ: Саинов М.П. Вариант методики оценивания результатов обучения студентов // Строительство: наука и образование. 2021. Т. 11. Вып. 1. Ст. 7. URL: http://nso-journal.ru DOI: 10.22227/2305-5502.2021.1.7
A methodology for evaluating student learning outcomes
Mikhail P. Sainov
Moscow State University of Civil Engineering (National Research University) (MGSU);
Moscow, Russian Federation
ABSTRACT
Introduction. Currently, there is no uniform methodology for assessing student competencies and learning outcomes in Russia. Educational organizations develop these methodologies independently. There are no uniform grade allocation criteria, and there is confusion about the concepts of "indicators" and "evaluation criteria" that challenges the assessment of the quality of educational activities and triggers complaints about biased assessments. In this regard, there is a need to y set reasonable rules for evaluating learning outcomes. S n
Materials and methods. The author made a contribution in the development of a methodology for evaluating learning Ois outcomes at NRU MGSU. A comparative analysis of the assessment methods described in the publications made by dif- S S ferent authors was carried out to identify the strengths and weaknesses of this methodology. The proposed methodology is S ® compared with Bloom's taxonomy. g C
Results. The analysis has shown that currently used assessment methods are far from being perfect, and a number of problems 1 S of their development have been identified. Principles of selecting indicators and evaluation criteria are proposed on the basis " " of the analysis performed by the author. It is advisable to use such learning outcomes, as knowledge and skills, as assessment O indicators. A system of knowledge and skills assessment criteria characterizing their amount and quality is proposed. Conclusions. The proposed assessment method has advantages and disadvantages. Its advantages include clarity and flex- 1 ibility of the criteria that ensure a comprehensive assessment of knowledge and skills. The disadvantages of the methodology I are the complexity of the criterial system and disregard for any personal features of a student in the process of evaluation.
KEYWORDS: grades, learning outcomes, educational goals, assessment criteria, knowledge, skills, assessment indicator "
FOR CITATION: Sainov M.P. A methodology for evaluating student learning outcomes. Stroitel'stvo: nauka i obrazovanie CO [Construction: Science and Education]. 2021; 11(1):7. URL: http://nso-journal.ru. DOI: 10.22227/2305-5502.2021.1.7 (rus.). )
© М.П. Саиноe, 2021 85
П
И
и
ВВЕДЕНИЕ
Важнейшей задачей методического обеспечения образовательной деятельности является создание материалов для контроля качества подготовки обучающихся и необходимого уровня освоениями ими компетенций. Федеральный закон № 273-Ф3 «Об образовании в Российской Федерации» предусматривает, что образовательные программы (ОП) должны включать оценочные материалы. Они предназначены для оценки уровня достижения обучающимися результатов освоения ОП, т.е. компетенций.
Однако правила проведения оценивания нормативными документами не установлены. Оценочные материалы, как и ОП в целом, разрабатываются образовательными организациями самостоятельно. Университетам предоставлена полная свобода в выборе методических подходов к формированию и использованию оценочных материалов, отсутствуют даже утвержденные правила составления оценочных материалов.
Те правила разработки оценочных материалов, которые применяются образовательными организациями, не всегда обоснованы. Это негативно сказывается на обеспечении качества образовательной деятельности, так как не позволяет надежно и достоверно оценить ее результаты. Таким образом, проблема создания методики оценивания компетенций обучающихся — актуальна и требует решения.
В данной статье анализируется опыт разработки методики оценивания результатов обучения в НИУ МГСУ Автор принимал активное участие в создании этой методики, ее основные положения предложены автором.
В настоящей работе описана предложенная методика и выполнено ее сопоставление с методиками других авторов. Цель анализа — выявление преимуществ и недостатков методики НИУ МГСУ, а также направлений ее дальнейшего совершенствования. В этой публикации мы не будем касаться вопросов составления контрольных заданий в рамках оценочных материалов. Эти вопросы, безусловно, очень важны и потому требуют отдельного рассмотрения. Мы сконцентрируемся только на общих вопросах построения системы оценивания.
МАТЕРИАЛЫ И МЕТОДЫ
Предложенная автором методика оценивания зафиксирована в ОП, разработанных и реализуемых
в НИУ МГСУ По каждой дисциплине и практике в составе ОП создан документ, называемый фондом оценочных средств (ФОС). Он включает в себя:
• перечень результатов обучения, достижение которых должно быть оценено;
• перечень форм промежуточной аттестации и контроля, применяемых для оценивания;
• контрольные задания, выполнение которых обучающимися позволяет оценить результаты обучения;
• методику оценивания, которая дает возможность оценить соответствие результатов выполнения контрольных заданий требуемым результатам обучения.
Указанный состав ФОС является общепринятым, поскольку устанавливался ныне отмененным приказом № 1367 Министерства образования и науки РФ1.
Методика оценивания содержит шкалу оценок, систему критериев оценивания, а также правила их применения. Предложенная методика имеет следующие характерные особенности:
• использована стандартная пятибалльная шкала оценок («отлично», «хорошо», «удовлетворительно», «неудовлетворительно», «зачтено», «не зачтено»), установленная приказом № 301 Министерства образования и науки РФ2;
• в качестве показателей оценивания компетенций использованы результаты обучения, которые сформулированы в виде знаний и навыков;
• оценивание осуществляется при проведении не только промежуточной аттестации, но и текущего контроля успеваемости;
• оценивание проводится по результатам ответов обучающихся на теоретические вопросы и выполнения практических заданий;
• в качестве критериев оценивания применены качественные характеристики и количественные параметры знаний и навыков.
При создании методики автором были сформулированы ключевые термины и определения, используемые при оценивании: показатель оценивания, критерий оценивания, умение.
В данной статье приводится обоснование выбора основных положений предложенной методики и ее сопоставление с другими. Для возможности сопоставления автором был выполнен анализ научных публикаций по вопросам формирования методики оценивания результатов обучения. По результатам этого анализа выявлены главные положения, преимущества и недостатки методик, применяемых разными образовательными организациями.
и П •а еа С о
ш «
1 Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования — программам бакалавриата, программам специалитета, программам магистратуры : приказ Министерства образования и науки РФ от 19.12.2013 г. № 1367.
2 Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования — программам бакалавриата, программам специалитета, программам магистратуры : приказ Министерства образования и науки РФ от 05.04.2017 г. № 301.
При анализе использованы публикации как отечественных, так и зарубежных авторов. Однако необходимо отметить, что работы отечественных и зарубежных авторов существенно отличаются по тематике. Только в отечественных публикациях ведется дискуссия по вопросам создания методики оценивания, за рубежом такой дискуссии нет.
Зарубежные публикации главным образом посвящены результатам применения методик оценочных средств и анализу результатов оценивания. За рубежом используются методики, основанные на принципах таксономии Блума. Оригинальная версия таксономии образовательных целей была предложена Б. Блумом в 1956 г.3 Она определяет действия, освоенные обучающимся, которые должны быть оценены. Эти действия ранжированы по уровню, что удобно для выставления оценки.
В иностранных публикациях рассматриваются вопросы совершенствования и реализации таксономии Блума [1-6]. Предлагаются к применению усовершенствованные, пересмотренные варианты таксономии. Одним из таких методов является пересмотренная таксономия Блума — Revised Bloom's Taxonomy (RBT), предложенная в 2001 г. Л. Андерсоном и Д. Кратволем4. За рубежом метод RBT активно применяется в исследованиях качества подготовки обучающихся [1-3]. Существуют и иные варианты таксономии.
В отличие от зарубежных, российские педагоги находятся в поиске методических подходов создания средств оценивания, решают вопросы выбора показателей и критериев оценивания [7-19]. К этому их вынуждают требования к лицензированию и государственной аккредитации образовательной деятельности.
Указанные публикации были использованы автором для обоснования принципов формирования показателей и критериев оценивания, составляющих методику оценивания, применяемую в НИУ МГСУ
РЕЗУЛЬТАТЫ
Формирование показателей оценивания компетенций
В соответствии с федеральными государственными образовательными стандартами высшего образования (ФГОС ВО) процесс обучения направлен на формирование у обучающегося необходимых компетенций. Однако компетенция представляет собой довольно сложное явление, и ее сформирован-ность может осуществляться только косвенно, через некоторые показатели оценивания.
Как известно, показатель — это обобщенная характеристика процесса, объекта или результата.
Соответственно, показатель оценивания, по мнению автора, следует трактовать как характеристику, параметр компетенции, который подлежит оцениванию и позволяет оценить уровень освоения компетенции (как результата освоения ОП).
В качестве показателей оценивания компетенции может быть выбрано множество разных характеристик и параметров. При создании методики оценивания в качестве показателей оценивания предложено использовать конкретные результаты обучения по дисциплине (практике). Это вызвано тем, что ФГОС ВО устанавливают, что по каждой дисциплине обязательно должны быть сформулированы конкретные результаты обучения. Соответственно, результаты обучения удобно применять в качестве показателей оценивания компетенции.
Вместе с тем итоги обучения также могут быть сформулированы по-разному. Автором было предложено использовать в качестве результатов обучения только знания и навыки. Для сравнения рассмотрим другие системы формулирования результатов обучения.
Например, за рубежом образовательные цели (результаты обучения) принято формулировать в терминах таксономии Блума или ее вариаций. Эти цели сгруппированы по областям. В оригинальной версии таксономии Блума (1956 г.) выделяют три области образовательных целей: когнитивная, аффективная, психомоторная. Когнитивная область ассоциируется со знанием и пониманием, аффективная — с эмоциями, психомоторная — с практическими навыками обучающегося. Б. Блум определил образовательные цели когнитивной области, а также ранжировал их по уровням сложности: знание (как распознавание), понимание, применение, анализ, синтез и оценка. В полной таксономии Блума по трем областям выделяют 18 образовательных целей. Иерархия результатов обучения является преимуществом таксономии Блума, так как это удобно при оценке их уровня.
В пересмотренной версии таксономии ^ВТ, 2001 г.) выделяют не три, а четыре области образовательных целей: фактическую, концептуальную, процедурную и метакогнитивную, в каждой из ко- К торых изложены и ранжированы несколько обра- Ш зовательных целей разного уровня. Разные авторы ри
а е
выделяют порядка 20-30 образовательных целей. § Л
я ь
Однако в этих, в силу большого количества н В
и сложности иерархии образовательных целей, ис- е :
пользование новых редакций таксономии Блума О
затруднено. У них есть важный недостаток — в по- ~
рядке уровня сложности выстроены не только об- ¡^ разовательные цели, но и области результатов обу-
3 Bloom B.S., EnglehartM.D., Furst E.J., Hill W.H., Krathwohl D.R.A. Taxonomy of educational objectives, the classification of educational goals. Handbook 1: Cognitive Domain. New York : David McKay Company, 1956.
4 Anderson L.W., Krathwohl D.R., Airasian P. W., Cruikshank K.A., Mayer R.E., Pintrich P.R. u др. A taxonomy for learning, teaching and assessing: a revision of bloom's taxonomy of educational objectives. New York : Longman, 2001.
и и
чения. По этим причинам данный подход сложнее в применении. В частности, Американское общество инженеров-строителей, рассмотрев разные варианты таксономии, для пересмотра Свода знаний о гражданском строительстве приняло за основу исходную (оригинальную) таксономию Блума [4]. Исходная таксономия Блума использована и в работе [5].
Поэтому в отечественной практике, как правило, применяют еще более упрощенный подход, также основанный на оригинальной версии таксономии Блума. В компетенции выделяют три компонента [6]:
• конгнитивный (познавательный);
• деятельностный (функциональный, праксиологический);
• личностный.
Личностный компонент компетенции является наиболее неопределенным, поскольку он включает разнообразные качества личности (психофизические особенности, нравственные качества и жизненные ценности, мотивацию к обучению, коммуникабельность, ответственность и др.). Некоторые сводят личностный компонент компетенции к ценностному, аксиологическому [6, 7]. Другие, применительно к исследовательской компетенции аспиранта, разделяют его на части, выделяя ценностный и коммуникативный компоненты [8], мотивацион-ный и личностный [9].
Количество компонентов определяет количество и виды результатов обучения и показателей оценивания. Например, все три компонента применены при создании методики оценивания А.А. Пономаревым и А.В. Якушиным [10]. В то же время чаще всего при создании методики ограничиваются только двумя компонентами — когнитивным и дея-тельностным.
Количество образовательных целей также принято принимать минимально возможным. Обычно в качестве показателей когнитивного компонента используют только знания. Исключение составляет работа Н.В. Ярославцевой и соавторов, в которой применены несколько видов результатов обучения когнитивной области [11]. Поэтому при создании т методики в качестве показателя оценивания когнитивного компонента компетенции было принято использовать знания. Однако необходимо заметить, ® что в реальности при проверке знаний невозможно проверить только усвоенную информацию, проверя-
и и
. ются также навыки коммуникации и представления
^ информации.
При оценке деятельностного компонента компетенции нет единодушия в выборе результатов об-
Ц1 учения. Одни авторы для формулирования резуль-
и се
¡а татов используют умения, навыки и владения [6],
(в »
£ § умения и владения [12, 13], другие — умения, опыт
О О
™ х [7]. При создании методики автором было рекомен-Ц довано ограничиться только одной составляющей
х деятельностного компонента компетенции — на-
выками. Такое решение объясняется следующими причинами:
1. Можно обосновать, что умение представляет собой освоенный субъектом способ выполнения действия, обеспечиваемый совокупностью знаний и навыков. Соответственно, умение (способ действия), как и компетенция (способность), является комплексной характеристикой, которую затруднительно проверить. Так как знания и навыки составляют умения, то для проверки сформированности умений достаточно проверить знания и навыки.
2. Под понятием «владеть», как правило, подразумевают либо обладание способностью, либо наличие навыков. В первом случае «владение» дублирует понятие компетенции, а во втором — проверку навыков. Соответственно, проверка «владений» является излишней.
Таким образом, было обосновано использование в качестве показателей оценивания компетенций только знаний и навыков.
При этом автором предложено разделить навыки на два уровня — начальный и основной. Это объясняется тем, что полностью сформированный навык представляет собой освоенное действие, которое доведено до автоматизма. В процессе обучения не всегда имеется возможность довести навыки обучающихся до автоматизма. Соответственно, качество еще не сформированных навыков проверять неправильно. По этой причине было решено выделить два уровня освоения навыков: начальный и полный. Под навыком начального уровня понимается первичный, не полностью сформированный навык. Для проверки таких навыков решено устанавливать отдельные критерии оценивания.
Оценка личностного компонента компетенции не предусмотрена нами при разработке методики оценивания. Как справедливо указано А.И. Алтуховым и соавторами в труде [6], личностный компонент может быть оценен только посредством качественных, а не количественных критериев, что снижает объективность оценки. Нами было принято, что личностный компонент компетенции может быть оценен косвенно, в рамках проверки других (когнитивного и деятельностного) компонентов.
Формирование системы критериев
оценивания
Выбор критериев оценивания — самый сложный вопрос создания методики оценивания по ряду причин.
Первая причина — не определено само понятие критерия оценивания.
Анализ публикаций показал, что иногда авторы путают между собой понятия «показателя» и «критерия оценивания». В частности, О.В. Берсенева поменяла показатели и критерии местами. Она выделяет когнитивный критерий (владение знаниями)
и праксиологический критерий (владение умениями, методами, опытом) [7].
Аналогично Е.А. Титова при составлении перечня критериев [14] применила следующие части оцениваемых компетенций, т.е. их показатели:
• владение специальной терминологией;
• глубина и полнота знания теоретических основ дисциплины;
• умение проиллюстрировать теоретический материал примерами;
• дискурсивные результаты обучения (если включены в результаты обучения).
Очевидно, что такой подход — методическая ошибка, потому что оцениваемый показатель не может одновременно являться критерием оценивания. Оцениваемым критерием может быть только наличие (сформированность) у обучающегося того или иного показателя.
В работе [15] под критерием понимают «показатель выраженности оцениваемого параметра». По нашему мнению, такое понимание критерия более близко к истине, но больше подходит по своей сути понятию смысловой (или содержательной) шкалы оценок. Под смысловой шкалой мы понимаем шкалу, которая устанавливает конкретные значения показателей оценивания, соответствующие оценкам по каждому из критериев.
При формулировании определения критерия оценивания автор исходит из того, что в русском языке под критерием понимают признак, основание или правило принятия решения по оценке на соответствие чего-либо предъявляемым требованиям. Соответственно, под критерием оценивания предлагается понимать характерный признак или параметр, по которому можно установить соответствие показателя оценивания уровням освоения компетенций.
Вторая причина состоит в сложности выделения четких критериев оценивания. Обзор литературы показал, что при формировании смысловой (содержательной) шкалы оценок авторы, как правило, описывают значение показателя в целом, без разделения по критериям.
Так же чаще всего поступают и образовательные организации при составлении ФОС. Как правило, используют описания общего характера, отражающие характерные признаки нескольких компетенций в целом, без выделения четких критериев. В качестве примера приведем содержательную шкалу оценок из работы Т.Э. Тюриной [16]:
«1 балл — отсутствие знаний, умений, навыков;
2 балла — фрагментарные знания; фрагментарное использование умения; фрагментарное использование навыков;
3 балла — в целом успешные, но не систематические знания; в целом успешное, но не систематическое использование умения; в целом успешное, но не систематическое использование навыков;
4 балла — в целом успешные, но содержащие отдельные пробелы знания; в целом сформированные, но содержащие отдельные пробелы использования умения; в целом сформированные, но содержащие отдельные пробелы использования навыков;
5 баллов — сформированные знания; сформированные умения; сформированные навыки».
Как видим, представленное описание содержательной шкалы очень однобоко характеризует результаты обучения и не объективно обосновывает оценку. Тем не менее можно заменить, что в нем косвенно присутствуют некоторые критерии оценивания. Таким критерием является фрагментарность/ системность сформированных результатов обучения и успешность (продуктивность) их использования.
Соответственно, выделение критериев оценивания вполне возможно. Например, в работах [14, 17] выделены, сформулированы четкие критерии оценивания результатов обучения.
Тем не менее существует еще одна сложность. Третья причина — отсутствие критериев — состоит в сложности выделения формулирования таких критериев оценивания, которые были бы универсальными, обобщенными, т.е. удобными для применения в разных областях знаний и в разных дисциплинах.
По этой причине некоторые авторы создают критерии не для отдельных показателей, а для отдельных форм аттестации и контроля [18, 19]. Такой подход, безусловно, является удобным, однако он обладает существенным недостатком — не позволяет строго оценить компетенции обучающегося. При таком подходе критерии оценивания оказываются не увязанными ни с компетенциями, ни с результатами обучения. Соответственно, он не позволяет достичь поставленной оценки и не может быть применен.
В качестве способа создания универсальных критериев возможно применение таксономии Блу-ма. Выделенные в таксономии шесть уровней образовательных целей, по сути, уже характеризуют уровень достижения компетенции, ранжированный по определенному критерию. В частности, в когни- н тивной области (области знаний) таким критерием К выступает степень возможности использования зна- Ш ? ний в целях познания. р®
Однако такой критерий является довольно § §
сложным для применения, поэтому он не получил н ?
® я
распространения в отечественной практике при со- е ®
ставлении ОП ВО. V
Автором проведен анализ критериев оценива- *
ния знаний, навыков, умений на основе рассмотре- .
ния приведенных в публикациях описаний содержа- ^ тельной шкалы.
В частности, было определено, что отмечают * следующие критерии оценки знаний:
ы
• количество освоенных тем и успешность от- ео ветов на вопросы [17];
• объем знаний [12];
• понимание основных понятий, наличие пробелов в знаниях, уровень знания материалов [13];
• глубина и полнота знания теоретических основ дисциплины [14];
• успешность, систематичность и полнота знаний [16];
• комплексность и продуктивность знаний [10];
• обоснованность и содержательность ответа [19].
• В качестве критериев оценки умений выделяют:
• применение типовых или нестандартных методик, а также самостоятельность выполнения действий [12];
• полноту, правильность, логичность последовательности изложения материалов, обоснованность суждений [13];
• умение проиллюстрировать теоретический материал примерами [13, 14];
• стандартность или нетипичность ситуаций применения умений, самостоятельность и организованность выполнения действий [10].
В качестве критериев оценки владения навыками определяют следующие:
• полнота навыков и суждений, наличие затруднений в навыках применения знаний [13];
• владение специальной терминологией, наличие дискурсивных навыков [14].
Представленный обзор подтверждает то, что решение проблемы создания методики оценивания результатов обучения далеко от завершения — предлагаются различные варианты критериев. Как видим, критерии, использованные разными авторами, не дублируют друг друга. Это означает, что большинство из них не охватывает весь комплекс характеристик результатов обучения, и, соответственно, не может обеспечить объективную и разностороннюю оценку. Необходимо использовать не один-два критерия, а систему критериев.
По результатам анализа обзора методик можно сделать несколько важных выводов о принципах построения системы критериев оценивания.
1. Критерии оценивания могут быть объектив-дд ными и субъективными. Под объективными критериев ями подразумеваем те, которые обеспечивают однозначное трактование оценки. К ним, в частности, 2 относятся количественные параметры результатов до обучения (например, количество освоенных тем и количество правильных ответов, наличие иллюстраций ^ ответов). Объективно также можно оценить знание в терминов и определений. Относительно объективно может быть оценена полнота ответов на вопросы, ло-¡51 гичность изложения усвоенного материала. с § Качественные параметры относятся к субъек-
£ £ тивным критериям оценивания.
С целью обеспечения объективности оценок
и я
х в качестве принципа построения системы крите-х риев можно предложить разделение объективных
(количественных) и субъективных (качественных) критериев.
2. В рассмотренных примерах в роли критериев иногда выступают сами показатели оценивания, но в несколько измененном виде — они конкретизированы и отражают только некоторую часть показателя.
Например, в качестве критерия оценки знаний часто выступают характерные знания (знание терминологий, понятий и др.), а в качестве критерия оценки умений и навыков — действия определенных видов.
Использование данного подхода не является строгим и кажется некорректным, однако может быть логически обосновано. Дело в том, что все результаты обучения формируются последовательно, от простых к сложным, процесс их формирования хорошо иллюстрирует таксономия Блума. Соответственно, в системе критериев целесообразно фиксировать освоение обучающимся ключевых составляющих знаний и навыков.
3. Анализ некоторых работ [18, 19] позволил сделать еще один вывод. Как было указано ранее, некоторые авторы создают систему критериев в зависимости от формы процедуры оценки. В частности, И.Ю. Азизова в публикации [18] сформировала шкалу оценки результатов презентации работы и шкалу оценки результатов участия в обсуждении проблемы. Еще один пример. Л.А. Шипилина и Ж.А. Старовойтова в работе [19] сформировали систему критериев отдельно для оценки результатов ответов на устный вопрос для оценки результатов решения ситуации.
У такого подхода есть важное преимущество, которое позволяет рекомендовать еще один, третий, принцип формирования системы критериев оценивания. Он заключается в том, что система критериев должна быть адаптирована к возможностям и ограничениям, соответствующим процедуре оценивания. В частности, при проверке знаний в форме тестирования удобно использовать количественные критерии.
Перечисленные принципы не являются обязательными и жестко не регламентируют правила создания системы критериев оценивания. Они не однозначны, на их основе может быть создано несколько систем критериев.
При создании методики оценивания результатов обучения в НИУ МГСУ нами были применены все три сформулированных принципа выбора критериев оценивания.
Во-первых, были использованы как количественные, так и качественные критерии.
Во-вторых, в качестве критериев использовано наличие и качество усвоения отдельных элементов знаний и навыков, т.е. смешанные, количественно-качественные критерии.
В-третьих, система критериев создана применительно к формам промежуточной аттестации. Она была создана для случая, когда промежуточная атте-
стация проводится в очном формате путем беседы преподавателя и обучающегося после предварительного выполнения последним задания теоретического и/или практического характера.
Ниже приведены выбранные критерии оценивания. Для оценки знаний применены следующие критерии оценки ответа обучающегося на вопросы теоретического характера:
• полнота и качество усвоения базовых и основополагающих знаний (терминов и определений, принципов, закономерностей и соотношений);
• объем освоенного материала (в виде количества качественно выполненных заданий);
• полнота информации, изложенной при ответе на вопросы;
• правильность (корректность) ответа на вопросы;
• качество изложения информации (логичность, четкость, понятность, грамотность и др.);
• качество интерпретации знаний при ответах на дополнительные вопросы в процессе собеседования.
Необходимо отметить, что в понятия «объем» и «полнота информации» мы вкладываем разный смысл. Объем освоенного материала характеризует количество усвоенных дидактических единиц (разделов дисциплины), а полнота изложения информации — уровень, глубину его освоения (в рамках каждого из разделов).
Для оценки навыков начального и основного уровней нами использованы критерии оценки результатов выполнения практических заданий (с возможностью последующей их защиты). Часть из критериев характеризует качество сформированных навыков, а другая часть является смешанными, количественно-качественными.
Смешанные критерии оценки навыков отражают стадии выполнения практического задания, они в своей совокупности характеризуют необходимый объем формирования навыков. В качестве таких критериев использовалось наличие следующих навыков:
• навыки выбора и обоснования методики выполнения задания;
• навыки выполнения заданий;
• навыки самопроверки (выявления ошибок);
• навыки анализа результатов выполнения задания;
• навыки представления результатов выполнения задания.
Для оценки навыков начального уровня указанный перечень критериев является исчерпывающим. Для навыков полного уровня необходимо осуществить проверку качества их сформированности. В качестве критериев проверки навыков основного (полного) уровня были применены такие характеристики навыков, как:
• быстрота выполнения действий (заданий);
• самостоятельность при выполнении заданий;
• результативность (качество) выполнения заданий.
Создание системы критериев оценивания позволило автору составить содержательную шкалу оценивания. Однако для ее создания необходимо было прежде определиться с количеством и содержанием уровней освоения компетенций.
Разграничение уровней освоения
компетенций
В соответствии с традиционной пятибалльной шкалой в методике установлено 4 оценки и, соответственно, 4 уровня освоения компетенций. Первый уровень соответствует неудовлетворительной оценке, т.е. недостаточному уровню освоения компетенции, остальные уровни — положительным оценкам («удовлетворительно», «хорошо», «отлично»).
Содержание каждого из уровней определить сложнее. Обзор публикаций показал, что существуют разные подходы к выявлению содержания уровней освоения компетенций. Это отражает наименование уровней, которое используют авторы публикаций.
Самый нижний положительный уровень называют базовым [12] или пороговым [13, 17]. Самый верхний уровень называют высоким [13], повышенным [12], продвинутым [17]. Промежуточный уровень обозначают как средний [12], базовый [13, 17].
Как видим, существуют некоторые различия в понимании уровней. Поэтому для ранжирования уровней необходимо решить два принципиальных вопроса:
1. Как разграничить отрицательную и самую нижнюю положительную оценку?
2. В чем состоят принципиальные отличия между тремя положительными уровнями, особенно между верхним и средним?
В отношении границы между отрицательной и положительной оценками автором было принято, что нижний положительный уровень освоения компетенций соответствует минимальному, но достаточному уровню знаний и навыков. Аналогичная позиция сформулирована Р.М. Карабановым в работе [12]. К
При разграничении положительных уровней [£ » автор исходил из оценки готовности обучающегося Ц® к самостоятельной деятельности. Примерно такая « ® же идеология была заложена автором при форми- | Т
® в
ровании методики оценивания результатов итоговой «® аттестации, которые являются основанием для присвоения обучающимся квалификации и начала про- ™ фессиональной деятельности [20]. .
Можно согласиться с позицией О.В. Берсе- ^ невой о содержании верхнего уровня освоения и компетенций. В ее труде [7] уровни освоения компетенций обозначены как начальный, репродуктив- (
СО
ный, продуктивный и творческий. Соответственно, верхний уровень подразумевает возможность
выполнения обучающимся нестандартных задач и использование при этом творческого подхода. Однако нельзя согласиться с позицией О.В. Берсеневой, что нижний положительный уровень предполагает только воспроизведение (репродуктивный уровень) знаний и навыков [7], такой подход неприемлем для высшего образования.
Автором было принято следующее разграничение положительных уровней освоения компетенций, которое приближенно может быть описано так:
• нижний уровень соответствует случаю наличия у обучающегося затруднений при выполнении заданий, которые могут быть преодолены при посторонней помощи (преподавателя, наставника);
• средний уровень подходит случаю полного и качественного выполнения обучающимся стандартных заданий с высоким уровнем самостоятельности;
• верхний уровень соответствует случаю, когда обучающийся не только в полной мере владеет теоретическими знаниями и практическими навыками, но может самостоятельно и творчески выполнять задания, в том числе задания повышенной сложности.
Если сравнивать предложенную нами содержательную шкалу с идеологией ранжирования уровней освоения результатов обучения таксономии Блума, можно заметить, что высокий уровень примерно соответствует уровням 5 и 6 (синтез, оценка), средний — уровню 4 (анализ), низкий — уровню 3 (применение).
Из шкал, изложенных в рассмотренных публикациях, предложенная автором содержательная шкала, по сути, ближе всего к предложенной А.А. Пономаревым и А.В. Якушиным в [10]. Однако в нашей шкале отсутствует оценка личност-
ного компонента компетенции, в том числе в части мотивации к получению новых знаний. По мнению автора, мотивация, как и другие личностные качества обучающегося, является дополнительным, не определяющим фактором в формировании оценки. Мотивация сказывается на результате выполнения контрольных заданий и, соответственно, может учитываться косвенно.
О содержательной шкале оценивания
На основе критериев оценивания применительно к шкале с четырьмя уровнями нами была создана содержательная шкала, которая устанавливает конкретные требования к знаниям и навыкам обучающегося согласно критериям, конкретные значения критериев, соответствующие оценкам. Она представлена в табличной форме и занимает довольно много места. Поэтому она приводится в данной работе не в полном объеме (табл. 1, 2).
Применение данных содержательных шкал, представленных в таблицах, должно быть дополнено дополнительными правилами для определения единой, интегральной оценки по результатам применения нескольких критериев:
• было принято, что оценка формируется путем экспертной оценки, так как вклад каждого из критериев не может быть оценен количественно;
• должно применяться особое правило при наличии отрицательной оценки по какому-либо из критериев. Неудовлетворительный результат даже по одному критерию означает, что результат обучения не достигнут, и интегральная оценка также должна быть отрицательной. Например, если обучающийся освоил только один из разделов дисциплины (выполнил только одно из заданий), он не должен получить положительную оценку по дисциплине в целом.
Табл. 1. Содержательная шкала оценивания уровня знаний (представлена частично)
Критерий оценивания Оценка
«2» неудовлетворительно «3» удовлетворительно «4» хорошо «5» отлично
Знание терминов и определений, понятий Не знает терминов и определений Знает термины и определения, но допускает неточности формулировок Знает термины и определения Знает термины и определения, может корректно сформулировать их самостоятельно
Знание основных закономерностей и соотношений, принципов Не знает основные закономерности и соотношения, принципы Знает основные закономерности, соотношения, принципы Знает основные закономерности, соотношения, принципы, их интерпретирует и использует Знает основные закономерности, соотношения, принципы, может самостоятельно их получить и использовать
Полнота ответов на вопросы Не дает ответы на большинство вопросов Дает неполные ответы на все вопросы Дает ответы на вопросы, но не все полные Дает полные, развернутые ответы на поставленные вопросы
Правильность ответов на вопросы Допускает грубые ошибки при изложении ответа на вопрос В ответе имеются существенные ошибки В ответе имеются несущественные неточности Ответ верен
П
ел и
и се •а еа С о
ш «
Табл. 2. Содержательная шкала оценивания уровня навыков (представлена частично)
Критерий оценивания Оценка
«2» неудовлетворительно «3» удовлетворительно «4» хорошо «5» отлично
Навыки выбора методик выполнения заданий Не может выбрать методику выполнения заданий Испытывает затруднения по выбору методики выполнения заданий Без затруднений выбирает стандартную методику выполнения заданий Применяет теоретические знания для выбора методики выполнения заданий
Навыки выполнения заданий различной сложности Не имеет навыков выполнения учебных заданий Имеет навыки выполнения только простых типовых учебных заданий Имеет навыки выполнения только стандартных учебных заданий Имеет навыки выполнения как стандартных, так и нестандартных учебных заданий
Навыки самопроверки Допускает грубые ошибки при выполнении заданий, нарушающие логику решения задач Допускает ошибки при выполнении заданий, нарушения логики решения Допускает ошибки при выполнении заданий, не нарушающие логику решения Не допускает ошибок при выполнении заданий
Навыки обоснования выполнения заданий Не может обосновать алгоритм выполнения заданий Испытывает затруднения при обосновании алгоритма выполнения заданий Обосновывает ход решения задач без затруднений Грамотно обосновывает ход решения задач
Быстрота выполнения заданий Не выполняет задания или выполняет их очень медленно, не достигая поставленных задач Выполняет задания медленно, с отставанием от установленного графика Выполняет все поставленные задания в срок Выполняет все поставленные задания с опережением графика
Самостоятельность в выполнении заданий Не может самостоятельно планировать и выполнять задания Выполняет задания только с помощью наставника Самостоятельно выполняет задания с консультацией у наставника Выполняет задания самостоятельно, без посторонней помощи
Результативность (качество) выполнения заданий Выполняет задания некачественно Выполняет задания с недостаточным качеством Выполняет задания качественно Выполняет качественно даже сложные задания
ЗАКЛЮЧЕНИЕ
Вопрос о совершенствовании системы оценивания результатов освоения ОП ВО — актуальный и требует своего решения. Автором предложен один из вариантов методики оценивания, который позволяет комплексно оценить результаты обучения. Предложенный вариант базируется на четком понимании сути составляющих методику понятий показателей и критериев оценивания. Однако предложенная методика обладает как преимуществами, так и недостатками, и должна быть выверена впоследствии.
Преимуществом предложенной методики является наличие системы четко сформулированных критериев. Наличие не одного, а системы нескольких критериев позволяет в полной мере контролировать сформированность результатов обучения, повышает объективность оценки и обеспечивает ее обоснованность. Важно, что предложенные критерии близки к универсальным и могут (с необходимыми корректировками) применяться в разных отраслях знаний.
Наличие нескольких критериев дает возможность получать дробные оценки, что расши-
ряет возможности стандартной шкалы оценок. Но для этого требуется выбрать значимость каждого из критериев.
Автором созданы не только общие принципы создания методики оценивания, но и составлена пригодная к практическому применению содержательная шкала оценивания знаний и навыков обучающегося.
Многокритериальность формирования оценки х
а
создает проблему неопределенности, множествен- К ности результатов оценивания. Это — существен- § Р ный недостаток предложенного способа. а?
Дискуссионным остается вопрос о необходи- § § мости и способах учета личностного компонента ® В формирования компетенции при оценке результатов е : обучения. Этот вопрос также требует рассмотрения. О
Очень важным и актуальным для системы выс- * шего образования вопросом является установление . единого подхода к содержанию уровней освоения ^ компетенций («неудовлетворительно», «удовлетво- и рительно», «хорошо», «отлично»). Автором предло- ® жен такой подход, в основе которого лежат оценки 3 уровня готовности обучающегося к самостоятель- 8 ной и творческой деятельности.
ЛИТЕРАТУРА
п
ел и
и CS
•а еа С ®
ш «
1. Ramlawati, AnwarM., Yunus S.R., Nuswowati M. Analysis of students' competence in chemistry cognitive test construction based on revised bloom's taxonomy // Journal of Physics: Conference Series. 2020. Vol. 1567. P. 042006. DOI: 10.1088/1742-6596/1567/4/042006
2. Wang J., Wei W, Ding L, Li J. Method for analyzing the knowledge collaboration effect of R&D project teams based on Bloom's taxonomy // Computers & Industrial Engineering. 2017. Vol. 103. Pp. 158-167. DOI: 10.1016/j.cie.2016.11.010
3. Nurlailiyah A., Deta U.A., Ain T.N., Haq M.S., Lestari N.A., Yantidewi M. Analysis of High School Physics National Examination questions based on Bloom Taxonomy and National Examination Question Standard in 2017/2018 // Journal of Physics: Conference Series. 2019. Vol. 1171. P. 012041. DOI: 10.1088/17426596/1171/1/012041
4. Hains D., Fridley K., Nolen L., Barry B. Revising the civil engineering body of knowledge (BOK): The application of the cognitive domain of Bloom's Taxonomy // 2018 ASEE Annual Conference & Exposition Proceedings. 2018. DOI: 10.18260/1-2-30939
5. LeGrow M. Prior learning assessment corner: Using Bloom's taxonomy to help define collegelevel knowledge // The Journal of Continuing Higher Education. 2001. Vol. 49. Issue 1. Pp. 47-50. DOI: 10.1080/07377366.2001.10400424
6. Алтухов А.И., Головина В.В., Калинин В.Н. Формирование и критерии оценивания компетенций в цикле математических и естественно-научных дисциплин // Труды Военно-космической академии имени А.Ф. Можайского. 2014. № 642. С. 210-215.
7. Берсенева О.В. Критериальная модель и уровни сформированности исследовательских компетенций будущих учителей математики // Интернет-журнал «Науковедение». 2015. Т. 7. № 5. С. 174. DOI: 10.15862/24PVN515
8. Yarullin I.F., Bushmeleva N.A., Tsyrkun I.I. The research competence development of students trained in mathematical direction // International Electronic Journal of Mathematics Education. 2015. Vol. 10. Issue 3. Pp. 137-146. DOI: 10.12973/mathedu.2015.109a
9. Prosekov A.Yu., Morozova I.S., Filatova E.V. A case study of developing research competency in university students // European Journal of Contemporary Education. 2020. Vol. 9. Issue 3. DOI: 10.13187/ ejced.2020.3.592
10. Якушин А.В., Пономарев А.А. Оценка сформированности компетентности студентов педагогического вуза в области информационно-коммуникационных технологий // Современные проблемы науки и образования. 2015. № 6. С. 372
11. ЯрославцеваН.В., Беляков А.А., Тухватуллин Б.Т., Кодоева А.Ч., Нигаматулин В.Р., Левченко Д.В.
и др. Когнитивная технология обучения: сущность, эффективность и результативность // Перспективы науки и образования. 2020. № 1 (43). С. 10-23. DOI: 10.32744^е.2020.1.1
12. Карабанов Р.М. Формирование показателей и критериев оценивания компетенций при подготовке специалистов подразделений охраны и режима УИС // Вопросы современной науки и практики. 2020. № 1 (2). С. 95-99.
13. Поддубная Т.Н., Кружков Д.А., Демидова Л.И., Ползикова Е.В., Заднепровская Е.Л. Проектирование фондов оценочных средств как условие реализации ФГОС ВО // Вестник Майкопского государственного технологического университета. 2019. № 1. С. 104-113. DOI: 10.24411/2078-1024-2019-11010
14. Титова Е.А. К вопросу о показателях и критериях оценивания компетенций на различных этапах их формирования // Вестник учебного отдела Барнаульского юридического института МВД России. 2017. № 29. С. 21-26.
15. Бессмельцева Е.С., ПавловаН.Г. Комплексная система критериев оценивания сформированности иноязычной коммуникативной компетенции студентов-менеджеров (на примере немецкого языка) // Вопросы методики преподавания в вузе. 2018. Т. 7. № 24. С. 38-45. DOI: 10.18720/ШМ/^Ш227-8591.24.4
16. Тюрина Т.Э. Совершенствование системы критериев оценивания профессиональных компетенций выпускников программы бакалавриата по направлению подготовки «Экономика» // Актуальные проблемы совершенствования высшего образования : мат. XIII научно-метод. конф. с междунар. участием. Ярославский государственный университет им. П.Г. Демидова, 2018. С. 161-162.
17. Жигжитова Б.Н. Показатели и критерии оценивания компетенций на этапе изучения дисциплины «Земельное право» по направлению подготовки бакалавров 21.03.02 «Землеустройство и кадастры» // Новые образовательные технологии, методы обучения и воспитания : мат. Междунар. научно-ме-тод. конф. 2019. С. 37-42.
18. Азизова И.Ю. Критерии и показатели результатов оценивания методической подготовки студентов-биологов на основе гуманитаризации и технологизации педагогического образования // Известия Волгоградского государственного педагогического университета. 2015. № 1 (96). С. 62-72.
19. Шипилина Л.А., Старовойтова Ж.А. Проектирование критериев оценивания компетенций будущих педагогов профессионального обучения на государственном экзамене // Вестник Омского государственного педагогического университета. Гуманитарные исследования. 2015. № 1 (5). С. 112-116.
20. Саинов М.П. Принципы методики выставления оценок на итоговой аттестации в форме защиты выпускной квалификационной
Поступила в редакцию 9 июля 2020 г. Принята в доработанном виде 26 февраля 2021 г. Одобрена для публикации 26 февраля 2021 г.
работы // Тенденции развития науки и образования. 2018. № 34-2. С. 37-39. DOI: 10.18411/ lj-31-01-2018-25
Об авторе: Михаил Петрович Саинов — кандидат технических наук, доцент, доцент кафедры гидравлики и гидротехнического строительства; Национальный исследовательский Московский государственный строительный университет (НиУ МГСУ); 129337, г. Москва, Ярославское шоссе, д. 26; SPIN-код: 2369-9626, Scopus: 6506150284; mp_sainov@mail.ru.
INTRODUCTION
Student training quality, student skills and their development are the most important challenges to be tackled by means of the methodological support of educational activities. Federal law No. 273-FZ "On education in the Russian Federation" says that educational programmes must include assessment materials. Their mission is to assess student skills or abilities to master the educational programmes.
However, assessment rules are not established by the regulatory documents. Assessment materials, as well as educational programmes in general, are developed by educational organizations. Universities are free to choose methodological approaches to the generation and use of assessment materials, and there are no approved rules that govern the development of assessment materials.
The rules governing the development of assessment materials, applied by educational organizations, are often poorly grounded. This fact has a negative impact on ensuring the quality of educational activities, as it does not allow us to assess their results in a reliable and accurate manner. Hence, the problem of developing a methodology for assessing student competencies is relevant and needs to be tackled.
This article analyzes the experience of developing a methodology for evaluating learning outcomes at MGSU. The author was fully engaged in the development of this methodology, and its basic provisions were proposed by the author.
This paper describes the proposed methodology and compares it with the methods developed by other authors. The purpose of the analysis is to identify the advantages and disadvantages of the MGSU methodology, as well as approaches to its further improve-
ment. In this publication, we will not address knowledge control tasks developed within the framework of evaluation materials. These issues are certainly very important and therefore they need to be analyzed independently. We will only focus on general problems that accompany the development of a knowledge evaluation system.
MATERIALS AND METHODS
The evaluation method proposed by the author is specified in the educational programmes developed and implemented at NRU MGSU. The document entitled Assessment Facility Fund (AFF) was developed for each discipline and practical course. It includes:
• a list of learning outcomes to be evaluated;
• a list of forms of intermediate certification and control used for assessment purposes;
• control tasks that allow students to assess their learning outcomes;
• an assessment methodology that makes it possible to assess the compliance of the results of control tasks with the required learning outcomes.
This AFF represents a generally accepted practice, since it was established by Order No. 1367 issued by the Ministry of education and science of the Russian Federation (which has already been invalidated)1.
The assessment methodology contains a scale of grades, a system of assessment criteria, and the application rules. The proposed method has the following features:
• a standard five-point grading scale ("excellent", "good", "satisfactory", "unsatisfactory", "passed", "failed") established by Order No. 301 issued by the Ministry of education and science of the Russian Federation2;
1 Order No. 1367 issued by the Ministry of education and science of the Russian Federation on December 19, 2013. The Order approves the process of organizing and implementing educational activities performed in furtherance of educational programmes of higher education, including bachelor, master and specialist level programmes.
2 Order No. 301 issued by the Ministry of education and science of the Russian Federation on April 15, 2017. The Order approves the process of organizing and implementing educational activities performed in furtherance of educational programmes of higher education, including bachelor, master and specialist level programmes.
ce ce
n
M M
• training results are applied as the indicators of assessment formulated as knowledge and skills;
• the assessment is performed not only in the process of the interim assessment, but also in the course of the current monitoring of academic performance;
• the assessment is based on students' answers to theoretical questions and performance of practical tasks;
• qualitative characteristics and quantitative parameters of knowledge and skills are used as evaluation criteria.
When creating the methodology, the author formulated the key terms and definitions used in the assessment, including an assessment indicator, an assessment criterion, and a skill.
This article provides a rationale for choosing the main provisions of the proposed methodology and its comparison with others. For comparison purposes, the author analyzed research publications focused on a learning outcome assessment methodology. The main provisions, advantages and disadvantages of the methods used by different educational organizations are identified on the basis of this analysis.
In the course of the analysis, the author uses publications made by domestic and foreign authors. However, it should be noted that the works of domestic and foreign authors differ significantly in their subject matter. Only domestic publications analyze assessment methodologies. However, these issues are hardly discussed abroad.
Foreign publications are mainly focused on the results of assessment methods and their analysis. Methods based on the principles of Bloom's taxonomy are used abroad. The original version of the taxonomy of educational goals was proposed by B. Bloom in 19563. It determines which actions, mastered by students, need an assessment. These actions are ranked by the level to streamline the grade issuance process.
Foreign publications address the issues of improving and implementing Bloom's taxonomy [1-6]. Its improved and revised versions are proposed. One of these methods is Revised Bloom's Taxonomy (RBT), proposed by L. Anderson and D. Krathwohl in 20014. Abroad, the RBT method is frequently used to study the student training quality [1-3]. Alternative taxonomy methods are also applied.
Unlike foreign teachers, Russian teachers are in search of methodological approaches to assessment tools; they solve the problems of choosing indicators and evaluation criteria [7-19]. They have to do it to meet the licensing and state accreditation requirements and to perform educational activities.
The above-listed publications were used by the author to substantiate the principles that underlie
the choice of indicators and assessment criteria contributed to the knowledge assessment methodology used by NRU MGSU.
RESULTS
Formation of competence assessment indicators
In accordance with the Federal state educational standards of higher education (FGOS VO), the learning process is aimed at developing necessary competencies by students. However, a competence is a rather complex phenomenon; its development can only be carried out indirectly and assessed through the employment of particular assessment indicators.
It is common knowledge that an indicator is a generalized characteristic of a process, an object, or a result. Therefore, an assessment indicator, according to the author, should be interpreted as a characteristic, a parameter of competence that is subject to assessment and it allows to assess the level of competence development (as a result of mastering the educational programme).
Many different characteristics and parameters can be selected as competence assessment indicators. When developing an assessment methodology, specific training results can be used as assessment indicators due to the fact that the Federal state educational standards for higher education establish that specific learning outcomes must be formulated for each discipline. Accordingly, it is convenient to use learning outcomes as indicators of competence assessment.
However, the results of training can also be formulated in different ways. The author suggests knowledge and skills as learning outcomes. For comparison purposes, let's consider other systems of learning outcomes.
For example, in foreign countries, it is customary to formulate educational goals (learning outcomes) in terms of Bloom's taxonomy or its variants. These goals are grouped. The original version of Bloom's taxonomy (1956) identifies three domains of educational goals, including cognitive, affective, and psychomotor ones. The cognitive domain is associated with knowledge and understanding, the affective domain is associated with emotions, and the psychomotor domain is associated with practical student skills. B. Bloom defined the educational goals of the cognitive domain, and also ranked them by the level of complexity: knowledge (as recognition), understanding, application, analysis, synthesis, and evaluation. Bloom's complete taxonomy identifies 18 educational goals broken down into three domains. The hierarchy of learning outcomes is an advantage of this type of taxonomy, as it can be used to assess their levels.
3 Bloom B.S., Englehart M.D., Furst E.J., Hill W.H., Krathwohl D.R.A. Taxonomy of educational objectives, the classification of educational goals. Handbook 1: Cognitive Domain. New York, David McKay Company, 1956.
4 Anderson L.W., Krathwohl D.R., Airasian P.W., Cruikshank K.A., Mayer R.E., Pintrich P.R. et al. A taxonomy for learning, teaching and assessing: a revision of bloom s taxonomy of educational objectives. New York, Longman, 2001.
The revised version of the taxonomy (RBT, 2001) distinguishes four domains of educational goals instead of three: factual, conceptual, procedural and metacog-nitive, each of which sets out and ranks several educational goals at different levels. Different authors identify about 20-30 educational goals.
However, in these countries, due to the large number and complexity of the hierarchy of educational goals, the use of new versions of Bloom's taxonomy is problematic. They have an important drawback, since not only educational goals, but also domains of learning outcomes are arranged in order of difficulty. Therefore, the application of this approach is more problematic. In particular, the American society of civil engineers, having considered various variants of the taxonomy, adopted Boom's original taxonomy as a basis for revising the Collection of civil engineering knowledge [4]. The original Bloom's taxonomy is also used in the paper [5].
Therefore, a simpler approach, which is also based on the original version of the Bloom's taxonomy, is used in Russia. The competence is divided into three components [6]:
• cognitive (perceptive);
• activity-based (functional, praxeological);
• personal.
The personal component of competence is the most unclear one, since it includes various personal qualities (psychophysical characteristics, moral qualities and personal values, motivation to learn, sociability, responsibility, etc.). Some authors reduce the personal component of competence to the value-based and axiological one [6, 7]. Others divide it into parts to assess the research competence of a graduate student, and highlight value-based and communicative [8], motivational and personal components [9].
The number of components determines the number and types of learning outcomes and assessment indicators. For example, all three components were contributed to the assessment methodology developed by A.A. Ponomarev and A.V. Yakushin [10]. At the same time, developers of methodologies most often merely employ cognitive and activity-based components.
The number of educational goals should also be minimal. Usually, only knowledge is used as an indicator of the cognitive component. The work of N.V. Yaro-slavtseva and co-authors is an exception, she uses several types of cognitive learning outcomes [11]. Therefore, it was customary to use knowledge as an indicator of the cognitive component of competence. However, it should be noted that in reality, when checking knowledge, it is impossible to check only the information learned, communication and presentation skills are also checked.
There is no unanimity in the choice of learning outcomes used to assess the activity component of competence. Some authors use skills, abilities and proficiencies [6], skills and proficiencies [12, 13], while others
use skills and experience [7]. The author recommended to use one activity component of competence, that is, skills, in the process of developing his methodology. This decision is substantiated as follows:
1. It can be substantiated that a skill is a method of performing an action, mastered by the subject, with regard for a set of knowledge and skills. Accordingly, a skill (a mode of action), like competence (an ability), is a complex characteristic that is difficult to verify. Since knowledge and skills make up abilities, it is sufficient to check the knowledge and skills to find out the abilities.
2. The term "ability" usually means either having an ability or having skills. In the first case, "an ability" duplicates the concept of competence, and in the second, it means a test of skills. Accordingly, checking "abilities" is unnecessary.
Thus, we have proved the expedience of using knowledge and skills as indicators of competence.
At the same time, the author suggested dividing skills into initial and basic levels. This is explained by the fact that a fully formed skill is a mastered action that is performed automatically. In the course of learning, it is not always possible to make student skills automatic. Hence, it is inappropriate to check the quality of skills that have not yet been formed. For this reason, it was decided to distinguish between the two levels of skill development: initial and full. An entry-level skill is a primary skill that is not fully formed. We decided to establish separate evaluation criteria to test these skills.
Our assessment methodology does not assess the personal component of competence. As it was pointed out by A.I. Altukhov and co-authors in [6], a personal component can be assessed using qualitative rather than quantitative criteria, which reduce the objectivity of the assessment. We assumed that the personal component of competence can be assessed indirectly, as part of other (cognitive and activity-based) components.
Development of a system of assessment criteria
The choice of assessment criteria is the most challenging issue of an assessment methodology for a number of reasons.
The first reason is that the concept of an assessment criterion itself is not defined.
The analysis of publications has shown that sometimes authors confuse the concepts of "an indicator" and "an assessment criterion". In particular, O.V. Berse-neva swapped indicators for criteria. She distinguishes the cognitive criterion (knowledge) and the praxeologi-cal criterion (skills, methods, experience) [7].
Similarly, E.A. Titova applied the following components of assessed competencies, i.e. their indicators, when compiling the list of criteria [14]:
• the proficiency in special terminology;
• the depth and completeness of knowledge of theoretical fundamentals of a discipline;
• the ability to illustrate theoretical material with examples;
M M
• discursive learning outcomes (if included in learning outcomes).
Obviously, this approach is a methodological error, because the indicator being evaluated cannot simultaneously serve as an evaluation criterion. The assessed criterion can only represent the presence (formation) of a particular indicator in the student.
In [15], the criterion is understood as "an indicator of the extent of manifestation of an assessed parameter". In our opinion, this understanding of the criterion is closer to the truth, but it better suits the concept of a semantic (or substantive) scale of grades. A semantic scale means a scale that sets specific values for evaluation indicators that correspond to the grades assigned to each of the criteria.
When formulating the definition of an assessment criterion, the author proceeds from the fact that in Russian, the criterion is understood as a sign, a basis or a rule that governs decision making in terms of the assessment of something for its compliance with applicable requirements. Therefore, an evaluation criterion is to be understood as a characteristic feature or a parameter that can be used to determine whether the assessment indicator corresponds to the level of developed competences.
The second reason is the problematic identification of clear assessment criteria. A review of the literature has shown that authors usually describe the value of the indicator as a whole, without dividing it by the criteria when developing a semantic (substantive) scale of grades.
The same procedure is most often applied by educational organizations in the process of developing feedback forms. As a rule, comprehensive descriptions are used, since they reflect the characteristics of several competencies in general, without identifying clear criteria. As an example, we provide a substantive scale of grades developed by T.E. Tiurina [16]:
"1 point — lack of knowledge, skills;
2 points — fragmented knowledge; fragmented use of skills; fragmented use of abilities;
3 points — generally successful, but not system-^ atic knowledge; generally successful, but not systematic ®® use of skills; generally successful, but not systematic " use of abilities;
4 points — generally successful knowledge that ce has some gaps; the skills that have some gaps; the abili-— ties that have some gaps;
5 points — established knowledge, skills and abili-
^S ties".
As you can see, the above description of the scale =J of grades represents a one-sided description of learning <3 g outcomes, and it does not substantiate the assessment. 5 23 However, it contains some assessment criteria, indues = ding the fragmentary/systematic nature of the learning S outcomes and the success (productivity) of their use. ■3 Hence, the selection of assessment criteria is feasible. For example, in the works [14, 17], clear learning
outcome assessment criteria are identified and formulated.
However, there arises another complication. The third reason, or the lack of criteria, consists in the problematic identification and formulation of such assessment criteria that could be universal and comprehensive, i.e. convenient for application in different fields of knowledge and different disciplines.
For this reason, some authors develop criteria that serve particular types of certification and control [18, 19] rather than individual indicators. This approach is certainly convenient, but it has a significant drawback, since it does not allow one to strictly assess student competences. Assessment criteria are neither linked to competences, nor to learning outcomes.
One can use Bloom's taxonomy to develop universal criteria. The six levels of educational goals identified in the taxonomy characterize the level of competence ranked by a certain criterion. In particular, this criterion represents the usability of knowledge for the purpose of cognition in the cognitive domain (domain of knowledge).
However, such a criterion is quite difficult to apply, so it has not been widely used in the domestic practice in the process of drafting educational programmes.
The author analyzes the criteria that are used to assess knowledge, skills, and abilities based on the descriptions of the scale provided in publications.
In particular, the following knowledge assessment criteria are listed:
• the number of topics mastered and the number of right answers to the questions [17];
• the scope of knowledge [12];
• the understanding of basic concepts, knowledge gaps, the level of knowledge of materials [13];
• the depth and completeness of knowledge of theoretical fundamentals [14];
• the availability, consistency and completeness of knowledge [16];
• the complexity and productivity of knowledge
[10];
• the validity and completeness of the response
[19].
Skill assessment criteria include:
• the use of standard or non-standard methods, as well as the independence of performing actions [12];
• completeness, correctness, consistency of the sequence of presented materials, validity of judgments [13];
• the ability to illustrate theoretical material with examples [13, 14];
• standard or irregular situations that imply the use of skills, independence and proper performance of actions [10].
The following criteria are used to assess the proficiency:
• completeness of skills and judgments, difficulties in applying knowledge [13];
• knowledge of special terminology, conversational skills [14].
This review confirms that the learning outcome assessment methodology is far from being complete, hence, various criteria are proposed. As you can see, the criteria used by different authors do not duplicate each other. This means that most of them do not cover the full range of characteristics of learning outcomes, and, accordingly, they cannot ensure an objective and comprehensive assessment. Hence, it is necessary to use a system of criteria rather than one or two criteria.
Given the results of our analysis, several important conclusions can be made about the principles that underlie the system of assessment criteria.
1. Assessment criteria can be either objective or subjective. Objective criteria ensure the definitive interpretation of the assessment. These include, in particular, quantitative parameters of learning outcomes (for example, the number of topics mastered and the number of correct answers, the presence of examples). The knowledge of terms and definitions can also be assessed objectively. The completeness of answers and the logical presentation of the material can be assessed in the objective manner.
Qualitative parameters refer to subjective assessment criteria.
Objective (quantitative) and subjective (qualitative) criteria can be separated to design a system of criteria that ensures objective assessments.
2. In the above examples, assessment indicators themselves act as criteria in a slightly modified form: they are more specific and they represent only a certain component of an indicator.
For example, specific knowledge (the knowledge of terminology, concepts, etc.) is often used as a criterion in the assessment of knowledge, and certain types of actions are often used as a criterion in the assessment of skills.
This approach is not definitive and seems incorrect, but it can be logically justified. The fact is that all learning outcomes are formed sequentially, from simple to complex, and the process of their formation is easily illustrated using Bloom's taxonomy. Hence, it is advisable to record the development of key components of knowledge and skills in the system of criteria.
3. The analysis of some papers [18, 19] allowed us to draw another conclusion. As it was mentioned earlier, some authors develop a system of criteria depending on types of assessment procedures. In particular, in publication [18], I.Y. Azizova designed a scale for assessing the results of the presentation of work and a scale for assessing the results of participation in a discussion. Besides, in their work [19], L.A. Shipilina and Zh.A. Starovoitova developed a system of criteria for assessing the results of answers to oral questions used to assess the proposed solutions to certain problems.
This approach has an important advantage, which allows us to recommend another, third, principle
of a system of assessment criteria. It consists in the fact that the system of criteria should be adapted to the features and restrictions of the assessment procedure. In particular, it is convenient to use quantitative criteria when tests are conducted.
These principles are not mandatory, and they do not strictly regulate the rules applied to the system of assessment criteria. They are ambiguous, and several systems of criteria can be developed on their basis.
When creating a methodology for assessing learning outcomes at MGSU, we applied all three principles of assessment criteria.
Firstly, both quantitative and qualitative criteria were used.
Secondly, the criteria that we used include the availability of individual elements of knowledge and skills, i.e. mixed, quantitative and qualitative criteria.
Thirdly, the system of criteria was designated for intermediate certification. It was adapted to intermediate certification conducted in person in the form of a conversation between a lecturer and a student after the latter has completed a theoretical and/or practical assignment.
Selected assessment criteria are listed below. The following criteria were used to assess student responses to theoretical questions:
• completeness and quality of basic and fundamental knowledge (terms and definitions, principles, laws and relations);
• the amount of material mastered (the number of high-quality tasks completed);
• completeness of information provided in the answers;
• correctness of answers;
• the quality of information presentation (consistency, clarity, literacy, etc.);
• knowledge interpretation quality demonstrated in the process of answering supplementary questions during an interview.
It should be noted that the concepts of "amount" and "completeness of information" have different meanings. The amount of mastered material characterizes the number of learned didactic units (sections), and the completeness of information means the level and depth of its acquisition (within each section).
We used the criteria designated for the assessment of practical tasks (with the possibility of their subsequent defense) to assess the skills at initial and basic levels. Some criteria characterize the quality of skills, while others are mixed, or quantitative and qualitative at the same time.
Mixed criteria used to assess skills correspond to the stages of completing practical tasks; they collectively characterize the required level of skill development. The following skills were used as such criteria:
• methodology selection and substantiation skills;
• task completion;
tfl c/>
• self-testing abilities (identification of errors);
• task result analysis;
• task result presentation.
This list of criteria is exhaustive for entry-level skills. For high-level skills, the quality of their formation needs to be checked. The following characteristics were used as criteria for testing basic (high) level skills:
• speed of completing actions (tasks);
• ability to complete tasks independently;
• effectiveness (quality) of completing tasks.
The system of assessment criteria allowed the author to design an assessment scale. However, the author had to determine the number and scope of competence development levels to design the scale.
Differentiation of competence development levels
The methodology has four grades and four levels of competence development that correspond to the traditional five-point scale. The first level corresponds to the failing grade, or an insufficient level of competence development, while other levels correspond to positive grades ("satisfactory", "good", "excellent").
The scope of each level is more difficult to determine. The review of publications has shown that there are different approaches to identifying the scope of competence levels reflected in the titles given by the authors of publications.
The lowest positive level is called the basic level [12] or the threshold level [13, 17]. The highest level is called high [13], elevated [12], advanced [17]. The intermediate level is called intermediate [12] or basic [13, 17].
As you can see, levels are understood differently. Therefore, one needs to answer two fundamental questions to rank levels:
1. How can a lecturer distinguish negative levels from the lowest positive ones?
Table 1. A knowledge assessment scale (an extract)
2. What is the main difference between the three positive levels, especially between upper and middle levels?
As for the boundary between negative and positive assessments, the author assumes that the lower positive level of competence development corresponds to the minimal, though sufficient level of knowledge and skills. A similar position was formulated by R.M. Kara-banov in [12].
When distinguishing between positive levels, the author proceeded from the assessment of the student's readiness for an independent activity. Approximately the same ideology was formulated by the author in the process of developing an assessment methodology designated for the results of the final certification, which is the basis for assigning qualifications to students who are about to start their professional activities [20].
We can agree with O.V Berseneva's position about the scope of the top level of competence development. In her work [7], competence mastering levels include initial, reproductive, productive and creative. Hence, the top level implies the ability of students to perform non-standard tasks and use a creative approach. However, we cannot agree with O.V. Berseneva's position that the lower positive level implies mere reproduction (reproductive level) of knowledge and skills [7]. This approach is unacceptable in the system of higher education.
The author uses the following criteria as the tools that enable him to differentiate between positive levels of competence:
• the lower level means that the student has difficulties in performing tasks that can be surmounted with the help of a teacher or a mentor;
Assessment criteria Grade
"2" Unsatisfactory (fail) "3" Satisfactory "4" Good "5" Excellent
Knowledge of terms and definitions, concepts The student knows no terms/definitions The student knows terms and definitions, but he/she formulates them inaccurately The student knows terms and definitions The student knows terms and definitions, and he/ she can correctly formulate them independently
Knowledge of basic regularities and relationships, principles The student knows neither any basic regularities, nor relationships, principles Knows the basic regularities, relationships, and principles The student knows basic regularities, relationships, and principles, interprets and uses them The student knows basic regularities, relationships, and principles, and can extract and use them independently
Completeness of answers to questions The student cannot answer the majority of your questions The student gives incomplete answers to all questions The student gives answers to questions, but not all of them are complete The student gives exhaustive and detailed answers to questions
Correctness of answers to questions The student makes gross mistakes when answering questions There are significant errors in the response There are some minor inaccuracies in the response The answer is correct
n
CO CO
Table 2. A skill level assessment scale (an extract)
Assessment criteria Grades
"2" Unsatisfactory (Fail) "3" Satisfactory "4" Good "5" Excellent
Skills in selecting the task completion methodology The student can't choose the task completion method The student has difficulty choosing a task completion method The student easily selects a standard task completion method The student applies theoretical knowledge to choose the task performance method
Skills in completing tasks of varying complexity The student doesn't have the skills to complete training tasks The student has the skills to perform only simple standard training tasks The student has the ability to complete only standard training tasks The student has the skills to perform both standard and non-standard training tasks
Self-testing skills The student makes gross errors when performing tasks and deteriorates the problem-solving logic The student makes mistakes when completing tasks and deteriorates the decision-making logic The student makes errors when performing tasks that do not deteriorate the decision-making logic The student doesn't make mistakes when completing tasks
Skills in substantiating completed tasks The student can't substantiate the task completion algorithm The student has difficulties substantiating the task completion algorithm The student substantiates the problem-solving logic without difficulties The student correctly substantiates the problem-solving logic
Task completion speed The student does not complete tasks or completes them very slowly, without achieving any pre-set goals The student performs tasks slowly and behind the schedule The student performs all tasks on time The student performs all tasks ahead of the schedule
Task completion independence The student can't plan and complete tasks on its own The student performs tasks only with the help of a mentor The student performs tasks independently, although he/she needs the advice of a mentor The student performs tasks independently, without any help
Efficiency (quality) of completed tasks The student performs tasks badly The quality of tasks performed by the student is insufficient The student performs tasks efficiently The student performs tasks excellently even if they are complex
• the intermediate level is the one of those students who are able to perform standard tasks rather independently;
• the upper level means that the student has theoretical knowledge and practical skills, and he/she can perform tasks, including complicated ones, in an independent and creative manner.
If we compare our scale with the ideology of ranking the levels of learning outcomes offered in the Bloom's taxonomy, we can see that the high level corresponds to levels 5 and 6 (synthesis, evaluation), the average level — to level 4 (analysis), and the low level — to level 3 (application).
As for the scales described in the reviewed publications, the one proposed by the author is, in fact, closest to the scale proposed by A.A. Ponomarev and A.V. Yakushin in [10]. However, our scale has no assessment of the personal component of competence, including the motivation to acquire new knowledge.
According to the author, motivation, as well as other personal qualities of a student, are additional, non-deterministic assessment factors. Motivation affects
the result of completing control tasks and, accordingly, ^
can be taken into account as an indirect factor. e
n CD
About the scale of assessment d «
We have developed a scale that has specific re- sjjj
quirements applicable to the student knowledge and S s
skills, and the values of the criteria that correspond to 1 =
the grades. This information is available in Tables 1, 2. v
The scales presented in the tables need addi- .
tional rules that will represent a uniform assessment 1
vehicle based on several criteria: S
• it was assumed that the assessment is formed by s means of an expert evaluation, since the contribution cd of each of the criteria cannot be quantified;
• a special rule should apply if any of the criteria 8 is negative. An unsatisfactory result even in terms —
of one criterion means that the training result is not achieved and the integral score must also be negative. For example, if a student has mastered only one section of a discipline (completed only one of the tasks), he/she should not receive a positive grade.
CONCLUSIONS
The knowledge assessment system needs improvements, and this issue is relevant. The author suggests an assessment methodology, which ensures a comprehensive assessment of learning outcomes. The proposed solution is based on the clear understanding of the essence of indicators and assessment criteria. However, the proposed method has both advantages and disadvantages, and it should be verified in the future.
The advantage of the proposed methodology is the availability of a system of clearly formulated criteria. The availability of several criteria allows to fully control the formation of learning outcomes, increases the objectivity of the assessment and ensures its validity. It is important that the proposed criteria are nearly
universal and can (if the necessary adjustments are made) be applied in different branches of knowledge.
The availability of several criteria makes it possible to get fractional grades, which expands the capabilities of a standard scale. However, the significance of each of the criteria needs to be specified.
The author has drafted the general principles of the assessment methodology and a scale for assessing the student knowledge and skills.
The multi-criterial nature of assessments causes the problem of uncertainty and multiplicity of assessment results. This is a significant drawback of the proposed method. The need to take account of the personal component of the competence formation remains debatable. This issue also needs further research.
Development of a unified approach to competence development levels ("unsatisfactory", "satisfactory", "good", "excellent") is also a very important and relevant issue to be tackled by the higher education system. The author suggests an approach based on assessing the willingness of students to independently perform versatile creative activities.
REFERENCES
1. Ramlawati, Anwar M., Yunus S.R., Nuswowa-ti M. Analysis of students' competence in chemistry cognitive test construction based on revised bloom's taxonomy. Journal of Physics: Conference Series. 2020; 1567:042006. DOI: 10.1088/1742-6596/1567/4/042006
2. Wang J., Wei W., Ding L., Li J. Method for analyzing the knowledge collaboration effect of R&D project teams based on Bloom's taxonomy. Computers & Industrial Engineering. 2017; 103:158-167. DOI: 10.1016/j.cie.2016.11.010
3. Nurlailiyah A., Deta U.A., Ain T.N., Haq M.S., Lestari N.A., Yantidewi M. Analysis of High School Physics National Examination questions based on Bloom's Taxonomy and National Examination Question Standard in 2017/2018. Journal of Physics: Conferee ence Series. 2019; 1171:012041. DOI: 10.1088/1742-£2 6596/1171/1/012041
CB 4. Hains D., Fridley K., Nolen L., Barry B. Re-
vising the civil engineering body of knowledge (BOK): ¿2 The application of the cognitive domain of Bloom's Taxonomy. 2018 ASEE Annual Conference & Exposi-— tion Proceedings. 2018. DOI: 10.18260/1-2--30939
5. LeGrow M. Prior learning assessment cor-= g ner: Using bloom's taxonomy to help define col-Sg lege-level knowledge. The Journal of Continu-H 2 ing Higher Education. 2001; 49(1):47-50. DOI: S | 10.1080/07377366.2001.10400424 S 6. Altukhov A.I., Golovina V.V., Kalinin V.N. ■2 Formation and criteria for assessing competencies in the cycle of mathematical and natural science disci-
plines. Proceedings of the A.F. Mozhaisky Military Space Academy. 2014; 642:210-215. (rus.).
7. Berseneva O.V. Criteria model and levels of formation of research competencies of future teachers of mathematics. Online Journal of Science. 2015; 7(5):174. DOI: 10.15862/24PVN515 (rus.).
8. Yarullin I.F., Bushmeleva N.A., Tsyrkun I.I. The research competence development of students trained in mathematical direction. International Electronic Journal of Mathematics Education. 2015; 10(3):137-146. DOI: 10.12973/mathedu.2015.109a
9. Prosekov A.Yu., Morozova I.S., Filatova E.V. A case study of developing research competency in university students. European Journal of Contemporary Education. 2020; 9(3). DOI: 10.13187/ejced.2020.3.592
10. Yakushin A.V., Ponomarev A.A. Assessment of competence formation of students of pedagogical high school of information and communication technologies. Modern Problems of Science and Education. 2015; 6:372. (rus.).
11. Yaroslavtseva N.V., Belyakov A.A., Tukh-vatullin B.T., Kodoeva A.C., Nigamatulin V.R., Levchenko D.V. et al. Cognitive learning technology: essence, efficiency and effectiveness. Perspectives of Science and Education. 2020; 43(1):10-23. DOI: 10.32744/pse.2020.1.1 (rus.).
12. Karabanov R.M. Formation of indicators and criteria for assessing competencies in the training of specialists of security units and the penal system. Questions of Modern Science and Practice. 2020; 1(2):95-99. (rus.).
13. Poddubnaya T.N., Kruzhkov D.A., Demido-va L.I., Polzikova E.V., Zadneprovskaya E.L. Design of assessment funds as a condition for FSES implementation. Bulletin of the Maykop State Technological University. 2019; 1:104-113. DOI: 10.24411/2078-10242019-11010 (rus.).
14. Titova E.A. On the issue of indicators and criteria for assessing competencies at various stages of their formation. Bulletin of the Educational Department of the Barnaul Law Institute of the Ministry of Internal Affairs of Russia. 2017; 29:21-26. (rus.).
15. Bessmeltseva E.S., Pavlova N.G. Comprehensive system of communicative competence assessment of management students (on the basis of the German language). Questions of Teaching Methodology at the University. 2018; 7(24):38-45. DOI: 10.18720/ HUM/ISSN2227-8591.24.4 (rus.).
16. Tyurina T.E. Improving the system of criteria for assessing the professional competencies of graduates of the bachelor>s program in the direction of training "Economics". Actual problems of improving higher education: materials of the XIII scientific and methodological conference with international participation. Yaroslavl State University named after P.G. Demidova. 2018; 161-162. (rus.).
Received July 9, 2020.
Adopted in revised form on February 26, 2021. Approved for publication on February 26, 2021.
17. Zhigzhitova B.N. Indicators and criteria for assessing competencies at the stage of studying the discipline "Land law" in the direction of training bachelors 21.03.02 "Land management and cadastres". New educational technologies, methods of teaching and upbringing: materials of the international scientific and methodological conference. 2019; 37-42. (rus.).
18. Azizova I.Yu. Criteria and indicators of the results of assessing the methodological training of biology students based on the humanization and technologization of pedagogical education. Bulletin of the Volgograd State Pedagogical University. 2015; 1(96):62-72. (rus.).
19. Shipilina L.A., Starovoytova Zh.A. Designing the criteria for assessing the competencies of future vocational training teachers at the state exam. Bulletin of Omsk State Pedagogical University. Humanities research. 2015; 1(5):112-116. (rus.).
20. Sainov M.P. The principles of the methodology for setting grads for the final certification in the form of defense of the final qualifying work. Trends in the Development of Science and Education. 2018; 34-2:37-39. DOI: 10.18411/lj-31-01-2018-25 (rus.).
Bionotes: Mikhail P. Sainov — Candidate of Technical Sciences, Associate Professor, Associate Professor of the Department of Hydraulics and Hydraulic Engineering; Moscow State University of Civil Engineering (National Research University) (MGSU); 26 Yaroslavskoe shosse, Moscow, 129337, Russian Federation; SPIN-code: 2369-9626, Scopus: 6506150284; mp_sainov@mail.