ИССЛЕДОВАНИЕ ОБЪЕКТИВНОСТИ ОЦЕНИВАНИЯ ОБРАЗОВАТЕЛЬНЫХ ДОСТИЖЕНИЙ ШКОЛЬНИКОВ НА ОСНОВЕ СИСТЕМЫ АВТОМАТИЗИРОВАННОГО МОНИТОРИНГА И КОНТРОЛЯ

Тихонова Людмила Павловна; Попова Светлана Игоревна; Мироненко Светлана Николаевна; Вахрамеев Павел Сергеевич; Питерцев Михаил Эдуардович

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

УДК 371.363

DOI: 10.15293/2658-6762.2204.06

Научная статья / Research Full Article Язык статьи: русский / Article language: Russian

Исследование объективности оценивания образовательных достижений школьников на основе системы автоматизированного мониторинга и контроля

Л. П. Тихонова1, С. И. Попова1, С. Н. Мироненко1, П. С. Вахрамеев1, М. Э. Питерцев1 1 Череповецкий государственный университет, Череповец, Россия

Проблема и цель. В статье исследуется проблема повышения объективности оценивания образовательных достижений школьников. Цель статьи - обоснование повышения объективности оценивания образовательных достижений школьников на основе системы автоматизированного мониторинга и контроля.

Методология. Исследование проводилось на основе междисциплинарного подхода, характеризующегося свойствами интегративности теории педагогического оценивания и проектирования автоматизированных средств обучения. Использованы теоретические методы исследования: анализ, синтез и обобщение по проблемам повышения объективности оценивания и разработки автоматизированных средств обучения; эмпирические методы: анкетирование, тестирование, педагогический эксперимент.

Результаты. Выявлены факторы, способствующие снижению объективности оценивания образовательных достижений школьников: субъективный и констатирующий характер оценивания, эпизодическое фиксирование результатов работ учащихся, несвоевременная кор-рекцияучебной деятельности школьников. Разработана и внедрена система автоматизированного мониторинга и контроля, которая предусматривает обработку, анализ и интерпретацию информации, позволяющую судить о динамике учебных достижений школьников в режиме реального времени. В ходе применения системы выявлены положительные изменения показателей мотивации учения и эмоционального отношения школьников к учению. Наиболее значимые изменения отмечены по показателям: познавательная активность, мотивация учения и тревожность (снижение высокого уровня тревожности, повышение уровней мотивации и познавательной активности). Разработка и функционирование системы основывается на организационно-педагогических и технических условиях. Организационно-педагогические условия предусматривают различные форматы включения системы в структуру процесса оценивания, а технические - устанавливают требования к системе.

Заключение. Внедрение системы автоматизированного мониторинга и контроля способствует формулированию понятных критериев оценки результатов деятельности школьников,

Библиографическая ссылка: Тихонова Л. П., Попова С. И., Мироненко С. Н., Вахрамеев П. С., Питерцев М. Э. Исследование объективности оценивания образовательных достижений школьников на основе системы автоматизированного мониторинга и контроля // Science for Education Today. - 2022. - Т. 12, № 4. - С. 120-142. DOI: http://dx.doi.org/10.15293/2658-6762.2204.06

н Автор для корреспонденции: Л. П. Тихонова, [email protected] © Л. П. Тихонова, С. И. Попова, С. Н. Мироненко, П. С. Вахрамеев, М. Э. Питерцев, 2022

Science for Education Today 2022. Том 12. № 4 http://sciforedu.ru ISSN 2658-6762

расширению возможностей построения индивидуальных траекторий учения, повышению прозрачности процесса обучения в целом. Объективность оценивания реализуется за счет четкости требований к уровню знаний, умений и навыков учащихся; конкретизации объектов контроля; соответствия содержания разрабатываемых контрольных заданий целям проверки; своевременного анализа результатов учебного процесса; повышения мотивации младших школьников к учению.

Ключевые слова: образовательные достижения; объективность оценивания; автоматизированная система мониторинга и контроля.

Постановка проблемы

Значение оценивания в развитии образовательной системы велико, так как оно является основным индикатором диагностики образовательных достижений обучающихся. Образовательные достижения - это результаты учебной деятельности школьников, измеряемые с помощью тестов достижений, других оценочных процедур, выявляющих уровень сформированности знаний, умений, навыков, компетенций в определенной предметной области. Объективное оценивание этих достижений - фундаментальная задача, на решение которой направлены усилия педагогического сообщества.

В психолого-педагогических исследованиях отмечается, что общепринятого термина для обозначения образовательных достижений (учебных) в науке сегодня не существует. Отличаются лишь подходы к трактовке термина в соответствии с требованиями нормативных документов. Так, А. Н. Майоров рассматривает образовательные достижения учащихся как процесс (движение от своего прежнего уровня к новому уровню овладения чем-либо) и как результат (соответствие достигнутого учащимся уровня овладения чем-либо определенному образовательному стан-дарту)1. В. Е. Мусина, обращаясь к изучению

1 Майоров А. Н. Тесты школьных достижений: Конструирование, проведение, использование. - СПб.: Образование и культура, 1997. - 284 с.

данной категории, также трактует образовательные достижения двояко: в узком и в широком смысле. В первом случае, отмечает автор, это «индивидуальные продвижения в одной из областей развития личности: познавательной, в области саморазвития творческой деятельности и т. д.» [1, с. 71]. Во втором - это продвижения «...с позиции целостности личности, итог ее учебной деятельности, показатель результативности ее развития» [1, с. 71].

Важнейшим инструментом объективного отслеживания динамики индивидуального продвижения школьников исследователи указывают мониторинг учебных достижений, который рассматривается как система постоянного сбора данных о процессе и результатах личностного развития учащихся через освоение ими видов деятельности, извлекаемых из социального опыта; обработка, анализ и интерпретация информации, позволяющей судить о динамике учебных достижений и дающей возможность осуществлять их прогноз и коррекцию [1].

Термин «объективность» означает беспристрастность, отсутствие предвзятости в оценке, суждении чего-либо. В теории информации под объективностью понимают ее независимость не только от чьего-либо мнения или сознания, но и от методов получения2. Более

2 Громов Ю. Ю., Тютюнник В. М. Материалы к разработке теории информации 1. Меры количества и качества информации // Фундаментальные исследования. - 2011. - Вып. 8-2. - С. 347-355.

121

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

объективна та информация, в которую методы получения и обработки вносят меньший элемент субъективности. В педагогике объективность мониторинга и контроля - это возможность реально и сопоставимо оценить успехи и недостатки учебной деятельности обучающихся, установить степень овладения знаниями и умениями. Объективность оценивания определяется рядом факторов: обоснованностью и разработанностью содержания и целей обучения, требований к уровню знаний, умений и навыков учащихся; конкретизацией объектов контроля; соответствием содержания разрабатываемых контрольных заданий целям проверки. Кроме этого, на объективность оценивания влияют причины, связанные с самочувствием испытуемых, образовательная среда, оценочная деятельность педагогов, условия, в которых организованы процедуры мониторинга и контроля.

Одним из негативных факторов существующей системы оценивания является повышение тревожности, снижение мотивации и в итоге включенности школьников в учебную деятельность. Данная динамика особенно заметна в 3-4 классах начальной школы (Е. А. Солощак, В. В. Константинова [2]).

Школа представляет собой тот социокультурный контекст, в котором тревожное поведение возникает как реакция на «угрожающие» учебные ситуации. В исследовании А. Г. Тимофеевой [3] отмечается, что «даже дети, проявляющие себя как не тревожные по результатам теста Р. Тэммла, М. Дорки, Ф. Амена, в ситуациях, связанных со школой, описывающих моменты школьной жизни, содержащих школьную атрибутику и т. п., показывают повышенный уровень тревоги (тест школьной тревожности Филлипса)» [3, с. 295-

3 Жулина Г. Н., Васькина В. С. Взаимосвязь учебной

мотивации и школьной тревожности в младшем

296]. Переход из одного класса в другой, смена видов учебной деятельности, особенности общения с учителем и со сверстниками приводят к возникновению учебных ситуаций, отличающихся определенной степенью напряженности для каждого учащегося. Напряженность имеет как положительную направленность, что способствует достижению более высоких результатов учебной деятельности («развивающий дискомфорт» по В. С. Юрке-вич), так и создает интеллектуальный, эмоциональный барьеры для вхождения в образовательную среду, когда учащийся не может справиться с проживаемыми психическими состояниями, не может перестроить способ деятельности, характер поведения (С. И. Попова [4]).

Школьная тревожность и ее взаимосвязь с учебной мотивацией в младшем школьном возрасте, а также ее влияние на результативность обучения отмечаются во многих современных исследованиях. Г. Н. Жулина, В. С. Васькина доказали, что чем выше уровень школьной тревожности младшего школьника, тем ниже учебная мотивация3. Особое внимание «следует обратить на детей младшего школьного возраста, поскольку они интегрированы в новую, имеющую большое значение для них, деятельность. В данном возрасте преобладает ситуативная тревожность, формирующаяся под влиянием школьных факторов. Основными ее проявлениями можно считать нежелание ходить в школу, ухудшение соматического здоровья, раздражительность и агрессивные проявления в связи со школьным дискомфортом, снижение концентрации внимания на уроках, "сверхценность" школьной оценки, проявление негативизма и демонстративных реакций и др.»4.

школьном возрасте // Таврический научный обозреватель. - 2016. - Вып. 2. - С. 123-127. 4 Там же. - С. 123.

122

2022. Том 12. № 4

Перечисленные факторы ситуативной тревожности обучающихся связаны с уже имеющимся опытом негативного контроля и оценивания (со стороны учителей и со стороны одноклассников) и со способностью школьника к саморегуляции [4, с. 100]. Внутреннее напряжение проявляется в том, что во время уроков школьники боятся «излишнего» взаимодействия с субъектами учебного процесса, боятся поднять руку, ответить на вопрос, даже если знают ответ. Тревожность как устойчивое состояние препятствует ясности мысли, создает трудности в школьной деятельности, увеличивает вероятность негативной оценки и снижает учебную мотивацию.

Среди рекомендаций по развитию мотивации младших школьников к обучению Е. А. Солощак, В. В. Константинова отмечают необходимость создания на уроке положительной эмоциональной атмосферы, индивидуального подхода в обучении, детального обоснования отметок и понятных ученикам критериев оценки результатов деятельности, создания ситуаций успеха [5, с. 273]. В процессе оценивания младшие школьники попадают в условия, которые характеризуются особенно высокой напряженностью интеллектуального и эмоционального состояний5, что напрямую влияет на объективность оценивания их учебных достижений.

Главной причиной таких ситуаций исследователи называют несовершенство существующей системы оценивания, ее травмирующее влияние на обучающихся. Так, австралийские ученые Центра исследований в области оценки и цифрового обучения J. Broadben, E. Panadero, D. Boud отмечают, что главным требованием к процедуре оценивания явля-

ISSN 2658-6762

ется наличие четких и общих стандартов и систем оценки. Общие методы оценки, их высокая надежность способствуют объективности процедуры оценивания и снижению напряженности среди учеников [6, p. 318-322].

Анализ моделей различных видов оценивания широко представлен в работах российских и зарубежных исследователей. О. Н. Шаповалова и Н. Ф. Ефремова акцентируют важность применения формирующего, критериального оценивания учебных достижений; рейтинговой системы; различных форм безотметочного обучения и др. [7]. Роль формирующего оценивания и его объективной составляющей в поддержании стабильности достижения поставленных обучающимися целей особо отмечается G. Hansen, R. Ringdal [8]. Данный вид оценивания позволяет по-новому взглянуть на обратную связь в процессе обучения, а различные практики организации обратной связи способствуют повышению мотивации обучающихся [8, с. 69]. Формирующая оценка методологически полностью соответствует идеям модернизации современного образования (Е. Н. Землянская [9]). В теории и практике существуют разработки приемов и способов реализации формирующего оценивания, в том числе с использованием информационных компьютерных технологий [9, с. 56].

Еще одно направление в решении задачи объективности оценивания учебных достижений школьников - исследование оценочной деятельности учителей и интенсивности трудозатрат в дни проверки работ обучающихся [10, с. 193-194]. Педагоги подходят к этому процессу достаточно субъективно и используют разные модели оценивания, что не способствует объективности (A. Jönsson, A. Balan

http://sciforedu.ru

5 Панов В. И. Психодидактика образовательных систем:

2022. Том 12. № 4

[11]). Отсюда острая необходимость разработки более совершенных подходов, механизмов, способов и средств оценивания [11].

Диагностическая компетентность учителей начальных классов в различных учебных ситуациях также является предметом научных изысканий. J. Hoth, M. Döhrmann, G. Kaiser et. al. [12] отмечается, что используя традиционные методы организации учебного процесса, учителя в целом справляются с диагностическими задачами, но при этом трактуют подходы к объективности оценивания с разных позиций. Проведенные Э. А. Чуприной [13] исследования системы внутришкольного мониторинга и контроля образовательных достижений учащихся в современных условиях показали, что «существующий диагностический инструментарий учителя имеет недостатки, процедура оценивания носит субъективный и констатирующий характер, результаты работы фиксируются эпизодически, полученные данные практически не используются для коррекции процесса обучения и построения индивидуальных траекторий обучения. Причины достигнутых результатов трактуются на основе интуитивных представлений, жизненного и профессионального опыта» [13, с. 120-130].

Исходя из этого, отмечается важность мониторинговых действий на всех структурных уровнях школы и описывается опыт создания технологии мониторинга образовательных достижений, которая «позволяет выявлять результаты, адекватные поставленным целям; объективно и непрерывно отслеживать и оценивать учебные достижения школьников в целом, а также их различные аспекты; анали-

ISSN 2658-6762

зировать результаты образовательного процесса; принимать своевременные управленческие решения по его коррекции и осуществлять прогнозирование дальнейшего развития» [1, с. 72]. Более высокая объективность оценивания при этом достигается за счет использования методов количественной и качественной оценки образовательных достижений школьников. Главный недостаток существующей системы мониторинга - большие временные затраты для осуществления всех действий и постоянная загруженность педагога.

Решение данных проблем осуществляется путем активного внедрения в процесс обучения цифровых технологий [14], что становится глобальной тенденцией в обучении [15]. Цифровая школа - это открытая информационно-образовательная (цифровая) среда, направленная на развитие способностей эффективного взаимодействия и коммуникации, творчества через освоение навыков работы с новой техникой, технологиями и большими объемами информации. Новые школы отличаются оснащением: современными средствами обучения, автоматизированными системами обучения, обеспечивающими организацию и управление процессом, мониторинг его результатов (MIMIO, Moodle, Smart Response, Votum и др.) [14], интерактивными педагогическими системами (F. Melo, S. Mascarenhas, A. Paiva) [16].

Цифровизация образования влечет за собой трансформацию педагогической деятельности. Трансформация педагогической деятельности (в контексте теории изменений (от англ. theory of changes) рассматривается6 «как совокупность изменений ее внешней формы, внутренней структуры и содержания в контексте и

http://sciforedu.ru

6 Сергеева М. Г., Мачехина Н. А. Трансформация педагогической деятельности учителя в условиях цифро-визации образования // Вопросы педагогики. -2019. - Вып. 3. - С. 259.

Science for Education Today 2022. Том 12. № 4 http://sciforedu.ru ISSN 2658-6762

под воздействием протекающих процессов модернизации и реформирования образования».

Использование педагогами качественного инструментария и современного цифрового обеспечения в образовании находится под пристальным вниманием российских и зарубежных ученых. Результаты экспериментов уже показывают, что преподавание с использованием цифровых технологий способствует:

- повышению мотивации школьников к обучению по предмету и повышению эффективности обучения в целом [15];

- более точной адаптации к индивидуальным потребностям детей (K. W. J. Touw, B. Vogelaar, M. Bakker, W. C. M. Resing [17, p. 443]).

Изучаются такие цифровые помощники, как роботы. Их включение в процедуру автоматизированного опроса школьников (69 лет) позволило D. Р. Davison, F. M. Wijnen, J.van der Meij выявить типы взаимодействия субъектов процесса обучения и целый спектр моделей поведения школьников и на этой основе сделать выводы, что данные средства способствуют «внесению положительного вклада в процесс обучения» [18, p. 883], «созданию более спокойной обстановки в классе и раскрытию когнитивного потенциала детей» [18, p. 902].

Анализ применения в качестве оценочного средства цифровых игр также показал, что в процессе взаимодействия обучающихся и учителя есть не только обратная связь, но и большое количество положительных эмоций [19, p. 360]. Широкомасштабное изучение видов обратной связи в процессе обучения и контроля младших школьников с применением цифровых приложений (242 приложения) проведено в Швеции (Betty Tärning [20]). Оказалось, что большинство приложений содержат только итоговую обратную связь (сообщая учащемуся, был ли их ответ правильным или

нет), которой недостаточно для оказания всесторонней помощи детям. Наиболее конструктивна обратная связь с элементами объяснения причин ошибок и неудач. Только в этом случае решается вопрос объективности оценивания достижений. Это способствует росту мотивации обучающихся и свидетельствует о том, что необходимо уделять больше внимания проектированию систем контроля, учитывающих эти обстоятельства [20, p. 247-248].

Эмоциональные аспекты цифровизации обучения исследовались английскими учеными. В данном случае внимание уделялось онлайн-обучению (600 учеников, 64 школы). D. Humphry и D. Hampden-Thompson обнаружили, что работа в онлайн-среде не всегда обеспечивает эмоционально позитивные отношения между школьниками и учителем. Исходя из этого, был сделан вывод, что положительное развитие эмоционально-позитивных отношений возможно в одновременном присутствии субъектов учебного процесса в классе. Разработчикам обучающих программ, средств мониторинга и контроля важно принимать во внимание этот факт [21].

Цифровая образовательная среда имеет дополнительные возможности для всех субъектов учебного процесса: «для педагогов -снижение бюрократической и рутинной нагрузки за счет ее автоматизации, повышение качества мониторинга и контроля; создание новых форм и методов организации процесса обучения; для обучающихся и администрации - расширение возможностей построения образовательной траектории, доступ к современным образовательным ресурсам, повышение прозрачности образовательного процесса. Облегчение коммуникации со всеми его участниками» [22, с. 206].

В целом же изучение (Е. Fokides [14]) результатов использования новых технологий (дронов, виртуальной реальности, трехмерных

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

многопользовательских виртуальных сред, дополненной реальности, цифровых игр, роботов и других программ) в начальной и средней школе в образовательных целях (проект Е^Е -с 2015 г.) - это длительный процесс, в котором еще только предстоит раскрыть ценность применения цифровых технологий [14, p. 851-867].

Таким образом, можно подчеркнуть, что решение вопроса объективности оценивания образовательных достижений обучающихся исследователи видят в поиске альтернативных методов оценивания. Акцентируется внимание на необходимости внедрения в образовательный процесс системы оценивания, способствующей формированию у учащихся комплекса личностных характеристик: мотивации на успех, познавательной направленности, высокой самооценки, реалистичного уровня притязаний, эмоционального благополучия, проявляющегося в отсутствии выраженной школьной тревожности (Е. А. Селищева7). Активность учащегося, его включенность в учебный процесс способствуют решению проблемы объективности оценивания, стимулируют на самостоятельную постановку целей и достижение более высокого результата8. Но в целом специфика альтернативных методов оценивания еще недостаточно изучена и отражена в научно-педагогической литературе, что и обусловливает актуальность темы таких исследований [7]. Научная же новизна этих изысканий заключается в возможности влияния новых методов оценивания на объективность получаемого результата.

Различные точки зрения на восприятие и решение педагогических ситуаций могут быть реконструированы и унифицированы разными путями, в том числе внедрением новых способов мониторинга и контроля [12, p. 41].

7 Селищева Е. А. Влияние критериальной системы оце-

нивания учебных достижений учащихся 7-8 классов

Уменьшить рутинную работу преподавателя по организации и проведению оценки можно максимально автоматизировав ее (А. А. Вара-кута [10, с. 190-195]).

Основным недостатком современных автоматизированных систем обучения является то, что они, будучи унифицированными и широкодоступными для массового применения во многих сферах: при голосовании, при сообщении новых сведений, для мониторинга, - не учитывают специфику образовательного процесса. Разработка специализированных систем позволяет создать более комфортную образовательную среду, способствующую объективности процедуры мониторинга и контроля образовательных достижений обучающихся, что важно для начальной школы [23]. Работа над их созданием может осуществляться на основе междисциплинарного подхода - интеграции педагогических идей и цифровых технологий, технологий искусственного интеллекта.

На основе оценки состояния разработанности проблемы в отечественной и зарубежной литературе сформулированы следующие противоречия:

- между необходимостью повышения объективности оценивания образовательных достижений школьников и существующей традиционной системой оценивания, носящей субъективный и констатирующий характер;

- между необходимостью развития эмоционально-позитивных отношений между школьниками и учителем в процессе оценивания, способствующих созданию комфортной образовательной среды, и фрагментарностью, периодичностью выстраивания обратной связи в существующей системе оценивания;

на их личностные характеристики: автореф. дис. канд. психол. наук. - М., 2014. 8 Там же.

126

2022. Том 12. № 4

- между возможностями систем мониторинга с использованием новых цифровых технологий для объективной и непрерывной оценки образовательных достижений школьников и недостаточной разработанностью технических требований, организационно-педагогических условий разработки и функционирования таких систем.

Выделенные противоречия позволяют сформулировать проблему: как повысить объективность оценивания образовательных достижений, используя в качестве инструмента современную автоматизированную систему мониторинга и контроля? Какие требования и условия к разработке и реализации системы необходимо учесть, чтобы в процессе работы она способствовала повышению объективности оценивания за счет создания комфортной образовательной среды? Решение данной проблемы составляет цель исследования и данной статьи.

Методология исследования

В процессе исследования мы опирались на междисциплинарный подход, в рамках которого междисциплинарность рассматривается как форма организации научного знания, основанного на связях между научными дисциплинами, методами и технологиями, которые обеспечивают решение комплексных научных проблем. В нашем случае проблема повышения объективности оценивания учебных достижений школьников решается путем синтеза педагогических идей и цифровых технологий, технологий искусственного интеллекта.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

В процессе исследования были использованы следующие методы: теоретические (анализ, синтез, обобщение) и эмпирические (анкетирование, тестирование, педагогический эксперимент), а также методы графического представления результатов и математической статистики.

ISSN 2658-6762

С целью повышения объективности оценивания было проведено наблюдение (восприятие учениками контрольных мероприятий, работа обучающихся с системой Votum, реакция на процедуру оценивания).

Мотивация учения и эмоциональное отношение к учению младших школьников диагностировались по методике А. Д. Андреевой, основанной на опроснике Ч. Д. Спилберга. Экспериментальная база исследования -МБОУ «ОЦ» г. Череповца Вологодской области. В работе принимали участие учителя начальной школы и 120 обучающихся 3-4-х классов.

Исследование проводилось поэтапно:

- первый этап - теоретический анализ существующих подходов в психолого-педагогических исследованиях;

- второй этап - констатирующее исследование и составление технического задания для разработки системы мониторинга и контроля результатов обучения школьников в режиме реального времени;

- третий этап - апробация (тестирование) разработанной системы к условиям начальной школы;

- четвертый этап - контрольный этап эксперимента; анализ данных, выводы, полученные в ходе эксперимента; прогнозирование путей решения поставленной проблемы.

Результаты исследования

Анализ использования автоматизированных систем обучения показал, что в настоящее время в российских школах наиболее востребованными являются системы Smart

http://sciforedu.ru

127

2022. Том 12. № 4

Response (24 % школ) и Votum (18 %)9, а в школах г. Череповца - система Votum. Преимущественным направлением ее применения в начальной школе являются мониторинг и контроль образовательных достижений школьников. Принцип действия системы прост: ученикам раздаются пульты, с помощью которых они отвечают на вопросы, выбирая правильный ответ из нескольких вариантов или набирая ответ на пульте. Сигналы поступают в компьютер учителя, обрабатываются программой, и сразу же отражают результаты опроса. Система позволяет проводить сбор и обработку данных опросов и тестирования школьников.

Наблюдая за процессами обучения, реализацией мониторинга и контроля в начальной школе с использованием данной системы, мы выявили, что с педагогических позиций система Votum позволяет осуществлять контрольно-диагностическую связь между учителем, учеником и родителями относительно оценки успешности учебных достижений обучающихся. Однако в процессе использования системы Votum периодически возникают ситуации, в которых учащиеся, взаимодействуя между собой или с учителем, неточно работают с пультом, не всегда правильно нажимают кнопки на нем, так как не успевают, отвлекаются, не внимательны. Они могут нажать две-три кнопки одновременно. Все это приводит к стрессовым ситуациям, снижению объективности контроля и оценивания.

Причины этого видятся в том, что деятельность учителей многофункциональна и насыщена, и это не всегда позволяет им:

1) целенаправленно и постоянно поддерживать комфортность образовательной среды, создавать положительный эмоциональный

ISSN 2658-6762

фон, что повышает уровень тревожности школьников, снижает учебную мотивацию;

2) контролировать одновременно всех обучающихся, что приводит к поверхностному выполнению контрольных мероприятий, появлению субъективности в оценке.

На констатирующем этапе исследования была проведена оценка уровней мотивации учения и достижения, познавательной активности и эмоциональных переживаний младших школьников в ситуациях контроля (методика А. Д. Андреевой, основанная на опроснике Ч. Д. Спилберга).

В результате было выявлено:

- первый уровень мотивации учения у школьников отсутствует (выраженное преобладание позитивной мотивации, мотивации достижения и положительное эмоциональное отношение к учению, продуктивный характер учебной деятельности);

- у 25,8 % школьников сформированы продуктивная мотивация, позитивное отношение к учению, что соответствует социальному нормативу (второй уровень);

- у 29,2 % обучающихся средний (третий) уровень мотивации, что означает примерно равную выраженность позитивной и негативной мотивации учения, амбивалентное отношение к учению;

- у 33,3 % учащихся сложилось скорее отрицательное эмоциональное отношение к учению, чем позитивное, они переживают «школьную скуку», поэтому мотивация снижена (четвертый уровень);

- 11,7 % школьников относятся к учению резко отрицательно, следовательно, их мотивация носит негативный характер (пятый уровень сформированности учебной мотивации).

http://sciforedu.ru

9 Votum. URL: http://votum-edu.ru/page/otzyvy-o-sisteme.html

Science for Education Today 2022. Том 12. № 4 http://sciforedu.ru ISSN 2658-6762

Оценка эмоционального отношения к учению проводилась на основе сопоставления экспериментальных данных с нормативными значениями. Результат исследования сводится к следующему:

- у 37,5 % школьников высокий уровень тревожности (учащиеся испытывают страх, связанный с несоответствием ожиданиям окружающих: проявляют беспокойство, не уверены в своих силах, в правильности ответов, что снижает объективность оценивания);

- средний уровень тревожности у 55,0 % школьников (такие дети не воспринимают каждую школьную ситуацию как угрожающую для себя, их не пугают возможные трудности во время урока, опросов, что создает условия для нормального функционирования и развития ребенка в процессе обучения);

- у 7,4 % обучающихся низкий уровень тревожности (школьники чувствуют себя раскованно, уверенно в ситуациях общения с детьми, педагогом, во время повторения и контроля результатов обучения). В то же время низкий уровень тревожности иногда располагает детей к лени и способствует снижению учебной мотивации.

По результатам проведенных исследований можно сделать следующие выводы:

1. Среди учащихся, имеющих продуктивное и позитивное эмоциональное отношение к учению (25,8 %), ведущим мотивом является осознание социальной необходимости и мотивация достижения. Для них учебная деятельность - ведущая сфера самореализации, место, где они могут заявить о себе, развивать себя, реализовать свои достижения.

2. Для учащихся с диффузным эмоциональным отношением (11,7 %) ведущими мотивами являются боязнь наказания со стороны школы, семьи и социальное одобрение (родителями, педагогами, одноклассниками). Для этих школьников важным является одобрение,

признание успехов со стороны родителей. Они хорошо справляются с типовыми заданиями, но затрудняются при выполнении заданий творческого характера, так как боятся ошибиться и тем самым вызвать неудовольствие родителей или педагогов.

3. Более чем у трети младших школьников - высокий уровень тревожности. У 45 % из них преобладает скорее отрицательное отношение к учению, чем позитивное, следовательно, мотивация у учащихся снижена. Все это свидетельствует о повышенной напряженности учебного процесса и, как следствие, снижении комфортности образовательной среды в целом.

4. Важно использование менее эмоционально напряженных, но в то же время технологически продвинутых средств контроля и мониторинга образовательных достижений школьников в начальной школе.

Полученные результаты и выводы легли в основу технического задания на разработку автоматизированной системы мониторинга и контроля (далее Система) образовательных достижений школьников в режиме реального времени. Ее задачи: видеофиксация посещаемости, наблюдение, фиксация и оценивание результатов образовательных достижений. При создании Системы важно было предусмотреть:

- ее использование без пультов для класса численностью не менее 30 человек;

- распознавание лиц обучающихся;

- обработка видимых системой ответов в виде стандартных сигнальных карточек, различение карточек по цвету в режиме реального времени и вывод информации «ФИО ученика - правильный (неправильный) ответ» на компьютер учителя;

- контроль и мониторинг образовательных достижений на основе тестирования или

Science for Education Today 2022. Том 12. № 4 http://sciforedu.ru ISSN 2658-6762

опроса с возможными вариантами выбора ответов по темам, предмету, классу в целом и отдельному ученику;

- отображение статистических данных мониторинга по всему классу, отдельному ученику за обозначенный период.

Проектирование Системы и ее составных частей осуществлялось в Региональном научно-исследовательском центре (РНТЦ) Череповецкого государственного университета. РНТЦ были найдены соответствующие решения с использованием технологий искусственного интеллекта; проведены разработка, установка и тестирование Системы в учебных аудиториях МБОУ «ОЦ» г. Череповца, обучение учителей работе с ней. Были задействованы видеокамера (размещена над классной доской), разработанное программное обеспечение, ноутбук, стандартные сигнальные карточки для школьников (голубая и красная), видеопроектор, экран.

Принцип действия Системы: в Системе аккумулируется база данных лиц учащихся,

каждому из которых присвоен ГО - определенный номер, идентификатор. Зафиксированные в процессе контроля лица сравниваются с лицами базы, программа распознает лица и отмечает их ГО. Вместе с этим фиксируется карточка (которая располагается справа от лица), распознается ее цвет и, таким образом, определяется правильность ответа школьника. Данные выводятся на компьютер учителя в режиме реального времени.

Следующий этап эксперимента заключался в тестировании Системы и педагогическом сопровождении ее функционирования. Этап предусматривал решение трех задач: разработку материалов для тестирования (игры с применением сигнальных карточек); тестирование Системы в игровой форме; получение опытных данных, их анализ и коррекция Системы.

Условия проведения тестирования были следующими:

- учитель зачитывал вопрос учащимся и одновременно демонстрировал его через видеопроектор на экран (рис. 1);

Игр л «Верю-не верю» The game «I believe, I do not believe»

Ответ на вопрос answer to Hie question Согласны ''Agree He согласны do not agree

Град- это замерзшие капельки дождя Hail is frozen raindrops

Яйцо аиста - самое крупное The stork egg is the largest

Рис. 1. Задания для тестирования Системы Fig. 1. Tasks for testing the System

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

- школьник при ответе на вопрос выбирал карточку (голубую или красную), брал ее в правую руку, поднимал на уровень своего лица и смотрел в камеру;

- наблюдая за ходом деятельности, мы фиксировали момент, когда все поднимут карточки (проголосуют);

- следующий вопрос звучал после обсуждения предыдущего;

- с помощью видеокамеры фиксировались лица учащихся и поднятые карточки, видеоданные переводились на ноутбук учителя, формируя базу данных результатов опроса.

Первое тестирование позволило выявить основные технические проблемы и внести ряд изменений для усовершенствования Системы и условий ее использования (увеличить размеры карточек в диаметре до 140-150 мм, добавить QR коды на них для распознавания;

определить, как будет фиксироваться результат: учитель нажимает кнопку и фотографирует весь класс с поднятыми карточками или фото делается автоматически по таймеру спустя определенное время; провести калибровку первой камеры; предусмотреть установку второй камеры с целью 100 % распознавания лиц и возможности фиксации ответов в виде привязки «лицо - карточка»).

Второе тестирование Системы было проведено после ее корректировки. Видеосъемка осуществлялась с двух камер (рис. 2): распознавание лиц обучающихся проводилось по рядам учебных столов; первая камера, расположенная на высоте примерно 2 м (над классной доской), осуществляла распознавание лиц обучающихся 1-2 рядов парт, а вторая камера, установленная выше первой, - 3-6 рядов.

Рис. 2. Принципиальная схема откорректированной Системы Fig. 2. Schematic diagram of the revised System

Готовая Система была размещена в учебных аудиториях МБОУ «ОЦ». Она использовалась на всех уроках по всем предметам для оценивания образовательных достижений младших школьников.

Мы предположили, что разработанная Система будет содействовать более высокой

включенности школьников в процесс обучения за счет снижения уровня тревожности учащихся, способствовать повышению учебной мотивации и тем самым более объективно отражать результаты образовательных достижений школьников. По итогам ее работы в течение года, мы провели контрольный этап эксперимента.

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

В результате выявили, что распределение школьников по уровням тревожности и мотивации изменилось (рис. 3, 4). Для подтверждения значимости этих изменений, мы

воспользовались критерием А («хи-квадрат

критерий»). Полученные значения эмпириче-

ских значении выше критических значении для вероятности допустимой ошибки меньше, чем 0,001. Следовательно, наши предположения подтвердились.

©

s 5

5

В о

a -S

5 ^

S .¡t

©

S3 3

ел

s

is •и я _ в- « 2

и sa

о 1

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

£

Контрольный

эксперимент/Control

experiment

| Констатирующий эксперимент/ Stating experiment

0 10 20 30 40

Численность обучающихся / Number of students

Рис. 3. Распределение школьников по уровням мотивации учения в ходе эксперимента Fig. 3. Distribution of schoolchildren by level of learning motivation during the experiment

<u

£

и

s

<

H

о ©

©

sa a a

низкий/ low level

i

5,8 7,5

средний/ average level

« высокий/high level

© a

1

27,5

Контрольный

эксперимент/Control

experiment

Констатирующий

эксперимент/Stating

experiment

0 20 40 60 80 Численность обучающихся / Number of students

Рис. 4. Распределение школьников по уровням тревожности в ходе эксперимента Fig. 4. Distribution of students by levels of anxiety during the experiment

132

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

Фишера), который может использоваться для измерений, проведенных в любой шкале, и допускает любые характеристики экспериментальных выборок.

Рассмотрим детально результаты динамики показателей, которые изменились наиболее значимо (табл.). Для подтверждения достоверности полученных результатов применялся критерий ф (угловое преобразование

Таблица

Динамика показателей мотивации учения и эмоционального отношения школьников к учению (%)

Table

Dynamics of indicators of learning motivation andemotional attitude of students to learning (%)

Критерий / Criterion Показатель / Indicator Численность школьников / Number of students фэмп

Этап I Этап II

Уровень общей мотивации учения (второй) Мотивация учения 25,8 37,5 1,95

Уровень познавательной активности (высокий) Познавательная активность 48,3 61,7 2,08

Уровень мотивации достижения (высокий) Мотивация достижения 44,2 52,5 1,81

Уровень тревожности (средний) Тревожность 55,0 66,7 1,86

Уровень гнева (низкий) Гнев 37,5 27,5 1,66

Критические значения критерия Фишера составляют 90,05 = 1,64 и 90,01 = 2,28. Сопоставляя полученные эмпирические значения критерия с критическими, можно сделать вывод о том, что по всем экспериментальным данным статистически достоверные различия зафиксированы на допустимом уровне вероятности р < 0,05: наиболее значимо изменилось количество детей со вторым уровнем общей мотивации учения, высоким уровнем познавательной активности и мотивации достижения, средним уровнем тревожности и низким уровнем гнева.

Таким образом, полученные в ходе эксперимента значимые изменения эмоционального отношения и мотивации учения школьников свидетельствуют о создании более комфортной образовательной среды в процессе мониторинга и контроля с помощью Системы, а следовательно, и повышении объективности

оценивания образовательных достижений школьников.

Заключение

Внедрение системы автоматизированного мониторинга и контроля с целью повышения объективности оценивания образовательных достижений способствует формулированию понятных критериев оценки результатов деятельности школьников, расширению возможностей построения индивидуальных траекторий учения, повышению прозрачности процесса обучения в целом. Объективность оценивания реализуется за счет четкости требований к уровню знаний, умений и навыков учащихся; конкретизации объектов контроля; соответствия содержания разрабатываемых контрольных заданий целям проверки; своевременного анализа результатов учебного

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

процесса; повышения мотивации младших школьников к обучению.

В ходе формирующего эксперимента выявлено, что расширяются возможности детального обоснования отметок в режиме реального времени, вырабатываются общие стандарты систем оценки, снижается нагрузка на педагога за счет автоматизации мониторинга и контроля. Внедрение системы автоматизированного мониторинга и контроля способствует снижению влияния следующих факторов: субъективного и констатирующего характера оценивания, эпизодического фиксирования результатов работ учащихся, несвоевременной коррекции учебной деятельности школьников. Создание комфортной образовательной среды положительно влияет на самочувствие учащихся (снижается высокий уровень тревожности, повышаются уровни мотивации и познавательной активности).

Повышение объективности оценивания образовательных достижений учащихся на основе разработанной авторами системы автоматизированного мониторинга и контроля обеспечивается созданием организационно-педагогических и технических условий. К организационно-педагогическим условиям относятся:

- использование различных форматов включения системы в структуру процесса оценивания;

- выстраивание конструктивной обратной связи в процессе формирующего оценивания;

- применение методов количественной и качественной оценки образовательных достижений школьников;

- объективность и непрерывность отслеживания и оценивания учебных достижений школьников в целом, а также их различных аспектов;

- принятие своевременных управленческих решений по коррекции оценивания и осуществлению прогнозирования его дальнейшего развития.

Технические условия устанавливают требования к системе:

- использование без пультов для класса численностью не менее 30 человек;

- распознавание лиц обучающихся;

- обработка видимых системой ответов в виде стандартных сигнальных карточек, различение карточек по цвету в режиме реального времени и вывод информации «ФИО ученика - правильный (неправильный) ответ» на компьютер учителя;

- контроль и мониторинг образовательных достижений на основе тестирования или опроса с возможными вариантами выбора ответов по темам, предмету, классу в целом и отдельному ученику;

- отображение статистических данных мониторинга по всему классу, отдельному ученику за обозначенный период.

Разработка и внедрение системы автоматизированного мониторинга и контроля предусматривает обработку, анализ и интерпретацию информации, позволяющих судить о динамике учебных достижений школьников и дающих возможность объективно оценивания их, осуществлять прогноз и коррекцию в режиме реального времени.

СПИСОК ЛИТЕРАТУРЫ

1. Мусина В. Е. Мониторинг учебных достижений школьников в профессиональной деятельности учителя // Ярославский педагогический вестник - 2009. - № 2. - С. 71-73. URL: https: //elibrary.ru/item .asp ?id=15204636

134

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

2. Солощак Е. А., Константинова В. В. Исследование уровня мотивации младших школьников к обучению в школе // Начальная школа: Проблемы и перспективы, ценности и инновации. - 2016. - № 9. - С. 270-274. URL: https://www.elibrary.ru/item.asp?id=25914811

3. Тимофеева А. Г. Проблема школьной тревожности с позиций средового подхода // Известия Саратовского университета. Новая серия. Акмеология образования. Психология развития. -2018. - Т. 7, № 3. - С. 293-298. DOI: https://doi.org/10.18500/2304-9790-2018-7-3-293-298 URL: https: //elibrary. ru/item. asp ?id=35553679

4. Попова С. И. Развитие способности подростка к саморегуляции в образовательном процессе школы // Психологическая наука и образование. - 2017. - Т. 22, № 6. - C. 99-108. DOI: https://doi.org/10.17759/pse.2017220609 URL: https://elibrary.ru/item.asp?id=30773813

5. Солощак Е. А., Константинова В. В. Исследование уровня мотивации младших школьников к обучению в школе // Начальная школа: Проблемы и перспективы, ценности и инновации. - 2016. - № 9. - С. 270-274. URL: https://www.elibrary.ru/item.asp?id=25914811

6. Broadben J., Panadero E., Boud D. Implementing summative assessment with a formative flavour: a case study in a large class // Assessment and Evaluation in Higher Education. - 2018. -Vol. 43 (2). - P. 307-322. DOI: https://doi.org/10.1080/02602938.2017.1343455

7. Шаповалова О. Н., Ефремова Н. Ф. Формирующее оценивание как технология развития учебной самостоятельности школьников // Педагогика. Вопросы теории и практики. -2020. - Т. 5, № 1. - С. 1-8. DOI: https://doi.org/10.30853/pedagogy.2020.L1 URL: https://www.elibrary.ru/item.asp?id=42503622

8. Hansen G., Ringdal R. Formative assessment as a future step in maintaining the mastery-approach and performance-avoidance goal stability // Studies in Educational Evaluation. - 2018. - Vol. 56. -P. 59-70. DOI: https://doi.org/10.1016/j.stueduc.2017.11.005

9. Землянская Е. Н. Формирующее оценивание (оценка для обучения) образовательных достижений обучающихся // Современная зарубежная психология. - 2016. - Т. 5, № 3. - С. 50-58. DOI: https://doi.org/10.17759/jmfp.2015050306 URL: https://elibrary.ru/item.asp?id=28127465

10. Варакута А. А. Гибкий подход к оценке результатов обучения студентов с учетом трудозатрат преподавателя // Вестник Новосибирского государственного педагогического университета. - 2018. - Т. 8, № 4. - С. 187-202. DOI: https://doi.org/10.15293/2226-3365.1804.12 URL: https: //www .elibrary.ru/item .asp?id=35605578

11. Jönsson A., Balan A. Analytic or holistic: A study of agreement between different grading models // Practical Assessment, Research and Evaluation. - 2018. - Vol. 23. - P. 12. DOI: https://doi.org/10.7275/mg59-xq60

12. Hoth J., Döhrmann M., Kaiser G., Busse A., König J., Blömeke S. Diagnostic competence of primary school mathematics teachers during classroom situations // ZDM - Mathematics Education.

- 2016. - Vol. 48. - P. 41-53. DOI: https://doi.org/10.1007/s11858-016-0759-y

13. Чуприна Э. А. Система внутришкольного мониторинга оценивания образовательных достижений учащихся в условиях реализации ФГОС: опыт, перспективы // Школьные технологии

- 2016. - № 2. - С. 120-130. URL: https://elibrary.ru/item.asp?id=26511289

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

14. Fokides E. Digital educational games and mathematics. Results of a case study in primary school settings // Education and Information Technologies. - 2018. - Vol. 23 (2). - Р. 851-867. DOI: https://doi.org/10.1007/s10639-017-9639-5

15. Hsu Y.-C. Exploring the Learning Motivation and Effectiveness of Applying Virtual Reality to High School Mathematics // Universal Journal of Educational Research. - 2020. - Vol. 8 (2). -P. 438-444. DOI: https://doi.org/10.13189/ujer.2020.080214

Science for Education Today

2022. Том 12. № 4

http://sciforedu.ru

ISSN 2658-6762

16. Melo F., Mascarenhas S., Paiva A. A tutorial on machine learning for interactive pedagogical systems // International Journal of Serious Games. - 2018. - Vol. 5 (3). - P. 79-112. DOI: https://doi.org/10.17083/ijsg.v5i3.256

17. Touw K. W. J., Vogelaar B., Bakker M., Resing W. C. M. Using electronic technology in the dynamic testing of young primary school children: predicting school achievement // Educational Technology Research and Development. - 2019. - Vol. 67. - P. 443-465. DOI: https://doi.org/10.1007/s11423-019-09655-6

18. Davison D. P., Wijnen F. M., van der Meij J., Reidsma D., Evers V. Designing a Social Robot to Support Children's Inquiry Learning: A Contextual Analysis of Children Working Together at School // International Journal of Social Robotics. - 2020. - Vol. 12. - P. 883-907. DOI: https://doi.org/10.1007/s12369-019-00555-6

19. Cutumisu M., Schwartz D. L. The impact of critical feedback choice on students' revision, performance, learning, and memory // Computers in Human Behavior. - 2018. - Vol. 78. - P. 351-367. DOI: https://doi.org/10.1016Zj.chb.2017.06.029

20. Tarning B. Review of Feedback in Digital Applications - Does the Feedback They Provide Support Learning // Journal of Information Technology Education: Research. - 2018. - Vol. 17. - Р. 247283. DOI: https://doi.org/10.28945/4104

21. Humphry D., Hampden-Thompson G. Primary school pupils' emotional experiences of synchronous audio-led online communication during online one-to-one tuition // Computers & Education. - 2019. - Vol. 135. - P. 100-112. DOI: https://doi.org/10.1016/j.compedu.2019.03.003

22. Тихонова Л. П. Об актуальности внедрения современных цифровых технологий // Вестник Череповецкого государственного университета. - 2019. - № 1. - С. 203-221. DOI: https://doi.org/10.23859/1994-0637-2019-1-88-20 URL: https://www.eli-brary.ru/item.asp?id=36936502

23. Bochis L., Florica S. Intervention Program to Reduce the Level of Test Anxiety in a Primary School Class. A Pilot Study // Revista Romaneasca pentru Educate Multidimensional. -2018. - Vol. 10 (4). - P. 23-31. DOI: https://doi.org/10.18662/rrem/69 URL: https://www.seman-ticscholar.org/paper/Intervention-Program-To-Reduce-The-Level-Of-Test-In-Bochi%C8%99-%C5%9Eandra/dde00a8e1c86e65ec0e7836c3000bdfcf88c2891

Поступила: 22 мая 2022 Принята: 11 июля 2022 Опубликована: 31 августа 2022

Тихонова Людмила Павловна: постановка проблемы, теоретический анализ литературы, архивных материалов и документов; подготовка первоначального варианта текста.

Попова Светлана Игоревна: проведение эмпирического исследования, анализ экспериментальных данных.

Мироненко Светлана Николаевна: написание аннотации, анализ и интерпретация экспериментальных данных.

Вахрамеев Павел Сергеевич: проведение эмпирического исследования (решение организационных и технических вопросов по внедрению автоматизированной системы мониторинга)

Питерцев Михаил Эдуардович: инициатива исследования, общее руководство, обсуждение результатов исследования.

Заявленный вклад авторов:

Science for Education Today 2022. Том 12. № 4 http://sciforedu.ru ISSN 2658-6762

Информация о конфликте интересов:

Авторы заявляют об отсутствии конфликта интересов.

Информация об авторах

Тихонова Людмила Павловна

кандидат педагогических наук, доцент,

кафедра профессионального и технологического образования, институт педагогики и психологии, Череповецкий государственный университет,

пр-т Луначарского, д. 5, 162600, Череповец, Вологодская обл., Россия. ORCID ID: https://orcid.org/0000-0002-1708-7160 E-mail: [email protected]

Попова Светлана Игоревна

доктор педагогических наук, ведущий научный сотрудник, научно-исследовательский сектор, Череповецкий государственный университет,

пр-т Луначарского, д. 5, 162600, Череповец, Вологодская обл., Россия. ORCID ID: https://orcid.org/0000-0002-2677-1917 E-mail: [email protected]

Мироненко Светлана Николаевна

старший преподаватель,

кафедра профессионального и технологического образования, институт педагогики и психологии, Череповецкий государственный университет,

пр-т Луначарского, д. 5, 162600, Череповец, Вологодская обл., Россия. ORCID ID: https://orcid.org/0000-0002-9220-5649 E-mail: [email protected]

Вахрамеев Павел Сергеевич

руководитель,

инжиниринговый центр «Компьютерное моделирование технологических процессов и систем»,

Череповецкий государственный университет,

пр-т Луначарского, д. 5, 162600, Череповец, Вологодская обл., Россия. ORCID ID: https://orcid.org/0000-0002-8226-0265 E-mail: [email protected]

Питерцев Михаил Эдуардович

кандидат технических наук, руководитель, региональный научно-технический центр, Череповецкий государственный университет,

пр-т Луначарского, д. 5, 162600, Череповец, Вологодская обл., Россия. ORCID ID: https://orcid.org/0000-0002-0283-352X E-mail: [email protected] © 2011-2022 Science for Education Today Все права защищены

DOI: 10.15293/2658-6762.2204.06 Research Full Article / Article language: Russian

Studying the objectivity of educational assessment in schools based on the system of automated monitoring and evaluation

LyudmilaP. Tikhonovab 31, SvetlanaL Popova1, SvetlanaN. Mironenko1, Pavel S. Vakhrameev1, Mikhail E. Pitertsev1

1 Cherepovets State University, Cherepovets, Russian Federation

Abstract

Introduction. The article focuses on increasing the objectivity of educational assessment of schoolchildren's learning achievements. The purpose of the research is to substantiate the increase in the objectivity of educational assessment on the basis of an automated monitoring and evaluation system.

Materials and Methods. The study followed an interdisciplinary approach, characterized by integrative properties of educational assessment theory and designing automated learning tools. The authors used the following theoretical research methods: analysis, synthesis and generalization on the problems of improving the objectivity of assessment and the development of automated learning tools. Empirical methods included questionnaires, testing, and educational action research.

Results. The factors contributing to the decrease in the objectivity of educational assessment are identified: the subjective and ascertaining nature of assessment, inconsistent recording of students' academic performance, and delayed correction of students' learning activities. A system of automated monitoring and evaluation has been developed and implemented, which includes processing, analysis and interpretation of information and monitors the dynamics of students' learning achievements in real time. During the application of the system, positive changes in the indicators of students' involvement, motivation and emotional attitude to learning were revealed. The most significant changes were observed in the following indicators: cognitive efficiency, learning motivation, and anxiety (a decrease in the high level of anxiety, an increase in the levels of motivation and cognitive efficiency). The design and implementation of the system were based on organizational, educational and technical conditions. The organizational and educational conditions include various formats for incorporating the system in the structure of the assessment process, while the technical ones set the requirements for the system.

For citation

Tikhonova L. P., Popova S. I., Mironenko S. N., Vakhrameev P. S., Pitertsev M. E. Studying the objectivity of educational assessment in schools based on the system of automated monitoring and evaluation. Science for Education Today, 2022, vol. 12 (4), pp. 120-142. DOI: http://dx.doi.org/10.15293/2658-6762.2204.06

E3 Corresponding Author: Lyudmila P. Tikhonova, [email protected]

Conclusions. The introduction of the automated monitoring and evaluation system contributes to formulating clear criteria for educational assessment, expanding the possibilities for building individual learning trajectories, and increasing the transparency of learning process. The objectivity of the assessment is realized due to the clarity of the requirements for the level of knowledge, skills and abilities of students; specification of the objects of assessment; compliance of the tasks with the goals of educational assessment; well-timed analysis of learning outcomes; and increasing primary schoolchildren's motivation for learning.

Keywords

Educational achievements; Objectivity of assessment; Automated monitoring and control system.

REFERENCES

1. Musina V. E. Monitoring educational achievements of schoolboys in professional work of a teacher. Yaroslavl Pedagogical Bulletin, 2009, no. 2, pp. 71-73. (In Russian) URL: https://elibrary.ru/item.asp?id=15204636

2. Soloshchak Ye. A., Konstantinova V. V. Research on the level of motivation of young schoolchildren to study at school. Primary School: Problems and Prospects, Values and Innovations, 2016, no. 9, pp. 270-274. (In Russian) URL: https://www.elibrary.ru/item.asp?id=25914811

3. Timofeeva A. G. The problem of school-based anxietyfrom the position of the environmental approach. Izvestiya Saratovskogo Universiteta. New series. Acmeology of Education. Developmental Psychology, 2018, vol. 7 (3), pp. 293-298. (In Russian) DOI: https://doi.org/10.18500/2304-9790-2018-7-3-293-298 URL: https://elibrary.ru/item.asp?id=35553679

4. Popova S. I. Development of self-regulation in adolescents in the context of educational process. Psychological Science and Education, 2017, vol. 22 (6), pp. 99-108. (In Russian) DOI: https://doi.org/10.17759/pse.2017220609 URL: https://elibrary.ru/item.asp?id=30773813

5. Soloshchak Ye. A., Konstantinova V. V. Research on the level of motivation of young schoolchildren to study at school. Primary School: Problems and Prospects, Values and Innovations, 2016, no. 9, pp. 270-274. (In Russian) URL: https://www.elibrary.ru/item.asp?id=25914811

6. Broadben J., Panadero E., Boud D. Implementing summative assessment with a formative flavour: A case study in a large class. Assessment and Evaluation in Higher Education, 2018, vol. 43 (2), pp. 307-322. DOI: https://doi.org/10.1080/02602938.2017.1343455

7. Shapovalova O. N., Efremova N. F. Formative assessment as a technique to develop schoolchildren's educational autonomy. Pedagogy. Questions of Theory and Practice, 2020, vol. 5 (1), pp. 1-8. (In Russian) DOI: https://doi.org/10.30853/pedagogy.2020.L1 URL: https://www.elibrary.ru/item.asp?id=42503622

8. Hansen G., Ringdal R. Formative assessment as a future step in maintaining the mastery-approach and performance-avoidance goal stability. Studies in Educational Evaluation, 2018, vol. 56, pp. 59-70. DOI: https://doi.org/10.1016/j.stueduc.2017.11.005

9. Zemlyanskaya E. N. Formative assessment (assessment for learning) educational achievements of students. Journal of Modern Foreign Psychology, 2016, vol. 5 (3), pp. 50-58. (In Russian) DOI: https://doi.org/10.17759/jmfp.2015050306 URL: https://elibrary.ru/item.asp?id=28127465

2022, vol. 12, issue 4 http://en.sciforedu.ru/

ISSN 2658-6762

10. Varakuta A. A. A flexible approach to assessing students' learning outcomes taking into account working efforts of the teacher. Novosibirsk State Pedagogical University Bulletin, 2018, vol. 8 (4), pp. 187-202. (In Russian) DOI: https://doi.org/10.15293/2226-3365.1804.12 URL: https://www.elibrary.ru/item.asp?id=35605578

11. Jönsson A., Balan A. Analytic or holistic: A study of agreement between different grading models. Practical Assessment, Research and Evaluation, 2018, vol. 23, pp. 12. DOI: https://doi.org/10.7275/mg59-xq60

12. Hoth J., Döhrmann M., Kaiser G., Busse A., König J., Blömeke S. Diagnostic competence of primary school mathematics teachers during classroom situations. ZDM- Mathematics Education, 2016, vol. 48, pp. 41-53. DOI: https://doi.org/10.1007/s11858-016-0759-y

13. Chuprina E. A. The system of monitoring of evaluation of educational achievements of students in the implementation of the GEF: experience, prospects. School Technologies, 2016, no. 2, pp. 120130. (In Russian) URL: https://www.elibrary.ru/item.asp?id=26511289

14. Fokides E. Digital educational games and mathematics. Results of a case study in primary school settings. Education and Information Technologies, 2018, vol. 23 (2), pp. 851-867. DOI: https://doi.org/10.1007/s10639-017-9639-5

15. Hsu Y.-C. Exploring the learning motivation and effectiveness of applying virtual reality to high school mathematics. Universal Journal of Educational Research, 2020, vol. 8 (2), pp. 438-444. DOI: https://doi.org/10.13189/ujer.2020.080214

16. Melo F., Mascarenhas S., Paiva A. A tutorial on machine learning for interactive pedagogical systems. International Journal of Serious Games, 2018, vol. 5 (3), pp. 79-112. DOI: https://doi.org/10.17083/ijsg.v5i3.256

17. Touw K. W. J., Vogelaar B., Bakker M., Resing W. C. M. Using electronic technology in the dynamic testing of young primary school children: Predicting school achievement. Educational Technology Research and Development, 2019, vol. 67, pp. 443-465. DOI: https://doi.org/10.1007/s11423-019-09655-6

18. Davison D. P., Wijnen F. M., van der Meij J., Reidsma D., Evers V. designing a social robot to support children's inquiry learning: A contextual analysis of children working together at school. International Journal of Social Robotics, 2020, vol. 12, pp. 883-907. DOI: https://doi.org/10.1007/s12369-019-00555-6

19. Cutumisu M., Schwartz D. L. The impact of critical feedback choice on students' revision, performance, learning, and memory. Computers in Human Behavior, 2018, vol. 78, pp. 351-367. DOI: https://doi.org/10.1016Zj.chb.2017.06.029

20. Tärning B. Review of feedback in digital applications - does the feedback they provide support learning. Journal of Information Technology Education: Research, 2018, vol. 17, pp. 247-283. DOI: https://doi.org/10.28945/4104

21. Humphry D., Hampden-Thompson G. Primary school pupils' emotional experiences of synchronous audio-led online communication during online one-to-one tuition. Computers & Education, 2019, vol. 135, pp. 100-112. DOI: https://doi.org/10.1016/j.compedu.2019.03.003

22. Tikhonova L. P. On the relevance of the introduction of modern digital technologies into education. Bulletin of Cherepovets State University, 2019, no. 1, pp. 203-221. (In Russian)

https://www.elibrary.ru/item.asp?id=36936502 23. Bochis L., Florica S. Intervention program to reduce the level of test anxiety in a primary school class. A pilot study. Revista Romaneasca pentru Educafie Multi-dimensionala, 2018, vol. 10 (4),

DOI: https://doi.org/10.23859/1994-0637-2019-1-88-20

URL:

pp.

23-31.

DOI:

https://doi.org/10.18662/rrem/69

URL:

© ®

140

https://www.semanticscholar.org/paper/Intervention-Program-To-Reduce-The-Level-Of-Test-In-Bochi%C8%99-%C5%9Eandra/dde00a8e1c86e65ec0e7836c3000bdfcf88c2891

Submitted: 22 May 2022 Accepted: 11 July 2022 Published: 31 August 2022

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

®

This is an open access article distributed under the Creative Commons Attribution License which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. (CC BY 4.0).

The authors' stated contribution:

Lyudmila Pavlovna Tikhonova

Contribution of the co-author: problem statement, theoretical analysis of literature, archival materials and documents; preparation of the initial version of the text.

Svetlana Igorevna Popova

Contribution of the co-author: conducting empirical research, analysis of experimental data.

Svetlana Nikolaevna Mironenko

Contribution of the co-author: annotation writing, analysis and interpretation of experimental data.

Pavel Sergeyevich Vakhrameev

Contribution of the co-author: conducting an empirical study (solving organizational and technical issues on the implementation of an automated monitoring system).

Mikhail Eduardovich Pitertsev

Contribution of the co-author: research initiative, general guidance, discussion of research results.

Information about competitive interests:

The authors claim that they do not have competitive interests.

Information about the Authors

Lyudmila Pavlovna Tikhonova

Candidate of Pedagogical Sciences, Associate Professor,

Department of Professional and Technological Education, Institute of Pedagogy

and Psychology,

Cherepovets State University,

Lunacharsky Ave., 5, 162600, Cherepovets, Vologda Region, Russian Federation. ORCID: https://orcid.org/0000-0002-1708-7160 E-mail: [email protected]

2022, vol. 12, issue 4 http://en.sciforedu.ru/ ISSN 2658-6762

Svetlana Igorevna Popova

Doctor of Pedagogical Sciences, Leading Researcher, Research Sector, Cherepovets State University,

Lunacharsky Ave., 5, 162600, Cherepovets, Vologda Region, Russian Federation. ORCID: https://orcid.org/0000-0002-2677-1917 E-mail: [email protected]

Svetlana Nikolaevna Mironenko

Senior Lecturer,

Department of Professional and Technological Education, Institute of Pedagogy and Psychology, Cherepovets State University,

Lunacharsky Ave., 5, 162600, Cherepovets, Vologda Region, Russian Federation. ORCID: https://orcid.org/0000-0002-9220-5649 E-mail: [email protected]

Pavel Sergeyevich Vakhrameev

Head,

Engineering Center "Computer Modeling of Technological Processes and Systems",

Cherepovets State University,

Lunacharsky Ave., 5, 162600, Cherepovets, Vologda Region, Russian Federation. ORCID: https://orcid.org/0000-0002-8226-0265 E-mail: [email protected]

Mikhail Eduardovich Pitertsev

Candidate of Technical Sciences, Head, Regional Scientific and Technical Center, Cherepovets State University,

Lunacharsky Ave., 5, 162600, Cherepovets, Vologda Region, Russian Federation. ORCID: https://orcid.org/0000-0002-0283-352X E-mail: [email protected]

STUDYING THE OBJECTIVITY OF EDUCATIONAL ASSESSMENT IN SCHOOLS BASED ON THE SYSTEM OF AUTOMATED MONITORING AND EVALUATION