Гибкий подход к оценке результатов обучения студентов с учетом трудозатрат преподавателя

Варакута Алена Александровна

Вестник Новосибирского государственного педагогического университета

2018, том 8, № 4

www.vestnik.nspu.ru

ISSN 2226-3365

УДК 378+338

ГИБКИЙ ПОДХОД К ОЦЕНКЕ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ СТУДЕНТОВ С УЧЕТОМ ТРУДОЗАТРАТ ПРЕПОДАВАТЕЛЯ

А. А. Варакута (Новосибирск, Россия)

Проблема и цель. В статье представлено исследование по проблеме эффективности оценки результатов обучения студентов. Цель статьи - выявление параметров оценочной процедуры, обеспечивающих возможность управления её гибкостью с учетом трудозатрат преподавателя.

Методология. Исследование проводилось с применением методологии включенного наблюдения и исследования продуктов деятельности. При обработке экспериментальных данных применялись методы математической статистики.

Результаты. Автором проанализированы подходы к реализации формирующего оценивания и выявлено, что для мотивации студентов и развивающего эффекта оценка должна обладать гибкостью, т. е. предоставлять возможность выбора индивидуального темпа, интенсивности работ, сложности заданий и обеспечивать своевременность обратной связи. Отмечается, что управление гибкостью оценочной процедуры с учетом трудозатрат преподавателя обеспечивается нормированием сроков сдачи работ и количеством доработок. Выявлено, что можно уменьшить трудозатраты преподавателя без потери гибкости оценки, управляемыми параметрами при этом будут сроки сдачи работ и количество доработок.

Заключение. Делаются выводы о том, что для обеспечения эффективности оценки необходимо управлять оценочной процедурой на уровне преподавателя таким образом, чтобы получить оптимальное соотношение уровня гибкости оценки и трудозатрат преподавателя.

Ключевые слова: взаимооценивание; гибкая оценка; самооценка; обратная связь; трудозатраты преподавателя; управляющий параметр; формирующее оценивание; эффективность оценки.

Постановка проблемы

В настоящее время оценка результатов обучения исследуется как технология обучения и как элемент системы управления качеством образовательной программы и качества преподавания. При управлении качеством образования оценка результатов обучения рассматрива-

ется как источник данных для эвалюации - оценочно-аналитической деятельности, обеспечивающей принятие обоснованных управленческих решений [4, с. 4; 24, с. 9-10; 26, с. 113; 30, с. 1489-1492]. Для обеспечения качества реализации образовательной программы разрабатываются методы и инструменты оценки,

Варакута Алена Александровна - аспирант кафедры педагогики и психологии, Институт истории, гуманитарного и социального образования, старший преподаватель кафедры информатики и дискретной математики, Новосибирский государственный педагогический университет. E-mail: [email protected]

2018, том 8, № 4 www.vestnik.nspu.ru ISSN 2226-3365

которые позволяют эффективно оценивать все планируемые результаты обучения и компетенции, определять пути улучшения [4, с. 4; 34, с. 44]

В современном образовательном процессе вуза оценка результатов обучения студентов выполняет не только контролирующую функцию, но и актуализируются её развивающая и мотивационная функции, реализуемые через формирующее оценивание. Формирующее оценивание понимается как технология, направленная не только на контроль, фиксацию результатов обучения и принятие управленческих решений (в отличие от суммирующего оценивания), но и на развитие студентов; как интеграция оценки с обучением (оценка для обучения); а также как стратегии и практические методы, используемые преподавателями для улучшения качества доказательств, на основе которых они и их студенты принимают обучающие решения [23, с. 3-13]. Этот процесс может осуществляться как неформальное формативное оценивание, когда вся повседневная учебная деятельность рассматривается как потенциальные оценки, возможность для сбора доказательств понимания, уровня освоения программы студентом [21, с. 15-23].

Анализ развития теоретических подходов к формирующему оцениванию, обзоры моделей формирующего оценивания приводятся в работах Б. 'МНаш [23, с. 3-13], Е. Н. Землянской [31, с. 104-112; 32, с. 5056]. Установлено, что позитивное влияние оценки на обучение студентов, достижение планируемых образовательных результатов и желаемых образовательных эффектов обеспечивается при устранении «трений» между суммирующим и формирующим оцениванием, их оптимальном соотношении - так называемой симфонией оценки [2, с. 60-62; 5,

с. 307; 32, с. 54]. Обосновано применение формирующего оценивания как инструмента «адресной поддержки обучающегося», актуализирующей учебную самостоятельность каждого обучающегося, который помогает ему самостоятельно находить наилучшие стратегии и способы улучшения, регулирования своей учебной деятельности [12, с. 32-33; 17, с. 126135; 32, с. 50], продвижения в процессе освоения программы [21, с. 15; 28, с. 26], используется в качестве стимула для обучения [3, с. 123] и личностного развития студентов [29, с. 69-70]. Эти возможности обеспечиваются преподавателем путем определения зон ближайшего развития студентов (как отклонения между фактическим и потенциальным уровнем понимания, освоения программы дисциплины) [21, с. 23; 34, с. 40; 36, с. 44], моделей достижения целей студентов, а также поддержанием стабильности достижения этих целей [10, с. 59-69].

Мотивация и развивающий эффект обеспечиваются также путём самооценки студентов, направленной на формирование у него объективного представления о своих учебных достижениях, и метакогнитивного мониторинга [1, с. 294; 12, с. 32-34]. Причём в отношении мотивации, саморегуляции и самоэффективности не было обнаружено существенных различий между экспертной оценкой и самооценкой [17, с. 131-135]. На адекватность и точность самооценки студентов влияет уровень их предыдущих достижений в конкретной предметной области, студенты с высоким и низким уровнем учебных достижений оценивают себя более точно, чем студенты, которые имели умеренные предыдущие достижения [12, с. 32-40]. Разрабатываются методики реализации самооценки и оценки сверстников как формирующей оценки [17, с. 248-259]. Поддержка студентов в развитии навыков са-

188

2018, том 8, № 4 www.vestnik.nspu.ru ISSN 2226-3365

мооценки не может быть достигнута в краткосрочной перспективе, она должна встраиваться в учебный процесс и последовательно усиливаться [17, с. 248].

Установлено, что восприятие студентами оценки сверстников зависит от доверия к собственным и оценочным возможностям своих сверстников, а также от осведомленности о негативных межличностных процессах, таких как страх неодобрения, разлад в дружеских отношениях [20, с. 30-32] и ответная реакция, «месть» [21, с. 97-102]. Особую роль самооценка и взаимооценивание играют при подготовке учителей1.

Одним из инструментов формирующего оценивания является обратная связь, объединяющая студентов со сверстниками и преподавателями. Опросы студентов показывают, что обратная связь от педагога очень важна, мотивирует их [9, с. 199] или может являться предметом озабоченности. Исследуются различные факторы, влияющие на восприятие обратной связи студентами: специфика образовательной программы и изучаемой дисциплины (С. СагуаШо, А. НаупеБ), пол (С. СагуаШо, А. НаупеБ), статус участника -студент или преподаватель (А. НаупеБ, I. К ТбпББоп ). Определено, что больше обратной связи требуется по программам профессиональной подготовки, чем по традиционным учебным дисциплинам [11, с. 21-26]; девочки чаще, чем мальчики, фиксируют наличие фактов конструктивной обратной связи и чаще критикуют качество полученных отзывов [6, с. 172]; на восприятие обратной связи преподавателями и студентами влияет размер образовательной организации (чем меньше образовательная организация, тем меньше разрыв

между восприятием студентов и преподавателей) [14, с. 56]; на восприятие обратной связи студентами влияет стиль коммуникации (речи, формулировки информационных сообщений и др.) и также образовательная среда, в которой она реализуется [11, с. 27]. Доказано, что критическая обратная связь лучше запоминается, чем подтверждающая обратная связь [8, с. 351-365]. В результате опроса студентов установлено, что им необходима критическая, ясная и конструктивная обратная связь, в которой они играют ключевую роль [11, с. 27].

Исследуются различные негативные явления, которые могут сопровождать процесс оценки: принудительное и манипулятивное поведение студентов с целью повышения результата оценивания [13, с. 154-161]; дискриминация по половому признаку или физической привлекательности со стороны преподавателей (оценщиков) [15, с. 151], разрабатываются механизмы поддержания эффективных рабочих отношений в процессе оценивания. Повышению мотивации обучения, вовлеченности студентов может способствовать стратегия поощрения академической зрелости и уменьшения стресса и страха у студентов [ 16, с. 223-233].

Гибкий подход к оценке, обеспечивающий удовлетворение академических потребностей и ожиданий студента, способствует также мотивации студентов и академическим достижениям [2], позволят им идеализировать процесс обучения в зависимости от своих персональных потребностей [19, с. 68]. Гибкость оценки может обеспечиваться путем предоставления студентам выбора удобного темпа самостоятельной работы [16, с. 223-233; 31,

1 Варакута А. А. Некоторые особенности подготовки учителей информатики к оценочной деятельности в контексте стандартизации образования // Современные образовательные технологии в подготовке учи-

телей математики, физики, информатики и экономики на основе традиций и инноваций: коллективная монография / Андриенко Е. В., Добрынина Т. Н. и др. - Новосибирск, 2017. - С. 238-245.

189

2018, том 8, № 4 www.vestnik.nspu.ru ISSN 2226-3365

с. 107; 32, с. 51; 31, с. 107; 33, с. 48], «своевременности» предоставления обратной связи (когда она актуальна для студента) [11, с. 2126; 16, с. 223-233]; оптимизации сложности заданий в соответствии с уровнем его подготовленности и образовательных потребностей [19, с. 68-77; 29, с. 70].

Увеличение объема обратной связи не всегда положительно сказывается на мотивации обучающихся, и может даже иметь обратный эффект [23, с. 6]. Кроме этого, необходимо учитывать трудозатраты преподавателей [28, с. 30-31; 33, с. 47; 35, с. 63-65], сложность выполняемых ими задач, предоставляемых рецензий на проверенные работы [7, с. 100]. Уменьшить рутинную работу преподавателя по организации и проведению оценки можно максимально автоматизировав её [25, с. 34-35; 27, с. 65; 35, с. 57-58].

Необходимо использовать не только письменную обратную связь по формальным заданиям, но и развивать практику обратной связи, которая тесно интегрирована в контактное обучение и не рассматривается как «добавленная» деятельность [11, с. 26], предоставлять больше информации о задаче или даже поощрять стратегию проб и улучшений, тем самым создавая обратную связь без дополнительных действий и трудозатрат преподавателя [23, с. 6].

Однако удовлетворение ожиданий студентов, связанных с предоставлением обратной связи, является постоянной проблемой для высшего образования [18, с. 248]. До сих пор недостаточно исследована проблема обеспечения эффективности оценочной процедуры как возможности обеспечения её гибкости, индивидуализации с учетом трудозатрат преподавателя.

Таким образом, в теории педагогической оценки обоснованы возможности повышения

мотивации студентов и развивающего эффекта путём применения гибкого подхода к оценке, который предоставляет выбор индивидуального темпа и интенсивности работ, сложности заданий, а также обеспечения своевременной обратной связи.

Однако ещё не исследованы возможности управления процедурой оценки результатов обучения студентов, позволяющие в практической деятельности преподавателя вуза обеспечивать её гибкость с оптимальными трудозатратами.

Целью статьи является выявление параметров оценочной процедуры, обеспечивающих возможность управления её гибкостью с учетом трудозатрат преподавателя.

Методология исследования

Исследование проводилось с применением методологии включенного наблюдения и изучения продуктов деятельности. Педагогический эксперимент проводился на базе Новосибирского государственного педагогического университета 4 семестра. В эксперименте принимали участие 58 студентов 2 и 3 курсов.

Для реализации формирующего эксперимента были созданы следующие условия. Определены и включены в программу дисциплины разные виды работ и формы контроля, обеспечивающие гибкость оценки, разработаны соответствующие фонды оценочных средств. Для наблюдения выбрана форма самостоятельной работы студента - решение кейсов. Для сопровождения оценочных процедур разработан электронный курс в системе дистанционного обучения на базе МооШе. Для проведения эксперимента разработана технология оценки результатов обучения, которая позволяет обеспечить её гибкость. Технология оценки реализует стратегию проб и улучшений, возможность доработки заданий (без

190

2018, том 8, № 4 www.vestnik.nspu.ru ISSN 2226-3365

ограничений по количеству доработок и срокам сдачи), механизм дистанционного взаимодействия (с применением средств МооШе), стандартизацию сроков сдачи (контрольные, рекомендуемые, нормативные), и выбора студентом порядка сдачи заданий (последовательно или одновременно). Обеспечена готовность преподавателя к реализации процедуры (мотивация, навыки использования средств дистанционного взаимодействия, наличие временных ресурсов).

Наблюдение осуществлялось в процессе дистанционного взаимодействия со студентами при приеме и оценке кейсов, при этом протоколировались: даты сдачи каждого задания студентом, даты проверки и возврата задания на доработку, даты поступления доработанных заданий.

При обработке экспериментальных данных применялись методы математической статистики, в том числе регистрация, ранжирование, вычисление элементарных статистик, статистическое выявление связей (гра-фопостроение, сравнение элементарных статистик).

Результаты исследования

Методами вычисления элементарных статистик по экспериментальным данным рассчитаны: сроки и периоды сдачи работ; максимальное количества доработок одного задания студентом; количество заданий, доработанных студентом после возврата. Для дальнейшей обработки экспериментальных данных мы применили метод ранжирования, введя для каждого показателя три ранга: 0 - самый благоприятный вариант, 1 - приемлемый вариант, 2 - не благоприятный вариант.

Анализ индивидуального темпа и интенсивности обучения (табл. 1) проводился путём сопоставления сроков и периодов сдачи работ.

Сроки сдачи работ были нормированы в соответствии с календарным графиком и расписанием промежуточной аттестации, установлены в рейтинг-плане дисциплины и доведены до сведения студентов в начале изучения дисциплины. Равномерное распределение нагрузки студента в период изучения дисциплины обеспечивалось при соблюдении рекомендуемого срока сдачи работ. Нормативный срок был определен как крайний срок сдачи работ, последняя неделя семестра при зачёте или предэкзаменационная консультация при экзамене. При нарушении нормативного срока работы принимались и проверялись на тех же условиях, что и другие работы. Причины нарушения сроков не анализировались. Период выполнения работы студентом (от даты поступления первого выполненного задания до даты сдачи всей работы, с учетом доработки заданий) не регламентировался и был обусловлен только индивидуальными образовательными стратегиями студентов. При ранжировании условно выделили короткий период доработки - 1-2 дня; приемлемый - 39 дней и длительный - более 9 дней.

В результате установлено (табл. 1), что большая часть студентов придерживались рекомендуемых сроков (53,4 %) и сдали задания за короткий (27,6 %) и приемлемый период (19 %); доля студентов, которые нарушили нормативный срок и сдавали работы длительный период - наименьшая (3,4 %), возможностью длительно дорабатывать задания воспользовались 17,2 % студентов; длительный период сдачи был как при соблюдении, так и при нарушении нормативных сроков.

Для формализации обратной связи мы приняли за единицу обратной связи один отзыв преподавателя (комментарий, замечание) по заданию (так называемая критическая обратная связь), который направлен на правильное выполнение задания или его улучшение.

191

2018, том 8, № 4 www.vestnik.nspu.ru ISSN 2226-3365

Таблица 1

Индивидуальный темп и интенсивность обучения (доля студентов от общего количества студентов), проценты

Table 1

Individual pace and intensity of training (the proportion of students from the total number of students), percent

Соблюдение сроков Период выполнения заданий / Period of hand over works

сдачи работ / Compliance 0 (короткий пе- 1 (приемлемый 2 (длительный Общий

with the deadline for hand риод выполне- период выполне- период выполне- итог /

over works ния) / 0 (short ния) / 1 (accepta- ния) / 2 (long The overall

period of hand ble period of hand period of hand result

over works) over works) over works)

0 (рекомендуемый срок) / 27,6 19,0 6,9 53,4

0 (the recommended term)

1 (нормативный срок) / 1 (normative term) 15,5 10,3 6,9 32,8

2 (нарушен нормативный

срок) / 2 (the normative 5,2 5,2 3,4 13,8

term is violated)

Общий итог / The overall 48,3 34,5 17,2 100,0

result

Таблица 2

Реализация обратной связи (доля студентов от общего количества студентов), проценты

Table 2

Realization of feedback (the proportion of students from the total number of students), percent

Максимальное количество доработок одного задания студентом / The maximum number of editing of one tasks the student Количество заданий, доработанных студентом / Number of tasks that have been edited the student

0 (без доработок) / 0 (without edits) 1 (приемлемое количество заданий дорабатывалось) / 1 (acceptable number of tasks that have been edited) 2 (большое количество заданий дорабатывалось) / 2 (a large number of tasks that have been edited) Общий итог / The overall result

0 (без доработок) / 0 (without edits) 31,0 0,0 0,0 31,0

1 (приемлемое количество доработок) / 1 (acceptable number of edits) 0,0 37,9 12,1 50,0

2 (большое количество доработок) / 2 (large number of edits) 0,0 3,4 15,5 19,0

Общий итог / The overall result 31,0 41,4 27,6 100,0

Вестник Новосибирского государственного педагогического университета

2018, том 8, № 4

www.vestnik.nspu.ru

ISSN 2226-3365

Анализ обратной связи проводился путём сопоставления количества доработанных заданий и количества выполненных доработок (табл. 2). При этом мы приняли за приемлемое количество доработок одного задания одну доработку, исходя из того, что одного отзыва преподавателя по конкретному заданию достаточно для его правильного выполнения или доработки для повышения балла, а за приемлемое количество доработанных заданий - 12 задания из 13 заданий кейса.

Представив связи между этими показателями, мы провели анализ гибкости оценочной процедуры (табл. 3) и установили, что только 17,2 % студентов сдали все задания в рекомендуемые сроки и с первого раза (табл. 3), все остальные студенты воспользовались возможностью индивидуализации оценочной процедуры (использовали дополнительные сроки сдачи работ и обратную связь).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Анализ гибкости оценочной процедуры (доля студентов от общего количества студентов), проценты

Analysis of the flexibility of the evaluation procedure (the proportion of students from the total number of students), percent

Таблица 3

Table 3

Соблюдение сроков сдачи работ / Compliance with the deadline for hand over works Максимальное количество доработок одного задания студентом / The maximum number of editing of one tasks the student

0 (без доработок) / 0 (without edits) 1 (приемлемое количество доработок) / 1 (acceptable number of edits) 2 (большое количество доработок) / 2 (large number of edits) Общий итог / The overall result

0 (рекомендуемый срок) / 0 (the recommended term) ■■■■■■■■■ 17,2 29,3 6,9 53,4

1 (нормативный срок) / 1 (normative term) 10,3 15,5 ШШШ 32,8

2 (нарушен нормативный срок) / 2 (the normative term is violated) 3,4 ШШбШ 5,2 13,8

Общий итог / The overall result 31,0 50,0 19,0 100,0

Таким образом, мы делаем вывод, что используемая технология обеспечила гибкость оценки результатов обучения студентов. Для определения её эффективности необходимо оценить трудозатраты преподавателя для её реализации.

Приняв за трудозатраты преподавателя количество дней, затраченных на проверку работы студента, и сопоставив их с количеством

дополнительных проверок (табл. 4), мы установили, что большинство работ проверялось приемлемое количество дней (44,8 %) и имело приемлемое количество доработок (24,1 %), однако, большое количество дней проверялись как работы без дополнительных проверок (8,6 % сдавали задания не одновременно, за несколько дней), так и работы, которые дорабатывались приемлемое (5,2 %) и большое (8,6 %) количество раз.

Вестник Новосибирского государственного педагогического университета 2018, том 8, № 4 www.vestnik.nspu.ru ISSN 2226-3365

Таблица 4

Трудозатраты (доля работ от общего количества проверенных студенческих работ), проценты

Table 4

Labor costs (the proportion of works from the total number of checked student works), percent

Количество дополнитель- Количество дней, затраченных на проверку работы студента / Num-

ных проверок работы сту- ber of days spent on checking the student's work

дента (после доработки) / 0 (минимальное 1 (приемлемое ко- 2 (большое ко- Общий

Number of additional checks количество дней) / личество дней) / 1 личество дней) / итог / The

of the student's work (after 0 (the minimum (acceptable number 2 (a large number overall result

edited) number of days) of days) of days)

0 (без дополнительных про-

верок) / 0 (without additional 15,5 6,9 8,6 31,0

checks)

1 (приемлемое количество

дополнительных проверок) / 13,8 24,1 5,2 43,1

1 (acceptable number of addi-

tional checks)

2 (большое количество до-

полнительных проверок)/2 3,4 13,8 8,6 25,9

(a large number of additional

checks)

Общий итог / The overall re- 32,8 44,8 22,4 100,0

sult

Однако такая интерпретация трудозатрат отражает влияние на них гибкости процедуры, индивидуальных стратегий студентов, но не полностью отражает их. Наиболее важным показателем трудозатрат преподавателя является в данном случае интенсивность труда по дням проверки. В идеальном варианте количество заданий, проверенных в один день, равно их среднему значению. Однако в реальных условиях эти значения не совпадают (рис. 1). Несмотря на то, что трудозатраты преподавателя на проверку работы одного студента были приемлемые, интенсивность труда в разные дни значительно отличалась.

Нам представляется возможным уменьшить интенсивность труда преподавателя (отклонение количества заданий, проверенных в

один день, от среднего значения) путем поэтапной проверки (сдачи) заданий кейса и регламентации сроков сдачи каждого задания кейса, а также регламентации количества доработок в зависимости от срока сдачи работы.

Индивидуализация обучения студентов должна обеспечиваться при выполнении студентами нормативных сроков. Если студент не выполняет работы в полном объеме в течение семестра, необходимо предусмотреть ему возможность получения оценки текущей успеваемости по накопительной балльно-рейтинго-вой системе. Период сдачи (доработки) заданий студентом и количество заданий, доработанных студентом после возврата, - это параметры, которыми мы не можем управлять, они зависят только от возможностей и потребностей студента.

2018, том 8, № 4

www.vestnik.nspu.ru

ISSN 2226-3365

140

120

«

S и К

S 3

о Î— Ö -Я

о

100

80

60

40

20

Группа 1 / Group 1 Среднее / Mean value

Группа 2 / Group 2 Группа 3 / Group 3 Группа 4 / Group 4

^^"Минимальное / Minimum Максимальное / Maximum

0

Рис. 1. Количество заданий, проверенных в один день (отклонение от среднего максимального и минимального значений) Fig. 1. Number of tasks checked in one day (deviation of the maximum and minimum values from the mean)

Целесообразно установить следующие нормативы: при несоблюдении нормативных сроков доработка заданий не допускается; при сдаче работ в нормативный срок допускается одна доработка каждого задания; при сдаче работ в рекомендуемый срок допускается любое количество доработок. В результате этого можно будет исключить зоны риска, которые обнаружились в данном эксперименте: нарушили нормативные сроки сдачи работ 13,8 % студентов (табл. 1; 3), из них дорабатывали задания 10,4 % студентов (табл. 3, ячейки красного цвета); выполняли большое количество доработок при соблюдении нормативного срока сдачи (но рекомендуемый срок нарушен) 69 % студентов (табл. 3, ячейки жёлтого цвета).

Заключение

Таким образом, на основе анализа подходов к реализации формирующего оценивания нами выявлено, что для мотивации студентов и развивающего эффекта оценка должна обла-

дать гибкостью, т. е. предоставлять возможность выбора индивидуального темпа, интенсивности работ, сложности заданий и обеспечивать своевременность обратной связи.

Основные параметры оценочной процедуры, обеспечивающие возможность управления её гибкостью с учетом трудозатрат преподавателя:

1) сроки сдачи и доработки заданий;

2) количество доработок одного задания.

Для обеспечения эффективности оценки

необходимо управлять оценочной процедурой на уровне преподавателя таким образом, чтобы получить оптимальное соотношение уровня гибкости оценки и трудозатрат преподавателя. Уменьшить трудозатраты преподавателя можно без потери гибкости оценки, управляемыми параметрами при этом будут сроки сдачи работ и количество доработок. С целью опытно-экспериментальной проверки их результативности нами внесены соответствующие изменения в технологию оценки и продолжена экспериментальная работа.

195

2018, том 8, № 4

www.vestnik.nspu.ru

ISSN 2226-3365

СПИСОК ЛИТЕРАТУРЫ

1. Adachi Ch., Hong-Meng Tai J., Dawson Ph. Academics' perceptions of the benefits and challenges of self and peer assessment in higher education // Assessment and Evaluation in Higher Education. - 2018. - Vol. 43, Issue 2. - P. 294-306. DOI: https://doi.org/10.1080/02602938.2017.1339775

2. Al-Kadri H. M. From Assessment Cocktail to Assessment Symphony: The Development of Best Assessment Practices // Health Professions Education. - 2015. - Vol. 1, Issue 1. - P. 58-64. DOI: https://doi.org/10.1016/j.hpe.2015.11.008

3. Bakon S., Craft J., Christensen M., Wirihana L. Can active learning principles be applied to the bioscience assessments of nursing students? A review of the literature // Nurse Education Today. -2016. - Vol. 37. - P. 123-127. DOI: https://doi.org/10.1016Zj.nedt.2015.11.030

4. Beasley Sh. F., Farmer S., Ard N., Nunn-Ellison K. Systematic Plan of Evaluation Part I: Assessment of End-of-Program Student Learning Outcomes // Teaching and Learning in Nursing. -2018. - Vol. 13, Issue 1. - P. 3-8. DOI: https://doi.org/10.1016/j.teln.2017.09.003

5. Broadben J., Panadero E., Boud D. Implementing summative assessment with a formative flavour: a case study in a large class // Assessment and Evaluation in Higher Education. - 2018. -Vol. 43, Issue 2. - P. 307-322. DOI: https://doi.org/10.1080/02602938.2017.1343455

6. Carvalho C., Santos J., Conboy J., Martins D. Teachers' Feedback: Exploring Differences in Students' Perceptions // Procedia - Social and Behavioral Sciences. - 2014. - Vol. 159. - P. 169173. DOI: https://doi.org/10.1016/j.sbspro.2014.12.351

7. Cho K., Schunn Ch. D. Finding an optimal balance between agreement and performance in an online reciprocal peer evaluation system // Studies in Educational Evaluation. - 2018. - Vol. 56. -P. 94-101. DOI: https: //doi.org/ 10.1016/j.stueduc .2017.12.001

8. Cutumisu M., Schwartz D. L. The impact of critical feedback choice on students' revision, performance, learning, and memory // Computers in Human Behavior. - 2018. - Vol. 78. - P. 351367. DOI: https://doi.org/10.1016/jxhb.2017.06.029

9. Fuentes-Pumarola C., Ballester-Ferrando D., Gelabert-Vilella S., Bosch-Farré C., Malagón-Aguilera M. C., Rascón-Hernán C., Bonmatí-Tomas A., Fernandez-Peña R. Nursing student and professor perceptions and assessments of the achievement of practicum competencies: A mixed method approach // Nurse Education Today. - 2016. - Vol. 45. - P. 199-205. DOI: https://doi.org/10.1016/j.nedt.2016.08.013

10. Hansen G., Ringdal R. Formative assessment as a future step in maintaining the mastery-approach and performance-avoidance goal stability // Studies in Educational Evaluation. - 2018. - Vol. 56. -P. 59-70. DOI: https://doi.org/10.1016/j.stueduc.2017.11.005

11. Havnes A., Smith K., Dysthe O., Ludvigsen K. Formative assessment and feedback: Making learning visible // Studies in Educational Evaluation. - 2012. - Vol. 38, Issue 1. - P. 21-27. DOI: https://doi.org/ 10.1016/j.stueduc.2012.04.001

12. Hosein A., Harle J. The relationship between students' prior mathematical attainment, knowledge and confidence on their self-assessment accuracy // Studies in Educational Evaluation. - 2018. -Vol. 56. - P. 32-41. DOI: https://doi.org/10.1016/j.stueduc.2017.10.008

13. Hunt L. A., McGee P., Gutteridge R., Hughes M. Manipulating mentors' assessment decisions: Do underperforming student nurses use coercive strategies to influence mentors' practical assessment decisions? // Nurse Education in Practice. - 2016. - Vol. 20. - P. 154-162. DOI: https://doi.org/10.1016/j.nepr.2016.08.007

196

Вестник Новосибирского государственного педагогического университета

2018, том 8, № 4

i, том 8, № 4 www.vestnik.nspu.ru ISSN 2226-

ISSN 2226-3365

14. Jónsson I. R., Smith K., Geirsdóttir R. Shared language of feedback and assessment. Perception of teachers and students in three Icelandic secondary schools // Studies in Educational Evaluation. -2018. - Vol. 56. - P. 52-58. DOI: https://doi.org/10.1016/j.stueduc.2017.11.003

15. Krawczyk M. Do gender and physical attractiveness affect college grades? // Assessment and Evaluation in Higher Education. - 2018. - Vol. 43, Issue 1. - P. 151-161. DOI: https://doi.org/10.1080/02602938.2017.1307320

16. Lynam S., Cachia M. Students' perceptions of the role of assessments at higher education // Assessment and Evaluation in Higher Education. - 2018. - Vol. 43, Issue 2. - P. 223-234. DOI: https://doi.org/10.1080/02602938.2017.1329928

17. Meusen-Beekman K. D., Brinke D. J., Boshuizen H. P. A. Effects of formative assessments to develop self-regulation among sixth grade students: Results from a randomized controlled intervention // Studies in Educational Evaluation. - 2016. - Vol. 51. - P. 126-136. DOI: https://doi.org/ 10.1016/j.stueduc.2016.10.008

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

18. Mutch A., Young Ch., Davey T., Fitzgerald L. A journey towards sustainable feedback // Assessment and Evaluation in Higher Education. - 2018. - Vol. 43, Issue 2. - P. 248-259. DOI: https://doi.org/10.1080/02602938.2017.1332154

19. Rideout C. A. Students' choices and achievement in large undergraduate classes using a novel flexible assessment approach // Assessment and Evaluation in Higher Education. - 2018. - Vol. 43, Issue 1. - P. 68-78. DOI: https://doi.org/10.1080/02602938.2017.1294144

20. Rotsaert T., Panadero E., Estrada E., Schellens T. How do students perceive the educational value of peer assessment in relation to its social nature? A survey study in Flanders // Studies in Educational Evaluation. - 2017. - Vol. 53. - P. 29-40. DOI: https://doi.org/10.1016Zj.stueduc.2017.02.003

21. Ruiz-Primo M. A. Informal formative assessment: The role of instructional dialogues in assessing students' learning // Studies in Educational Evaluation. - 2011. - Vol. 37, Issue 1. - P. 15-24. DOI: https://doi.org/10.1016/j.stueduc.2011.04.003

22. VanSchenkhof M., Houseworth M., McCordc M., Lannin J. Peer evaluations within experiential pedagogy: Fairness, objectivity, retaliation safeguarding, constructive feedback, and experiential learning as part of peer assessment // The International Journal of Management Education. - 2018. - Vol. 16, Issue 1. - P. 92-104. DOI: https://doi.org/10.1016/j.ijme.2017.12.003

23. Wiliam D. Studies in Educational Evaluation // Studies in Educational Evaluation. - 2011. -Vol. 37, Issue 1. - P. 3-14. DOI: https://doi.org/10.1016/j.stueduc.2011.03.001

24. Артамонова Е. В. Контрольно-оценочный компонент в условиях реформирования отечественного профессионального образования: проблемы и перспективы развития // Вектор науки Тольяттинского государственного университета. Серия: Педагогика, психология. - 2017. - № 2 (29). - С. 9-13. URL: https://elibrary.ru/item.asp?id=29344099

25. Варакута А. А. Применение ИКТ как условие эффективности оценки результатов обучения студентов // Педагогическое образование в России. - 2017. - № 8. - С. 33-37. URL: https://elibrary.ru/item.asp?id=29898421

26. Гуськова М. В. К вопросу понятийного аппарата эвалюации в образовании // Философия образования. - 2012. - Т. 42, № 3. - С. 109-118. URL: https://elibrary.ru/item.asp?id=17851123

27. Ефремова Н. Ф. К вопросу о создании и функционировании фондов оценочных средств в вузе // Высшее образование в России. - 2015. - № 7. - С. 63-67. URL: https://elibrary.ru/item.asp?id=24002989

28. Ефремова Н. Ф. Критериальные требования к фондам оценочных средств // Педагогические измерения. - 2016. - № 1. - С. 25-31. URL: https://elibrary.ru/item.asp?id=26463474

2018, том 8, № 4

www.vestnik.nspu.ru

ISSN 2226-3365

29. Ефремова Н. Ф. Стандартизация как условие обеспечения качества фондов оценочных средств вузов // Международный журнал прикладных и фундаментальных исследований. -2016. - № 2-1. - С. 66-70. URL: https://elibrary.ru/item.asp?id=25470446

30. Ефремова Н. Ф. Эвалюация как информационная основа управления качеством обучения // Фундаментальные исследования. - 2015. - № 2-7. - С. 1489-1493. URL: https://elibrary.ru/item.asp?id=23183965

31. Землянская Е. Н. Формирующее оценивание образовательных результатов студентов // Психологическая наука и образование www.psyedu.ru. - 2015. - Т. 7, № 4. - С. 103-114. URL: https://elibrary.ru/item.asp?id=24844440

32. Землянская Е. Н. Формирующее оценивание (оценка для обучения) образовательных достижений обучающихся // Современная зарубежная психология. - 2016. - Т. 5, № 3. -С. 50-58. URL: https://elibrary.ru/item.asp?id=28127465

33. Ибрагимов Г. И., Ибрагимова Е. М. Оценивание компетенций: проблемы и решения // Высшее образование в России. - 2016. - № 1. - С. 43-52. URL: https://elibrary.ru/item.asp?id=24993105

34. Мартыненко О. О., Якимова З. В., Николаева В. И. Методический подход к оценке компетенций выпускников // Высшее образование в России. - 2015. - № 12. - С. 35-45. URL: https://elibrary.ru/item.asp?id=24993071

35. Семенова Е. Г., Степанов А. Г. Оценочные средства как показатели качества компетенций выпускников высшей школы // Актуальные проблемы экономики и управления. - 2015. -№ 3 (7). - С. 53-66. URL: https://elibrary.ru/item.asp?id=24167015

36. Улзытуева А. И., Лысикова Т. С. К проблеме контроля и оценки результатов обучения будущих педагогов дошкольного образования // Ученые записки Забайкальского государственного университета. Серия: Профессиональное образование, теория и методика обучения. - 2015. - № 6 (65). - С. 40-45. URL: https://elibrary.ru/item.asp?id=24991699

198

2018, Vol. 8, No. 4 http://en.vestnik.nspu.ru ISSN 2226-3365

DOI: 10.15293/2226-3365.1804.12

Alena Aleksandrovna Varakuta, Graduate Student,

Pedagogy and Psychology Department; Senior Lecturer,

Department of Informatics and Discrete Mathematics, Novosibirsk State Pedagogical University, Novosibirsk, Russian Federation.

ORCID ID: https://orcid.org/0000-0001-6111-0527 E-mail: [email protected]

A flexible approach to assessing students' learning outcomes taking into account

working efforts of the teacher

Introduction. The article studies the effectiveness of student learning outcomes assessment. The purpose of the research is to identify the parameters of the evaluation procedure, which provide the possibility to manage its flexibility, taking into account working efforts of the teacher.

Materials and Methods. The research was conducted using the methodology of participant observation and study of products of students ' learning performance. When processing experimental data, methods of mathematical statistics was employed.

Results. The author has analyzed the approaches to formative assessment and found that flexible assessment characterized by providing the opportunity to choose the individual tempo, the intensity of the work, and the complexity of tasks and ensure the timeliness of feedback contributes to enhancing students' motivation and development. It is noted that managing the flexibility of the evaluation procedure, taking into account working efforts of the teacher, is provided by the normalization of deadline for handing over works and the amount of editing. It is revealed that it is possible to reduce working efforts of the teacher without losing the flexibility of the assessment; in this case controlled parameters will be the deadline for handing over works and the amount of editing.

Conclusions. The author concludes that in order to ensure the effectiveness of evaluation it is necessary to manage the evaluation procedure at the level of the teacher and obtain the optimal ratio of the flexibility of evaluation and the teacher's working efforts.

Peer assessment; Flexible assessment; Feedback; Working efforts of the teacher; Self-assessment; Control parameter; Formative assessment; Evaluation effectiveness.

1. Adachi Ch., Hong-Meng Tai J., Dawson Ph. Academics' perceptions of the benefits and challenges of self and peer assessment in higher education. Assessment and Evaluation in Higher Education, 2018, vol. 43, issue 2, pp. 294-306. DOI: https://doi.org/10.1080/02602938.2017.1339775

2. Al-Kadri H. M. From assessment cocktail to assessment symphony: The development of best assessment practices. Health Professions Education, 2015, vol. 1, issue 1, pp. 58-64. DOI: https://doi.org/10.1016/j.hpe.2015.11.008

Abstract

Keywords

REFERENCES

199

2018, Vol. 8, No. 4 http://en.vestnik.nspu.ru ISSN 2226-3365

3. Bakon S., Craft J., Christensen M., Wirihana L. Can active learning principles be applied to the bioscience assessments of nursing students? A review of the literature. Nurse Education Today, 2016, vol. 37, pp. 123-127. DOI: https://doi.org/10.1016/j.nedt.2015.11.030

4. Beasley Sh. F., Farmer S., Ard N., Nunn-Ellison K. Systematic plan of evaluation Part I: Assessment of end-of-program student learning outcomes. Teaching and Learning in Nursing, 2018, vol. 13, issue 1, pp. 3-8. DOI: https://doi.org/10.1016/j.teln.2017.09.003

5. Broadben J., Panadero E., Boud D. Implementing summative assessment with a formative flavour: a case study in a large class. Assessment and Evaluation in Higher Education, 2018, vol. 43, issue 2, pp. 307-322. DOI: https://doi.org/10.1080/02602938.2017.1343455

6. Carvalho C., Santos J., Conboy J., Martins D. Teachers' Feedback: Exploring differences in students' perceptions. Procedia - Social and Behavioral Sciences, 2014, vol. 159, pp. 169-173. DOI: https://doi.org/10.1016/j.sbspro.2014.12.351

7. Cho K., Schunn Ch. D. Finding an optimal balance between agreement and performance in an online reciprocal peer evaluation system. Studies in Educational Evaluation, 2018, vol. 56, pp. 94101. DOI: https: //doi .org/10.1016/j.stueduc.2017.12.001

8. Cutumisu M., Schwartz D. L. The impact of critical feedback choice on students' revision, performance, learning, and memory. Computers in Human Behavior, 2018, vol. 78, pp. 351-367. DOI: https://doi.org/10.1016/jxhb.2017.06.029

9. Fuentes-Pumarola C., Ballester-Ferrando D., Gelabert-Vilella S., Bosch-Farré C., Malagón-Aguilera M. C., Rascón-Hernán C., Bonmatí-Tomás A., Fernandez-Peña R. Nursing student and professor perceptions and assessments of the achievement of practicum competencies: A mixed method approach. Nurse Education Today, 2016, vol. 45, pp. 199-205. DOI: https://doi.org/10.1016/j.nedt.2016.08.013

10. Hansen G., Ringdal R. Formative assessment as a future step in maintaining the mastery-approach and performance-avoidance goal stability. Studies in Educational Evaluation, 2018, vol. 56, pp. 59-70. DOI: https://doi.org/10.1016/j.stueduc.2017.11.005

11. Havnes A., Smith K., Dysthe O., Ludvigsen K. Formative assessment and feedback: Making learning visible. Studies in Educational Evaluation, 2012, vol. 38, issue 1, pp. 21-27. DOI: https://doi.org/ 10.1016/j.stueduc.2012.04.001

12. Hosein A., Harle J. The relationship between students' prior mathematical attainment, knowledge and confidence on their self-assessment accuracy. Studies in Educational Evaluation, 2018, vol. 56, pp. 32-41. DOI: https://doi.org/10.1016/j.stueduc.2017.10.008

13. Hunt L. A., McGee P., Gutteridge R., Hughes M. Manipulating mentors' assessment decisions: Do underperforming student nurses use coercive strategies to influence mentors' practical assessment decisions? Nurse Education in Practice, 2016, vol. 20, pp. 154-162. DOI: https://doi.org/10.1016/j.nepr.2016.08.007

14. Jónsson I. R., Smith K., Geirsdóttir R. Shared language of feedback and assessment. Perception of teachers and students in three Icelandic secondary schools. Studies in Educational Evaluation, 2018, vol. 56, pp. 52-58. DOI: https://doi.org/10.1016/j.stueduc.2017.11.003

15. Krawczyk M. Do gender and physical attractiveness affect college grades?. Assessment and Evaluation in Higher Education, 2018, vol. 43, issue 1, pp. 151-161. DOI: https://doi.org/10.1080/02602938.2017.1307320

16. Lynam S., Cachia M. Students' perceptions of the role of assessments at higher education. Assessment and Evaluation in Higher Education, 2018, vol. 43, issue 2, pp. 223-234. DOI: https://doi.org/10.1080/02602938.2017.1329928

200

2018, Vol. 8, No. 4 http://en.vestnik.nspu.ru ISSN 2226-3365

17. Meusen-Beekman K. D., Brinke D. J., Boshuizen H. P. A. Effects of formative assessments to develop self-regulation among sixth grade students: Results from a randomized controlled intervention. Studies in Educational Evaluation, 2016, vol. 51, pp. 126-136. DOI: https://doi.org/10.10167j.stueduc.2016.10.008

18. Mutch A., Young Ch., Davey T., Fitzgerald L. A journey towards sustainable feedback.Assessment and Evaluation in Higher Education, 2018, vol. 43, issue 2, pp. 248-259. DOI: https://doi.org/10.1080/02602938.2017.1332154

19. Rideout C. A. Students' choices and achievement in large undergraduate classes using a novel flexible assessment approach. Assessment and Evaluation in Higher Education, 2018, vol. 43, issue 1, pp. 68-78. DOI: https://doi.org/10.1080/02602938.2017.1294144

20. Rotsaert T., Panadero E., Estrada E., Schellens T. How do students perceive the educational value of peer assessment in relation to its social nature? A survey study in Flanders. Studies in Educational Evaluation, 2017, vol. 53, pp. 29-40. DOI: https://doi.org/ 10.1016/j.stueduc.2017.02.003

21. Ruiz-Primo M. A. Informal formative assessment: The role of instructional dialogues in assessing students' learning. Studies in Educational Evaluation, 2011, vol. 37, issue 1, pp. 15-24. DOI: https://doi.org/ 10.1016/j.stueduc.2011.04.003

22. VanSchenkhof M., Houseworth M., McCordc M., Lannin J. Peer evaluations within experiential pedagogy: Fairness, objectivity, retaliation safeguarding, constructive feedback, and experiential learning as part of peer assessment. International Journal of Management Education, 2018, vol. 16, issue 1, pp. 92-104. DOI: https://doi.org/10.1016/j.ijme.2017.12.003

23. Wiliam D. Studies in educational evaluation. Studies in Educational Evaluation, 2011, vol. 37, issue 1, pp. 3-14. DOI: https://doi.org/10.1016/j.stueduc.2011.03.001

24. Artamonova E. V. Monitoring and evaluation practice in the context of reforming of the Russian vocational education: problems and prospects. Science Vector of Togliatti State University Series: Pedagogy, Psychology, 2017, no. 2, pp. 9-13. (In Russian) URL: https://elibrary.ru/item.asp?id=29344099

25. Varakuta A. A. The use of ICT as a condition of effectiveness assessment of student's performance. Pedagogical Education in Russia, 2017, no. 8, pp. 33-37. (In Russian) URL: https://elibrary.ru/item.asp?id=29898421

26. Gus'kova M. V. To the question of the conceptual apparatus of evaluation in education. Philosophy of Education, 2012, vol. 42, no. 3, pp. 109-118. (In Russian) URL: https://elibrary.ru/item.asp?id=17851123

27. Efremova N. F. The principles of independent evaluation system in higher education. Higher Education in Russia, 2015, no. 7, pp. 63-67. (In Russian) URL: https://elibrary.ru/item.asp?id=24002989

28. Efremova N. F. Criterion requirements to the funds of the assessment instruments. Educational Measurement Journal, 2016, no. 1, pp. 25-31. (In Russian) URL: https://elibrary.ru/item.asp?id=26463474

29. Efremova N. F. Standardization as a condition for ensuring quality of funds evaluation tools of universities. International Journal of Applied and Fundamental Research, 2016, no. 2-1, pp. 6670. (In Russian) URL: https://elibrary.ru/item.asp?id=25470446

30. Efremova N. F. Evaluation as an information basis of training quality management. Fundamental Research, 2015, no. 2-7, pp. 1489-1493. (In Russian) URL: https://elibrary.ru/item.asp?id=23183965

201

2018, Vol. 8, No. 4 http://en.vestnik.nspu.ru ISSN 2226-3365

31. Zemlyanskaya E. N. New assessment forms of educational outcomes of students. Psychological-Educational Studies, 2015, vol. 7, no. 4, pp. 103-114. (In Russian) URL: https://elibrary.ru/item.asp?id=24844440

32. Zemlyanskaya E. N. Formative assessment (assessment for learning) educational achievements of students. Modern Foreign Psychology, 2016, vol. 5, no. 3, pp. 50-58. (In Russian) URL: https://elibrary.ru/item.asp?id=28127465

33. Ibragimov G. I., Ibragimova E. M. Competence assessment: Challenges and solutions. Higher Education in Russia, 2016, no. 1, pp. 43-52. (In Russian) URL: https://elibrary.ru/item.asp?id=24993105

34. Martynenko O. O., Yakimova Z. V., Nikolaeva V. I. Methodological approaches to assessing graduates'' competencies. Higher Education in Russia, 2015, no. 12, pp. 35-45. (In Russian) URL: https://elibrary.ru/item.asp?id=24993071

35. Semenova E. G., Stepanov A. G. Evaluation tools as quality competence of high schools graduates. Actual Problems of Economy and Management, 2015, no. 3, pp. 53-66. (In Russian) URL: https://elibrary.ru/item.asp?id=24167015

36. Ulzitueva A. I., Lysikova T. S. On the problem of monitoring and evaluation of training future preschool teachers. Scholarly Notes of Transbaikal State University. Series Vocational Education, Theory and Methods of Teaching, 2015, no. 6, pp. 40-45. (In Russian) URL: https://elibrary.ru/item.asp?id=24991699

Submitted: 09 June 2018 Accepted: 02 July 2018 Published: 31 August 2018

© ®

This is an open access article distributed under the Creative Commons Attribution License which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited. (CC BY 4.0).

Гибкий подход к оценке результатов обучения студентов с учетом трудозатрат преподавателя Текст научной статьи по специальности «Науки об образовании»

Аннотация научной статьи по наукам об образовании, автор научной работы — Варакута Алена Александровна

Похожие темы научных работ по наукам об образовании , автор научной работы — Варакута Алена Александровна

A flexible approach to assessing students'' learning outcomes taking into account working efforts of the teacher

Текст научной работы на тему «Гибкий подход к оценке результатов обучения студентов с учетом трудозатрат преподавателя»