CC BY
96УДК 371.263
М. А. Бодоньи https://orcid.org/0000-0002-1182-0587
Типология обратной связи для целей формирующего оценивания
Для цитирования: Бодоньи М. А. Типология обратной связи для целей формирующего оценивания // Ярославский педагогический вестник. 2020. № 5 (116). С. 39-45. DOI 10.20323/1813-145X-2020-5-116-39-45
Статья посвящена исследованию типов и характеристик обратной связи как компонента формирующего оценивания. Проблема исследования связана с многообразием подходов к классификации типов обратной связи и наличием значительного количества типологий, что вызывает трудности при разработке эффективных стратегий ее реализации для целей формирующего оценивания. Анализ предлагаемых исследователями классификаций обратной связи в условиях учебного процесса позволил выделить следующие подходы: общий подход, рассматривающий обратную связь как компонент учебного процесса; специальный подход, ориентированный на разработку типов обратной связи применительно к конкретному учебному предмету; инструментальный подход, дифференцирующий типы обратной связи в зависимости от средств, используемых для ее реализации, - как технических, так и нетехнических. Рассмотренные классификации обратной связи ориентированы на выделение одного классификационного основания и, следовательно, позволяют рассматривать обратную связь только в выбранном аспекте. Для определения эффективности стратегий обратной связи представляется недостаточным выделение одного параметра и, соответственно, одной отдельно взятой типологии. Цель исследования заключается в выявлении типов обратной связи на основе анализа компонентов ситуации оценивания и создании на их основе многомерной классификации типов обратной связи. Были определены характеристики обратной связи, обусловленные влиянием субъекта, объекта, предмета и основания оценки, а также оценочного средства. Мы пришли к выводу, что характеристики обратной связи при реализации формирующего оценивания могут быть ориентированы на разные уровни использования информации, получаемой в ходе оценивания. Обратная связь, таким образом, может включать информацию о текущей ситуации, планируемых результатах обучения и эффективных приемах достижения поставленных целей.
Ключевые слова: формирующее оценивание, обратная связь, оценивание для обучения, ситуация оценки, объект оценки, субъект оценки, предмет оценки, средства оценки, стратегии обратной связи.
M. A. Bodonii
Feedback typology for formative assessment purposes
The article is devoted to the study of the types and characteristics of feedback as a component of formative assessment. The research problem is associated with a variety of approaches to the classification of feedback types and the presence of a significant number of typologies which causes difficulties in developing effective strategies for its implementation for the purposes of formative assessment. An analysis of the feedback classifications proposed by researchers in the context of the educational process made it possible to distinguish the following approaches: a general approach, considered feedback as a component of the educational process; a special approach focused on the development of feedback types in relation to a specific academic subject; instrumental approach, differentiating types of feedback depending on the means used for its implementation - both technical and non-technical. The considered classifications of feedback are focused on the allocation of one classification basis and, therefore, allow us to consider feedback in the only selected aspect. To determine the effectiveness of feedback strategies, it seems insufficient to use one parameter and, accordingly, make separately taken typologies. The aim of the study is to identify types of feedback based on the analysis of the components of the assessment situation and being based on them to create a multidimensional classification of feedback types. Feedback characteristics were determined due to the influence of the subject, object, scope and basis of the assessment, as well as the assessment tool. We came to the conclusion that feedback characteristics during the implementation of formative assessment can be referred to different levels of information use obtained during the assessment. Feedback, therefore, may include information on the current situation, the planned learning outcomes and effective techniques for achieving educational goals.
Keywords: formative assessment, feedback, assessment for training, assessment situation, assessment object, subject of assessment, scope of assessment, assessment tools, feedback strategies.
© Бодоньи М. А., 2020
Понятие «обратная связь» характеризует связь объекта управления с управляющим устройством и используется в ситуациях, когда возникает необходимость в получении данных о значениях управляемой величины. Первоначально рассматриваемый термин использовался в технике, но постепенно его применение расширилось и стало обозначать обратное воздействие результатов процесса на его протекание в биологических, коммуникационных, экономических, бизнес-системах и моделях и т. п.
Обращение к обратной связи в педагогических исследованиях, прежде всего, соотносится с реализацией контролирующей функции. В учебном процессе обратная связь рассматривается как ключевой элемент, соединяющий два процесса -обучение и оценивание и, тем самым, обеспечивающий значительное улучшение образовательных результатов [Johnson, 2016].
Изучение феномена обратной связи и его значительного влияния на эффективность учебного процесса обусловлено многонаправленностью обратной связи, что Р. В. Калхари и В. Вейгер характеризуют как триаду обратной связи, обусловленную
— влиянием на мотивацию;
— конкретизацией информации, необходимой для проверки понимания и выполнения заданий;
— подкреплением, связывающим ответы учащихся и предшествующие объяснения [Kulhavy, 1993].
Разделяя точку зрения Р. В. Калхари и В. Вейгер, С. М. Брукхарт также подчеркивает способность обратной связи активизировать мотивирующий и когнитивные факторы [Brookhart, 2008], что приобретает особую важность в ходе организации формирующего оценивания. Когнитивные факторы соотносятся с возможностями обеспечения учащегося информацией о том, насколько успешно выполнено задание или достигнута определенная учебная цель. Мотиваци-онные факторы определяются степенью влияния на эмоциональную сферу учащегося: «учащиеся чувствуют, что понимают, что делать и почему, осознают собственные возможности контролировать обучение» [Brookhart, 2008, p. 2]. Вместе с тем неверно было бы предполагать, что обратная связь ориентирована только на учащегося. Для учителя реализация обратной связи связана с соотнесением текущего уровня и уровня целепола-гания, что оказывает влияние на принятие дальнейших решений, связанных с организацией учебной деятельности, темпом и объемом освое-
ния учебного материала и т. п. В данном контексте представляется целесообразным привести мнение А. А. Коренева, предлагающего разграничить «педагогическую обратную связь», указывающую на информацию учителя для учащихся, и «академическую обратную связь», сообщаемую учащимися или другими участниками педагогического процесса о самом процессе, содержании, методах, формах и средствах обучения [Коренев, 2018, c. 118]. В нашем исследовании мы фокусируем внимание на педагогической обратной связи, рассматриваемой нами как основополагающий компонент формирующего оценивания вследствие ее нацеленности на результаты учебной деятельности, процесс выполнения заданий и понимание учебного материала учащимся.
Анализ форм реализации обратной связи в ходе формирующего оценивания свидетельствует об их многообразии. Это также отражено в рассмотренных нами теоретических источниках: различные типологии и классификации обратной связи ориентированы на отдельные аспекты исследуемого педагогического феномена. Изучение классификаций и типологий, предлагаемых исследователями, позволило выделить три подхода к рассмотрению обратной связи как компонента формирующей оценки:
— общий подход, разграничивающий типы обратной связи вне предметной отнесенности [Коренев, 2018; Brookhart, 2008; Dawson, 2018; Havnes, 2012; Kulhavy, 1989];
— специальный подход: типы обратной связи разрабатываются применительно к конкретному предмету, заданию, формируемым умениям и т. п. или рассматривается определенный тип обратной связи [Bijami, 2016; Lia, 2019; Masantiah, 2018; Rakoczya, 2019; Shintani, 2014];
— инструментальный подход, в рамках которого обратная связь дифференцируется в зависимости от инструментов и средств обучения и оценки, используемых для ее реализации. Значительная часть исследований посвящена организации обратной связи посредством технических средств (например, компьютерных и мобильных технологий) [Hooker, 2017; Maier, 2016; Tsaia, 2015].
Рассмотрим предлагаемые типы обратной связи в рамках общего подхода. Так, С. М. Брукхарт в качестве оснований для разграничения типов обратной связи предлагает такие параметры, как
— время, когда дается обратная связь;
— количество аспектов, предлагающихся в обратной связи;
- форма (устная, письменная, визуализация);
- аудитория, на которую ориентирована обратная связь (отдельный учащийся или группа);
- цель обратной связи (выполненное задание, процесс его выполнения, личность учащегося, метакогнитивные умения учащегося);
- способ предоставления обратной связи (с чем проводится сравнение с критериями, с другими учащимися, с предыдущими работами этого же учащегося);
- функции (описание или оценка);
- модальность (положительная отрицательная);
- специфика (конкретизация или обобщение);
- тон, предполагающий подтекст обратной связи, выбор коммуникативной стратегии [Brookhart, 2008, с. 5-7].
А. А. Коренев предлагает различные основания для разграничения типов обратной связи: по условиям ее предоставления (обратная связь на уроке и вне урока), по первичному адресату (обратная связь, ориентированная на учащегося, родителей или администратора), по форме (устная и письменная), по времени (немедленная и отсроченная), по приемам работы над ошибками (корректирующая и описательная), по характеру работы над ошибками (фокусированная и нефокусированная), по объему информации (краткая и развернутая), по тону (позитивная, негативная и конструктивная), по направленности на учащихся (индивидуальная и групповая) [Коренев, 2018, c. 118].
Р. В. Калхави и В. А. Сток в качестве основы для разграничения типов обратной связи выдвигают направленность информации. Они выделяют обратную связь, указывающую на степень правильности выполненного учащимся задания, и обратную связь, направленную на проработку выполненного задания и, таким образом, способствующую развитию знаний, умений учащегося [Kulhavy, 1989].
В качестве примера предметного подхода выступает классификация типов обратной связи, предложенная Н. Шинтани, Р. Эллис и В. Х. Сузуки для реализации формирующего оценивания письменных высказываний учащихся. Авторы предлагают три типа обратной связи при работе с письменными высказываниями учащихся: прямую, предполагающую непосредственное исправление ошибок в письменном высказывании; косвенную, предупреждающую о наличии ошибки, и металингвистическую, указывающую на ошибку при помощи определенного кода или шифра [Shintani, 2014].
Ч. Масантиах, С. Пасипход и К. Тангданака-нонд рассматривают типологию обратной связи для решения проблемных заданий: основанием для разграничения типов является степень полноты обратной связи. Таким образом, исследователи разграничивают полную прямую обратную связь, частичную прямую обратную связь, полностью проработанный пример для реализации обратной связи, частично проработанный пример для реализации обратной связи [Masantiah, 2018, p. 3].
Инструментальный подход к выделению типов обратной связи ориентирован на анализ средств, используемых для осуществления взаимодействия с учащимися в ходе формирующего оценивания. Вместе с тем проведенный нами анализ публикаций показывает отсутствие единой классификации средств, применяемых для реализации обратной связи в процессе формирующего оценивания. Как правило, в статьях рассматривается одно определенное средство (техническое или нетехническое) для организации обратной связи, определяются условия его эффективности, формы использования и т. п. Так, К.-Х. Ченг, Ч.-Ч. Тсай и Дж.-Ч. Лианг в качестве одного из типов обратной связи рассматривают онлайн-сообщения-комментарии [Cheng, 2015]. Группа исследователей под руководством М. Санчес-Вера в качестве инструмента для реализации обратной связи предлагает семантические веб-технологии [Sánchez-Vera, 2012]. Таким образом, по результатам анализа исследований, посвященных средствам реализации обратной связи, нам видится целесообразным создание отдельной типологии инструментария обратной связи как компонента формирующего оценивания, но пока это остается за рамками настоящего исследования.
Таким образом, проведенный обзор подходов к разработке типологий обратной связи для целей формирующего оценивания показывает их широту и многообразие. Столь значительное количество типов обратной связи можно объяснить сложностью и наличием разных аспектов структурирования обратных реакций в процессе формирующего оценивания. Вместе с тем ключевая проблема определяется нами как отсутствие единой и целостной систематизации способов реализации обратной связи. По нашему мнению, достижение поставленной цели предполагает необходимость сфокусироваться непосредственно на формирующем оценивании, в качестве компонента которого рассматривается обратная связь. Рассмотренные выше типологии построены на выделении одного классификационного основания и,
следовательно, позволяют рассматривать обратную связь в выбранном аспекте. Однако для определения эффективности стратегий обратной связи, как правило, недостаточно одного выделенного параметра и, соответственно, одной отдельно взятой типологии. Нам кажется целесообразным создание многомерной классификации обратной связи, учитывающей компоненты ситуации оценки и ориентированной на взаимодействие отдельных аспектов с учетом ситуации, условий и т. п.
Отбор компонентов ситуации оценки основан на общей теории оценки как философского, социального, коммуникативного и педагогического феномена. В широком смысле структура понятия «оценка» включает следующие компоненты: субъект, объект, основание (критерий) и характер. С. Д. Погорелова и А. С. Яковлева разграничивают обязательные и факультативные компоненты оценочной ситуации: к обязательным компонентам относятся субъект оценки, объект оценки, основания оценки, содержание оценки; факультативные компоненты включают предмет оценки, инструмент оценки, шкалу оценок, оценочный стереотип, слушающего [Погорелова, 2017, с. 99]. По нашему мнению, специфика учебного процесса влияет на структурные компоненты ситуации оценки, которые характеризуются структурной сложностью и многокомпонентностью, вместе с тем анализ разных подходов к разграничению компонентного состава ситуации оценки, проведенный нами [Бодоньи, 2018], показывает наличие базовой структуры, включающей субъекта оценки, объект оценки, предмет оценки, основание оценки и оценочного средства (например, задания) [Бодо-ньи, 2018, а 50]. Таким образом, рассмотрение обратной связи в контексте реализации формирующего оценивания определяется нами в соотнесенности с данными компонентами ситуации оценки, что позволяет выделить типы обратной связи и создать многомерную типологию обратной связи для целей формирующего оценивания.
Обобщение данных о реализации обратной связи в учебном процессе, обзор теоретических источников, посвященных роли обратной связи в реализации формирующего оценивания, позволили выделить более 50 типов обратной связи, объединенных нами в пять групп на основе ведущих характеристик и свойств, обусловленных тем или иным компонентом ситуации формирующего оценивания.
Типы обратной связи могут быть обусловлены
— субъектом оценки, то есть совокупность свойств и характеристик обратной связи, определяемых субъектом оценки;
— объектом оценки, то есть совокупность свойств обратной связи в зависимости от ее направленности на учащегося, группу, класс и т. п. ;
— предметом оценки, то есть совокупность свойств обратной связи в зависимости от ее направленности на оцениваемые аспекты, свойства и т. п.;
— основанием оценки, то есть совокупность свойств обратной связи в зависимости от опоры на критерии, характеристики, служащие основой для квалификации и интерпретации предмета оценки;
— оценочным средством - совокупностью свойств обратной связи в зависимости от ее направленности на задание, его содержательную и когнитивную сложность, понимание и т. п.
Таким образом, типы обратной связи, обусловленные субъектом оценки, включают время обратной связи (непосредственно во время оценивания, сразу после или отсроченно), частоту обратной связи (насколько часто во время оценивания или работы над результатами оценочной деятельности учитель обращается к обратной связи), форму представления (устную или письменную), функции (информативная, инструктивная или оценивающая функции), тон (положительный или отрицательный), характер (сообщается информация напрямую или косвенно), тип информации по форме представления (текстовый, графический, числовой, в виде знаков, звуковой и т. п.), речевые признаки (референциальность, эмоциональность, директивность как характеристики обратной связи как коммуникативного сообщения), объем информации (полная, частичная).
Типы обратной связи, обусловленные объектом оценки, охватывают адресата обратной связи (группа или отдельный учащийся), степень понимания учащимся обратной связи, ожидаемую эмоциональную реакцию учащегося (имеет широкое варьирование - от чувства стыда при отрицательной обратной связи до воодушевления в случае положительной обратной связи), способы восприятия, используемые учащимся для обеспечения обратной связи (аудиальный, визуальный, текстовый, графический), требование ответной реакции учащегося (статичная, не предполагающая ответной активности учащегося, и динамичная,
требующая выполнение учащимся задания, или работы над ошибками после обратной связи).
Типы обратной связи, обусловленные предметом оценки, характеризуют нацеленность на определенный элемент учебной деятельности, например, на ее продукт или процесс выполнения задания, тип проблемы (локальная или глобальная), отношение к ошибкам (с исправлением или без исправления ошибок), если ошибки исправляются, то обратная связь может быть разграничена по способу исправления ошибок (прямому или опосредованному).
Типы обратной связи, обусловленные основанием оценки, предполагают определение направленности на аналитический или холистический характер обратной связи, нормоориентированный или критериально-ориентированный характер, также учитывается направленность сравнения (одного ученика в динамике развития или учеников одного класса и т. п.).
Типы обратной связи, обусловленные оценочным средством, включают обратную связь, направленную на интерпретацию степени понимания или непонимания учебного материала (условий задания, темы, способов выполнения и т. п.), интерпретацию степень когнитивной сложности задания и степени сложности учебного материала.
Предлагаемая типология учитывает все компоненты ситуации оценки, а стратегии обратной связи могут варьироваться в зависимости от условий учебного процесса. Кроме того, типы обратной связи при реализации формирующего оценивания могут быть ориентированы на разные уровни использования информации, получаемой в ходе оценивания, то есть учитель, формулируя ключевые для формирующего оценивания вопросы, осуществляет отбор типа обратной связи в зависимости от ее характеристик и реализует ее:
— как далеко ученики уже продвинулись в своей учебе;
— куда им необходимо продвинуться;
— как сделать это наилучшим образом [Assessment ... , 2002].
Таким образом, мы можем сделать вывод о том, что предлагаемая нами типология обратной связи для целей формирующего оценивания может стать основой разработки эффективных стратегий ее реализации. Соотнесение типов и компонентов формирующего оценивания позволяет конкретизировать условия и факторы, определяющие эффективность обратной связи в зависимости от влияния того или иного компонента. Также
появляются более широкие возможности для им-плементации типов обратной связи на разных уровнях формирующего оценивания, что, в свою очередь, требует дополнительных исследований, направленных на выявление стратегий их реализации.
Библиографический список
1. Бодоньи М. А. Иноязычная письменная речь: объекты контроля и оценки : монография. Краснодар : Кубанский гос. ун-т, 2018. 140 с.
2. Коренев А. А. Обратная связь в обучении и педагогическом общении // Rhema. Рема. 2018. № 2. C. 112-127.
3. Погорелова С. Д. Структура оценочной ситуации и ее компоненты / С. Д. Погорелова, А. С. Яковлева // Вестник Челябинского государственного университета. Филологические науки. 2017. № 3 (399). Вып. 105. С. 98-103.
4. Assessment for Learning: 10 principles. Research-based principles to guide classroom practice. Assessment Reform Group (ARG), 2002. URL: http://assessmentreformgroup.files.wordpress.com/2012/0 1/10principles_english.pdf.
5. Bijami M. The Relationship between Teacher's Written Feedback and Student's' Writing Performance: Sociocultural Perspective / M. Bijami, A. Pandian, M. K. M. Singh // International Journal of Education and Literacy Studies. 2016. № 4. Pp. 59-66.
6. Brookhart S. M. How to give to your students Effective Feedback. Alexandria : Association for Supervision and Curriculum Development, 2008. 130 p.
7. Chenga K.-H. The evaluation of different gaming modes and feedback types on game-based formative assessment in an online learning environment / K.-H. Chenga, J.-Ch. Liang, Ch.-Ch. Tsaic // Computers & Education. 2015. V 81. Pp. 259-269. URL: https://doi.org/10.1016/j.compedu.2014.10.013
8. Dawson P. What makes for effective feedback: staff and student perspectives / P. Dawson, M. Henderson, P. Mahoney, M. Phillips, T. Ryan, D. Boud, E. Molloy // Assessment & Evaluation in Higher Education. 2018. No 44(1). Pp. 1-12. URL: https://doi.org/10.1080/02602938.2018.1467877
9. Hattie J. The Power of Feedback / J. Hattie, H. Timperley // Review of Educational Research. 2007. Vol. 77. № 1. Pp. 81-112. URL: DOI: 10.3102/003465430298487
10. Havnes A. Formative assessment and feedback: Making learning visible / A. Havnes, K. Smith, O. Dysthe, K. Ludvigsen // Studies in Educational Evaluation. 2012. № 38. Pp. 21-27. URL: http://dx.doi.org/10.1016/j.stueduc.2012.04.001
11. Hooker T. Transforming teachers' formative assessment practices through ePortfolios // Teaching and Teacher Education. 2017. № 67. Pp. 440-453. URL: http://dx.doi.org/10.1016/j.tate.2017.07.004
12. Johnson G. M. Self-regulation of learning and
preference for written versus audio-recorded feedback by distance education students / G. M. Johnson, A. Cooke // Distance Education. 2016. № 37. Pp. 107-120.
13. Kulhavy R. W. Feedback in written instruction: The place of response certitude / R. W. Kulhavy, W. A. Stock // Educational Psychology Review. 1989. № 1. Pp. 279-308.
14. Kulhavy R. W. Feedback in programmed instruction: historical context and implications for practice' / R. W. Kulhavy, W. Wager // Interactive Instruction and Feedback, Educational Technology / J. V. Dempsey, G. C. Sales (Eds.). NJ: Englewood Cliffs, 1993. Pp. 3-20.
15. Lia Sh. The associations between working memory and the effects of four different types of written corrective feedback / Sh. Lia, S. Roshanb // Journal of Second Language Writing. 2019. № 45. Pp. 1-15. URL: https://doi.org/10.1016/jjslw.2019.03.003
16. Maier U. Effects of a computer-assisted formative assessment intervention based on multiple-tier diagnostic items and different feedback types / U. Maier, N. Wolf, Ch. Randler // Computers & Education. 2016. No. 95. Pp. 85-98. URL: http://dx.doi.org/10.1016Zj.compedu.2015.12.002
17. Masantiah Ch., Pasiphol S., Tangdhanakanond K. Student and feedback: Which type of feedback is preferable? / Ch. Masantiah, S. Pasiphol, K. Tangdhanakanond // Kasetsart Journal of Social Sciences. 2018. 1-6. URL: https://doi.org/10.1016/j.kjss.2018.07.020
18. Rakoczya K. Formative assessment in mathematics: Mediated by feedback's perceived usefulness and students' self-efficacy / K. Rakoczya, P. Pingera, J. Hochweberb, E. Kliemea, B. Schützec, M. Besserd // Learning and Instruction. 2019. V. 60. Pp. 154-165. URL: https://doi.org/10.1016/j.learninstruc.2018.01.004
19. Sánchez-Vera M. Knowledge-Based Systems Semantic Web technologies for generating feedback in online assessment environments / M. Sánchez-Vera, J. T. Femández-Breis, D. Castellanos-Nieves, F. Frutos-Morales, M. P. Prendes-Espinosa // Knowledge-Based Systems. 2012. V 33. Pp. 152-165. URL: https://doi.org/10.1016/j.knosys.2012.03.010
20. Shintani N. Effects of written feedback and revision on learners' accuracy in using two English grammatical structures / N. Shintani, R. Ellis, W. Suzuki // Language Learning. 2014. № 64(1). Pp. 103-131. URL: https://doi.org/10.1016/j.system.2015.01.006
21. Tsaia F.-H. The evaluation of different gaming modes and feedback types on game-based formative assessment in an online learning environment / F.-H. Tsaia, Ch.-Ch. Tsaib, K.-Y. Lin // Computers & Education. 2015. Vol. 81. Pp. 259-269. URL: https ://doi.org/ 10.1016/j.compedu. 2014.10.013
Reference list
1. Bodon'i M. A. Inojazychnaja pis'mennaja rech': ob#ekty kontrolja i ocenki = Foreign language written speech: objects of control and evaluation: monografija. Krasnodar : Kubanskij gos. un-t, 2018. 140 s.
2. Korenev A. A. Obratnaja svjaz' v obuchenii i peda-gogicheskom obshhenii = Feedback in learning and pedagogical communication // Rhema. Rema. 2018. № 2. C. 112-127.
3. Pogorelova S. D. Struktura ocenochnoj situacii i ee komponenty = Evaluation situation structure and components / S. D. Pogorelova, A. S. Jakovleva // Vestnik Chel-jabinskogo gosudarstvennogo universiteta. Filologiches-kie nauki. 2017. № 3 (399). Vyp. 105. S. 98-103.
4. Assessment for Learning: 10 principles. Research-based principles to guide classroom practice. Assessment Reform Group (ARG), 2002. URL: http://assessmentreformgroup.files.wordpress.com/2012/0 1/10principles_english.pdf.
5. Bijami M. The Relationship between Teacher's Written Feedback and Student's' Writing Performance: Sociocultural Perspective / M. Bijami, A. Pandian, M. K. M. Singh // International Journal of Education and Literacy Studies. 2016. № 4. Pp. 59-66.
6. Brookhart S. M. How to give to your students Effective Feedback. Alexandria : Association for Supervision and Curriculum Development, 2008. 130 p.
7. Chenga K.-H. The evaluation of different gaming modes and feedback types on game-based formative assessment in an online learning environment / K.-H. Chenga, J.-Ch. Liang, Ch.-Ch. Tsaic // Computers & Education. 2015. V 81. Pp. 259-269. URL: https://doi.org/10.1016Zj.compedu.2014.10.013
8. Dawson P. What makes for effective feedback: staff and student perspectives / P. Dawson, M. Henderson, P. Mahoney, M. Phillips, T. Ryan, D. Boud, E. Molloy // Assessment & Evaluation in Higher Education. 2018. No 44(1). Pp. 1-12. URL: https://doi.org/10.1080/02602938.2018.1467877
9. Hattie J. The Power of Feedback / J. Hattie, H. Timperley // Review of Educational Research. 2007. Vol. 77. № 1. Pp. 81-112. URL: DOI: 10.3102/003465430298487
10. Havnes A. Formative assessment and feedback: Making learning visible / A. Havnes, K. Smith, O. Dysthe, K. Ludvigsen // Studies in Educational Evaluation. 2012. № 38. Pp. 21-27. URL: http://dx.doi.org/10.1016/j.stueduc.2012.04.001
11. Hooker T. Transforming teachers' formative assessment practices through ePortfolios // Teaching and Teacher Education. 2017. № 67. Pp. 440-453. URL: http://dx.doi.org/10.1016/j.tate.2017.07.004
12. Johnson G. M. Self-regulation of learning and preference for written versus audio-recorded feedback by distance education students / G. M. Johnson, A. Cooke // Distance Education. 2016. № 37. Pp. 107-120.
13. Kulhavy R. W. Feedback in written instruction: The place of response certitude / R. W. Kulhavy, W. A. Stock // Educational Psychology Review. 1989. № 1. Pp. 279-308.
14. Kulhavy R. W. Feedback in programmed instruction: historical context and implications for practice' / R. W. Kulhavy, W. Wager // Interactive Instruction and
Feedback, Educational Technology / J. V. Dempsey, G. C. Sales (Eds.). NJ: Englewood Cliffs, 1993. Pp. 3-20.
15. Lia Sh. The associations between working memory and the effects of four different types of written corrective feedback / Sh. Lia, S. Roshanb // Journal of Second Language Writing. 2019. № 45. Pp. 1-15. URL: https://doi.org/10.1016/jjslw.2019.03.003
16. Maier U. Effects of a computer-assisted formative assessment intervention based on multiple-tier diagnostic items and different feedback types / U. Maier, N. Wolf, Ch. Randler // Computers & Education. 2016. № 95. Pp. 85-98. URL: http://dx.doi.org/10.1016/jxompedu.2015.12.002
17. Masantiah Ch., Pasiphol S., Tangdhanakanond K. Student and feedback: Which type of feedback is preferable? / Ch. Masantiah, S. Pasiphol, K. Tangdhanakanond // Kasetsart Journal of Social Sciences. 2018. 1-6. URL: https://doi.org/10.1016Zj.kjss.2018.07.020
18. Rakoczya K. Formative assessment in mathematics: Mediated by feedback's perceived usefulness and students' self-efficacy / K. Rakoczya, P. Pingera,
J. Hochweberb, E. Kliemea, B. Schützec, M. Besserd // Learning and Instruction. 2019. V 60. Pp. 154-165. URL: https://doi.Org/10.1016/j.learninstruc.2018.01.004
19. Sánchez-Vera M. Knowledge-Based Systems Semantic Web technologies for generating feedback in online assessment environments / M. Sánchez-Vera, J. T. Fernández-Breis, D. Castellanos-Nieves, F. Frutos-Morales, M. P. Prendes-Espinosa // Knowledge-Based Systems. 2012. V. 33. Pp. 152-165. URL: https://doi.org/10.1016Zj.knosys.2012.03.010
20. Shintani N. Effects of written feedback and revision on learners' accuracy in using two English grammatical structures / N. Shintani, R. Ellis, W. Suzuki // Language Learning. 2014. № 64(1). Pp. 103-131. URL: https ://doi.org/10.1016/j.system.2015.01.006
21. Tsaia F.-H. The evaluation of different gaming modes and feedback types on game-based formative assessment in an online learning environment / F.-H. Tsaia, Ch.-Ch. Tsaib, K.-Y. Lin // Computers & Education. 2015. Vol. 81. Pp. 259-269. URL: https://doi.org/10.1016/j.compedu.2014.10.013
