CC BY
46
ПЕДАГОГИКА ВЫСШЕЙ ШКОЛЫ HiGHER EDUCATiON PEDAGOGY
\
Высшее образование в России
Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online)
http://vovr.elpub.ru
Концептуализация формативного оценивания в высшем образовании: результаты тематического анализа
Обзорная научная статья
DOI: 10.31992/0869-3617-2021-30-11-96-109
Никитин Иван Вячеславович - эксперт лаборатории оценки профессиональных компетенций и развития взрослых Института урбанистики и глобального образования МГПУ, исполнительный секретарь ЕАОКО, ORCID: 0000-0001-5906-2538, [email protected] Московский городской педагогический университет, Москва, Россия Адрес: 119261, г. Москва, ул. Панфёрова, 14
Евразийская Ассоциация оценки качества образования, Москва, Россия Адрес: 119019, г. Москва, ул. Новый Арбат, 21
Белолуцкая Анастасия Кирилловна - канд. психол. наук, зав. лабораторией оценки профессиональных компетенций и развития взрослых Института урбанистики и глобального образования МГПУ, ORCID: 0000-0001-8184-7411, [email protected] Московский городской педагогический университет, Москва, Россия Адрес: 119261, Москва, ул. Панфёрова, 14
Аннотация. Оценивание является неотъемлемой частью учебного процесса, важность которой сложно переоценить. Вместе с тем на уровне высшего образования оценивание редко становится объектом инноваций. В отличие от школы, где в международной практике довольно часто встречаются процедуры формативного оценивания, непрерывного и встроенного в обучение, университетские оценочные процедуры в своём большинстве являются суммативными, редкими и оторванными от образовательных потребностей учащихся. В настоящей статье на материале российских и зарубежных исследований рассматриваются некоторые формативные оценочные процедуры, которые используются в контексте высшего образования. Проведённый тематический анализ отобранных работ показывает различия в концептуализации формативного оценивания в отечественной и зарубежной традициях, особенно в части обеспечения партисипативности процедур, обратной связи с учащимся, а также того, насколько обособленными друг от друга являются формативные и суммативные процедуры.
Ключевые слова: формативное оценивание, формирующее оценивание, суммативное оценивание, обратная связь, партисипативное оценивание
Для цитирования: Никитин И.В, Белолуцкая А.К. Концептуализация формативного оценивания в высшем образовании: результаты тематического анализа // Высшее образова-
ние в России. 2021. Т. 30. № 11. С. 96-109. DOI: 10.31992/0869-3617-2021-30-11-96-109
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Никитин И.В., Белолуцкая А.К., 2021.
(cc)
Formative Assessment Conceptualizations in Higher Education:
Thematic Analysis Results
Review article
DOI: 10.31992/0869-3617-2021-30-11-96-109
Ivan V. Nikitin - Expert of the Laboratory for the Assessment of Professional Competencies
and Adult Development of the Institute of Urban Studies and Global Education of Moscow City
University, Executive secretary of the EAOKO, ORCID: 0000-0001-5906-2538, [email protected]
Moscow City University, Moscow, Russia
Address: 14, Panferova str., Moscow, 119261, Russian Federation
Eurasian Association for Educational Assessment, Moscow, Russia
Address: 21, Novyi Arbat str., Moscow, 119019, Russian Federation
Anastasia K. Belolutskaya - Cand. Sci. (Psychology), Head of the Laboratory for the Assessment of Professional Competencies and Adult Development ofthe Institute of Urban Studies and Global Education of Moscow City University, ORCID: 0000-0001-8184-7411, [email protected] Moscow City University, Moscow, Russia Address: 14, Panferova str., Moscow, 119261, Russian Federation
Abstract. Although assessment is integral to education, it is quite uncommon to be a focal point of complex educational innovations. Unlike schools, which employ a range of continuous formative assessment procedures, universities commonly rely on summative methods that are likely to be discrete and reluctant to students' needs and experiences. Based on the study of 20 foreign and Russian research papers, this article analyzes the formative assessment practices that are found to be employed in universities. The analysis provides the results that shows the gaps between formative assessment concepts employed by Russian and English-writing authors. The study concludes that the two conceptualizations differ most prominently in how formative-summative procedures are divided, the formative feedback is accomplished, and participativity is provided.
Keywords: formative assessment, summative assessment, formative feedback, participativity
Cite as: Nikitin, I.V., Belolutskaya, A.K. (2021). Formative Assessment Conceptualizations in Higher Education: Thematic Analysis Results. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 30, no. 11, pp. 96-109, doi: 10.31992/0869-3617-2021-30-11-96-109 (In Russ., abstract in Eng.).
Идея о том, что оценивание является ствием общей разумности разработчиков неотъемлемой частью образования, столь программ, сколько результатом полуве-глубоко укоренена в педагогической науке ковой операционализации педагогической и практике, что кажется просто проявлени- теории Базиля Бернштейна, описывающей ем здравого смысла [1]. Едва ли найдётся образование как результат взаимодей-учебная программа или образовательный ствия трёх систем сообщений: содержа-стандарт, которые бы не включали в себя ния (curriculum), педагогики (pedagogy) и разделы, посвящённые учебному содер- оценивания (assessment) [2]. В рамках со-жанию, педагогическим практикам и оце- временных интерпретаций классической ночным процедурам. В действительности теории Бернштейна предполагается, что же эта ситуация является не столько след- система оценивания сообщает об образова-
нии, возможно, больше и более точно, чем две другие системы [3].
Сколь важной для современной педагогической науки явилась теория Бернштей-на, столь удивительным становится для исследователей обнаружение ситуации, когда системные образовательные инновации игнорируют вопрос о наличии какой-либо связи между оцениванием и педагогикой или учебным содержанием [1]. В высшем образовании совершенствование системы оценивания зачастую видится как существенно менее приоритетная задача в сравнении с развитием педагогических практик и учебного содержания, вследствие чего университетские подходы к оцениванию с точки зрения разнообразия и новизны существенно отстают, например, от школьных [4]. Из-за возникающего в связи с этим ограничения в ресурсах, выделяемых на образовательное оценивание, в университетах доминируют суммативные практики оценивания: редкие оценочные мероприятия с высокими ставками, ориентированные скорее на отсев студента, чем на какой-либо образовательный результат [5].
Доминирование в высшем образовании суммативных практик закономерно означает отсутствие систематического формативного (в отечественной педагогической традиции - «формирующего»,1 или «развивающего») оценивания в университетах, причём как в классических, так и в исследовательских [6]. Возникающий при этом контраст на переходе из школы (где, напомним, чаще практикуется формативное оценивание) в университет приводит к разоча-
1 В русскоязычных источниках термины «формирующее» / «формативное» (как и «оценивание» / «оценка») синонимичны: при использовании одного второй часто указывается в скобках. Между тем предпочтительным является термин «формативное»: в электронной библиотеке eLibrary он встречается почти в четыре раза чаще, чем «формирующее» (694 против 180 публикаций при поиске в заголовках статей и в ключевых словах на момент написания данной статьи).
рованию и снижению продуктивности студентов, которые интерпретируют недостаток формативных практик как отсутствие интереса к себе и своему образованию со стороны преподавателей [7]. Вполне обоснованным на фоне этого выглядят выводы некоторых авторов о том, что недостаток формативного оценивания связан с повышенными показателями отсева среди студентов, и особенно - среди первокурсников [8]. И хотя мы не располагаем результатами подобных исследований, проведённых в российском контексте, можно предположить, что отечественная система высшего образования страдает от тех же проблем, связанных с недостатком формативных практик, что и зарубежные.
Таким образом, в научной литературе утверждается дефицит практик формативного оценивания в высшем образовании, а также их отличие (хотя бы с точки зрения разнообразия) от практик, реализующихся в современной школе. В сложившейся ситуации представляет особый интерес изучение тех формативных практик, которые по различным причинам всё же используются вузами в ущерб более приоритетным в контексте высшего образования практикам суммативного оценивания. Настоящая работа ставит целью рассмотреть то, какие общие черты присущи вузовским практикам формативного оценивания в российских и зарубежных университетах. Мы рассчитываем, что обобщение и анализ отличительных характеристик подходов к формативному оцениванию, принятых в высшем образовании в России и за рубежом, будут содействовать проведению дальнейших исследований и разработок, направленных на развитие вузовских систем оценки качества образования.
Метод исследования и использованные данные
Для достижения вышеуказанной цели и ответа на поставленные вопросы в рамках данной работы были проанализированы
Таблица
Выборка работ, послуживших материалом для исследования
Table
российские и зарубежные научные источники, опубликованные в период с 2001 по 2021 гг. Первоначальный поиск источников осуществлялся при помощи поисковых запросов по ключевым словам в базах научного цитирования Web of Science, Scopus и РИНЦ. При формировании выборки кейсов (научных работ) для проведения последующего анализа использовались следующие критерии: 1) в работе должны быть описаны конкретные методы, техники или практики формативного оценивания; 2) контекстом применения данных методов, техник или практик должно быть высшее образование; 3) общая выборка должна включать работы, оперирующие различными исследовательскими дизайнами и мето-
дами. Всего в рамках анализа было изучено 20 источников на английском (включая четыре обзора литературы, четыре кейс-анализа, девять кросс-секционных, два экспериментальных и одно квази-экспе-риментальное исследование) и 10 источников на русском языках (два обзора, шесть кейс-анализов, одно экспериментальное и одно квази-экспериментальное исследование). В таблице представлено распределение источников по группам в соответствии с использованными авторами исследовательскими дизайнами.
Для дальнейшей работы с группами источников был использован метод тематического анализа Браун и Кларк [38], адаптированный в рамках качественных дескриптивных исследований в социальных науках вообще и науках об образовании в частности [39]. Среди прочих достоинств, метод позволяет оперировать разнородными источниками данных, что является существенным преимуществом с точки зрения ориентации настоящего исследования на анализ публикаций с различными исследовательскими дизайнами. Его недостатком, как и у всех методов, используемых для анализа набора кейсов, является связанный с ограниченностью выборки риск ненадёжности полученных выводов.
Результаты исследования
С точки зрения содержания перечисленных выше работ можно разделить их на следующие группы в соответствии с исследовательскими целями и задачами.
1. Установление связи между участием в процедурах формативного оценивания и образовательными достижениями студентов. В качестве зависимой переменной (индикатора образовательных достижений) в рассмотренных работах выступали результаты суммативного оценивания, а именно итоговая оценка, полученная студентом за контрольную работу, учебный курс или модуль, в рамках которого применялась оценочная процедура [24; 27; 28; 31; 33; 37]. В указанной
Sampling of articles that were used as a basis for research
Дизайн исследования Язык публикации
Русский Английский
Обзор литературы [9] [11]
[10] [12]
[13]
[14]
Анализ кейса [15] [21]
[16] [22]
[17] [23]
[18] [7]
[19]
[20]
Кросс-секционный [24]
[25]
[26]
[27]
[28]
[29]
[30]
[31]
[32]
Экспериментальный [33] [34] [35]
Квазиэкспериментальный [36] [37]
группе работ абсолютно всеми исследователями была установлена взаимосвязь между формативными процедурами и суммативны-ми результатами - от слабой до весьма выраженной.
2. Анализ отношения участников процедур формативного оценивания (студентов, преподавателей) к данным процедурам. В большом количестве рассмотренных работ в качестве одного из преимуществ формативных оценочных практик в сравнении с суммативными отмечается их потенциальная способность к повышению вовлечённости студентов в учебный процесс вообще и в оценочное мероприятие в частности. В связи с этим в ряде работ в качестве вторичных исследовательских задач выделяется анализ отношений студентов к участию в оценочной практике, результаты которой являются основными предметом изучения авторов данных работ [24; 25]. Вместе с тем в рамках некоторых из рассмотренных исследований основным фокусом являются такие вопросы, как оценка студентами удовлетворённости и пользы от участия в процедуре [32; 34], различия в понимании студентами особенностей формативного подхода к образовательному оцениванию [23; 30] и отношение студентов к новым для них формативным процедурам [7; 29] или принципам их проведения [21].
3. Анализ результатов и особенностей апробации новой процедуры или технологии формативного оценивания. Данная тема так или иначе прослеживается в большинстве исследований, за исключением работ обзорного характера, поскольку природа прикладного исследования в науках об образовании предполагает проведение педагогического эксперимента или апробацию новой методики. Ряд работ, однако, концентрируются исключительно на отдельной процедуре и тех изменениях, которые произошли в результате её применения [24-26; 36].
4. Изучение используемых или доступных для использования в определённом об-
разовательном контексте процедур формативного оценивания. В рамках данной темы рассматриваются преимущества и недостатки формативных техник с точки зрения их соответствия учебным целям, задачам или различным характеристикам образовательного контекста. В частности, авторами исследований рассматриваются такие вопросы, как сочетание формативного оценивания и игрового подхода в образовании [14; 35], особенности формативных практик неформального [11] и онлайн-оценивания [13; 22], особенности формативного оценивания в рамках педагогической [12; 15], военной [16] и лингвистической подготовки [10].
5. Презентация и обсуждение авторских методик формативного оценивания. В данную группу мы отнесли ряд работ российских авторов, в которых проблематично определить основные атрибуты исследования (цели, задачи, методы) и которые посвящены последовательному описанию разработанных авторами оценочных процедур [18; 19] или систем [9; 17; 20], использующих принципы формативного оценивания.
В результате проведённого анализа перечисленных работ были определены следующие повторяющиеся тематические линии.
Определение формативного через сум-мативное. Анализ зарубежных источников показывает, что основным подходом к концептуализации формативного оценивания является его различение с сумма-тивным оцениванием. В самом общем виде это может означать, что к суммативным формам оценивания авторами относятся те подходы и модели, которые служат главным образом для выявления формального достижения результата, заданного образовательным стандартом (например, правильный ответ на поставленный вопрос или решение учебной задачи); под формативным оцениванием в этом случае понимаются все прочие подходы и модели [28; 35]. Большинство зарубежных авторов также используют предложенное Блеком и Вил-лиамом различение между формативным
оцениванием как оцениванием для обучения (assessment for learning) и сумматив-ным как оцениванием собственно обучения (assessment of learning) [40].
Такой подход к определению формативного оценивания, в сущности, совпадает с тем, как оно противопоставляется сумма-тивному оцениванию в русскоязычной научной и научно-практической литературе. Например, И.С. Фишман и Г.Б. Голуб отмечают: «Суммирующая(внешняя)оценкаори-ентирована на всю совокупность учащихся (класс, параллель, все школьники страны данного возраста). Она призвана единообразно зафиксировать уровень достижений учащегося по итогам освоения конкретного содержания образования. Внешнее оценивание в основном производится с помощью нормативно-ориентированных тестов (баллы, полученные учащимся, интерпретируются относительно нормы соответствующим образом обоснованных статистически полученных значений выполнения данного теста репрезентативной выборкой испытуемых)... Внутреннее (формирующее) оценивание предполагает оценку достижений учащихся учителем, который их обучает, то есть человеком, находящимся внутри процесса обучения тестируемых учащихся. Этот способ нацелен на определение индивидуальных достижений каждого учащегося и не предполагает как сравнения результатов, продемонстрированных разными учащимися, так и административных выводов по результатам обучения испытуемых. Формирующей данная оценка называется потому, что она ориентирована на конкретного ученика, призвана выявить пробелы в освоении учащимся элемента содержания образования с тем, чтобы восполнить их с максимальной эффективностью» [41, p. 12].
Таким образом, подчёркивается положее-ние оценочных процедур по отношению к учебному процессу: внутреннее (неразрывно связанное с собственно обучением) - у формативного оценивания, и внешнее (осу-
ществляемое по отношению к бенчмаркам, заданным извне учебного процесса) - у суммативного. Похожая дихотомия содержится у М.А. Пинской: «Если оценивание используется для завершающей оценки в конце, оно носит название суммативного (итогового). Если оно служит для модификации курса, пока он находится в процессе развития, оно называется формативным (формирующим). Формирующее оценивание (formative assessment) - проводится в ходе совершенствования или коррекции определённой учебной программы (курса, цикла). Как правило, осуществляется тем, кто реализует данную программу. Но может проводиться внешним экспертом». И далее там же: «Формирующее (внутри-классное) оценивание: центрировано на ученике; направляется учителем; разносторонне результативно; формирует учебный процесс; определено контекстом; непрерывно» [42].
Формативное оценивание и обратная связь. Противопоставление суммативному оцениванию - не единственный подход, используемый в зарубежной литературе для определения сущности формативного оценивания. П. Блек и Д. Виллиам [43] предлагают считать оценивание формативным в той степени, в какой данные об образовательных достижениях учащихся накапливаются, интерпретируются и используются педагогами и самими учащимися для принятия решений о следующих шагах в рамках образовательного процесса, которые с высокой вероятностью будут более правильными и более фундированными, чем решения, принятые в отсутствие таких данных. При этом инструменты, обеспечивающие накопление, интерпретацию и использование данных, принято определять в терминах «обратной связи» между оцениваемым (студентом) и оценщиком (преподавателем / тьютором / ментором, другими учащимися или самим студентом в рамках самооценивания) [21; 34].
Обратную связь можно назвать определяющей характеристикой формативного
оценивания, как оно понимается в зарубежной литературе. Согласно В. Крисп и К. Уорд [24], формативное оценивание (результаты которого не учитываются в определении итоговой оценки) направлено главным образом на совершенствование учебного процесса посредством выстраивания особой обратной связи с учащимся. П. Блек и Д. Вильям [40] отмечают, что наиболее полезной формой обратной связи являются конкретные комментарии, подчёркивающие сильные и слабые стороны проделанной работы, а также способы улучшить её в будущем. При этом можно сказать, что существует определённый консенсус среди исследователей по отношению к тому, как должна быть организована качественная обратная связь в рамках формативного оценивания, а именно:
• помогать в определении критериев высокой учебной результативности (good performance);
• развивать способности к самооцениванию;
• предоставлять студентам (высоко) качественную информацию об учебных результатах;
• поощрять диалог между преподавателем и студентом, а также между студентами;
• повышать позитивную эмоциональную мотивацию и самооценку;
• способствовать устранению разрыва между текущей и желаемой результативностью;
• информировать преподавателя в части принятия педагогических решений [21; 44].
Важной чертой формативной обратной связи является её встроенность в учебный процесс, нацеленность на создание непрерывного потока информации о студенте и его образовательных результатах - в противовес суммативному оцениванию, которое часто реализуется как входной или выходной тест, то есть как мероприятие, организационно оторванное от учебного процесса [45]. Согласно П. Блеку и Д. Вильяму [40], частота обратной связи в рамках формативного оценивания является
одним из ключевых факторов, определяющих качество образовательных результатов. Некоторые исследователи предлагают конкретные частотные интервалы, увеличение которых ощутимо снижает эффективность формативного оценивания. Так, Д. Фишер и Н. Фрей [46] считают, что он не должен превышать 15 минут.
Партисипативность формативного оценивания. Примечательно, что принципиальный подход к определению сущности формативного оценивания в зарубежных источниках не меняется при переходе от школьного к университетскому уровню образования. Однако можно заметить, что большинство выявленных в рамках анализа техник формативного оценивания в вузах относятся к партисипативной категории (т.е. осуществляются не педагогом, а учащимся по отношению к себе самому (самооценивание) или к другим студентам (горизонтальное оценивание). Преобладание в высшем образовании партисипативных форматов отмечается исследователями, например, группой испанских авторов [31], которые указывают, что студенты (особенно первокурсники) бывают не готовы к снижению роли преподавателей в формативном оценивании и к увеличению лежащей на них ответственности за оценивание собственных образовательных результатов.
Формативное оценивание как удобный контекст для новых технологий. Существенная часть исследований в области формативного оценивания (7 из 20 рассмотренных зарубежных исследований) связана с анализом применения ИК-технологий и их влияния на оценочные процедуры, инструменты и образовательные результаты. Использование ИКТ в формативном оценивании доказало свою эффективность в части развития мотивации студентов и эффективности освоения новых знаний [35]. При этом крайне важным фактором остаётся интерактивный характер оценивания, в рамках которого учащийся мог бы получить обратную связь так часто, быстро
и развёрнуто, как это обычно возможно в рамках оценивания в формате «лицом к лицу» [14]. Авторы статей об ИКТ в формативном оценивании отмечают, что современные технологии открывают новые возможности формативного оценивания, которые крайне сложно обеспечить в рамках более традиционных форматов:
• создание уникальных сеттингов, в которых происходит оценивание, в том числе за счёт приближения их к реальным условиям практической деятельности (компьютерные симуляторы, виртуальные аватары);
• автоматизация обработки и сокращение времени для подготовки обратной связи (возможность моментальной выдачи рекомендаций после завершения оценочной процедуры);
• программируемые сценарии проведения оценивания в совокупности с широкими возможностями для их адаптации «на лету» к способностям каждого студента, что позволяет предоставлять предельно конкретную и актуальную обратную связь.
Выводы
Обращая внимание на различия в подходах к концептуализации формативного оценивания в отечественных и зарубежных источниках, мы должны прежде всего отметить существенную разницу между самими источниками, целями, задачами описываемых исследований и подходами к их дизайну. В целом можно заключить, что в отечественной выборке по исследованной нами проблеме доминирует описание авторских разработок - методик, применяемых отдельными авторами в рамках образовательного процесса. При этом содержание рассмотренных русскоязычных статей зачастую не позволяет в полной мере реконструировать то, как автор интерпретирует понятие и сущность формативного оценивания, и почему считает ту или иную технику формативной.
Что касается обратной связи как неотъемлемой части формативного оценивания, меньшинство рассмотренных русскоязыч-
ных работ акцентируют внимание на этом вопросе. В некоторых работах обратная связь с обучающимся не рассматривается в принципе (например, у Е.Н. Корневой [36] и Р. Суфиаха [17]), в других - явно не соответствует критериям обратной связи, принятых в зарубежных исследованиях (например, у Е.Б. Каныгиной и О.А. Поповой [16]).
Возможно, наиболее заметным различием между отечественной и зарубежной традициями разработки оценочных процедур является степень обособленности между формативными и суммативными процедурами. В подавляющем большинстве проанализированных англоязычных статей рассмотренные процедуры формативного оценивания не направлены на балльную оценку проделанной студентом работы (т.е. не несут в себе суммативного компонента). Этот факт, а также подход к построению формативной обратной связи сближают интерпретацию formative assessment скорее с «безотметочным оцениванием» в отечественной педагогической традиции, чем с собственно «формативным»/«формирующим» оцениванием. Так, рассуждая о сущности безотметочного оценивания, Г.А. Цукерман отмечает, что «когда учитель оценивает ответ ученика, он сообщает прежде всего своё личное мнение о конкретной работе конкретного ребёнка [47]. Когда учитель ставит отметку, на первый план выдвигается общегосударственный стандарт качества знаний, умений, навыков, чрезвычайно удобный для внешнего контроля над учебными заведениями, но выхолащивающий главное и в учительском, и в ученическом труде - сам процесс овладения знаниями, умениями, навыками». В отечественной практике, согласно проведённому анализу, можно наблюдать частое совмещение двух форм, при котором оценивание нацелено не только и не столько на выстраивание формативной обратной связи, но и на выявление в рамках процедуры суммативного образовательного результата (выставление отметки).
Литература
1. Hayward L. et al. Editorial // The Curriculum Journal. John Wiley & Sons, Ltd. 2016. Vol. 27. No. 2. P. 169-171. DOI: https://doi.org/l0.1080 /09585176.2016.1179526
2. Bernstein B. Class, Codes, and Control. Towards a theory of educational transmissions. London : Routledge and Kegan Paul, 1975.
3. Dawn P., Hunter L. (Dis)Abling the (health and) physical in education: ability, curriculum and pedagogy // Sport, Education and Society. 2006. Vol. 11. No. 3. P. 205-209. DOI: https://doi. org/10.1080/13573320600813358
4. Bloxham S, Boyd P. Developing effective assessment in higher education: A practical guide. New York : Open University Press, 2007. 270 p.
5. Knight P.T. Summative assessment in higher education: Practices in disarray // Studies in Higher Education. 2002. Vol. 27. № 3. P. 275-286. DOI: https://doi.org/10.1080/03075070220000662
6. Wu Q, Jessop T. Formative assessment: Missing in action in both research-intensive and teaching focused universities? // Assessment and Evaluation in Higher Education. 2018. Vol. 43. No. 7. P. 1019-1031. DOI: https://doi.org/10.1080/02602 938.2018.1426097
7. Beaumont C, O'Doherty M, Shannon L. Reconceptualising assessment feedback: A key to improving student learning? // Studies in Higher Education. Routledge, 2011. Vol. 36. No. 6. P. 671-687. DOI: https://doi.org/10.1080/0307 5071003731135
8. Yorke M. Formative assessment and its relevance to retention // Higher Education Research & Development. Routledge, 2001. Vol. 20. No. 2. P. 115-126. DOI: https://doi.org/10.1080/ 758483462
9. Чандра М.Ю, Байкина Е.А. Стратегии оценивания компетенций студентов в процессе освоения образовательной программы вуза // Известия ВГПУ. 2018. Т. 7. № 130. С. 10-15.
10. Викулина М.А, Вилкова, Л.В. Элементы методики формирующего оценивания учебных достижений в овладении иностранным языком обучающимися вуза // Вестник ПНИПУ. Проблемы Языкознания и Педагогики. 2019. № 2. C. 131-139. DOI: https://doi. org/10.15593/2224-9389/2019.2.12
11. Ruiz-Primo M.A. Informal formative assessment: The role of instructional dialogues in assessing students' learning // Studies in Education-
al Evaluation. 2011. Vol. 37. No. 1. P. 15-24. DOI: https://doi.Org/l0.1016/j.stueduc.2011.04.003
12. Tillema H. Formative Assessment in Teacher Education and Teacher Professional Development // Peterson P., Baker E., McGaw B. (Eds). International Encyclopedia of Education. Third Edition. Elsevier Ltd., 2010. P. 563-571. DOI: https://doi.org/10.1016/B978-0-08-044894-7.01639-0
13. Gikandi J.W, Morrow D, Davis N.E. Online formative assessment in higher education: A review of the literature // Computers & Education. 2011. Vol. 57. No. 4. P. 2333-2351. DOI: https:// doi.org/10.1016/j.compedu.2011.06.004
14. Broussard M.J.S. Using Games to Make Formative Assessment Fun in the Academic Library // The Journal of Academic Librarianship.
2014. Vol. 40. No.1. P. 35-42. DOI: https://doi. org/10.1016/j.acalib.2012.12.001
15. Воронина М.А, Зубова С.П, Кочетова Н.Г. Методики формирующего оценивания как инструмент развития поведенческо-рефлексив-ного компонента профессиональной культуры будущего педагога // Самарский научный вестник. 2019. Т. 8. № 1 (26). С. 243-248. DOI: https://doi.org/10.24411/2309-4370-2019-11305
16. Каныгин Е.Б, Попова О.А. Использование формирующего оценивания в условиях про-блемно-деятельностного обучения в военном вузе // Поволжский педагогический вестник.
2015. № 4 (9). С. 129-135.
17. Суфиах Р. Групповая деятельность студентов как форма организации формирующего оценивания // Преподаватель XXI век. 2015. № 1. С. 90-95.
18. Курьян М.Л. Содержательная сторона обратной связи в процессе обучения // Образование и саморазвитие. 2017. Т. 12. № 1. С. 56-63. DOI: https://doi.org/10.26907/esd12.L05
19. Абакарова Н.Г. Формативное оценивание как способ повышения мотивации студентов языковых вузов // Романские тетради: Сборник статей памяти профессора Аллы Викторовны Щепиловой / Под ред. Л.Г. Викуловой, Л.В. Разумовой. М. : МГПУ, 2020. С. 39-46.
20. Землянская Н.Е. Критериальное оценивание образовательных достижений студентов вуза // Педагогика. Вопросы теории и практики. 2020. Т. 5. № 2. С 142-147. DOI: https://doi. org/10.30853/pedagogy.2020.2.2
21. Hansen G. Formative assessment as a collaborative act. Teachers' intention and students' experi-
ence: Two sides of the same coin, or? // Studies in Educational Evaluation. 2020. Vol. 66. Article no. 100904. DOI: https://doi.org/l0.1016/j.stue-duc.2020.100904
22. Fernando W. Moodle quizzes and their usability for formative assessment of academic writing // Assessing Writing. 2020. Vol. 46. Article no. 100485. DOI: https://doi.org/l0.1016/jj.asw.2020.100485
23. Duers L.E, Brown N. An exploration of student nurses' experiences of formative assessment // Nurse Education Today. 2009. Vol. 29. No. 6. P. 654-659. DOI: https://doi.org/10.1016/j. nedt.2009.02.007
24. Crisp V, Ward C. The development of a formative scenario-based computer assisted assessment tool in psychology for teachers: The PeP-CAA project // Computers & Education. 2008. Vol. 50. No. 4. P. 1509-1526. DOI: https://doi. org/10.1016/j.compedu.2007.02.004
25. Buldu M, Buldu N. Concept mapping as a formative assessment in college classrooms: Measuring usefulness and student satisfaction // Procedia -Social and Behavioral Sciences. 2010. Vol. 2. No. 2. P. 2099-2104. DOI: https://doi.org/ 10.1016/j.sbspro.2010.03.288
26. Costa D.S.J, Mullan B.A, Kothe E.J, Butow P. A web-based formative assessment tool for Master's students: A pilot study // Computers & Education. 2010. Vol. 54. No. 4. P. 1248-1253. DOI: https://doi.org/10.1016/j.compedu.2009.11.011
27. Mohamadi Z. Comparative effect of online sum-mative and formative assessment on EFL student writing ability // Studies in Educational Evaluation. 2018. Vol. 59. P. 29-40. DOI: https://doi. org/10.1016/j.stueduc.2018.02.003
28. Wilson K, Boyd C, Chen L, Jamal S. Improving student performance in a first-year geography course: Examining the importance of computer-assisted formative assessment // Computers & Education. 2011. Vol. 57. No. 2. P. 1493-1500. DOI: https://doi.org/10.1016/j.com-pedu.2011.02.011
29. Ghiatau R, Diac G., Curelaru V. Interaction between summative and formative in higher education assessment: students' perception // Procedia - Social and Behavioral Sciences. 2011. Vol. 11. P. 220-224. DOI: https://doi.org/10.1016/j. sbspro.2011.01.065
30. MacLellan E. Assessment & Evaluation in Higher Education Assessment for Learning: The differing perceptions of tutors and students // Assessment & Evaluation in Higher Education.
2001. Vol. 26. No. 4. P. 307-318. DOI: https://doi. org/10.1080/0260293012006346
31. Pla-Campas G, Arumi-Frat J., Senye-Mir A.M., Ramirez E. Effect of Using Formative Assessment Techniques on Students' Grades // Procedia - Social and Behavioral Sciences. 2016. Vol. 228. P. 190-195. DOI: https://doi.org/10.1016/j. sbspro.2016.07.028
32. Sulaiman N.D, Shorbagi S.I, Abdalla N.Y, Daghistani M.T, Mahmoud I.E., Al-Moslih A.M. Group OSCE (GOSCE) as a formative clinical assessment tool for pre-clerkship medical students at the University of Sharjah // Journal of Taibah University Medical Sciences. 2018. Vol. 13. No. 5. P. 409-414. DOI: https://doi. org/10.1016/j.jtumed.2018.06.003
33. Титова С.В, Данилина Е.К.. Экспериментальное внедрение модели организации формирующего и текущего контроля письменно-речевых умений на базе мобильных технологий студентов неязыкового вуза // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2018. Т. 23. № 172. С. 35-42. DOI: https://doi.org/10.20310/1810-0201-2018-23-172-35-42
34. Van der Kleij F.M. Evaluation of the 'Feedback Engagement Enhancement Tool' to examine and enhance students' engagement with feedback on their writing // Studies in Educational Evaluation. 2020. Vol. 66. Article no. 100907. DOI: https://doi.org/10.1016/j.stueduc.2020.100907
35. Hooshyar D, Ahmad R.B, Yousefi M, Fathi M, Horng S.-J, Lim H. Applying an online game-based formative assessment in a flowchart-based intelligent tutoring system for improving problem-solving skills // Computers & Education. 2016. Vol. 94. P. 18-36. DOI: https://doi. org/10.1016/j.compedu.2015.10.013
36. Корнева Е.Н. Реализация формирующего оценивания в контексте развития самооценки студентов // Проблемы современного образования: Интернет-журнал. 2017. № 6. С. 64-68. URL: http://www.pmedu.ru/images/2017-6/pme-du2017-6-6.pdf (дата обращения: 04.10.2021).
37. Mackintosh-Franklin C. An evaluation of formative feedback and its impact on undergraduate student nurse academic achievement // Nurse Education in Practice. 2021. Vol. 50. Article no. 102930. DOI: https://doi.org/10.1016/j. nepr.2020.102930
38. Braun V, Clarke V. Using thematic analysis in psychology // Qualitative Research in Psycholo-
gy. Routledge, 2006. Vol. 3. No. 2. P. 77-101. DOI: No. 1. P. 5. DOI: https://doi.org/10.1007/s11092-
https://doi.org/10.1191/1478088706qp063oa 008-9068-5
39. Peel K.L. A beginner's guide to applied educa- 44. Nicol D.J, Macfarlane-Dick D. Forma-tional research using thematic analysis // Prac- tive assessment and self-regulated learning: A tical Assessment, Research, and Evaluation. model and seven principles of good feedback 2020. Vol. 25. DOI: https://doi.org/10.7275/ practice // Studies in Higher Education. 2006. ryr5-k983 Vol. 31. No. 2. P. 199-218. DOI: https://doi.
40. Black P, Wiliam D. Assessment and Classroom org/10.1080/ 03075070600572090
Learning // Assessment in Education: Principles, 45. Angelo T, Cross P. Classroom Assessment
Policy & Practice. 1998. Vol. 5. No. 1. P. 7-74. Techniques: A Handbook for College Teachers.
DOI: https://doi.org/10.1080/096959598005010 Wiley, 1993. 448 p.
41. Фишман И.С, Голуб Г.Б. Формирующая 46. Fisher D, Frey N. Checking for Understand-оценка образовательных результатов уча- ing: Formative Assessment Techniques for Your щихся: Методическое пособие. Самара : Учеб- Classroom. Association for Supervision and Cur-ная литература, 2007. 244 с. riculum Development, 2007. 158 p.
42. Пинская М.А. Формирующее оценивание: 47. Цукерман Г.А. Оценка без отметки. Рига : оценивание в классе. М. : Логос, 2010. 264 с. Эксперимент, 1999. 113 с.
43. Black P., Wiliam D. Developing the theory of
formative assessment // Educational ^isrart, Статья поступила в редакцию 14.05.21
Evaluation and Accountability. 2009. V°L 21. Принята к публикации 04.10.21
References
1. Hayward, L., Higgins, S., Livingston, K., Wyse, D. (2016). Editorial. The Curriculum Journal, Vol. 27, no. 2, pp. 169-171, doi: https://doi.org/10.1080/09585176.2016.1179526
2. Bernstein, B. (1975). Class, Codes, and Control. Towards a Theory of Educational Transmissions (Vol. 3). Routledge and Kegan Paul.
3. Dawn, P., Hunter, L. (2006). (Dis) Abling the (Health and) Physical in Education: Ability, Curriculum and Pedagogy. Sport, Education and Society. Vol. 11, no. 3, pp. 205-209, doi: https:// doi.org/10.1080/13573320600813358
4. Bloxham, S., Boyd, P. (2007). Developing Effective Assessment in Higher Education: A Practical Guide. N.Y. : Open University Press, 270 p.
5. Knight, P.T. (2002). Summative Assessment in Higher Education: Practices in Disarray. Studies in Higher Education. Vol. 27, no. 3, pp. 275-286, doi: https://doi.org/10.1080/03075070220000662
6. Wu, Q., Jessop, T. (2018). Formative Assessment: Missing in Action in Both Research-Intensive and Teaching Focused Universities? Assessment and Evaluation in Higher Education. Vol. 43, no. 7, pp. 1019-1031, doi: https://doi.org/10.1080/02602938.2018.1426097
7. Beaumont, C., O'Doherty, M., Shannon, L. (2011). Reconceptualising Assessment Feedback: A Key to Improving Student Learning? Studies in Higher Education. Vol. 36, no. 6, pp. 671-687, doi: https://doi.org/10.1080/03075071003731135
8. Yorke, M. (2001). Formative Assessment and Its Relevance to Retention. Higher Education Research & Development. Vol. 20, no. 2, pp. 115-126, doi: https://doi.org/10.1080/758483462
9. Chandra, M.J., Baikina, E.A. (2018). Strategies for Assessing Students' Competences in the Process of Mastering a University Educational Programme. Izvestiya VGPU = Ivzestia of the Volgograd State Pedagogical University. Vol. 7, no. 130, pp. 10-15. (In Russ., abstract in Eng.).
10. Vikulina, M.A., Vilkova, L.V. (2019). Elements of the Methods for Formative Assessment of Educational Achievements in Mastering a Foreign Language by University Students. Vestnik PNIPU. Problemy Yazykoznaniya i Pedagogiki = PNRPULinguistics and Pedagogy Bulletin.. No. 2, pp. 131-139, doi: https://doi.org/10.15593/2224-9389/2019.2.12 (In Russ., abstract in Eng.).
11. Ruiz-Primo, M.A. (2011). Informal Formative Assessment: The Role of Instructional Dialogues in Assessing Students' Learning. Studies in Educational Evaluation. Vol. 37, no. 1, pp. 15-24, doi: https://doi.org/10.1016/j.stueduc.2011.04.003
12. Tillema, H. (2010). Formative Assessment in Teacher Education and Teacher Professional Development. In: Peterson, P., Baker, E., McGaw, B. (Eds). International Encyclopedia of Education. Third Edition. Elsevier Ltd., pp. 563-571, doi: https://doi.org/10.1016/B978-0-08-044894-7.01639-0
13. Gikandi, J.W., Morrow, D., Davis, N.E. (2011). Online Formative Assessment in Higher Education: A Review of the Literature. Computers & Education. Vol. 57, no. 4, pp. 2333-2351, doi: https://doi.org/10.1016/j.compedu.2011.06.004
14. Broussard, M.J.S. (2014). Using Games to Make Formative Assessment Fun in the Academic Library. The Journal of Academic Librarianship. Vol. 40, no. 1, pp. 35-42, doi: https://doi. org/10.1016/j.acalib.2012.12.001
15. Voronina, M., Zubova, C., Kochetova, N. (2019). Formative Assessment Techniques as a Tool for the Development of the Behavioral-Reflexive Component of the Future Teacher's Professional Culture. Samarskiy Nauchnyi Vestnik = Samara Journal of Science. Vol. 8, no. 1 (26), pp. 243-248, doi: https://doi.org/10.24411/2309-4370-2019-11305. (In Russ., abstract in Eng.).
16. Kanygin, Y.B., Popova, O.A. (2015). Formative Assessment in Problem- and Activity-Based Training in Military Institution of Higher Education. Povolzhskiy Pedagogicheskiy Vestnik [Pedagogical Herald of Volga Region]. No. 4 (9), pp. 129-135. (In Russ., abstract in Eng.).
17. Sufiakh, R. (2015). Student Group Activity as a Form of Organization of Formative Assessment. Prepodavatel' XXI Vek [XXI Century Teacher]. No. 1, pp. 90-95. (In Russ., abstract in Eng.).
18. Kuryan, M.L. (2017). Students' Feedback: Messages and Implications. Obrazovanie i Samorazvi-tie = Education and Self Development. Vol. 12, no. 1, pp. 56-63, doi: https://doi.org/10.26907/ esd12.1.05 (In Russ., abstract in Eng.).
19. Abakarova, N.G. (2020). [Formative Assessment as a Way to Raise Linguistic Students' Motivation]. In: Vikulova, L.G., Rasumova, L.V. (Eds.). Romanskie tetradi: Sbornik statei pamyati professora Ally Viktorovny Shchepilovoi [Roman Notebooks: Collection of Papers in the Memory of Alla Shchepilova]. Moscow : Moscow City University, pp. 39-46. (In Russ.).
20. Zemlyanskaya, N.E. (2020). Criteria-Based Assessment of Higher School Students' Educational Achievements. Pedagogika. Voprosy teorii i praktiki = Pedagogy. Theory and Practice. Vol. 5, no. 2, pp. 142-147, doi: https://doi.org/10.30853/pedagogy.2020.2.2 (In Russ., abstract in Eng.).
21. Hansen, G. (2020). Formative Assessment as a Collaborative Act. Teachers' Intention and Students' Experience: Two Sides of the Same Coin, or? Studies in Educational Evaluation. Vol. 66, article no. 100904, doi: https://doi.org/10.1016/j.stueduc.2020.100904
22. Fernando, W. (2020). Moodle Quizzes and their Usability for Formative Assessment of Academic Writing. Assessing Writing. Vol. 46, article no. 100485, doi: https://doi.org/10.1016/)'. asw.2020.100485
23. Duers, L.E., Brown, N. (2009). An Exploration of Student Nurses' Experiences of Formative Assessment. Nurse Education Today. Vol. 29, no. 6, pp. 654-659, doi: https://doi.org/10.1016/). nedt.2009.02.007
24. Crisp, V., Ward, C. (2008). The Development of a Formative Scenario-Based Computer Assisted Assessment Tool in Psychology for Teachers: The PePCAA Project. Computers & Education. Vol. 50, no. 4, pp. 1509-1526, doi: https://doi.org/10.1016/j.compedu.2007.02.004
25. Buldu, M., Buldu, N. (2010). Concept Mapping as a Formative Assessment in College Classrooms: Measuring Usefulness and Student Satisfaction. Procedia - Social and Behavioral Sciences. Vol. 2, no. 2, pp. 2099-2104, doi: https://doi.org/10.1016/j.sbspro.2010.03.288
26. Costa, D.S.J., Mullan, B.A., Kothe, E.J., Butow, P. (2010). A Web-Based Formative Assessment Tool for Master's Students: A Pilot Study. Computers & Education. Vol. 54, no. 4, pp. 1248-1253, doi: https://doi.org/l0.1016/j.compedu.2009.n.0n
27. Mohamadi, Z. (2018). Comparative Effect of Online Summative and Formative Assessment on EFL Student Writing Ability. Studies in Educational Evaluation. Vol. 59, pp. 29-40, doi: https://doi.org/10.1016/j.stueduc.2018.02.003
28. Wilson, K., Boyd, C., Chen, L., Jamal, S. (2011). Improving Student Performance in a First-Year Geography Course: Examining the Importance of Computer-Assisted Formative Assessment. Computers & Education. Vol. 57, no. 2, pp. 1493-1500, doi: https://doi.org/10.1016/j.com-pedu.2011.02.011
29. Ghiatau, R., Diac, G., Curelaru, V. (2011). Interaction between Summative and Formative in Higher Education Assessment: Students' Perception. Procedia - Social and Behavioral Sciences. Vol. 11, pp. 220-224, doi: https://doi.org/10.1016/jj.sbspro.2011.01.065
30. MacLellan, E. (2001). Assessment & Evaluation in Higher Education Assessment for Learning: the Differing Perceptions of Tutors and Students. Assessment & Evaluation in Higher Education. Vol. 26, no. 4, pp. 307-318, doi: https://doi.org/10.1080/0260293012006346
31. Pla-Campas, G., Arumi-Prat, J., Senye-Mir, A.M., Ramirez, E. (2016). Effect of Using Formative Assessment Techniques on Students' Grades. Procedia - Social and Behavioral Sciences. Vol. 228, pp. 190-195, doi: https://doi.org/10.1016/jj.sbspro.2016.07.028
32. Sulaiman, N.D., Shorbagi, S.I., Abdalla, N.Y., Daghistani, M.T., Mahmoud, I.E., Al-Moslih, A.M. (2018). Group OSCE (GOSCE) as a Formative Clinical Assessment Tool for Pre-Clerkship Medical Students at the University of Sharjah. Journal of Taibah University Medical Sciences. Vol. 13, no. 5, pp. 409-414, doi: https://doi.org/10.1016/jj.jtumed.2018.06.003
33. Titova, S.V., Danilina, E.K. (2018). Experimental Model of Formative and Summative Assessment of Writing and Speaking through Mobile Technologies in Non-Linguistic University. Vestnik Tambovskogo universiteta. Seriya Gumanitarnye nauki = Tambov University Review. Series: Humanities. Vol. 23, no. 172, pp. 35-42, doi: https://doi.org/10.20310/1810-0201-2018-23-172-35-42 (In Russ., abstract in Eng.).
34. Van der Kleij, F.M. (2020). Evaluation of the 'Feedback Engagement Enhancement Tool' to Examine and Enhance Students' Engagement with Feedback on their Writing. Studies in Educational Evaluation. Vol. 66, article no. 100907, doi: https://doi.org/10.1016/jj.stueduc.2020. 100907
35. Hooshyar, D., Ahmad, R.B., Yousefi, M., Fathi, M., Horng, S.-J., Lim, H. (2016). Applying an Online Game-Based Formative Assessment in a Flowchart-Based Intelligent Tutoring System for Improving Problem-Solving Skills. Computers & Education. Vol. 94, pp. 18-36, doi: https://doi. org/10.1016/j.compedu.2015.10.013
36. Korneva, E.N. (2017). The Implementation of Formative Assessment in the Context of the Development of Students' Self-Esteem. Problemy sovremennogo obrazovaniya = Problems of Modern Education. No. 6, pp. 64-68. Available at: http://www.pmedu.ru/images/2017-6/ pmedu2017-6-6.pdf (accessed 04.10.2021). (In Russ., abstract in Eng.).
37. Mackintosh-Franklin, C. (2021). An Evaluation of Formative Feedback and Its Impact on Undergraduate Student Nurse Academic Achievement. Nurse Education in Practice. Vol. 50, article no.102930, doi: https://doi.org/10.1016/jj.nepr.2020.102930
38. Braun, V., Clarke, V. (2006). Using Thematic Analysis in Psychology. Qualitative Research in Psychology. Vol. 3, no. 2, pp. 77-101, doi: https://doi.org/10.1191/1478088706qp063oa
39. Peel, K.L. (2020). A Beginner's Guide to Applied Educational Research Using Thematic Analysis. Practical Assessment, Research, and Evaluation. Vol. 25, doi: https://doi.org/10.7275/ ryr5-k983
40. Black, P., Wiliam, D. (1998). Assessment and Classroom Learning. Assessment in Education: Principles, Policy & Practice. Vol. 5, no. 1, pp. 7-74, doi: https://doi.org/l0.1080/0969595980050102
41. Fishman, I.S., Golub, G.B. (2007). Formiruyushchaya otsenka obrazovatel'nykh rezul'tatov uchashchihsya: Metodicheskoe posobie [Formative Assessment of Learning Outcomes: Methodic Guide]. Samara : Uchebnaya Literatura Publ., 244 p. (In Russ.).
42. Pinskaya, M.A. (2010). Formiruyushchee otsenivanie: otsenivanie v klasse [Formative Assessment: Classroom Assessment]. Moscow : Logos Publ., 264 p. (In Russ.).
43. Black, P., Wiliam, D. (2009). Developing the Theory of Formative Assessment. Educational Assessment, Evaluation and Accountability. Vol. 21, no. 1, pp. 5, doi: https://doi.org/10.1007/ s11092-008-9068-5
44. Nicol, D.J., Macfarlane-Dick, D. (2006). Formative Assessment and Self-Regulated Learning: A Model and Seven Principles of Good Feedback Practice. Studies in Higher Education. Vol. 31, no. 2, pp. 199-218, doi: https://doi.org/10.1080/03075070600572090
45. Angelo, T., Cross, P. (1993). Classroom Assessment Techniques: A Handbook for College Teachers. Wiley, 448 p.
46. Fisher, D., Frey, N. (2007). Checking for Understanding: Formative Assessment Techniques for Your Classroom. Association for Supervision and Curriculum Development, 158 p.
47. Tsukerman, G.A. (1999). Otsenka bez otmetki [Assessment without Marking]. Riga : Pedagogical centre «Eksperiment», 113 p. (In Russ.).
The paper was submitted 14.05.21 Accepted for publication 04.10.21
