CC BY
27
Статья/Article
УДК 373.1
DOI: 10.26795/2307-1281 -2020-8-4-5
ПРОБЛЕМА НАДЕЖНОСТИ ОЦЕНОЧНЫХ СУЖДЕНИЙ УЧИТЕЛЯ В ФОРМИРУЮЩЕМ ОЦЕНИВАНИИ
М. А. Бодоньи1
1 Кубанский государственный университет, Краснодар, Российская Федерация АННОТАЦИЯ
Введение. Организация учебного процесса предполагает осуществление текущей оценки, обеспечивающей поддержку учебной деятельности школьников и влияние на учебный процесс для повышения его эффективности. Одним из элементов оценочной деятельности учителя является оценочное суждение, которое формулируется учителем в текущем процессе мониторинга, диагностики, анализа и интерпретации результатов учебной деятельности учащихся и направлено на информирование учащихся о степени достижения планируемых результатов, повышение мотивации, одобрение, замечание и т.п. Изучение оценочных суждений учителя в контексте формирующего оценивания соотносится с проблематикой надежности, обеспечивающей непротиворечивость, объективность, последовательность, справедливость и стабильность результатов оценочной деятельности.
Материалы и методы. Материал для исследования - двадцать статей, опубликованных за период с 2017 по 2020 годы и посвященных проблематике оценочных суждений учителя в ходе формирующего оценивания. Их сбор проходил в полнотекстовых базах данных опубликованных научных исследований ScienceDirect и Wiley Online Library на основе ключевых слов. Отобранные статьи были проанализированы и обобщены с точки зрения рассмотрения в них факторов, влияющих на оценочные суждения учителя и создающих условия для снижения надежности.
Результаты исследования. В результате проведенного анализа публикаций нами были выявлены следующие группы факторов, влияющих на надежность оценочных суждений учителя: факторы, обусловленные компонентами ситуации оценки, которые включают факторы, связанные с субъектом, объектом, предметом и основанием оценки, а также с используемым средством оценивания; факторы, обусловленные оценочным суждением; внешние факторы.
Обсуждение и заключения. Исследование факторов, влияющих на надежность оценочных суждений учителя, определяет возможности повышения эффективности оценочной деятельности в ходе формирующего оценивания. Понимание роли каждого фактора создает условия для подготовки рекомендаций для учителя по повышению надежности текущей оценки. Кроме того, на основе рассматриваемой классификации возможно проведение эмпирических исследований для уточнения специфики активизации тех или иных факторов в зависимости от целей, условий и индивидуальных характеристик всех участников учебного процесса для повышения эффективности мониторинга достижения планируемых образовательных результатов и поддержки учебного процесса.
Ключевые слова: формирующее оценивание, надежность оценки, оценочные суждения учителя, факторы, снижающие надежность оценки.
Для цитирования: Бодоньи М.А. Проблема надежности оценочных суждений учителя в формирующем оценивании // Вестник Мининского университета. 2020. Т. 8, №4. С.5.
THE PROBLEM OF THE RELIABILITY OF THE TEACHERS' ASSESSMENT JUDGMENTS IN FORMATIVE ASSESSMENT
M. A. Bodony1
1Kuban State University, Krasnodar, Russian Federation
ABSTRACT
Introduction. The organization of the educational process involves the implementation of ongoing assessment, which provides support for students' educational activities and the impact on the educational process to improve its effectiveness. One of the elements of the teacher's assessment activity is an assessment judgment, which is formulated by the teacher in the current process of monitoring, diagnosing, analyzing and interpreting the results of students' learning activities and is aimed at informing students about the degree of the planned result achievement, students' motivation, approval, remark, etc. The study of the teacher's assessment judgments in the context of formative assessment correlates with the problem of reliability, which ensures the consistency, objectivity, fairness and stability of the results of assessment activities.
Materials and Methods. The material for the research includes 20 articles published from 2017 to 2020 and devoted to the problems of teachers' assessment judgments during the process of formative assessment. They were collected by using keywords in the full-text databases of published scientific research which were ScienceDirect and Wiley Online Library. The selected articles were analyzed and summarized from the point of view of considering the factors that influence the teacher's assessment judgments and create conditions for reducing reliability. Results. As a result of the analysis of publications, we identified the following groups of factors that affect the reliability of the teacher's assessment judgments: factors caused by the components of the assessment situation, which include factors related to the subject and object of the assessment, assessment target, scope of the assessment, the basis of the assessment, as well as the use of the assessment tool; factors related to the assessment judgment; external factors. Discussion and Conclusions. The study of the factors influencing the reliability of the teacher's assessment judgments determines the possibilities of increasing the effectiveness of the assessment activities in the process of formative assessment. Understanding the role of each factor creates conditions for preparing recommendations for the teacher to improve the reliability of the current assessment. In addition, on the basis of the classification under consideration, it is possible to conduct empirical studies to clarify the specifics of activating certain factors depending on the goals, conditions and individual characteristics of all participants of the educational process in order to increase the effectiveness of monitoring the achievements of planned educational results and support the educational process.
Keywords: formative assessment, reliability of assessment, teacher assessment judgments, factors that reduce assessment reliability.
For citation: Bodony M.A. The problem of the reliability of the teachers' assessment judgments in formative assessment // Vestnik of Minin University. 2020. Vol. 8, no. 4. Р.5.
Введение
Оценивание - неотъемлемая часть учебного процесса. Очевидно, что оценочная деятельность учителя не ограничивается только выставлением баллов в ходе суммирующего оценивания, а в полной мере реализуется в процессе формирующего оценивания, обеспечивая поддержку учебной деятельности отдельного учащегося и учебного процесса в целом. Одним из результатов оценочной деятельности, осуществляемой учителем в текущем процессе мониторинга, диагностики, анализа и интерпретации результатов учебной деятельности школьников, является оценочное суждение, формулируемое учителем и рассматриваемое как «источник информации об успеваемости и как фактор личного и академического развития учащегося» [27, с. 3]. Под оценочным суждением учителя мы понимаем высказывание, в котором выражается мнение и/или отношение учителя к процессу и результатам учебной деятельности. Оценочные суждения могут быть выражены в форме похвалы, замечания, одобрения, порицания, комментария и т.п.
Исследование оценочных суждений учителя как компонента формирующего оценивания рассматривается в контексте проблематики надежности как непротиворечивости и стабильности результатов оценочной деятельности.
В Толковом словаре С.И. Ожегова и Н.Ю. Шведовой прилагательное «надежный» имеет два значения:
1) внушающий доверие, верный;
2) прочный, крепкий, хорошо сработанный [3, c. 379].
Вынесение оценочных суждений, обеспечивающих установление ценности поступков, ответов, степени достижения образовательных результатов и т.п. учащимися и сообщаемых в форме аналитических высказываний, соотносится с профессиональными функциями учителя [1]. Именно поэтому надежность оценочных суждений напрямую связана с профессиональными качествами учителя и его опытом. Прочность, устойчивость, стабильность оценочных суждений учителя рассматриваются как характеристики, отражающие системный подход к оценочной деятельности. Они свидетельствуют о преемственности и внутренней согласованности оценочной деятельности, проявляющейся, в том числе, и в форме оценочных суждений.
Вместе с тем, понимая существенное влияние субъективных факторов, мы обращаем внимание на такие требования к надежности оценочных суждений, как честность, справедливость, непротиворечивость, непредвзятость, т.е. свойства, которые внушают доверие и обеспечивают продуктивное взаимодействие с учащимися, реализацию возможностей, кроме собственно сообщения результатов оценивания, влиять на их мотивацию, личностные качества и т.п.
Проводимое нами исследование направлено на анализ подходов к исследованию оценочных суждений учителя, обоснование понятия надежности оценочных суждений и выявление факторов, влияющих на их надежность. Теоретический обзор, предпринятый
нами, определяет возможности дальнейшего исследования, в частности, теоретического обоснования способов повышения надежности оценочных суждений учителя и разработки практических рекомендаций для обеспечения внутренней согласованности оценочной деятельности учителя.
Обзор литературы
Оценочные суждения учителя рассматриваются как существенный элемент формирующего оценивания: учитель ежедневно наблюдает за учащимися, и на основе этого мониторинга формируется дифференциальная информация о степени достижения планируемых результатов [18]. Вместе с тем оценочные суждения охватывают более широкий круг вопросов, чем только оценка результатов учебной деятельности. Они обеспечивают создание оптимальной атмосферы в классе для поддержки учебной деятельности в целом и отдельного учащегося в частности, повышение мотивации, заинтересованности учащихся.
Анализ исследований позволил выявить следующие содержательные аспекты оценочных суждений: они касаются интеллекта [4], когнитивных способностей [27], одаренности [35], учебных достижений [5], грамотности и понимания [32], потребностей, обусловленных пробелами в знаниях [12], ожиданий, связанных с будущими учебными результатами [19], метакогнитивных способностей [6], мотивации [20], интересов учащихся [21] и т.п.
Соотнесение содержания оценочных суждения с психологической структурой личности позволило выделить четыре тематические группы оценочных суждений. Это суждения, направленные на оценку: (1) психических свойств учащегося (характер, способности и т.п.); (2) психических процессов (познавательные, эмоциональные и волевые); (3) психических новообразований (знания, навыки, умения); (4) ситуативных или личностных психических состояний (желания, интересы, склонности).
Отдельную группу оценочных суждений по содержанию составляют оценочные мнения относительно продуктов учебной деятельности учащихся и их характеристик.
Анализ процесса формулирования оценочных суждений позволяет отнести их к проблематике принятия решений как области исследования когнитивной психологии. Исследование оценочных суждений основано на трех базовых подходах:
- оценочные суждения как процесс переработки информации;
- оценочные суждения как моделирование;
- оценочные суждения как процесс рассуждения [7, с. 11].
Согласно первому подходу, когнитивные способности человека ограничены, что отражается на процессе переработки информации и соответственно на оценочных суждениях, что, естественно, обуславливает искажения, ошибки, отклонения и т.п. Формулирование оценочного суждения может рассматриваться как стратегия принятия решения, на которую, с одной стороны, оказывает влияние степень когнитивных усилий, необходимых для интерпретации продуктов учебной деятельности и установления их ценности как в форме формального, так и неформального суждения, и направленность на достижение точности и надежности оценки, с другой стороны [34]. Таким образом, в зависимости от степени когнитивных усилий и требований точности оценки при формулировании оценочных суждений наблюдается конкуренция между эвристическими или аналитическими стратегиями переработки информации [34].
Исследование оценочных суждений как процесса моделирования принятия решений основано на взаимодействии индивида и социальной среды, в которой он находится. Особое внимание рассматриваемый подход обращает на точность суждений, степень которой может варьироваться в зависимости от требований и условий среды. Исследователи, разрабатывающие этот подход, обращаются к термину оптимальность принятия решения, и, что важно, в качестве результата принятия решения в условиях учебной аудитории может рассматриваться оптимальность оценочного суждения. Оптимальность указывает на то, что, хотя оценочное суждение может быть не точным и даже в некоторых случаях некорректным, но с учетом конкретных условий оценочной деятельности, характера влияния оценочного суждения на учащегося и учебную деятельность, оно может быть оптимальным для конкретной ситуации, влиять на повышение продуктивности обучения, степени достижения учебных результатов и т.п. Вместе с тем общая направленность исследований в русле моделирования принятия решений подчеркивает внутреннюю несогласованность человека в принятии решений по сравнению с математическими и статистическими моделями, которые дают большую согласованность, точность, надежность. Так, например, Д. Хардман утверждает, что «один из способов улучшить суждение - это заменить живого человека, предоставляющего оценку, на автоматизированную модель» [15, а 16].
Подход к исследованию оценочных суждений как процессу рассуждения основан на выделении двух систем, обеспечивающих осмысление и обоснование: система 1 включает интуитивные, быстрые и не требующие усилий решения, основанные на уже имеющихся знаниях и представлениях; система 2, напротив, требует доступа к ресурсам памяти, принятие решения при активизации данной системы - медленный, последовательный процесс, зависимый от индивидуальных когнитивных способностей [11, а 270]. Вместе с тем следует подчеркнуть, что обе системы не могут рассматриваться как противоположные, в зависимости от ситуации, типа задачи они в той или иной степени активизируются, обеспечивая возможность для принятия оптимального решения [13]. Что касается оценочного суждения, формулируемого учителем, оно оказывается под влиянием обеих систем, активизируемых в зависимости от предшествующего опыта, условий оценки, знаний учителя и т.п. Не вызывает сомнений, что оценочные суждения учителя, основанные на рефлексии и осмыслении, играют ключевую роль в организации эффективного учебного процесса. Представляется важным осознание учителем разнообразных условий оценивания, целей формулирования оценочного суждения, возможных последствий рассматриваемого коммуникативного действия. Оценочные суждения непосредственно связаны с такими концептуальными понятиями оценки, как надежность, валидность, согласованность, хотя, как указывает Дж. Макмиллан, интерпретации и выводы учителя ориентированы, прежде всего, на их целесообразность в конкретной ситуации, что определяет отличия валидности и надежности от традиционного понимания, характерного для теории педагогических измерений [30].
Таким образом, обзор подходов к принятию решения, рассматриваемых в контексте оценочной деятельности учителя, показывает сложность и многоаспектность определения надежности оценочных суждений. Факторы, которые оказывают влияние на поведение учителя в ходе принятия решения о результатах учебной деятельности учащегося, разнообразны и включают когнитивные характеристики, используемые стратегии переработки информации, особенности задачи оценивания, параметры ситуации оценки, профессиональный опыт учителя и т.п.
Н. Харви определил шесть возможных объяснений снижения надежности оценочного суждения: (1) недостаточный контроль когнитивных процессов, (2) перегрузка оперативной памяти, (3) негибкий подход к удельному весу заданий при оценке, (4) фокус на корреляцию оценочных суждений между собой, (5) влияние (субъективных) факторов, искажающих результаты оценки, и (6) отсутствие единого подхода при оценке [16].
Дж. Макмиллан рассматривает четыре группы факторов, влияющих на снижение надежности принятия и формулирования оценочного решения учителем: знания, представления, ожидания и ценности учителя; внешние факторы; условия, влияющие на принятие решения; условия и атмосфера в классе [30, c. 36].
Следует отметить, что исследователи обращаются не только к понятию надежности при анализе оценочных суждений, но и часто используют термин точность, который определяется как умения учителя предсказать уровень выполнения задания и степень достижения образовательного результата. По нашему мнению, точность может рассматриваться как компонент надежности оценочных решений учителя, так как варьирование соответствий между прогнозируемым и фактическим уровнем успеваемости учащихся может приводить к предвзятости учителя, что снижает надежность оценочных суждений [38].
Изучение теоретических источников подтверждает отсутствие единой классификации факторов, которая могла бы стать основой для разработки рекомендаций для развития внутренней согласованности учителя при формулировании оценочных суждений в текущем учебном процессе. Это обусловило предпринятый нами теоретический поиск, направленный на выявление комплекса факторов, влияющих на надежность принятия оценочного решения учителем в форме суждения.
Материалы и методы
В ходе проведения исследования мы сосредоточили внимание на факторах, влияющих на надежность оценочных суждений учителя. Для этого на основе сплошной выборки в полнотекстовых базах данных опубликованных научных исследований ScienceDirect и Wiley Online Library нами были отобраны публикации, посвященные оценочным суждениям учителя в ходе формирующего оценивания. В качестве ключевых слов при поиске статей мы использовали фразы «teachers' (assessment) judgment», «teachers' (evaluating) judgment». Также критерием отбора стал период публикации - с 2017 по 2020 годы. Всего были отобраны 20 статей. Отобранные статьи были проанализированы с точки зрения упоминания в них факторов надежности оценочных суждений учителя. По мере работы с публикациями нами был составлен список факторов, включающий более 65 наименований. Их анализ и обобщение позволил составить комплексную классификацию факторов, влияющих на надежность оценочных суждений учителя в формирующем оценивании.
Результаты исследования
Анализ публикаций направлен на выявление разнообразных факторов, которые оказывают влияние на оценочные суждения учителя. Понимание роли каждого фактора определяет возможности реализации надежной оценки и формулирования надежных оценочных суждений учителем. Нарушение влияния того или иного фактора приводит к снижению надежности, оценочные действия учителя становятся менее согласованными,
объективными, справедливыми и устойчивыми. Понимание роли каждого фактора, степени его влияния на оценочное суждение создает условия для реализации эффективной оценочной деятельности в ходе формирующего оценивания. Кроме того, существенные отличия формирующей оценки от суммирующей предполагают обращение к понятию оптимальности оценочных процедур, их направленности на поддержку учебной деятельности. Именно поэтому надежность оценочных суждений учителя должна отражать качественные характеристики и быть уместной в конкретных условиях учебного процесса, кроме того, должно быть минимизировано проявление предвзятости учителя, влекущее за собой снижение надежности.
Двадцать статей, ключевые слова которых содержали фразы «teachers' (assessment) judgment», «teachers' (evaluating) judgment», были проанализированы на предмет упоминания в них факторов, влияющих на надежность оценочных суждений учителя или на ее отдельные аспекты (точность, последовательность, справедливость и т.п.). В двух статьях нами не были отмечены случаи упоминания или рассмотрения факторов [14, 37]. Из остальных восемнадцати статей нами были отобраны 66 аспектов, упоминаемых авторами как факторы, влияющие на оценочные суждения учителя. Разграничение представленных факторов проводилось на основе анализа компонентов ситуации оценки. Таким образом, нами были выделены факторы, обусловленные субъектом оценки (учителем), объектом (учеником) и предметом оценки, основанием оценки и оценочным средством (заданием) [2, c. 50]. Кроме того, в отдельную группу вошли факторы, влияющие на надежность оценочных суждений учителя, обусловленные самим оценочным суждением, его параметрами. Кроме того, нами были также выделены внешние факторы, которые опосредованно воздействуют как на саму ситуацию оценки, так и на надежность оценочного суждения, формулируемого учителем. Группы факторов представлены в логико-смысловой схеме (рисунок 1).
Рассмотрим каждую группу факторов более подробно.
Влияние отдельных компонентов ситуации оценки на оценочные суждения имеет сложный характер, что обусловлено наличием разнообразных факторов, учет которых важен для придания оценке надежного характера. К факторам, обусловленным компонентами ситуации оценки, относятся факторы, связанные с субъектом, объектом, предметом и основанием оценки, а также оценочным средством [2]. Анализируя деятельность субъекта оценки, учителя, формулирующего оценочное суждение, мы выделили три группы факторов: характеристики личности, профессиональные характеристики и ситуативные факторы. В рассмотренных нами публикациях в качестве факторов, обусловленных свойствами личности учителя, указывается мотивация учителя как к организации учебной деятельности, так и к оцениванию [26]. К профессиональным характеристикам были отнесены уровень профессионализма учителя [31, 38]; профессиональные знания [26, 41]; представления об оценочной деятельности [26]; умения осуществлять мониторинг и диагностику [36, 39]; опыт профессиональной деятельности [41]. Ситуативные факторы указывают на состояние учителя непосредственно во время ситуации оценки: исследователи относят к этой группе состояние стресса [26], эмоциональное напряжение [26].
Факторы, связанные с объектом оценки - учащимся, составляют наиболее обширную группу, включающую социально-демографические характеристики учащегося, характеристики личности, отношение к учебной деятельности, особенности познавательных процессов и ситуативные факторы.
Факторы, влияющие на надежность оценочных суждений учителя / Factors affecting the reliability of teacher assessment judgments
Факторы, обусловленные компонентами ситуации оценки / Factors related to components of the assessment situation
Субъект Объект
оценки / оценки /
Subject of Assessment
assessment target
Свойства личности / Personality characteristics
Профессиональные характеристики / Professional characteristics
Ситуативные факторы / Situational factors
Предмет оценки/ Scope of the assessment
Социально-демографические характеристики / Socio-demographic characteristics
Свойства личности / Personality characteristics
in
Факторы, обусловленные оценочным суждением / Assessment judgment factors
Основание оценки / Basis of the assessment
Тип оцениваемых умений / Type of
skills assessed
Черты характера / Character traits
Подход к
оценке продукта учебной деятельности / Approach to assessing the product of
educational activities
Средство оценки / Assessment tool
Отношение к
учебной деятельности / Attitudes towards learning
Особенности познавательных процессов / Features of cognitive processes
Ситуативные факторы / Situational factors
Критерии оценки / Criteria
параметры / Qualitative
parameters
Степень сложности задания / The degree of difficulty of the task
Связь задания с материалом курса / Linking the task to the course material
Тип задания / Task type
Время / Time
Цель / Purpose
Тип / Type
Внешние факторы / External factors
Образовательные стандарты и требования к уровню образовательных результатов / Educational standards and requirements for the level of educational results
Подход к обучению/ Learning approach
Школьный предмет / School subject
Влияние предыдущей учебной деятельности и ее результатов /
Impact of previous learning activities and results
Организация учебного процесса/ Organization of the educational process
Взаимо действие с учителями и учащимися / Interaction with teachers and students
Рисунок 1 - Факторы, влияющие на надежность оценочных суждений учителя / Figure 1 - Factors affecting the reliability of teacher assessment judgments
К социально-демографическим характеристикам учащегося как факторам надежности оценочных суждений учителя относятся пол [9, 22, 31]; этническая принадлежность [9, 22, 31, 38]. Интересное наблюдение мы встречаем в работе А. Дрексловой, К. Седовой и М. Седлачек, которые указывает на внешность учащегося, которая может выступать в качестве фактора снижения надежности оценочного суждения учителя, появления завышенного или заниженного оценочного суждения [9].
Свойства личности учащегося, влияющие на надежность оценки, включают мотивацию [10, 25, 29, 31, 38]; волевые характеристики, например, самоконтроль [31, 39] и самооценку [25, 36]; интерес учащегося к учебной деятельности [31, 39]; способности и склонности [9, 25, 29]; эмоциональную сферу [31]. Также мы отмечаем упоминание отдельных черт характера, влияющих на оценочные суждения учителя. Их переоценка может становиться причиной снижения надежности и появления предвзятого отношения учителя: к ним относятся дисциплинированность [31]; коммуникабельность [9]; взаимоотношения с одноклассниками и умения сотрудничества [9, 28]; открытость [9].
К факторам, связанным с объектом оценки, относится группа факторов, репрезентирующих отношение учащегося к учебному процессу: вовлеченность в учебную деятельность [28, 31, 36, 38, 39]; участие в школьной жизни [9]; степень прикладываемых усилий [9, 31]; трудности в учебе [31]; уровень успеваемости [9, 17, 25, 38]. Следует отметить высокую частотность данной группы факторов в рассмотренных публикациях по сравнению с остальными. Особенности познавательных процессов также оказывают влияние на оценочные суждения учителя. Исследователи в своих публикациях называют когнитивные способности [31, 33]; интеллект [31]; умения решать проблемы [31]; учебные стратегии [33]; внимание [10]; характер понимания [31]. Обратим внимание на то, что характер понимания может относиться и к ситуативным факторам, что продиктовано актуализацией процессов понимания в конкретной ситуации, когда, например, учащийся прибегает к угадыванию или наблюдается недопонимание отдельных аспектов изучаемого материала. В исследованиях мы также встретили указание на ситуативные факторы, например, поведение на уроке [9, 31, 39]; проявление автономии учащегося в учебном процессе [28].
Группа факторов, составляющая предмет оценки, разграничивается с точки зрения типа оцениваемых умений: на надежность оценки влияет, посвящено ли оценочное суждение общим умениям или специальным [29]; подхода к оценке продукта учебной деятельности: рассматривает ли учитель в своем оценочном суждении общие характеристики продукта или его отдельные аспекты [9].
Факторы, ориентированные на основание оценки, определяют степень надежности оценочных суждений учителя в зависимости от того, опирается он или нет на критерии оценки [33, 40], а также какие качественные параметры продукта учебной деятельности учитывает учитель при его оценке в форме оценочного суждения [33].
Использование оценочных средств также может влиять на надежность оценочных суждений учителя. Это проявляется в связи с характеристиками задания [31, 38]; условиями задания [33]; форматом подготовки задания (задание, составленное самим учителем или взятое из учебных пособий) [24]; степенью соотнесенности задания с материалом курса [38]; содержательной [10] и когнитивной [23] сложностью задания.
Отдельную группу факторов, влияющих на надежность оценочных суждений учителя, составляют факторы, непосредственно связанные с оценочным суждением, к которым относятся время формулирования оценочного суждения (например, отсроченное по времени
суждение или сформулированное сразу, как непосредственная реакция); цели оценочного суждения; тип оценочного суждения (аналитический или интуитивный) [26].
К внешним факторам, обуславливающим надежность оценочных суждений учителя, относятся образовательные стандарты и требования к уровню достижения образовательных результатов [33, 40], которые естественно влияют на оценочные суждения учителя. Вместе с тем представляется очевидным, что недостаточное следование требованиям и стандартам становится причиной смещения надежности оценочной деятельности. Следующий фактор, который нужно принимать во внимание для повышения надежности оценочных суждений учителя, - это школьный предмет, специфика которого влияет на характер оценочных суждений [17, 28, 31]. Исследователи также связывают надежность оценочных суждений с особенностями организации учебного процесса: с подходом к обучению (так, опора на личностно ориентированный подход обеспечивает большую надежность оценочных суждений) [38]; с темпом освоения учебного материала (ускоренный темп освоения учебного материала снижает надежность оценочных суждений) [38]; с используемыми методами обучения [10, 28]; с условиями обучения [33]; этапом урока [31]. В качестве существенного фактора, способного снизить надежность оценочных суждений, указывается влияние предыдущих работ учащихся, которые могут создавать эффект стереотипного впечатления у учителя и влиять на его неспособность объективно оценивать продукты деятельности или саму учебную деятельность учащегося [10, 31, 38]. Также влияние может распространяться и на оценочные высказывания о других учащихся, когда учитель сопоставляет их и может быть недостаточно последовательным и объективным в оценочных суждениях [9]. К внешним факторам также относится характер взаимодействия между учителями и учениками. Так, обсуждение процедур оценки, критериев, самих продуктов учебной деятельности ведет к развитию внутренней надежности оценки учителем [33, 40]. Характер общения с учениками также влияет на надежность оценки, что связано с такими аспектами, как доверие, открытость, искренность и т.п. [36].
Таким образом, анализ публикаций позволил нам обобщить различные факторы, влияющие на надежность оценочных суждений учителя в ходе формирующего оценивания, и создать классификацию факторов, обуславливающих нарушение надежности оценочной деятельности.
Обсуждение и заключения
Надежность - условие реализации эффективного формирующего оценивания, обеспечивающего развитие учебной деятельности учащихся, поддержку учебного процесса, достижение планируемых результатов учебной деятельности в текущем учебном процессе. Оценочные суждения учителя как составная часть формирующего оценивания рассматриваются в контексте текущего взаимодействия учителя и учащегося, что предполагает учет ситуации и условий оценки и придание этому взаимодействию оптимального характера. С этим также связано и требование надежности оценочных суждений, понимаемое нами достаточно широко и выходящее за пределы традиционной теории педагогических измерений. Надежность оценочных суждений предполагает рассмотрение оценивания как сложного многокомпонентного нелинейного процесса, находящегося под влиянием целого комплекса факторов. Осознание влияния разноплановых факторов обеспечивает внутреннюю надежность учителя как готовность соблюдать требования к оценке, осуществлять справедливое, точное, последовательное, объективное,
устойчивое, достоверное, оптимальное и т.п. оценивание в ходе текущего учебного процесса. Соответственно учет обобщенных нами факторов в практической деятельности во многом гарантирует эффективность оценочных суждений для целей обучения, их направленность на поддержку учащихся и учебного процесса.
Проведенное нами исследование публикаций зарубежных авторов показывает отсутствие единства в отборе и изучении факторов, влияющих на надежность оценочных суждений. Мы обратили внимание на выделение отдельных аспектов, связанных, например, с когнитивными процессами или с учебными дисциплинами, которые авторы публикаций выбирают в качестве факторов, обусловливающих надежность оценочных суждений. Отсутствие единой классификации побудило нас рассмотреть различные факторы в комплексе, а в качестве классификационного основания были выбраны компоненты ситуации оценки, а также внешние факторы, опосредованно влияющие на оценочные суждения. Безусловно, мы можем указать на некоторые ограничения предлагаемой классификации, как, например, недостаточную широту обзора публикаций (обзор проводился за последние четыре года), что не позволило нам, возможно, выявить дополнительные факторы, которые не были указаны в рассмотренных нами публикациях. Кроме того, мы считаем, что факторы, указываемые зарубежными авторами и связанные с субъектом оценки, явно недостаточны, они не могут дать полное и детализированное описание аспектов поведения, характера, свойств личности учителя, влияющих на надежность оценочных суждений. Необходимость дальнейшего исследования фигуры учителя и влияния на надежность оценочных суждений очевидна, что напрямую соотносится с мнением Дж. Коннор-Линтона: «Если мы не знаем, что делают учителя, оценивающие учащихся <...>, тогда мы не можем знать, что означают их оценки» [8, c. 763].
Вместе с тем настоящее исследование может рассматриваться как определенный шаг в исследовании компонентов формирующего оценивания, выявлении условий эффективного оценивания и определении факторов, снижающих надежность оценочных суждений учителя. Предлагаемая классификация рассматривается нами как основа для дальнейшей разработки исследуемой проблематики, уточнения степени влияния тех или иных факторов на результаты оценивания на эмпирическом уровне, а также разработку практических рекомендаций для учителя о повышении надежности оценочных суждений в ходе текущего оценивания.
Список использованных источников
1. Безрукова В.С. Основы духовной культуры (Энциклопедический словарь педагога). Екатеринбург, 2000. 937 с.
2. Бодоньи М.А. Объекты контроля и оценки иноязычной письменной речи: монография. Краснодар: КубГУ, 2018. 140 с.
3. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка: около 80 000 слов и фразеологических выражений. М.: А Темп, 2006. 944 с.
4. Baudson T.G., Preckel F. Development and validation of the German Test for (Highly) Intelligent Kids - T(H)INK // European Journal of Psychological Assessment. 2013. Vol. 29. Pp. 171-181. DOI: https://doi.org/10.1027/1015-5759/a000142.
5. Campbell T. Stereotyped at Seven? Biases in Teacher Judgement of Pupils' Ability and Attainment // Journal of Social Policy. 2015. Vol. 44(3). Pp. 517-547. DOI: https://doi.org/10.1017/S0047279415000227.
6. Carr M., Kurtz-Costes B.E. Is being smart everything? The influence of student achievement on teachers' perceptions // British Journal of Educational Psychology. 1994. Vol. 64. Pp. 263276. DOI: https://doi.org/10.1111/i.2044-8279.1994.tb01101.x.
7. Cevik D.Y. Examining Preservice Teachers' Reasoning and Decision Making in Three Case-Based Approaches: Graduate Theses and Dissertations. Ames: Iowa State University, 2011. 408 p. DOI: https://doi.org/10.31274/etd-180810-3078.
8. Connor-Linton J. Looking behind the curtain: What do L2 com position ratings really mean? // TESOL Quarterly. 1995. Vol. 29. Pp. 762-765. DOI: https://doi.org/10.2307/3588174.
9. Drexlerova A., Sed'ova K., Sedlacek M. The relationship between grading and teacher judgment // Journal of Pedagogy. 2019. Vol. 10(2). Pp. 9-35. DOI: https://doi.org/10.2478/iped-2019-0005.
10. Engelen J.A.A., Camp G., van de Pol J., Bruin A.B.H. Teachers' monitoring of students' text comprehension: can students' keywords and summaries improve teachers' judgment accuracy? // Metacognition and Learning. 2018. Vol. 13. Pp. 287-307. DOI: https://doi.org/10.1007/s11409-018-9187-4 .
11. Evans J.St.B.T. Dual processing accounts of reasoning, judgment, and social cognition // Annual Review of Psychology. 2008. Vol. 59. Pp. 255-278. DOI: https://doi.org/10.1146/annurev.psych.59.103006.093629.
12. Fischbach A., Baudson T.G., Preckel F., Martin R., Brunner M. Do teacher judgments of student intelligence predict life outcomes? // Learning and Individual Differences. 2013. Vol. 27. Pp. 109-119. DOI: https://psycnet.apa.org/doi/10.1016/Uindif.2013.07.004.
13. Frank M.J., Cohen M.X., Sanfey A.G. Multiple systems in decision making: A neurocomputational perspective // Current Directions in Psychological Science. 2009. Vol. 18. Pp. 73-77. DOI: https://doi.org/10.1111%2Fi.1467-8721.2009.01612.x.
14. Glogger-Frey I. Linking teachers' professional knowledge and teachers' actions: Judgment processes, judgments and training // Teaching and Teacher Education. 2018. Vol. 76. DOI: https://doi.org/10.1016/i.tate.2018.08.005.
15. Hardman D. Judgment and decision making: Psychological perspectives. Oxford, UK: BPS-Blackwell. 2009. 221 p.
16. Harvey N. Why are judgments less consistent in less predictable task situations? // Organizational Behavior and Human Decision Processes. 1995. Vol. 63. Pp. 247-263. DOI: https://doi .org/10.1006/obhd.1995.1077.
17. Helm F., Müller-Kalthoff H., Mukowski R., Möller J. Teacher judgment accuracy regarding students' self-concepts: Affected by social and dimensional comparisons? // Learning and Instruction. 2018. Vol. 55. Pp. 1-12. DOI: https://doi.org/10.1016/Uearninstruc.2018.02.002.
18. Herppich S., Praetorius A.-K., Foorster N., Glogger-Frey I., Karst K., Leutner, D., Südkamp A. Teachers' assessment competence: Integrating knowledge-, process-, and product-oriented approaches into a competence-oriented conceptual model // Teaching and Teacher Education. 2018. Vol. 76. Pp. 181-193. DOI: https://doi.org/10.1016/Uate.2017.12.001.
19. Jussim L., Harber K.D. Teacher expectations and self-fulfilling prophecies: Knowns and unknowns, resolved and unresolved controversies // Personality and Social Psychology Review. 2005. Vol. 9. Pp.131-155. DOI: https://doi.org/10.1207%2Fs15327957pspr0902 3.
20. Kaiser J., Retelsdorf J., Südkamp A., Möller J. Achievement and engagement: How student characteristics influence teacher judgments // Learning and Instruction. 2013. Vol. 28. Pp. 7384. DOI: https://doi.org/10.1016/Uearninstruc.2013.06.001.
21. Karing C. Diagnostic competence of elementary and secondary school teachers in the domains of competence and interests // German Journal of Educational Psychology. 2009. Vol. 23. Pp. 197-209. DOI: https://doi.org/10.1024/1010-0652.23.34.197.
22. Karst K., Bonefeld M. Judgment accuracy of preservice teachers regarding student performance: The influence of attention allocation // Teaching and Teacher Education. 2020 Vol. 94. DOI: https://doi.org/10.1016/j.tate.2020.103099.
23. Karst K., Dotzel S., Dickhoauser O. Comparing global judgments and specific judgments of teachers about students' knowledge: Is the whole the sum of its parts? // Teaching and Teacher Education. 2018. Vol. 76. DOI: https://doi.org/10.1016/j.tate.2018.01.013.
24. Kotsopoulos D., Makosz S., Zambrzycka J., Cordy M. A teacher's judgment of spatial ability // School Science and Mathematics. 2018. Vol. 118. Pp. 320-331. DOI: https://doi.org/10.1111/ssm.12300.
25. Kriegbaum K., Steinmayr R., Spinath B. Longitudinal reciprocal effects between teachers' judgments of students' aptitude, students' motivation and grades in math // Contemporary Educational Psychology. 2019. Vol. 59. DOI: https://doi.org/10.1016/j.cedpsych.2019.101807.
26. Loibl K., Leuders T., Doorfler T. A Framework for Explaining Teachers' Diagnostic Judgements by Cognitive Modeling (DiaCoM) // Teaching and Teacher Education. 2020. Vol. 91. DOI: https://doi.org/10.1016/j.tate.2020.103059.
27. Machts N., Kaiser J., Schmidt F.T.C., Möller J. Accuracy of teachers' judgments of students' cognitive abilities: A meta-analysis // Educational Research Review. 2016. Vol. 19(1). Pp. 85103. DOI: https://doi.org/10.1016/j.edurev.2016.06.003.
28. Machts N., Zitzmann S., Möller J. Dimensionality of teacher judgments on a competency-based report card in elementary school // Learning and Instruction. 2020. Vol. 67. DOI: https://doi .org/10.1016/j.learninstruc.2020.101328.
29. McKevett N.M., Kiss A.J. The influence of data on teachers' judgments of students' early reading and math skills // Psychology in the Schools. 2019. Vol. 56. Pp. 1157-1172. DOI: https://doi.org/10.1002/pits.22256.
30. McMillan J.H. Understanding and Improving Teachers' Classroom Assessment Decision Making: Implications for Theory and Practice // Educational Measurement: Issues and Practice. 2005. Vol. 22(4). Pp. 34-43. DOI: https://doi.org/10.1111/j.1745-3992.2003.tb00142.x.
31. Oudman S., van de Pol J., Bakker A., Moerbeek M., van Gog T. Effects of different cue types on the accuracy of primary school teachers' judgments of students' mathematical understanding // Teaching and Teacher Education. 2018. Vol. 76. DOI: https://doi .org/10.1016/j.tate.2018.02.007.
32. Paleczek L., Seifert S., Gasteigere-Klicpera B. Influences on teachers' judgment accuracy of reading abilities on second and third grade students: A multilevel analysis // Psychology in the Schools. 2017. Vol. 54(3). Pp. 228-245. DOI: https://doi.org/10.1002/pits.21993.
33. Panadero E., Broadbent J., Boud D., Lodge J.M. Using formative assessment to influence self-and co-regulated learning: the role of evaluative judgement // European Journal of Psychology of Education. 2019. Vol. 34. Pp. 535-557. DOI: https://doi .org/10.1007/s10212-018-0407-8.
34. Payne J.W., Bettman J.R. Walking with the scarecrow: The information processing approach to decision research // Blackwell handbook of judgment and decision making. Malden, MA: Blackwell Publishing, 2004. Pp. 110-132. DOI: https://doi.org/10.1002/9780470752937.ch6.
35. Pfeiffer S.I., Jarosewich T. The Gifted Rating Scales-School Form: An analysis of the standardization sample based on age, gender, race, and diagnostic efficiency // Gifted Child Quarterly. 2007. Vol. 51. Pp. 39-50. DOI: https://doi.org/10.1177%2F0016986206296658.
36. Pielmeier M., Huber S., Seidel T. Is teacher judgment accuracy of students' characteristics beneficial for verbal teacher-student interactions in classroom? // Teaching and Teacher Education. 2018. Vol. 76. Pp. 255-266. DOI: https://doi.org/10.1016/Uate.2018.01.002.
37. Schwab S., Alnahdi G.H. Teachers' Judgments of Students' School-Wellbeing, Social Inclusion, and Academic Self-Concept: A Multi-Trait-Multimethod Analysis Using the Perception of Inclusion Questionnaire // Frontiers in Psychology. 2020. Vol. 11. P. 1498. DOI: https://doi.org/10.3389/fpsyg.2020.01498.
38. Thiede K.W., Brendefur J.L., Carney M.B., Champion J., Turner L., Stewart R., Osguthorpe R.D. Improving the accuracy of teachers' judgments of student learning // Teaching and Teacher Education. 2018. Vol. 76. Pp. 106-115. DOI: https://doi.org/10.1016/Uate.2018.08.004.
39. Thiede K.W., Oswalt S., Brendefur J.L., Carney M.B., Osguthorpe R.D. Teachers' Judgments of Student Learning of Mathematics // The Cambridge Handbook of Cognition and Education. Ohio Publisher: Cambridge University Press, 2019. Pp. 678-695. DOI: https://doi.org/10.1017/9781108235631.027.
40. Vögelina C., Jansen Th., Keller S.D., Machts N., Möller J. The influence of lexical features on teacher judgements of ESL argumentative essays // Assessing Writing. 2019. Vol. 39. Pp. 5063. DOI: https://doi.org/10.1016/Usw.2018.12.003.
41. Zhu Ch., Urhahne D. The use of learner response systems in the classroom enhances teachers' judgment accuracy // Learning and Instruction. 2018. Vol. 58. Pp. 255-262. DOI: https://doi.org/10.1016/Uearninstruc.2018.07.011.
References
1. Bezrukova V.S. Fundamentals of Spiritual Culture (Encyclopedic Dictionary of the Teacher). Ekaterinburg, 2000. 937 p. (In Russ.)
2. Bodon'i M.A. Objects of control and evaluation of foreign language writing: monograph. Krasnodar, KubGU Publ., 2018. 140 p. (In Russ.)
3. Ozhegov S.I., SHvedova N.YU. Explanatory dictionary of the Russian language: about 80,000 words and phraseological expressions. Moscow, A Temp Publ., 2006. 944 p. (In Russ.)
4. Baudson T.G., Preckel F. Development and validation of the German Test for (Highly) Intelligent Kids - T(H)INK. European Journal of Psychological Assessment, 2013, vol. 29, pp. 171-181, doi: https://doi.org/10.1027/1015-5759/a000142.
5. Campbell T. Stereotyped at Seven? Biases in Teacher Judgement of Pupils' Ability and Attainment. Journal of Social Policy, 2015, vol. 44(3), pp. 517-547, doi: https://doi.org/10.1017/S0047279415000227.
6. Carr M., Kurtz-Costes B.E. Is being smart everything? The influence of student achievement on teachers' perceptions. British Journal of Educational Psychology, 1994, vol. 64, pp. 263276, doi: https://doi.org/10.1111/j.2044-8279.1994.tb01101.x.
7. Cevik D.Y. Examining Preservice Teachers' Reasoning and Decision Making in Three Case-Based Approaches: Graduate Theses and Dissertations. Ames, Iowa State University, 2011. 408 p. DOI: https://doi.org/10.31274/etd-180810-3078.
8. Connor-Linton J. Looking behind the curtain: What do L2 com position ratings really mean? TESOL Quarterly, 1995, vol. 29, pp. 762-765, doi: https://doi.org/10.2307/3588174.
9. Drexlerova A., Sed'ova K., Sedlacek M. The relationship between grading and teacher judgment. Journal of Pedagogy, 2019, vol. 10(2), pp. 9-35, doi: https://doi.org/10.2478/jped-2019-0005.
10. Engelen J.A.A., Camp G., van de Pol J., Bruin A.B.H. Teachers' monitoring of students' text comprehension: can students' keywords and summaries improve teachers' judgment accuracy? Metacognition and Learning, 2018, vol. 13, pp. 287-307, doi: https://doi.org/10.1007/s11409-018-9187-4.
11. Evans J.St.B.T. Dual processing accounts of reasoning, judgment, and social cognition. Annual Review of Psychology, 2008, vol. 59, pp. 255-278, doi: https://doi.org/10.1146/annurev.psych.59.103006.093629.
12. Fischbach A., Baudson T.G., Preckel F., Martin R., Brunner M. Do teacher judgments of student intelligence predict life outcomes? Learning and Individual Differences, 2013, vol. 27, pp. 109-119, doi: https://psycnet.apa.org/doi/10.1016/Uindif.2013.07.004.
13. Frank M.J., Cohen M.X., Sanfey A.G. Multiple systems in decision making: A neurocomputational perspective. Current Directions in Psychological Science, 2009, vol. 18, pp. 73-77, doi: https://doi.org/10.1111%2Fj.1467-8721.2009.01612.x.
14. Glogger-Frey I. Linking teachers' professional knowledge and teachers' actions: Judgment processes, judgments and training. Teaching and Teacher Education, 2018, vol. 76, doi: https://doi.org/10.1016/j.tate.2018.08.005.
15. Hardman D. Judgment and decision making: Psychological perspectives. Oxford, UK, BPS-Blackwell, 2009. 221 p.
16. Harvey N. Why are judgments less consistent in less predictable task situations? Organizational Behavior and Human Decision Processes, 1995, vol. 63, pp. 247-263, doi: https://doi .org/10.1006/obhd.1995.1077.
17. Helm F., Müller-Kalthoff H., Mukowski R., Möller J. Teacher judgment accuracy regarding students' self-concepts: Affected by social and dimensional comparisons? Learning and Instruction, 2018, vol. 55, pp. 1-12, doi: https://doi.org/10.1016/j.learninstruc.2018.02.002.
18. Herppich S., Praetorius A.-K., Foorster N., Glogger-Frey I., Karst K., Leutner, D., Südkamp A. Teachers' assessment competence: Integrating knowledge-, process-, and product-oriented approaches into a competence-oriented conceptual model. Teaching and Teacher Education, 2018, vol. 76, pp. 181-193, doi: https://doi.org/10.1016/j.tate.2017.12.001.
19. Jussim L., Harber K.D. Teacher expectations and self-fulfilling prophecies: Knowns and unknowns, resolved and unresolved controversies. Personality and Social Psychology Review, 2005, vol. 9, pp.131-155, doi: https://doi.org/10.1207%2Fs15327957pspr0902 3.
20. Kaiser J., Retelsdorf J., Südkamp A., Möller J. Achievement and engagement: How student characteristics influence teacher judgments. Learning and Instruction, 2013, vol. 28, pp. 73-84, doi: https://doi.org/10.1016/Uearninstruc.2013.06.001.
21. Karing C. Diagnostic competence of elementary and secondary school teachers in the domains of competence and interests. German Journal of Educational Psychology, 2009, vol. 23, pp. 197-209, doi: https://doi.org/10.1024/1010-0652.23.34.197.
22. Karst K., Bonefeld M. Judgment accuracy of preservice teachers regarding student performance: The influence of attention allocation. Teaching and Teacher Education, 2020, vol. 94, doi: https://doi.org/10.1016/Uate.2020.103099.
23. Karst K., Dotzel S., Dickhoauser O. Comparing global judgments and specific judgments of teachers about students' knowledge: Is the whole the sum of its parts? Teaching and Teacher Education, 2018, vol. 76, doi: https://doi.org/10.1016/Uate.2018.01.013.
24. Kotsopoulos D., Makosz S., Zambrzycka J., Cordy M. A teacher's judgment of spatial ability. School Science and Mathematics, 2018, vol. 118, pp. 320-331, doi: https://doi.org/10.1111/ssm.12300.
25. Kriegbaum K., Steinmayr R., Spinath B. Longitudinal reciprocal effects between teachers' judgments of students' aptitude, students' motivation and grades in math. Contemporary Educational Psychology, 2019, vol. 59, doi: https://doi.org/10.1016/i.cedpsvch.2019.101807.
26. Loibl K., Leuders T., Doorfler T. A Framework for Explaining Teachers' Diagnostic Judgements by Cognitive Modeling (DiaCoM). Teaching and Teacher Education, 2020, vol. 91, doi: https://doi.org/10.1016/Uate.2020.103059.
27. Machts N., Kaiser J., Schmidt F.T.C., Möller J. Accuracy of teachers' judgments of students' cognitive abilities: A meta-analysis. Educational Research Review, 2016, vol. 19(1), pp. 85103, doi: https://doi.org/10.1016/i.edurev.2016.06.003.
28. Machts N., Zitzmann S., Möller J. Dimensionality of teacher judgments on a competency-based report card in elementary school. Learning and Instruction, 2020, vol. 67, doi: https://doi .org/10.1016/i.learninstruc.2020.101328.
29. McKevett N.M., Kiss A.J. The influence of data on teachers' judgments of students' early reading and math skills. Psychology in the Schools, 2019, vol. 56, pp. 1157-1172, doi: https://doi.org/10.1002/pits.22256.
30. McMillan J.H. Understanding and Improving Teachers' Classroom Assessment Decision Making: Implications for Theory and Practice. Educational Measurement: Issues and Practice, 2005, vol. 22(4), pp. 34-43, doi: https://doi.org/10.1111/i.1745-3992.2003.tb00142.x.
31. Oudman S., van de Pol J., Bakker A., Moerbeek M., van Gog T. Effects of different cue types on the accuracy of primary school teachers' judgments of students' mathematical understanding. Teaching and Teacher Education, 2018, vol. 76, doi: https://doi.org/10.1016/i.tate.2018.02.007.
32. Paleczek L., Seifert S., Gasteigere-Klicpera B. Influences on teachers' iudgment accuracy of reading abilities on second and third grade students: A multilevel analysis. Psychology in the Schools, 2017, vol. 54(3), pp. 228-245, doi: https://doi.org/10.1002/pits.21993.
33. Panadero E., Broadbent J., Boud D., Lodge J.M. Using formative assessment to influence self-and co-regulated learning: the role of evaluative iudgement. European Journal of Psychology of Education, 2019, vol. 34, pp. 535-557, doi: https://doi.org/10.1007/s10212-018-0407-8.
34. Payne J.W., Bettman J.R. Walking with the scarecrow: The information processing approach to decision research. Blackwell handbook of judgment and decision making. Malden, MA, Blackwell Publishing, 2004. Pp. 110-132. DOI: https://doi.org/10.1002/9780470752937.ch6.
35. Pfeiffer S.I., Jarosewich T. The Gifted Rating Scales-School Form: An analysis of the standardization sample based on age, gender, race, and diagnostic efficiency. Gifted Child Quarterly, 2007, vol. 51, pp. 39-50, doi: https://doi.org/10.1177%2F0016986206296658.
36. Pielmeier M., Huber S., Seidel T. Is teacher judgment accuracy of students' characteristics beneficial for verbal teacher-student interactions in classroom? Teaching and Teacher Education, 2018, vol. 76, pp. 255-266, doi: https://doi.org/10.1016/i.tate.2018.01.002.
37. Schwab S., Alnahdi G.H. Teachers' Judgments of Students' School-Wellbeing, Social Inclusion, and Academic Self-Concept: A Multi-Trait-Multimethod Analysis Using the Perception of Inclusion Questionnaire. Frontiers in Psychology, 2020, vol. 11, p. 1498, doi: https://doi.org/10.3389/fpsyg.2020.01498.
38. Thiede K.W., Brendefur J.L., Carney M.B., Champion J., Turner L., Stewart R., Osguthorpe R.D. Improving the accuracy of teachers' iudgments of student learning. Teaching and Teacher Education, 2018, vol. 76, pp. 106-115, doi: https://doi.org/10.1016/i.tate.2018.08.004.
39. Thiede K.W., Oswalt S., Brendefur J.L., Carney M.B., Osguthorpe R.D. Teachers' Judgments of Student Learning of Mathematics. The Cambridge Handbook of Cognition and Education.
Ohio Publisher, Cambridge University Press, 2019. Pp. 678-695. DOI: https://doi.org/10.1017/9781108235631.027.
40. Vögelina C., Jansen Th., Keller S.D., Machts N., Möller J. The influence of lexical features on teacher judgements of ESL argumentative essays. Assessing Writing, 2019, vol. 39, pp. 50-63, doi: https://doi.org/10.1016/Usw.2018.12.003.
41. Zhu Ch., Urhahne D. The use of learner response systems in the classroom enhances teachers' judgment accuracy. Learning and Instruction, 2018, vol. 58, pp. 255-262, doi: https://doi.org/10.1016/Uearninstruc.2018.07.011.
© Бодоньи М.А., 2020
Информация об авторах Бодоньи Марина Алексеевна - кандидат педагогических наук, доцент, заведующий кафедрой прикладной лингвистики и новых информационных технологий, ФГБОУ ВО «Кубанский государственный университет», Краснодар, Российская Федерация, ORCID: https://orcid.org/0000-0002-1182-0587, e-mail: m.bodony@mail.ru.
Information about the authors
Bodony Marina A. - Candidate of Pedagogy, Associate Professor, Head of the Department of Applied Linguistics and New Information Technologies, Kuban State University, Krasnodar, Russian Federation, ORCID: https://orcid.org/0000-0002-1182-0587, e-mail: m.bodony@mail.ru.
Поступила в редакцию: 20.08.2020 Принята к публикации: 29.09.2020 Опубликована: 05.11.2020
