CC BY-NC-ND
86
Измерение критического мышления студентов в открытой онлайн-среде: методология, концептуальная рамка и типология заданий
К .В . Тарасова, Е .А. Орел
Статья поступила Тарасова Ксения Вадимовна — кандидат педагогических наук, заместитель в редакцию заведующего Лабораторией измерения новых конструктов и дизайна тестов, в мае 2022 г. Национальный исследовательский университет «Высшая школа экономики». E-mail: ktarasova@hse.ru (контактное лицо для переписки) Орел Екатерина Алексеевна — кандидат психологических наук, PhD, заведующая Проектно-учебной лабораторией моделирования и оценивания компетенций в высшем образовании, Национальный исследовательский университет «Высшая школа экономики». E-mail: eorel@hse.ru
Адрес: 101000, Москва, ул. Мясницкая, 20.
В условиях обилия и доступности различной информации, в том числе благодаря распространению электронных устройств и интернета, человеку необходимо уметь эффективно ориентироваться в информационном поле, оценивать информацию, делать собственные выводы на ее основе и использовать аргументы при принятии решений. Поэтому одной из ключевых компетенций современного человека, обеспечивающих его успешность в профессиональной и повседневной жизни, становится критическое мышление.
Авторы оценивают теоретическую возможность измерения сложного латентного конструкта «критическое мышление в онлайн-среде» с помощью методологии Evidence-Centered Design. Она позволяет выстроить цепочку аргументов, обосновывающих вывод об уровне развития критического мышления у респондента, и тем самым обеспечить справедливость процесса оценки. Оценивание выстраивается от теоретических предположений о природе конструкта к поиску эмпирических свидетельств — наблюдаемых в процессе тестирования действий, позволяющих сделать обоснованные выводы о респондентах.
Предложена теоретическая рамка оценивания критического мышления в онлайн-среде для студентов вузов и ее операционализация через релевантное наблюдаемое поведение целевой аудитории, позволяющая получить валидные данные относительно выраженности критического мышления. Тем самым сделан первый шаг к созданию русскоязычного инструмента для оценки критического мышления с подтвержденным психометрическим качеством. Ключевой особенностью инструмента является то, что студент работает не в симулированной среде, где источники информации подбираются разработчиками, а в открытой онлайн-среде и может пользоваться любыми доступными материалами для решения поставленной задачи.
Ключевые слова универсальные компетенции, критическое мышление, высшее образование, Evidence-Centered Design, компьютерное тестирование, онлайн-среда.
Для цитирования Тарасова К.В., Орел Е.А. (2022) Измерение критического мышления студентов в открытой онлайн-среде: концептуальная рамка и типология заданий // Вопросы образования / Educational Studies Moscow. № 3. С. 187-212. https://doi. org/10.17323/1814-9545-2022-3-187-212
Measuring Students' Critical Thinking in Online Environment: Methodology, Conceptual Framework and Tasks Typology
K.V. Tarasova, E.A. Orel
Ksenia V. Tarasova — Candidate of Sciences in Education, Deputy Head, Laboratory for Measuring New Constructs and Test Design, Centre for Psychometrics and Measurement in Education, National Research University Higher School of Economics. E-mail: ktarasova@hse.ru Corresponding author) Ekaterina A. Orel — Candidate of Sciences in Psychology, PhD, Head of Laboratory for Modelling and Assessing of Competencies in Higher Education, National Research University Higher School of Economics. E-mail: eorel@hse.ru
Address: 20 Myasnitskaya Str., 101000 Moscow, Russian Federation.
Abstract Today critical thinking is one of the key competencies of the modern world.
The abundance and availability of various information (in particular due to the spread of electronic devices and the Internet) suggest that people, regardless of age, need to be able to effectively navigate and evaluate information, draw their own conclusions and use arguments when making decisions. Research of critical thinking in terms of the possibilities of its evaluation and development began more than 60 years ago and has a wide and heterogeneous field of theoretical approaches.
In this article, we explore the theoretical possibility of measuring the complex latent construct "critical thinking in an online environment" using the Evidence-Centered Design (ECD) methodology. It allows one to build a chain of arguments that substantiate the conclusion about the level of critical thinking development in the respondent and thereby ensure the fairness of the assessment process. The measurement goes from theoretical assumptions about the nature of the construct to the search for empirical evidence — observable actions in the testing process, allowing to draw reasonable conclusions about the respondents. The result of the work is a theoretical framework for assessing critical thinking in an online environment for university students and its operationalization through the relevant observed behavior of the target audience, which allows obtaining valid data on the severity of critical thinking. This is the first step to create an instrument in Russian with a confirmed psychometric quality. The key feature of the tool is that the student does not work in a simulated environment where information sources are selected by developers, but in an open online environment, therefore, he can use any available materials to solve the task.
Keywords universal competencies; critical thinking; higher education; Evidence-Centered Design; computer-based testing assessment; online environment.
For citing Tarasova K.V., Orel E.A. (2022) Izmerenie kriticheskogo myshleniya studentov v otkrytoj onlain-srede. Metodologiya, kontseptual'naya ramka i tipologiya zada-nij [Measuring Students' Critical Thinking in Online Environment: Methodology, Conceptual Framework and Tasks Typology]. Voprosy obrazovaniya /Educational Studies Moscow, no 3, pp. 187-212. https://doi.org/10.17323/1814-9545-2022-3-187-212
Критическое мышление — одна из компетенций, которые относят к ключевым навыкам XXI в. [Griffin, Care, 2014]. Особую значимость оно приобретает при решении задач в онлайн-среде. Чтобы продуктивно работать в условиях колоссальных объемов информации из интернета, наслоения потоков сведений из разнообразных источников и вместе с тем легкости поиска и отсутствия системной работы с первоисточниками, необходимы навыки анализа информации, вынесения валидных суждений, установления причинно-следственных связей. При этом человек должен быть способен судить о достоверности информации: искаженная или ложная информация, в том числе фейко-вые новости, может вызвать раздражение — а может и ввести в заблуждение небольшое сообщество или население целой страны [Beer de, Matthee, 2021; Khan, 2020; Probierz, Stefanski, Kozak, 2021]. Перед системой образования встает задача формирования и оценивания критического мышления.
Данное исследование посвящено оцениванию критического мышления у студентов вузов. Коллектив под руководством И. Углановой в последние годы ведет аналогичные разработки на уровне школьного образования [Угланова, Брун, Васин, 2018; Угланова, Орел, Брун, 2020; Угланова, Погожина, 2021].
На уровне высшего образования критическое мышление является одной из универсальных компетенций, зафиксированных во ФГОС ВО1. Универсальные компетенции в бакалавриате — это перечень из десяти компетенций, которые должны формироваться у всех студентов на этой ступени образования, независимо от специализации. Системное и критическое мышление (УК-1) определяется в этом перечне как способность «осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач»2. Таким образом, система образования берет на себя обязательство формировать критическое мышление — а значит, нуждается в независимых инструментах его оценки, чтобы подтвердить заявленный результат.
1 Министерство образования и науки РФ (2018) ФГОС ВО — бакалавриат. https://fgosvo.ru/fgosvo/index/24/28
2 Критическое и системное мышление не являются синонимами, однако по каким-то причинам составители ФГОС объединили их в единую компетенцию.
Сформированность критического мышления стала сегодня одним из главных запросов работодателей к сотрудникам, в том числе к выпускникам вузов [Степашкина, Суходолин, Гу-желя, 2022]. Исследование требований к должностям, собранных в системе O*Net3, показало, что критическое мышление наравне с навыками коммуникации высоко ценится работодателями в самых разных сферах [Carnevale, Smith, 2013]. Критическое мышление (или его аналоги) входит во все универсальные модели компетенций, разработанные ведущими консалтинговыми компаниями. На основании этих моделей организации принимают кадровые решения — о приеме на работу, продвижении по службе, о предоставлении обратной связи сотрудникам. В моделях используются разные названия для близких по содержанию компетенций, которые можно отнести к критическому мышлению. Так, в модели Р. Бояциса [2008] эта компетенция выступает под названиями «логическое мышление» и «концептуализация». Логическое мышление определяется как мыслительный процесс, в котором человек размещает событие в причинной последовательности, базирующейся на восприятии серии причинно-следственных связей. Концептуализацией называется процесс мышления, при котором человек определяет или распознает паттерны в информации. В модели Л. Спенсера и С. Спенсер в кластер ключевых компетенций мышления входят аналитическое и концептуальное мышление. Аналитическое мышление представляет собой систематизированную организацию частей проблемы или ситуации, проведение систематических сравнений свойств или характеристик, рациональную расстановку приоритетов, определение временной последовательности, причинных взаимоотношений. Концептуальное мышление — это понимание ситуации или проблемы путем объединения частей, взгляда на картину событий в целом [Спенсер, Спенсер, 2005]. Аналогичные по содержанию компетенции присутствуют и в других современных моделях: «Двадцать граней» (системность мышления) [Симоненко, 2012], WAVE («исследует варианты решений») [Kurz, 2009], Great-8 (аналитические и интерпретационные способности) [Bartram, 2005] и др. Содержательный анализ упомянутых компетенций показывает, что все они достаточно близки по содержанию, фокусируются на работе с информацией, анализе, поиске причинно-следственных связей, предполагают способность анализа, выбора, сравнения, интерпретации и вынесения суждений4.
3 Открытая база данных, в которой хранятся описания должностей и требования к кандидатам. https://www.onetonline.org/
4 Горбунова А.В. (2012) Исследование ключевых компетенций менеджеров высшего и среднего звена в России. Выпускная квалификационная работа (магистерская диссертация). М.: Институт образования НИУ ВШЭ.
Таким образом, содержание компетенций, входящих в универсальные модели, которые используются для принятия кадровых решений в бизнес-организациях, свидетельствует о том, что критическое мышление и близкие ему компетенции являются одним из наиболее важных критериев для принятия кадровых решений в бизнес-среде.
Для оценки критического мышления как у студентов вузов, так и у взрослого населения разработано много диагностических инструментов. Однако большинство из них — англоязычные и требуют больших затрат на адаптацию и апробацию. Русскоязычных инструментов для оценки критического мышления очень мало, а информация об их качестве и психометрических характеристиках практически отсутствует [Корешникова, Фру-мин, Пащенко, 2020].
Цель настоящей статьи — представить теоретическую рамку оценивания критического мышления в онлайн-среде для студентов вузов как первый шаг к созданию инструмента на русском языке с подтвержденным психометрическим качеством.
1. Подходы к определению критического мышления
1.1. Критическое мышление в философской традиции изучения познания
Исследования критического мышления опираются на долгую философскую традицию изучения познания. В качестве основных качеств критически мыслящего человека в этой парадигме выступают обоснованность суждений, целенаправленность мыслительных процессов, рефлексия субъекта и следование правилам формальной логики (например, [Paul, Elder, 2011]). Большинство исследователей, работающих в рамках философской традиции, сходятся во мнении: о наличии критического мышления можно судить по способности человека принять рациональное, осознанное решение о том, что делать или чему верить [Ennis, 1993; Hitchcock, 2020; Norris, 1985].
Р. Эннис определяет критическое мышление как обоснованное рефлексивное мышление, направленное на определение того, чему верить, а чему нет [Ennis, 1993]. В качестве его составляющих он выделяет оценку достоверности источников, идентификацию различных типов высказываний, навык задавать уточняющие вопросы и т.д. — всего десять мыслительных операций. П. Фачоне, который вместе с пулом экспертов разрабатывал определение критического мышления для использования в нормативных документах и оценки прогресса его развития у студентов вузов, использует тот же принцип и определяет критическое мышление как «целенаправленное, саморегулируемое суждение, которое результирует в интерпретации, анализе, оценке, логическом выводе и объяснении доказательных, концептуальных, методологических и контекстуальных предположений, на которых основывается это суждение» [Facione,
1990]. Составляющими критического мышления, по П. Фачо-не, являются категоризация типов высказывания, оценка, логический вывод, объяснение и т.д. — всего шесть мыслительных операций.
В рамках философского подхода в последнее время приобретают популярность обобщающие концепции, главная задача которых — вычленить составляющие критического мышления, общие для разных авторов, и попытаться создать консенсус-ную рамку. Один из примеров такого подхода — перечень составляющих критического мышления, предложенный Э. Лай [Lai, 2011]. Она выделяет четыре компонента, общих для разных описаний этого конструкта: 1) анализ аргументов, высказываний, свидетельств; 2) способность сделать вывод, используя индукцию или дедукцию; 3) оценка и вынесение суждения; 4) принятие решений или решение проблем.
К такому же обобщающему типу определений критического мышления относится модель, предложенная Л. Лью и ее коллегами [Liu, Frankel, Roohr, 2014]. Существенное отличие этой модели от других обобщающих концепций состоит в том, что она базируется не только на теоретических представлениях, но и на эмпирических результатах. В этой модели выделяются три составляющих критического мышления: аналитический компонент (оценка надежности источников, релевантности аргументов, поиск альтернативных мнений и точек зрения), синтетический компонент (логический вывод, оценка последствий, построение собственной структуры аргументов) и общий компонент (построение причинно-следственных связей и оценка альтернативных объяснений). Эта модель легла в основу теста HEIghten Critical Thinking Assessment, использующегося для оценки критического мышления студентов вузов.
1.2. Критиче- Первые попытки осмыслить место и роль критического мыш-ское мышление ления в исследованиях и практике образования были пред-в исследованиях приняты около 100 лет назад. Американский философ и педагог и практике обра- д. Дьюи считал, что рефлексивное мышление (в современном зования понимании — критическое) должно стать основой обучения [Kennedy, Fisher, Ennis, 1991]. Д. Дьюи определял рефлексивное мышление следующим образом: «активное, настойчивое и аккуратное рассмотрение обоснованности убеждения или априорных форм знания в свете тех оснований, которые их поддерживают, а также выводов, которые из них следуют» [Dewey, 1909].
Идеи Дьюи легли в основу разработок таксономий учебных целей, включающих критическое мышление и его отдельные компоненты. В частности, в таксономии Б. Блума выделяются шесть уровней образовательных целей, различающихся глу-
биной освоения материала: знание, понимание, применение, анализ, синтез и оценка [Seaman, 2011]. Последние три уровня являются составляющими критического мышления. Анализ позволяет не просто применить конкретные знания, но и выделить паттерны или алгоритмы, подходящие для решения задачи. Синтез — логическая операция, лежащая в основе вывода, она помогает выстроить систему, обобщающую и объясняющую различные факты. Оценка дает возможность выносить суждения о значимости и ценности идей, методов или явлений.
В отечественной педагогике проблемы развития мышления в школе рассматривал, в частности, П.П. Блонский [Блон-ский, 1935]. Он считал необходимым добиться формирования у учащегося критического отношения уже к концу «центральной части» школьного курса. Ребенок овладевает критическим мышлением, когда имеет возможность видеть реакции учителя на распространяемые слухи или непроверенные высказывания ученика. Учитель может способствовать развитию у ребенка критического мышления, обучая его наблюдать, не спешить с выводами, относиться критично даже к своим мыслям, собирать как можно больше фактов, подтверждающих или опровергающих полученную информацию, а также объясняя ему основы каузального анализа. По Блонскому, о полноценном развитии критического мышления можно говорить к концу обучения в школе. Этот вывод согласуется с концепцией развития мышления Ж. Пиаже [2008], согласно которой переход к стадии формальных операций, представляющей собой этап наиболее полного развития мышления, начинается не ранее 12 лет у наиболее развитых детей [Jackson, 1965; Lovell, 1961].
Д.Б. Эльконин [1971] отмечал, что к концу обучения в начальной школе формируется словесно-логический тип мышления, а также теоретический — если в обучении были использованы структурные единицы теоретического обобщения по В.В. Давыдову [1996]. Эти типы мышления предшествуют формированию критического и служат его основой.
1.3. Критическое
мышление в психологии
Психологическая традиция исследования критического мыш-- ления, в отличие от философской и образовательной, состоит в изучении протекания мыслительных процессов и поведения критически мыслящего субъекта в действительности, а не в идеальных условиях [Lai, 2011; Sternberg, 1986]. Определения критического мышления, предлагаемые когнитивными психологами, основаны на наблюдаемом поведении как свидетельстве критического мышления. Также учитываются средовые факторы и личностные особенности субъекта мышления. Наблюдаемые свидетельства, проявления критического мышле-
ния могут не охватывать всего конструкта критического мышления и репрезентировать только его часть.
Одна из наиболее известных психологических операциона-лизаций критического мышления предложена Р. Штернбергом. Он приводит следующее определение: «критическое мышление включает мыслительные процессы, стратегии и репрезентации, которые используются людьми для того, чтобы принимать решения, решать проблемы и узнавать новые концепты» [Sternberg, 1986]. Р. Штернберг выделяет следующие компоненты критического мышления:
• метакомпонент — процессы высокого порядка, связанные с планированием того, что нужно сделать, мониторингом хода исполнения и оценкой того, что было сделано;
• компонент мыслительного действия — процессы, «обслуживающие» инструкции, поступившие от метакомпонента: индукция, дедукция, пространственная визуализация и проч.;
• компонент знаний — процессы, используемые для познания новых концептов, процедур.
Значимым с точки зрения определения критического мышления является суждение Э.В. Ильенкова, который отмечал, что «мышление <...> есть не что иное, как способность (умение) обходиться с каждым предметом умно, т.е. в соответствии с его собственной природой» [Ильенков, 2002. С. 86]. Опираясь на работы Э.В. Ильенкова [1974; 1979], В.В. Давыдов разрабатывал содержание понятия «диалектическое мышление», близкого рассматриваемому в статье конструкту. Диалектическое мышление, по Давыдову, — это мышление, анализирующее развитие целого на основе внутреннего противоречия. Для разворачивания мыслительного процесса в каждом конкретном случае необходимо найти исходное ключевое отношение (противоречие), которое порождает по мере становления все многообразие содержания [Давыдов, 1972].
В отечественной психологии существует несколько понятий, близких к «критическому мышлению», однако не идентичных ему. Одно из таких понятий — критичность мышления.
Критичность — это одно из свойств нормальной психической деятельности, способность осознавать свои ошибки, умение оценивать свои мысли, взвешивать доводы «за» и «против» и подвергать свои гипотезы всесторонней проверке [Рубинштейн, 2002; Теплов, 1946]. По Б.В. Зейгарник [1986], критичность состоит в умении обдуманно действовать, проверять и исправлять свои действия в соответствии с условиями реальности. Нарушения критичности мышления — один из признаков расстройства психики, проявляющийся в утрате контроля
над интеллектуальными процессами, поэтому экспериментально они исследовались в основном в клинической психологии.
Из приведенных определений критичности мышления очевидно, что это понятие у Б.М. Теплова, Л.С. Рубинштейна и Б.В. Зейгарник сходно с нашим пониманием критического мышления. Для критичности характерна направленность мыслительной деятельности на самого субъекта этой деятельности. Л.С. Рубинштейн писал, что «возможность осознать свою ошибку является привилегией мысли как сознательного процесса»; «критичность — существенный признак зрелого ума. Некритический, наивный ум легко принимает любое совпадение за объяснение, первое подвернувшееся решение — за окончательное. Критический ум тщательно взвешивает все доводы "за" и "против" своих гипотез и подвергает их всесторонней проверке» [Рубинштейн, 2002]. Таким образом, в психологических, как и в философских, теориях мышления учитываются и когнитивный, и регуляторный аспекты мыслительного процесса.
Большинство стандартизированных методик для оценки критического мышления созданы на основе философского подхода, среди них California Critical Thinking Skills Test (CCTST), Cornell Critical Thinking Test (CCTT), Ennis — Weir Critical Thinking Essay Test (EWCTET), HEIghten Critical Thinking Assessment. Философы, занимающиеся изучением критического мышления, рассматривают его с точки зрения идеальных свойств, что позволяет выделить четкую теоретическую структуру исследуемого конструкта. Именно поэтому разработчики оценочных инструментов опираются преимущественно на эту традицию исследований критического мышления. В образовательной традиции наибольшее внимание уделяется формированию критического мышления, однако менее проработанной остается теоретическая рамка конструкта. Определения критического мышления в рамках психологического подхода отличаются глубокой теоретической проработкой и ориентацией на описание и объяснения глубинных процессов, определяющих критическое мышление, но в меньшей степени ориентированы на создание массовых оценочных инструментов.
2. Инструменты измерения критического мышления
С ростом востребованности навыков критического мышления в современном обществе увеличивается и количество инструментов измерения. Рассмотрим инструменты, созданные для студентов вузов и колледжей, с подтвержденной валидностью и надежностью получаемых результатов.
Один из первых стандартизированных тестов критического мышления, широко используемый до сих пор, — тест крити-
ческого мышления Уотсона — Глейзера (Watson — Glaser Critical Thinking Appraisal tool, WGCTA) [Watson, Glaser, 1980]. В его основе лежит представление о критическом мышлении как о способности выявлять и анализировать проблемы, а также искать и оценивать необходимую информацию для того, чтобы прийти к искомому выводу. Первая версия теста появилась в 1960 г., в дальнейшем он многократно изменялся и модифицировался. В 2011 г. разработана компьютерная адаптивная версия теста. Исследователи отмечают высокую дискриминативность заданий, большой банк заданий, высокий уровень надежности полных форм теста, значимый уровень прогностической валид-ности. Тем не менее тест не лишен недостатков: для него характерна низкая конструктная валидность, связанная с недочетами инструкций к заданиям [Possin, 2014], недостаточная внутренняя согласованность некоторых субшкал [Bernard et al., 2008].
У истоков создания теста Корнелла (Cornell Critical Thinking Test, CCTT) [Ennis, Millman, Tomko, 2005] и теста-эссе Энниса — Вейра (Ennis — Weir Critical Thinking Essay Test, EWCTET) [Ennis, Weir, 1985] стоял известный исследователь критического мышления в рамках философского подхода Р. Эннис. Показатели надежности теста Корнелла варьируют от 0,67 до 0,90. Тест-эссе Энниса — Вейра состоит из девяти открытых вопросов и сфокусирован на оценке общих навыков аргументации. В отличие от тестов с множественным выбором, он позволяет студентам обосновывать свои ответы. CCTT основан на представлении о критическом мышлении как рефлексивном и разумном умозаключении, сосредоточенном на том, во что верить или что делать [Ennis, 1993], а в EWCTET авторы акцентируют внимание на творческом аспекте критического мышления, учитывая разработки Энниса и определяя конструкт как способность человека оценить аргумент и сформулировать в письменном виде ответный. Главным недостатком теста-эссе стала необходимость привлекать экспертов для оценки открытых ответов.
В основу Калифорнийского теста критического мышления (California Critical Thinking Skills Test, CCTST) легли разработки еще одного представителя философской традиции в исследовании критического мышления — П. Фачоне. Согласно концептуализации, сформулированной группой из 46 национальных экспертов, критическое мышление представляет собой целенаправленное, саморегулирующееся суждение, которое приводит к интерпретации, анализу, оценке и выводу, а также к объяснению доказательных, концептуальных, методологических, критериологических или контекстуальных соображений, на которых основано это суждение [Facione, 1990]. Исследования подтвердили высокую надежность CCTST: она варьирует в зависимости от версии теста от 0,7 до 0,84 [Behar-Horenstein, Niu,
2011], однако недостатком теста является неоднозначность формулировок: в зависимости от их трактовки может быть несколько правильных ответов, что негативно сказывается на качестве результатов измерения [Fawkes et al., 2005].
Совет по оказанию помощи в образовании (Council for Aid to Education, CAE) в США разработал инструмент Collegiate Learning Assessment (CLA), а также его усовершенствованную версию CLA+ [Aloisi, Callaghan, 2018] для оценки критического мышления в формате оценивания деятельности. Инструмент может быть использован и для индивидуального оценивания с целью предоставления учащемуся обратной связи об уровне развития его навыков критического мышления и письменной коммуникации, и для оценки эффективности учебных программ факультета/университета при аккредитации и для отчетности. При этом исследователи отмечают недостаточную надежность теста: на индивидуальном уровне он непригоден для того, чтобы делать выводы об изменениях в уровне критического мышления учащихся [Ibid.], а на институциональном уровне его нельзя использовать для принятия решений с высокими ставками [Steedle, 2012].
Относительно недавно компанией Educational Testing Service (ETS) разработан компьютерный тест для студентов вузов HEIghten Critical Thinking Assessment. Авторы рассматривают критическое мышление как комплексный, не поддающийся целостному измерению конструкт и оценивают его главные составляющие — анализ и синтез информации. Тест предназначен для определения уровня сформированности критического мышления у студентов, для выявления сильных и слабых сторон учебных программ и возможностей для их улучшения [Liu, Frankel, Roohr, 2014].
На разработку оценочных инструментов нового поколения для ступени высшего образования и профессиональной деятельности, в том числе предназначенных для измерения критического мышления, направлен международный проект iPAL [Zlatkin-Troitschanskaia et al., 2018]. iPAL использует опыт, накопленный при создании CLA, и наработки другого международного проекта по оценке качества высшего образования — AHELO [Tremblay, 2013]. В рамках проекта iPAL на основе холистического подхода и методологии ECD (Evidence-Centered Design) [Mislevy, Almond, Lukas, 2003] разрабатываются инструменты с использованием заданий сценарного типа (все сценарии создаются с учетом возможности кросскультурных сравнений), моделирующие ситуации из реальной жизни.
Несмотря на использование при разработке оценочных инструментов инновационных методологий, качество созданных сценариев зависит от мастерства разработчиков заданий и от
самой процедуры оценивания. У создателей методик закономерно возникла мысль, что для демонстрации сформированных навыков критического мышления необходима именно открытая интернет-среда. Следующим шагом в развитии проекта iPAL стал инструмент Critical Online Reasoning Assessment (CORA) [Nagel et al., 2020]. Респондент получает вопрос с неоднозначным или спорным социальным контекстом, для ответа ему необходимо найти информацию по теме в открытой онлайн-сре-де, сформулировать и аргументировать свою точку зрения по этому вопросу, подкрепив ее ссылками на найденные источники. Главное отличие данного инструмента состоит в том, что студент работает не в симулированной среде, где источники информации подбирают разработчики, а в открытой онлайн-сре-де и, следовательно, может пользоваться любыми доступными материалами для решения поставленной задачи. Кроме ответов респондента на поставленные вопросы анализируется процесс поиска ответа, в том числе стратегия поведения в онлайн-среде, выбор сайтов как источников информации, данные о поисковых запросах, адреса сайтов, время пребывания на них. Такие задачи максимально приближены к реальной — и учебной, и жизненной — практике студентов, однако ставят перед разработчиками серьезные психометрические и технические вызовы, связанные со сбором, хранением и обработкой данных. Кроме того, применение такого рода оценочных инструментов затруднено в силу необходимости привлекать экспертов для проверки заданий — скорость оценки результатов при этом неизбежно снижается.
В табл. 1 представлена систематизированная информация об описанных инструментах для оценки критического мышления.
Таблица 1. Инструменты измерения критического мышления
Название инструмента измерения Компоненты критического мышления, входящие в операциональную рамку Целевая аудитория Формат Задания Время
Тест критического мышления Уотсона — Глейзера (Watson — Glaser Critical Thinking Appraisal tool, WGCTA) Логичность выводов, признание допущений, уровень дедукции, интерпретация и оценка аргументов Используется в разных сферах, в том числе для измерения критического мышления в деловой среде для различных целевых аудиторий: в высших учебных заведениях(при оценке студентов и профориентации), в частных и государственных организациях (при отборе кандидатов, оценке сотрудников и прогнозировании результатов работы) Бланковая форма/ компьютерная форма 80 (множественный выбор) 60 минут
Название Компоненты критиче- Целевая аудитория Формат Задания Время
инструмента ского мышления, вхо-
измерения дящие в операциональ-
ную рамку
Калифорний- Интерпретация, Студенты колледжа. В настоя- Бланковая 34 (множе- 45 минут
ский тест анализ, оценка, щее время используется также форма/ ственный вы-
критическо- умозаключение, дедук- для оценивания студентов бака- компьютер- бор)
го мышления тивное мышление и ин- лавриата и одаренных старше- ная форма
(California дуктивное мышление классников
Critical Think-
ing Skills Test,
CCTST)
Тест Корнелла Форма X: Форма X — учащиеся средней Бланковая Форма Х: 50 минут
(Cornell Crit- анализ, дедукция, и старшей школы. форма/ 71 (множе-
ical Thinking достоверность (дове- Форма Z — продвинутые компьютер- ственный вы-
Test, CCTT) рие) и выявление допу- старшеклассники, студенты, ная форма бор).
щений. взрослая целевая аудитория Форма Z:
Форма Z: 52 (множе-
индукция, дедукция, до- ственный вы-
стоверность (доверие), бор)
выявление допущений,
семантика, дефиниция,
прогнозирование при
планировании экспери-
ментов
Тест-эссе Эн- Формулирование своей Студенты Эссе 9 открытых 40 минут
ниса — Вейра точки зрения, видение вопросов
(Ennis — Weir причин и предположе-
Critical Think- ний, указание своей точ-
ing Essay Test, ки зрения, предложение
EWCTET) веских причин, выявле-
ние других возможно-
стей и адекватное реаги-
рование на недостатки
HEIghten Critical Аналитический ком- Студенты разных форм обуче- Компьютер- Задания 45 минут
Thinking Assess- понент критического ния (очная, смешанная и дис- ная форма включают
ment мышления: оценка на- танционная) фрагменты
дежности источников, текста раз-
релевантности аргумен- ного разме-
тов, поиск альтернатив- ра, в которых
ных мнений и точек зре- требуется от-
ния; ветить на во-
синтетический компо- просы, най-
нент: логический вывод, ти аргументы
оценка последствий, в пользу или
построение собствен- против той
ной структуры аргумен- или иной по-
тов и т.д.; зиции
общий компонент: по-
строение причин-
но-следственных связей
и оценка альтернатив-
ных объяснений
Название инструмента измерения Компоненты критического мышления, входящие в операциональную рамку Целевая аудитория Формат Задания Время
Critical Online Reasoning Assessment (CORA) Навыки критического отбора и оценки он-лайн-источников и информации, а также их использование для принятия и обоснования решения, основанного на фактах и доказательствах Студенты Компьютерная форма 5 открытых вопросов 60 минут
Collegiate Learning As-sessment+ (CLA+) Рассуждение, оценка и критический анализ аргументов Студенты Компьютерная форма Открытые вопросы + множественный выбор 90 минут
Оценка критического мышления Гальперна (Halpern Critical Thinking Assessment, HCTA) Рассуждения, анализ аргументов, проверка гипотез, использование понятий вероятности и неопределенности и навыки принятия решений Студенты Компьютерный Открытые вопросы + множественный выбор 60 минут
Такое многообразие инструментов может вызвать вопрос: зачем разрабатывать новые тесты, если можно адаптировать существующие? Большинство инструментов оценивания не дают возможности качественно оценить критическое мышление, в первую очередь из-за выбранного формата заданий: задачи на множественный выбор не позволяют тестировать сложные навыки, являющиеся компонентами критического мышления, и с большой вероятностью отражают иррелевант-ные конструкты [Liu, Frankel, Roohr, 2014]. Кроме того, ни один из перечисленных инструментов не является открытым, в отличие, например, от многих психологических шкал, которые целиком публикуются в научных журналах. В таких условиях временные и финансовые затраты на адаптацию существующего инструмента — перевод, установление соответствия теоретической рамки и заданий культурному контексту, апробация (при необходимости — не одна), обеспечение соответствия психометрического качества инструмента требованиям стандартов — оказываются практически такими же, как затраты на разработку нового инструмента [American Educational Research Association, 2018; Батурин и др., 2015]. При этом возможности использования адаптированного теста часто ограничиваются правообладателями. Способы отчислений правообладателю за использование теста могут варьировать, однако довольно часто
применяется схема «оплата за одно тестирование» или «оплата за один отчет»5, и в этом случае использование адаптированных инструментов в массовых мониторинговых исследованиях или тестировании студентов для их портфолио становится очень затратным. К тому же, чтобы выполнить требование эквивалентности версий, правообладатели обычно сильно ограничивают возможности доработки адаптированного инструмента, поэтому выявленные недостатки сохраняются во всех версиях теста. Таким образом, адаптация существующих инструментов не менее затратна, чем разработка новых, но при этом существенно ограничивает возможности использования готового теста.
3. Критическое мышление в онлайн-среде: операционализа-ция, инструмент оценивания
Проведенный анализ литературы показывает, что критическое мышление представляет собой сложный многомерный латентный конструкт. В зарубежной и отечественной традиции выделяются схожие элементы критического мышления, даже если для их описания используют разные термины.
При создании инструмента измерения и операционализа-ции данного конструкта требуется сочетать философский и психологический подходы, так как критическое мышление следует оценивать через релевантное наблюдаемое поведение испытуемого, и такая оценка — это нечто большее, чем перечисление видов и способов поведения, свойственного критически мыслящему человеку. Задания, в которых респонденту следует выполнить те или иные действия (performance tasks), рассматриваются как более подходящие для оценки критического мышления, чем традиционные задания с множественным выбором, поскольку они представляют проблему в определенном контексте и предполагают ответы, сходные с теми, которых требуют от человека его профессиональная деятельность и повседневная жизнь [Braun, Kirsch, Yamamoto, 2011; Messick, 1994]. Задания по типу performance tasks описывают непрерывные действия, разворачивающиеся во времени, точно так же, как они происходят в реальной жизни, а не отдельные составляющие этих действий [Braun, Kirsch, Yamamoto, 2011; Lane, Stone, 2006; Zlatkin-Troitschanskaia, Shavelson, 2019]. Кроме того, для исследования критического мышления рекомендуется использовать открытую онлайн-среду, в которой респондент не ограничен ресурсами симуляций и мастерством разработчиков заданий.
На основе холистического подхода и методологии доказательной аргументации (Evidence-Centered Design, ECD) [Misle-
5 Пример подобного ценообразования можно найти на сайте лаборатории «Гуманитарные технологии» — одной из ведущих коммерческих компаний в России, занимающихся разработкой тестов для бизнес-целей: https://ht-lab.ru/news/5805/
vy, Almond, Lukas, 2003] авторы разрабатывают инструмент для измерения критического мышления в онлайн-среде с использованием performance tasks. Критическое мышление рассматривается как способность студента вуза анализировать утверждения, предположения и аргументы, строить причинно-следственные связи, подбирать логически корректную и убедительную аргументацию, находить объяснения, делать выводы и формировать собственную позицию при решении задач в онлайн-среде, в том числе в открытой цифровой среде (с выходом в интернет с последующим сбором log-данных и фиксацией журнала событий). Содержание теста не связано с направлением подготовки — все студенты получают одинаковый набор заданий, не зависящий от их программы обучения. Одна из задач, стоящая перед разработчиками, — связать уровень критического мышления студентов с тем, как они работают с источниками информации, просматриваемыми в ходе выполнения заданий, с их текущей социокультурной и технологической средой обучения. Впоследствии возможна интеграция в исследование дополнительных параметров, в том числе установок и убеждений студентов, уровня их общего интеллектуального развития.
При создании концептуальной рамки мы опирались как на философский, так и на психологический подходы. В конструкте «критическое мышление в онлайн-среде» выделены составляющие, позволившие представить интегративную модель оценивания, в которой навыки критического мышления (critical thinking), исследуемые в рамках философского подхода [Liu, Frankel, Roohr, 2014], дополнены навыками критического суждения в онлайн-среде (critical online reasoning). С учетом результатов психологических исследований критического мышления в модели представлено наблюдаемое поведение целевой группы как свидетельство критического мышления, а также средо-вые факторы и возрастные особенности целевой аудитории. Модель конструкта представлена в табл. 2.
Методология ECD [Oliveri, Mislevy, 2019] позволяет перейти от общего конструкта к переменным, на основе которых затем создаются тестовые задания. ECD обеспечивает прочную основу для оценивания — позволяет собрать как можно больше доказательств того, что сделанный на основе наблюдений и анализа деятельности респондента в процессе выполнения заданий вывод об уровне сформированности у него оцениваемого конструкта отражает действительность. Этот подход наиболее актуален для измерения комплексных конструктов, поскольку не требует одномерного измерения и позволяет моделировать связи, отражающие их сложную природу. Следуя методологии ECD, для создания модели критического мышления в цифровой среде описаны свидетельства проявления конструкта, релевантное
наблюдаемое поведение респондента при решении задач, в котором эти свидетельства можно наблюдать, и продукты деятельности — результат действий в процессе тестирования, который можно фиксировать, чтобы составить представление об уровне критического мышления. Далее предложены формы заданий, в которых возможно фиксировать указанные продукты деятельности как в закрытой, так и в открытой цифровой среде (табл. 3).
Таблица 2. Теоретическая рамка инструмента измерения критического мышления
в онлайн-среде
Составляющая критического мышления
Свидетельство
Наблюдаемое поведение
Продукт деятельности
Анализ: респондент оценивает и анализирует доказательства и аргументы, а также контекст их применения.
Анализ позволяет выявлять взаимоотношения между элементами информации и оценивать их качество: определять достоверность фактов, выделять сильные и слабые стороны аргументов, оценивать их важность для поставленной задачи
Оценка доказательств
Анализ и оценка аргументов
Относит аргументы к разным контекстам
Оценивает актуальность информации
Оценивает компетентность источников информации
Оценивает авторитетность источника
Выделяет когнитивные искажения в предлагаемых доказательствах
Оценивает релевантность информации для заключения
Оценивает достоверность информации
Анализирует структуру аргумента
Оценивает структуру аргумента (убедительность/ неубедительность аргумента с точки зрения его структуры и взаимосвязей между частями аргумента)
Выделяет разные категории информации в тексте
Определяет недостаточность информации в аргументации
Распределяет аргументы по соответствующим контекстам
Оценивает информацию из источни-ка(ов) по степени актуальности
Оценивает источники по степени компетентности
Оценивает источники информации по степени авторитетности
Выбирает из предложенного списка искажений все относящиеся к конкретному доказательству
Оценивает представленную информацию по степени релевантности
Оценивает информацию из источников) по степени достоверности
Верно выявляет явные предпосылки и скрытые допущения
Идентифицирует лингвистические подсказки
Идентифицирует предпосылки в текс
Идентифицирует выводы в тексте
Идентифицирует промежуточные шаги в аргументации
Оценивает убедительность аргумента
Оценивает логическую корректность аргумента
Указывает на структурные недостатки, которые могут присутствовать в невалидных аргументах
Определяет информацию, которую возможно использовать как аргумент
Делает вывод о достаточности информации в аргументации
е
Составляющая критического мышления Свидетельство Наблюдаемое поведение Продукт деятельности
Синтез: респондент осуществляет логически корректные и истинные выводы и рассматривает их последствия. К синтезу относится формулирование выводов и понимание их последствий Разработка вывода На основе представленной информации для аргументации выносит четкое суждение («за» или «против») Осуществляет умозаключение, не допуская логических ошибок
Разрабатывает валидные выводы Записывает/собирает из предпосылок собственный валидный вывод, подкрепляющий ту или иную позицию
Разрабатывает истинные выводы Выбирает истинные предпосылки
Формулирует истинный вывод
Определяет альтернативные выводы Определяет альтернативные валидные/истинные выводы
Определяет контекст, в котором вывод перестает быть истинным
Понимание последствий Определяет последствия сделанного вывода в разных контекстах Определяет последствия своего вывода в разных контекстах
Выявляет ограничения вывода Меняет предпосылки так, что вывод перестает быть валидным
Меняет предпосылки так, что вывод перестает быть истинным
Установление причинно-следственных связей Устанавливает причинно-следственные связи Оценивает причинно-следственные связи Выносит суждение о том, верно ли выстроена причинно-следственная связь (или цепочка связей)
Создает объяснения Объясняет предложенные факты — «почему?» (выявляет причины) и «зачем?» (выявляет следствия)
Таблица 3. Предлагаемые формы заданий
Форма задания Описание
Выделение фрагментов текста От респондента требуется выделить элементы текста в соответствии с инструкцией
Выбор утверждения Из группы утверждений респондент выбирает те, которые вместе или по отдельности выполняют заданную роль
Короткий конструируемый ответ Респондент должен своими словами ответить на вопрос, представленный в текстовой, графической или иной форме
Эссе На основе предоставленных материалов респондент пишет эссе на заданную тему, в котором оценивает аргументы, приведенные в обоснование конкретных выводов, или создает собственную аргументацию в поддержку той или иной позиции
Множественный выбор с одним или несколькими верными вариантами Респондент выбирает один или несколько вариантов ответов из предложенного списка. От него может потребоваться выбрать определенное число ответов или выбрать все, которые покажутся ему подходящими. Количество предложенных вариантов может варьировать
Редактирование текста Оцениваются изменения, которые тестируемый внес в предложенный продукт. Пример — редактирование текста с учетом изменившейся аудитории
Классификация Распределение фрагментов текста по категориям
Сопоставление Группировка элементов по определенным признакам или принципам
4. Заключение Одна из важных проблем в измерении критического мышления (и других сложных латентных конструктов) — это необходимость постоянно актуализировать контекст и приближать инструментарий к реальной жизни. Использование актуального онлайн-контекста для обучения и оценивания ставит исследователя перед новыми вызовами, связанными как со сбором, так и с обработкой данных: необходимо одномоментно обрабатывать, а затем хранить большие массивы данных — не только собственно ответы студентов, но и собираемую в процессе тестирования коллатеральную информацию, в частности данные о поведении студентов в онлайн-среде. А реализация методологии ECD требует применения сложных математических моделей — только с их помощью можно показать, как фиксируемое поведение студентов в процессе выполнения тестов собирается в свидетельства критического мышления.
Измерение критического мышления в высшем образовании сталкивается не только с методологическими и техническими проблемами, но и с трудностями администрирования исследования и использования результатов. Во-первых, это мотивация студентов: критическое мышление, хотя и является одним из ожидаемых результатов обучения, не входит в перечень дисциплин — а следовательно, студенту не нужно получать за него оценку. В этом случае мотивация к прохождению теста сильно снижается, что не может не сказаться на результатах. Вторая трудность, непосредственно связанная с первой, — это встраивание оценочной процедуры в учебный процесс: каков должен быть ее статус в рамках освоения учебной программы? Несмотря на отдельные положительные примеры, однозначного решения, устраивающего все стороны образовательного процесса, найти пока не удалось.
Но даже с учетом этих проблем представленная в статье методология позволяет создать современный инструмент измерения критического мышления, пригодный для мониторинговой оценки. В разработанной концептуальной рамке каждая составляющая конструкта «критическое мышление в онлайн-среде» имеет широкий спектр поведенческих проявлений и потенциальных продуктов деятельности (результатов действий студента, выполняющего задачи на критическое мышление). На этой основе можно составлять разнообразные сценарии заданий, максимально приближенных к реальной жизни респондента, повышая таким образом его мотивацию к их выполнению и потенциально увеличивая возможности сбора надежной и валидной диагностической информации.
Статья подготовлена в рамках гранта, предоставленного Министерством науки и высшего образования Российской Федерации (Соглашение о предоставлении гранта № 075-15-2022-325 от 25.04.2022).
Литература 1. Батурин Н.А., Вучетич Е.В., Костромина С.Н. и др. (2015) Российский стандарт тестирования персонала (временная версия, созданная для широкого обсуждения в 2015 году) // Организационная психология. Т. 5. № 2. С. 67-138.
2. Блонский П.П. (1935) Развитие мышления школьника. М.: Учпедгиз.
3. Бояцис Р. (2008) Компетентный менеджер. Модель эффективной работы. М.: HIPPO.
4. Давыдов В.В. (1972) Виды обобщений в обучении. М.: Педагогика.
5. Давыдов В.В. (1996) Теория развивающего обучения. М.: Интор.
6. Зейгарник Б.В. (1986) Патопсихология. М.: Издательство Московского университета.
7. Ильенков Э.В. (2002) Школа должна учить мыслить. М.: РАО, Московский психолого-социальный институт.
8. Ильенков Э.В. (1979) Диалектическое противоречие. М.: Политиздат.
9. Ильенков Э.В. (1974) Диалектическая логика. М.: Политиздат.
10. Корешникова Ю.Н., Фрумин И.Д., Пащенко Т.В. (2020) Барьеры для создания педагогических условий развития критического мышления в российских вузах // Педагогика. Т. 84. № 9. С. 45-54.
11. Пиаже Ж. (2008) Речь и мышление ребенка. М.: Римис.
12. Рубинштейн Л.С. (2002) Основы общей психологии. СПб.: Питер.
13. Симоненко С.И. (2012) Модель эффективного руководителя в рамках концепции динамического лидерства // Известия Саратовского университета. (Философия. Психология. Педагогика). Т. 12. № 4. С. 90-96.
14. Спенсер Л.М., Спенсер С.М. (2005) Компетенции на работе. М.: HIPPO.
15. Степашкина Е.А., Суходоев А.К., Д.Ю. Гужеля Д.Ю. (2022) Исследование профиля надпрофессиональных компетенций, востребованных ведущими работодателями при приеме на работу студентов и выпускников университетов и молодых специалистов. М.: НИУ ВШЭ.
16. Теплов Б. (1946) Психология. М.: Учпедгиз.
17. Угланова И., Брун И., Васин Г. (2018) Методология Evidence-Centered Design для измерения комплексных психологических конструктов // Современная зарубежная психология. Т. 7. № 3. С. 18-27. doi:10.17759/ jmfp.2018070302
18. Угланова И.Л., Орел Е.А., Брун И.В. (2020) Измерение креативности и критического мышления в начальной школе // Психологический журнал. Т. 41. № 6. С. 96-107. doi:10.31857/S020595920011124-2
19. Угланова И.Л., Погожина И.Н. (2021) Что может предложить новая методология оценки мышления школьников современному образованию // Вопросы образования / Educational Studies Moscow. № 4. С. 8-34. doi:10.17323/1814-9545-2021-4-8-34
20. Эльконин Д.Б. (1971) К проблеме периодизации психического развития в детском возрасте // Вопросы психологии. № 4. С. 6-20.
21. Aloisi C., Callaghan A. (2018) Threats to the Validity of Peer Learning Assessment (CLA +) as an Indicator of Critical Thinking Skills and the Implications for Knowledge // Pedagogy of Higher Education. Vol. 3. No 1. P. 57-82. doi:10.1080/23752696.2018.1449128
22. American Educational Research Association (2018) Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
23. Bartram D. (2005) The Great Eight Competencies: A Criterion-Centric Approach to Validation // Journal of Applied Psychology. Vol. 90. No 6. P. 11851203. doi:10.1037/0021-9010.90.6.1185
24. Beer de D., Matthee M. (2021) Approaches to Identify Fake News: A Systematic Literature Review // T. Antipova (ed.) Integrated Science in Digital Age 2020. Cham: Springer. P. 13-22. doi:10.1007/978-3-030-49264-9_2
25. Behar-Horenstein L.S., Niu L. (2011) Teaching Critical Thinking Skills in Higher Education: A Review of the Literature // Journal of College Teaching & Learning. Vol. 8. No 2. P. 25-41. doi:10.19030/tlc.v8i2.3554
26. Bernard R.M., Zhang D., Abrami P.C., Sicoly F., Borokhovski E., Surkes M.A. (2008) Exploring the Structure of the Watson-Glaser Critical Thinking Appraisal: One Scale or Many Subscales? // Thinking Skills and Creativity. Vol. 3. No 1. P. 15-22. doi:10.1016/j.tsc.2007.11.001
27. Braun H., Kirsch I., Yamamoto K. (2011) An Experimental Study of the Effects of Monetary Incentives on Performance on the 12th-Grade NAEP Reading Assessment // Teachers College Record. Vol. 113. No 11. P. 2309-2344. doi:10.1177/016146811111301101
28. Carnevale A.P., Smith N. (2013) Workplace Basics: The Skills Employees Need and Employers Want // Human Resource Development International. Vol. 16. No 5. P. 491-501. doi:10.1080/13678868.2013.821267
29. Dewey J. (1909) Moral Principles in Education. Boston: Houghton Mifflin.
30. Ennis R.H. (1993) Critical Thinking Assessment // Theory into Practice. Vol. 32. No 3. P. 179-186. doi:10.1080/00405849309543594
31. Ennis R.H., Millman J., Tomko T.N. (2005) Cornell Critical Thinking Tests. Seaside, CA: The Critical Thinking Co.
32. Ennis R.H., Weir E.E. (1985) The Ennis-Weir Critical Thinking Essay Test: An Instrument for Teaching and Testing. Pacific Grove, CA: Midwest Publications.
33. Facione P. (1990) Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction. ERIC Doc. No ED 315 423. Fullerton, CA: California State University.
34. Fawkes D., O'Meara B., Weber D., Flage D. (2005) Examining the Exam: A Critical Look at the California Critical Thinking Skills Test // Science & Education. Vol. 14. No 2. P. 117-135. doi:10.1007/S11191-005-6181-4
35. Griffin P., Care E. (eds) (2014) Assessment and Teaching of 21st Century Skills: Methods and Approach. Dordrecht: Springer.
36. Hitchcock D. (2020) Critical Thinking // E.N. Zalta (ed.) The Stanford Encyclopedia of Philosophy. Stanford, CA: Metaphysics Research Lab, Stanford University. https://plato.stanford.edu/archives/fall2020/entries/critical-thinking/
37. Jackson S. (1965) The Growth of Logical Thinking in Normal and Subnormal Children // British Journal of Educational Psychology. Vol. 35. No 2. P. 255258.
38. Kennedy M., Fisher M.B., Ennis R.H. (1991) Critical Thinking: Literature Review and Needed Research // L. Idol, B. Fly Jones (eds) Educational Values and Cognitive Instruction: Implications for Reform. Hillsdale, NJ: Lawrence Erlbaum. P. 11-40.
39. Khan U. (2020) Developing Critical Thinking in Student Seafarers: An Exploratory Study // Journal of Applied Learning & Teaching. Vol. 3. Sp. Iss. 1. P. 4050. doi:10.37074/jalt.2020.3.s1.15
40. Kurz R. (2009) The Structure of Work Effectiveness as Measured through the Saville Consulting Wave® Performance 360 'BA-G'Model of Behaviour, Ability and Global Performance // Assessment & Development Matters. Vol. 1. No 1. P. 15-18.
41. Lai E.R. (2011) Critical Thinking: A Literature Review Research Report. London: Parsons Publishing.
42. Lane S., Stone C. (2006) Performance Assessment // R.L. Brennan (ed.) Educational Measurement. Westport, CT: American Council on Education and Praeger. P. 387-431.
43. Liu O.L., Frankel L., Roohr K.C. (2014) Assessing Critical Thinking in Higher Education: Current State and Directions for Next-Generation Assessment // ETS Research Report Series. No 2014 (1). P. 1-23. doi:10.1002/ets2.12009
44. Lovell K. (1961) A Follow-Up Study of Inhelder and Piaget's. The Growth of Logical Thinking // British Journal of Psychology. Vol. 52. No 2. P. 143-153.
45. Messick S. (1994) The Interplay of Evidence and Consequences in the Validation of Performance Assessments // Educational Researcher. Vol. 23. No 2. P. 13-23. doi:10.3102/0013189X023002013
46. Mislevy R.J., Almond R.G., Lukas J.F. (2003) A Brief Introduction to Evidence-Centered Design // ETS Research Report Series. No 2003 (1). P. i-29.
47. Nagel M.-T., Schäfer S., Zlatkin-Troitschanskaia O. et al. (2020) How Do University Students' Web Search Behavior, Website Characteristics, and the Interaction of Both Influence Students' Critical Online Reasoning // Frontiers in Education. No 5. Art. No 565062. doi:10.3389/feduc.2020.565062
48. Norris S.P. (1985) Synthesis of Research on Critical Thinking // Educational Leadership. Vol. 42. No 8. P. 40-45.
49. Oliveri M.E., Mislevy R.J. (2019) Introduction to "Challenges and Opportunities in the Design of 'Next-Generation Assessments of 21st Century Skills'" // International Journal of Testing. Special Issue. Vol. 19. No 2. P. 97-102. doi:10.1080/15305058.2019.1608551
50. Paul R., Elder L. (2011) Critical Thinking: Tools for Taking Charge of Your Learning and Your Life. Upper Saddle River, NJ: Prentice Hall.
51. Possin K. (2014) Critique of the Watson-Glaser Critical Thinking Appraisal Test: The More You Know, the Lower Your Score // Informal Logic. Vol. 34. No 4. P. 393-416. doi:10.22329/il.v34i4.4141
52. Probierz B., Stefanski P., Kozak J. (2021) Rapid Detection of Fake News Based on Machine Learning Methods // Procedia Computer Science. Vol. 192. P. 2893-2902. doi:10.1016/j.procs.2021.09.060
53. Seaman M. (2011) Bloom's Taxonomy: Its Evolution, Revision, and Use in the Field of Education // Curriculum and Teaching Dialogue. Vol. 13. No 1-2. P. 29-131A.
54. Steedle J.T. (2012) Selecting Value-Added Models for Postsecondary Institutional Assessment // Assessment & Evaluation in Higher Education. Vol. 37. No 6. P. 637-652. doi:10.1080/02602938.2011.560720
55. Sternberg R.J. (1986) Critical Thinking: Its Nature, Measurement, and Improvement. ERIC no ED272882. https://flles.eric.ed.gov/fulltext/ED272882.pdf
56. Tremblay K. (2013) OECD Assessment of Higher Education Learning Outcomes (AHELO): Rationale, Challenges and Initial Insights from the Feasibility Study // S. Blömeke, O. Zlatkin-Troitschanskaia, Ch. Kuhn, Ju. Fege (eds) Modeling and Measuring Competencies in Higher Education. Rotterdam; Boston; Taipei: Sense. P. 113-126.
57. Watson G., Glaser E.M. (1980) Watson-Glaser Critical Thinking Appraisal Manual. San Antonio, TX: Psychological Corporation.
58. Zlatkin-Troitschanskaia O., Shavelson R.J. (2019) Advantages and Challenges of Performance Assessment of Student Learning in Higher Education // British Journal of Educational Psychology. Vol. 89. No 3. P. 413-415. doi:10.1111/ bjep.12314
59. Zlatkin-Troitschanskaia O., Toepper M., Pant H.A., Lautenbach C., Kuhn C. (2018) Assessment of Learning Outcomes in Higher Education: Cross-National Comparisons and Perspectives. Cham: Springer.
References Aloisi C., Callaghan A. (2018) Threats to the Validity of Peer Learning Assessment (CLA +) as an Indicator of Critical Thinking Skills and the Implications for Knowledge. Pedagogy of Higher Education, vol. 3, no 1, pp. 57-82. doi:10.108 0/23752696.2018.1449128 American Educational Research Association (2018) Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
Bartram D. (2005) The Great Eight Competencies: A Criterion-Centric Approach to Validation. Journal of Applied Psychology, vol. 90, no 6, pp. 1185-1203. doi:10.1037/0021-9010.90.6.1185 Baturin N., Vuchetich E., Kostromina S. et al. (2015) Rossijskij standart testirovani-ya personala (vremennaya versiya, sozdannaya dlya shirokogo obsuzhdeni-ya v 2015 g.) [Russian Standard for Personnel Testing (Interim Version, Designed for a Discussion)]. Organizational Psychology, vol. 5, no 2, pp. 67-138. Beer de D., Matthee M. (2021) Approaches to Identify Fake News: A Systematic Literature Review. Integrated Science in Digital Age 2020 (ed. T. Antipova), Cham: Springer, pp. 13-22. doi:10.1007/978-3-030-49264-9_2 Behar-Horenstein L.S., Niu L. (2011) Teaching Critical Thinking Skills in Higher Education: A Review of the Literature. Journal of College Teaching & Learning, vol. 8, no 2, pp. 25-41. doi:10.19030/tlc.v8i2.3554 Bernard R.M., Zhang D., Abrami P.C., Sicoly F., Borokhovski E., Surkes M. A. (2008) Exploring the Structure of the Watson-Glaser Critical Thinking Appraisal: One Scale or Many Subscales? Thinking Skills and Creativity, vol. 3, no 1, pp. 15-22. doi:10.1016/j.tsc.2007.11.001 Blonskiy P.P. (1935) Razvitie myshleniya shkol'nika [The Development of the School-
child's Thinking]. M.: Uchpedgiz. Boyatzis R. (2008) Kompetentny menedzher. Model' effektivnoj raboty [The Competent Manager]. Moscow: HIPPO. Braun H., Kirsch I., Yamamoto K. (2011) An Experimental Study of the Effects of Monetary Incentives on Performance on the 12th-Grade NAEP Reading Assessment. Teachers College Record, vol. 113, no 11, pp. 2309-2344. doi:10.1177/016146811111301101 Carnevale A.P., Smith N. (2013) Workplace Basics: The Skills Employees Need and Employers Want. Human Resource Development International, vol. 16, no 5, pp. 491-501. doi: 10.1080/13678868.2013.821267 Davydov V.V. (1972) Vidy obobshchenij v obuchenii [Types of Generalizations in
Learning]. Moscow: Pedagogika. Davydov V.V. (1996) Teoriya razvivayushchego obucheniya [Theory of Developmental Learning]. Moscow: Intor. Dewey J. (1909) Moral Principles in Education. Boston: Houghton Mifflin. El'konin D.B. (1971) K probleme periodizatsii psikhicheskogo razvitiya v detskom vozraste [On the Problem of Periodization of Mental Development in Childhood]. Voprosy Psychologii, no 4, pp. 6-20. Ennis R.H. (1993) Critical Thinking Assessment. Theory into Practice, vol. 32, no 3,
pp. 179-186. doi:10.1080/00405849309543594 Ennis R.H., Millman J., Tomko T.N. (2005) Cornell Critical Thinking Tests. Seaside,
CA: The Critical Thinking Co. Ennis R.H., Weir E.E. (1985) The Ennis-Weir Critical Thinking Essay Test: An Instrument
for Teaching and Testing. Pacific Grove, CA: Midwest Publications. Facione P. (1990) Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction. ERIC Doc. No ED 315 423. Fullerton, CA: California State University. Fawkes D., O'Meara B., Weber D., Flage D. (2005) Examining the Exam: A Critical Look at the California Critical Thinking Skills Test. Science & Education, vol. 14, no 2, pp. 117-135. doi:10.1007/S11191-005-6181-4
Griffin P., Care E. (eds) (2014) Assessment and Teaching of 21st Century Skills: Methods and Approach. Dordrecht: Springer.
Hitchcock D. (2020) Critical Thinking. The Stanford Encyclopedia of Philosophy (ed. E.N. Zalta), Stanford, CA: Metaphysics Research Lab, Stanford University. Available at: https://plato.stanford.edu/archives/fall2020/entries/criti-cal-thinking/ (accessed 2 September 2022).
Il'enkov E.V. (2002) Shkola dolzhna uchit' myslit' [School Should Teach Thinking]. Moscow: Russian Academy of Education, Moscow Psychological and Social Institute.
Il'enkov E.V. (1979) Dialekticheskoe protivorechie [Dialectical Contradiction]. Moscow: Politizdat.
Il'enkov E.V. (1974) Dialekticheskaya logika [Dialectical Logic]. Moscow: Politizdat.
Jackson S. (1965) The Growth of Logical Thinking in Normal and Subnormal Children. British Journal of Educational Psychology, vol. 35, no 2, pp. 255-258.
Kennedy M., Fisher M.B., Ennis R.H. (1991) Critical Thinking: Literature Review and Needed Research. Educational Values and Cognitive Instruction: Implications for Reform (eds L. Idol, B. Fly Jones), Hillsdale, NJ: Lawrence Erlbaum, pp. 11-40.
Khan U. (2020) Developing Critical Thinking in Student Seafarers: An Exploratory Study. Journal of Applied Learning & Teaching, vol. 3, sp. iss. 1, pp. 40-50. doi:10.37074/jalt.2020.3.s1.15
Koreshnikova Yu.N., Froumin I.D., Pashchenko T.V. (2020) Bar'ery dlya sozdani-ya pedagogicheskikh uslovij razvitiya kriticheskogo myshleniya v rossijskikh vuzakh [Barriers to Creating Pedagogical Conditions for the Development of Critical Thinking in Russian Universities]. Pedagogika, vol. 84, no 9, pp. 45-54.
Kurz R. (2009) The Structure of Work Effectiveness as Measured through the Sav-ille Consulting Wave® Performance 360 'BA-G'Model of Behaviour, Ability and Global Performance. Assessment & Development Matters, vol. 1, no 1, pp. 15-18.
Lai E.R. (2011) Critical Thinking: A Literature Review Research Report. London: Parsons Publishing.
Lane S., Stone C. (2006) Performance Assessment. Educational Measurement (ed. R.L. Brennan), Westport, CT: American Council on Education and Praeger, pp. 387-431.
Liu O.L., Frankel L., Roohr K.C. (2014) Assessing Critical Thinking in Higher Education: Current State and Directions for Next-Generation Assessment. ETS Research Report Series, no 2014 (1). pp. 1-23. doi:10.1002/ets2.12009
Lovell K. (1961) A Follow-Up Study of Inhelder and Piaget's. The Growth of Logical Thinking. British Journal of Psychology, vol. 52, no 2, pp. 143-153.
Messick S. (1994) The Interplay of Evidence and Consequences in the Validation of Performance Assessments. Educational Researcher, vol. 23, no 2, pp. 1323. doi:10.3102/0013189X023002013
Mislevy R.J., Almond R.G., Lukas J.F. (2003) A Brief Introduction to Evidence-Centered Design. ETS Research Report Series, no 2003 (1), pp. i-29.
Nagel M.-T., Schäfer S., Zlatkin-Troitschanskaia O. et al. (2020) How Do University Students' Web Search Behavior, Website Characteristics, and the Interaction of Both Influence Students' Critical Online Reasoning. Frontiers in Education, no 5, art. no 565062. doi:10.3389/feduc.2020.565062
Norris S.P. (1985) Synthesis of Research on Critical Thinking. Educational Leadership, vol. 42, no 8, pp. 40-45.
Oliveri M.E., Mislevy R.J. (2019) Introduction to "Challenges and Opportunities in the Design of 'Next-Generation Assessments of 21st Century Skills'". International Journal of Testing. Special Issue, vol. 19, no 2, pp. 97-102. doi:10.1080/1 5305058.2019.1608551
Paul R., Elder L. (2011) Critical Thinking: Tools for Taking Charge of Your Learning and Your Life. Upper Saddle River, NJ: Prentice Hall.
Piaget J. (2008) Rech' i myshlenie rebenka [The Language and Thought of the
Child]. Moscow: Rimis. Possin K. (2014) Critique of the Watson-Glaser Critical Thinking Appraisal Test: The More You Know, the Lower Your Score. Informal Logic, vol. 34, no 4, pp. 393416. doi:10.22329/il.v34i4.4141 Probierz B., Stefanski P., Kozak J. (2021) Rapid Detection of Fake News Based on Machine Learning Methods. Procedia Computer Science, vol. 192, pp. 28932902. doi:10.1016/j.procs.2021.09.060 Rubinstein L.S. (2002) Osnovy obshchej psikhologii [Fundamentals of General Psychology]. Saint Petersburg: Piter. Seaman M. (2011) Bloom's Taxonomy: Its Evolution, Revision, and Use in the Field of Education. Curriculum and Teaching Dialogue, vol. 13, no 1-2, pp. 29-131A. Simonenko S.I. (2012). Model' effektivnogo rukovoditelya v ramkakh kontseptsii dinamicheskogo liderstva [Model of Effective Manager in Frame of Dynamic Leadership Concept]. Izvestiya of Saratov University. (Philosophy. Psychology. Pedagogy), vol. 12, no 4, pp. 90-96. Spencer L.M., Spencer S.M. (2005) Kompetentsii na rabote [Competence at Work.
Models for Superior Performance]. Moscow: HIPPO. Steedle J.T. (2012) Selecting Value-Added Models for Postsecondary Institutional Assessment. Assessment & Evaluation in Higher Education, vol. 37, no 6, pp. 637-652. doi:10.1080/02602938.2011.560720 Stepashkina E., Sukhodoev A., Gudgelya D. (2022) Issledovanie profilya nadpro-fessional'nykh kompetentsij, vostrebovannykh vedushchimi rabotodatelyami pri prieme na rabotu studentov i vypusknikov universitetov i molodykh spetsialistov [The Research on the Essential Range of Soft Skills Enquired by Leading Employers during the Process of Recruitment of University Graduates and Young Professionals]. Moscow: HSE. Sternberg R.J. (1986) Critical Thinking: Its Nature, Measurement, and Improvement. ERIC no ED272882. Available at: https://files.eric.ed.gov/fulltext/ED272882.pdf (accessed 2 September 2022). Teplov B. (1946) Psikhologiya [Psychology]. Moscow: Uchpedgiz. Tremblay K. (2013) OECD Assessment of Higher Education Learning Outcomes (AHELO): Rationale, Challenges and Initial Insights from the Feasibility Study. Modeling and Measuring Competencies in Higher Education (eds S. Blomeke, O. Zlatkin-Troitschanskaia, Ch. Kuhn, Ju. Fege), Rotterdam; Boston; Taipei: Sense, pp. 113-126.
Uglanova I., Brun I., Vasin G. (2018) Metodologiya Evidence-Centered Design dlya izmereniya kompleksnykh psikhologicheskikh konstruktov [Evidence-Centered Design Method for Measuring Complex Psychological Constructs]. Journal of Modern Foreign Psychology, vol. 7, no 3, pp. 18-27. doi:10.17759/ jmfp.2018070302
Uglanova I.L., Orel E.A., Brun I.V. (2020) Izmerenie kreativnosti i kriticheskogo myshleniya v nachal'noj shkole [Measuring Creativity and Critical Thinking in Primary School]. Psikhologicheskij zhurnal, vol. 41, no 6, pp. 96-107. doi:10.31857/S020595920011124-2 Uglanova I. L., Pogozhina I. N. (2021) Chto mozhet predlozhit' novaya metodologiya otsenki myshleniya shkol'nikov sovremennomu obrazovaniyu [What the New Measure of Thinking in School Students Has to Offer to Contemporary Education]. Voprosy obrazovaniya /Educational Studies Moscow, no 4, pp. 8-34. https://doi.org/10.17323/1814-9545-2021-4-8-34 Watson G., Glaser E.M. (1980) Watson-Glaser Critical Thinking Appraisal Manual. San
Antonio, TX: Psychological Corporation. Zeigarnik B.V. (1986) Patopsikhologiya [Pathopsychology]. Moscow: Moscow University Publishing House.
Zlatkin-Troitschanskaia O., Shavelson R.J. (2019) Advantages and Challenges of Performance Assessment of Student Learning in Higher Education. British Journal of Educational Psychology, vol. 89, no 3, pp. 413-415. doi:10.1111/ bjep.12314
Zlatkin-Troitschanskaia O., Toepper M., Pant H.A., Lautenbach C., Kuhn C. (2018) Assessment of Learning Outcomes in Higher Education: Cross-National Comparisons and Perspectives. Cham: Springer.
