CC BY-NC-ND
0
Диспозиции критического мышления: разработка и валидизация инструмента оценки
Юлия Хиль, Анастасия Садова, Ольга Соболева, Екатерина Степашкина, Дмитрий Гужеля
Хиль Юлия Сергеевна — главный специалист отдела аналитики и разработки диагностических инструментов департамента оценки и методологии, автономная некоммерческая организация «Россия — страна возможностей». Адрес: 109004 Москва, ул. Станиславского, 21, стр. 3, а/я 104. Е-mail: yuliya.khil@rsv.ru. ORCID: https://orcid.org/0000-0002-4758-5224 (контактное лицо для переписки)
Садова Анастасия Романовна — главный специалист отдела аналитики и разработки диагностических инструментов департамента оценки и методологии, автономная некоммерческая организация «Россия — страна возможностей». E-mail: anastasiya.sadova@rsv.ru. ORCID: https://orcid.org/0000-0001-8472-5305
Соболева Ольга Борисовна — главный специалист отдела аналитики и разработки диагностических инструментов департамента оценки и методологии, автономная некоммерческая организация «Россия — страна возможностей». E-mail: olga.soboleva@rsv.ru. ORCID: https://orcid.org/0000-0002-2348-2925
Степашкина Екатерина Алексеевна — руководитель отдела аналитики и разработки диагностических инструментов департамента оценки и методологии, автономная некоммерческая организация «Россия — страна возможностей». E-mail: e.stepashkina@rsv.ru. ORCID: https://orcid.org/0000-0002-4340-3753
Гужеля Дмитрий Юрьевич — кандидат педагогических наук, заместитель генерального директора, автономная некоммерческая организация «Россия — страна возможностей». E-mail: dmitriy.guzhelya@rsv.ru. ORCID: http://orcid.org/0000-0001-7167-3972
Аннотация В статье приводится описание процесса разработки и апробации инструмента «Диспозиции критического мышления». Под диспозициями критического мышления понимаются предрасположенности, тенденции или готовность человека реализовывать навыки критического мышления. Человек с низким уровнем диспозиций может не проявлять навыков критического мышления, даже если владеет ими на высоком уровне.
На основе обзора литературы проанализированы современные теоретические рамки и инструменты измерения диспозиций критического мышления. Предлагаемый авторами инструмент представляет собой самоотчетный опросник в компьютерном формате. Задача респондента — оценить, насколько его поведение в обычной жизни схоже с описанным в утверждениях. Опросник прошел апробацию, на основе полученных данных проведена проверка факторной структуры, качества разработанных заданий, а также оценена
Статья поступила в редакцию в феврале 2023 г.
конвергентная и содержательная валидность теста. Результаты психометрической проверки позволяют утверждать, что разработанный инструмент является надежным и валидным способом оценки диспозиций критического мышления у русскоговорящих людей старше 16 лет. Рассмотрены ограничения данного исследования и возможные направления будущих разработок.
Ключевые слова диспозиции критического мышления, диспозиции, склонности, разработка инструмента измерения, валидизация, психометрика, опросник, тест
Для цитирования Хиль Ю.С., Садова А.Р., Соболева О.Б., Степашкина Е.А., Гужеля Д.Ю. (2024) Диспозиции критического мышления: разработка и валидизация инструмента оценки. Вопросы образования/Educational Studies Moscow, № 2, сс. 350-374. https://doi.org/10.17323/vo-2024-16770
Critical Thinking Dispositions: Development and Validation of an Assessment Tool
Yulia Khil, Anastasia Sadova, Olga Soboleva, Ekaterina Stepashkina, Dmitry Guzhelya
Yulia S. Khil — Chief Specialist of the Analytics and Development of Diagnostic Tools Department of the Assessment and Methodology Department, Autonomous Non-Commercial Organization "Russia — the Country of Opportunities". Address: Bld 10, 21 Stanislavsky St., PO Box 104, 109004 Moscow, Russian Federation. E-mail: yuliya. khil@rsv.ru. ORCID: https://orcid.org/0000-0002-4758-5224 (corresponding author)
Anastasia R. Sadova — Chief Specialist of the Analytics and Development of Diagnostic Tools Department of the Assessment and Methodology Department, Autonomous Non-Commercial Organization "Russia — the Country of Opportunities". E-mail: anastasiya.sadova@rsv.ru. ORCID: https://orcid.org/0000-0001-8472-5305
Olga B. Soboleva — Chief Specialist of the Analytics and Development of Diagnostic Tools Department of the Assessment and Methodology Department, Autonomous Non-Commercial Organization "Russia — the Country of Opportunities". E-mail: olga.soboleva@rsv.ru. ORCID: https://orcid.org/0000-0002-2348-2925
Ekaterina A. Stepashkina — Head of the Analytics and Development of Diagnostic Tools Department of the Assessment and Methodology Department, Autonomous Non-Commercial Organization "Russia — the Country of Opportunities". E-mail: e.stepashkina@rsv.ru. ORCID: https://orcid.org/0000-0002-4340-3753
Dmitry Yu. Guzhelya — Candidate of Sciences in Pedagogy, Deputy General Director, Autonomous Non-Commercial Organization "Russia — Land of Opportunities". E-mail: dmitriy.guzhelya@rsv.ru. ORCID: http://orcid.org/0000-0001-7167-3972
Abstract The article describes the process of developing and testing the "Critical Thinking Dispositions" (CDT) tool. Critical thinking dispositions refer to a person's predispositions, tendencies, or readiness to implement critical thinking skills. The relevance of studying and measuring CDT is reflected in the relationship of the construct with the psychological characteristics of a person and his success in various fields. Also, dispositions are important for the manifestation of critical thinking skills: a person with low dispositions may not demonstrate critical thinking, even if it is expressed at a high
level. Currently, there is a lack of validated Russian-language instruments dedicated to CDT. The purpose of the study was to develop a CDT instrument and test its validity. Descriptions of the construct in the research literature, analysis of existing theoretical frameworks, and tools for measuring critical thinking dispositions are provided. The instrument is a self-report questionnaire in computer format. The respondent's task is to assess how similar his behavior in everyday life is to that described in the statements. The questionnaire was tested, based on the data obtained, the factor structure and the quality of the developed tasks were checked, and convergent and content validity was assessed. The results of psychometric testing suggest that the developed instrument is a reliable and valid way to assess critical thinking dispositions in Russian-speaking people over 16 years of age. Limitations of this study and possible directions for future developments are discussed.
Keywords critical thinking dispositions, dispositions, inclinations, development of a measurement instrument, validation, psychometrics, questionnaire, test
For citing Khil Yu.S., Sadova A.R., Soboleva O.B., Stepashkina E.A., Guzhelya D.Yu. (2024) Critical Thinking Dispositions: Development and Validation of an Assessment Tool. Vo-prosy obrazovaniya /Educational Studies Moscow, no 2, pp. 350-374 (In Russian). https://doi.org/10.17323/vo-2024-16770
В последние два десятилетия постоянно растет количество исследований критического мышления, появляются новые теории и подходы к его измерению [Lai, 2011]. Эмпирически установлены значимые связи критического мышления с некоторыми личностными характеристиками: открытостью опыту, тревожностью, эго-устойчивостью (ego-resilience) [Clifford, Boufal, Kurtz, 2004], а также с формированием и устойчивостью личных убеждений [Halpern, 2013]. Также установлена значимая взаимосвязь (r = 0,74) между предрасположенностью к критическому мышлению и навыками критического мышления [Fikriyati, Agustini, Suyatno, 2022]. Развитие диспозиций при освоении критического мышления так же важно, как и обучение навыкам, поскольку люди, имеющие развитые навыки критического мышления, но не склонные к их использованию, с меньшей вероятностью будут критически мыслить [Facione et al., 1995; Ennis, 1993]. Необходимость для развития навыков критического мышления наличия диспозиции критического мышления (ДКМ) [Ennis, 1993] подтверждена эмпирически: обнаружено, что самооценка ДКМ является предиктором эффективности критического мышления [Quinn et al., 2020; Facione, Facione, Gittens, 2000; Ip et al., 2000; Profetto-McGrath, 2003].
Практическое значение изучения диспозиций критического мышления обусловлено взаимосвязью данного конструкта с широким спектром психологических, личностных характеристик человека и с его успешностью в различных областях деятельности. Так, выявлена положительная корреляция показателя диспозиции критического мышления с уровнем производительности труда [Chaung, 2011; Park, Chung, Kim, 2016]. Кроме того, ДКМ связаны с показателями профессиональной компетентности: профессио-
нальным суждением [Facione, Facione, Sánchez, 1994; Jung, Jung, 2011] и профессиональным решением проблем [Choi, Cho, 2011]. В других исследованиях отмечается связь ДКМ с академической успеваемостью [El-Sayed et al., 2011, Facione et al., 1995; Profet-to-McGrath et al., 2009]. Также обнаружена положительная связь ДКМ с преодолением когнитивных предубеждений в рассуждениях [El-Sayed et al., 2011; Facione et al., 1995; Fahim, Bagherkaze-mi, Alemi, 2010, Kwon, Onwuegbuzie, Alexander, 2007; Macpherson, Stanovich, 2007; West, Toplak, Stanovich, 2008]. Таким образом, связь ДКМ с психологическими переменными, важными с точки зрения благополучия и успешности человека, диктует необходимость изучения — а значит, и измерения — данного конструкта.
Валидизированных русскоязычных инструментов измерения ДКМ, как и методов оценки навыков критического мышления, крайне мало. Нам удалось обнаружить несколько исследований, в которых обсуждаются психометрические свойства русскоязычных инструментов оценки критического мышления [Shaw et al., 2020; Садова и др., 2022]. При этом значимость и актуальность развития критического мышления зафиксирована в Федеральных государственных образовательных стандартах высшего образования: критическое мышление рассматривается в них как одна из универсальных компетенций, формируемых в рамках бакалавриата и магистратуры1. В исследованиях мирового рынка труда 2020-2021 гг., опубликованных крупнейшими консалтинговыми компаниями, такими как PersolKelly, Flexjobs, Indeed и LinkedIn, в ряду универсальных компетенций, востребованных современными работодателями, отмечается и критическое мышление [Kolot et al., 2022].
В 2021 г. сотрудники департамента оценки и методологии президентской платформы АНО «Россия — страна возможностей» начали разработку нового инструмента оценки «Диспозиции критического мышления». Цель данного исследования состоит в валидизации разработанного инструмента измерения и оценке его психометрических свойств. В статье проанализированы теоретические рамки измерения ДКМ, описаны этапы разработки и приведены свидетельства психометрического качества нового инструмента.
1. Разработка теоретической рамки инструмента
1 Портал Федеральных государственных образовательных стандартов высшего образования: https://fgosvo.ru/fgosvo/index/24 (дата обращения 30.05.2024).
Теоретическая рамка инструмента оценки разработана на основе обзора концепций и исследований диспозиций критического мышления, а также консультаций с экспертами в области критического мышления. Эксперты отвечали на следующие вопросы: «Насколько разработанная рамка покрывает конструкт «диспозиции
критического мышления»?» и «Насколько указанные индикаторы соответствуют шкале?» (предъявлялся к каждому индикатору).
Основные теоретические рамки исследования ДКМ представлены в табл. 1. Полипарадигмальность подходов к измерению конструкта проявляется в разном количестве составляющих, которые авторы относят к диспозициям критического мышления. Так, в результате проекта Delphi — основополагающего исследования аффективных составляющих критического мышления — выделены 19 диспозиций [Facione, Facione, 1992]. В последующем этот перечень пересматривался и сокращался, что связано в том числе со сложностью измерения большого перечня диспозиций.
Таблица 1. Анализ теоретических рамок ДКМ
Отчет APA Delphi (1990) [Facione, Facione, 1992] [Perkins, Jay, Tishman, 1993] [Ennis, 1996] [Halpern, 1998] [Quinn et al., 2020] [Sosu, 2013]
Любознательность (inquisi-tiveness) Любознательность (inquisi-tiveness) Склонность размышлять, находить проблемы и исследовать (disposition toward wondering, problem finding, and investigating) Стремление быть хорошо информированным (well-informed) Осведомленность о социальных реалиях, для того чтобы действовать (awareness of social realities so that thoughts can become actions) Рефлексия (reflection) Открытость к крити- ^(critical openness)
Стремление быть хорошо информированным (well-informed) Аналитичность (analyticity) Склонность искать и оценивать причины (disposition to seek and evaluate reasons) Твердость позиции, когда это оправданно(endorse a position when it is justified to do so) Последовательность в реализации планов и подавление импульсивной активности (habitual use of plans and the suppression of impulsive activity) Внимательность (at-tentiveness) Рефлексивный скептицизм (reflective scepticism)
Непредубежденность (open-minded-ness) Непредубежденность (open-minded-ness) Широта взглядов и смелость (disposition to be broad and adventurous) Склонность к поиску альтернатив и открытость им (seek alternatives and be open to them) Гибкость или непредубежденность (flexibility or open-mindedness) Непредубежден-ность (open-mind-edness)
Доверие к результатам обоснованных исследований (trust in reasoned inquiry) Уверенность в себе (self-confidence) Готовность объяснять свою позицию и добиваться понимания (disposition to build explanations and understandings) Готовность рассматривать иные точки зрения (consider other points of view) Готовность отказаться от собственных непродуктивных стратегий (willingness to abandon non-productive strategies in an attempt to self-correct) Организованность (organisation)
1.1. Операцио-нализация конструкта в существующих инструментах измерения
Продолжение табл. 1
Отчет APA Delphi (1990) [Facione, Facione, 1992] [Perkins, Jay, Tishman, 1993] [Ennis, 1996] [Halpern, 1998] [Quinn et al., 2020] [Sosu, 2013]
Обоснованность выбора и применения критериев (reasonableness in selecting and applying criteria) Поиск правды (truth-seeking) Интеллектуальная осторожность (disposition to be intellectually careful) Готовность прислушиваться к чужому мнению и интересоваться причинами поступков других (discover and listen to others view and reasons) Готовность заниматься сложными задачами и не пасовать перед трудностями (willingness to engage in and persist at a complex task) Настойчивость (perseverance)
Уверенность в своей способности здраво судить о вещах (self-confidence in one's own ability to reason) Систематичность (systematicity) Склонность к метапознанию (disposition to be metacognitive) Готовность принимать во внимание чувства и уровень понимания других (take into account others feelings and level of understanding) Внутренняя мотивация к достижению цели (intrinsic goal motivation)
Готовность использовать критическое мышление (alertness to use critical thinking) Зрелость (maturity) Склонность к планированию и стратегичности (disposition to make plans and be strategic) Готовность заботиться о благополучии других людей (be concerned about others' welfare)
Гибкость в рассмотрении альтернатив (flexibility in considering alternatives) Рефлексия по отношению к собственным убеждениям (reflectively aware of own beliefs)
Готовность понимать мнения других (understand opinions of others) Четкое представление о том, какую позицию отстаиваешь (clear about intended meaning)
Готовность пересмотреть свои взгляды, если это необходимо (revise views where change is warranted) Стремление искать и предполагать причины (seek and offer reasons)
Упорство в поиске необходимой информации (diligence in seeking relevant information) Готовность определить вывод или вопрос и фокусироваться на них (determine, and maintain focus on, the conclusion or question)
Окончание табл. 1
Отчет APA Delphi (1990) [Facione, Facione, 1992] [Perkins, Jay, Tishman, 1993] [Ennis, 1996] [Halpern, 1998] [Quinn et al., 2020] [Sosu, 2013]
Умение честно признавать собственные предубеждения (honesty in facing own biases) Учет всех сторон и всех составляющих ситуации (take into account the total situation)
Готовность открыто выражать озабоченность (clarity in stating concern)
Точность (precision)
Готовность работать со сложностью (working with complexity)
Справедливость (fair-mindedness)
Обоснованность в выборе и применении критериев (reasonableness in selecting and applying criteria)
Фокусировка внимания на актуальной проблеме (focusing attention on the concern at hand)
Упорство в преодолении трудностей (persistence in face of difficulties)
В характеристиках диспозиций критического мышления, выделенных в разных теоретических моделях, прослеживается сходство. Любознательность (интеллектуальное любопытство), непредубежденность, а также рефлексивное мышление как составляющие ДКМ встречаются в разных концепциях и были учтены при составлении оригинальной рамки нашего инструмента.
При анализе научной литературы нам не удалось обнаружить психометрически качественного инструмента измерения ДКМ на русском языке. Несмотря на очевидный интерес ученых и практи-
ков к диспозициям критического мышления, исследователи отмечают и недостаток англоязычных инструментов оценки ДКМ [Ed-man, 2009; Ku, 2009; Norris, 2003]. Наиболее часто используются три диагностических инструмента: Калифорнийский опросник диспозиций критического мышления (California Critical Thinking Disposition Inventory, CCTDI), Шкала диспозиций критического мышления (Critical Thinking Dispositions Scale, CTDC), Согласованная шкала предрасположенности к критическому мышлению студентов и преподавателей (Student-Educator Negotiated Critical Thinking Dispositions Scale, SENCTDS). В контексте нашей разработки представляет интерес также Тест на рациональное мышление (Comprehensive Assessment of Rational Thinking).
В Калифорнийском опроснике диспозиций критического мышления оценка производится по семи диспозициям (см. табл. 1) [Facione, Facione, 1992]. Первоначально заложенная 7-факторная структура при повторных исследованиях не подтвердилась, выявлены только четыре фактора, близкие к изначально предполагавшимся [Kakai, 2003]. Помимо этого, в ходе работы с опросником обнаружились проблемы, связанные с чрезмерной перекрестной нагрузкой факторов и отсутствием четкой нагрузки, уникальной для какого-либо одного фактора [Walsh, Hennig-Thurau, Mitchell, 2007]. В модели случайных эффектов CCTDI оказался надежным для выборок со значением альфа 0,83, по шкалам инструмента надежность находится в диапазоне от 0,61 до 0,74 [Orhan, 2022].
Шкала диспозиций критического мышления состоит из двух подшкал (см. табл. 1). Однако в исследовании 2016 г. установлено, что однофакторная модель лучше, чем двухфакторная, обеспечивает соответствие данным для данного инструмента [Yockey, 2016]. Коэффициент надежности альфа Кронбаха теста составил 0,82 [Sosu, 2013].
Согласованная шкала предрасположенности к критическому мышлению студентов и преподавателей измеряет шесть диспозиций (см. табл. 1). Данный инструмент критикуют в связи с концептуальной неопределенностью шкалы внутренней мотивации [Liu, Pasztor, 2022]. Коэффициент надежности альфа Кронбаха для разных шкал варьирует от 0,59 до 0,82 [Quinn et al., 2020].
Тест на рациональное мышление включает шкалу, измеряющую конструкт близкий, но не тождественный критическому мышлению: активное непредубежденное мышление как диспозицию, способствующую рациональному мышлению. Надежность шкалы составляет 0,78 [Tillema et al., 2021].
1.2. Разработка теоретической рамки
Диспозиции критического мышления — это предрасположенности, тенденции или готовность человека реализовывать навыки критического мышления [Norris, 1992; Siegel, 1999; Valenzuela, Nieto, Saiz, 2011].
В процессе разработки рамки инструмента «Диспозиции критического мышления» мы проанализировали и соотнесли между собой известные теоретические рамки, выделили повторяющиеся диспозиционные характеристики, а также проанализировали существующие оценочные инструменты и учли недостатки рассмотренных теоретических подходов, например, неоднородность факторной структуры.
Тест «Диспозиции критического мышления» предполагает оценку по трем шкалам (табл. 2):
• «Поиск информации и работа с ней» — это склонность проверять надежность полученной информации, готовность использовать несколько источников и внимательность при работе с ними;
• «Рефлексия и открытость альтернативным точкам зрения» — это непредубежденность, склонность запрашивать критическую обратную связь по проблеме, а также готовность изменить свою позицию под воздействием убедительных аргументов;
• «Любознательность» — это степень, в которой человек стремится быть информированным, узнавать новое и задавать уточняющие вопросы.
Таблица 2. Теоретическая рамка инструмента «Диспозиции критического мышления»
Шкала Индикаторы
Поиск информации и работа с ней • Внимательно работает с информацией • Использует более одного источника при поиске информации • Проверяет надежность источников информации • Оценивает полученную информацию, подвергает ее сомнению
Рефлексия и открытость альтернативным точкам зрения • Проявляет непредубежденность в отношении взглядов на мир, отличающихся от его собственного • Запрашивает критическую обратную связь, альтернативные мнения • Проявляет готовность к пересмотру своих взглядов
Любознательность • Стремится быть информированным • Проявляет желание учиться, узнавать новое • Задает вопросы о сути происходящего, уточняет детали
2. Разработка На основе созданной теоретической рамки разработаны заданий утверждения для каждой шкалы и индикаторы к ним. Утверждения прорецензированы экспертами по разработке тестовых заданий и исследователями критического мышления. Эксперты отвечали на вопросы, соответствует ли утверждение шкале и индикатору и является ли утверждение социально желательным. От них также получены предложения по доработке утверждений. Социально желательные утверждения и утверждения, не соответствующие индикатору, переработаны или удалены до апробации.
2.1. Формат теста Тест «Диспозиции критического мышления» включает общую инструкцию перед тестом, инструкцию к каждому заданию, а также 36 заданий: 11 заданий в шкале «Поиск информации и работа с ней», 15 заданий в шкале «Рефлексия и открытость альтернативным точкам зрения» и 10 заданий в шкале «Любознательность». Респонденту предлагается оценить себя по каждому утверждению, используя ликертовскую шкалу от 1 («совсем не похоже на меня») до 6 («очень похоже на меня»).
Результаты теста интерпретируются на основании общего полученного балла, преобразованного в T-балл.
Условия проведения тестирования: компьютерный формат, реализуемый на платформе АНО «Россия — страна возможностей». Использование теста и его результатов допустимо на русскоязычной выборке. Оцениваемое время прохождения опросника — 15 минут. По результатам тестирования для испытуемых предусмотрена обратная связь.
3. Эмпирическое исследование валидности теста 3.1. Апробацион-ная выборка
В исследовании приняли участие 1654 человека. Данные собраны при поддержке проекта «Центр компетенций» АНО «Россия — страна возможностей» [Комиссаров и др., 2022].
До начала анализа из выборки были удалены ответы 197 человек: их медиана времени ответа на задания составляла менее 16 секунд, на основании чего эти респонденты были отнесены к группе «кликеров». Статистики ответов проанализированы на 1633 респондентах (табл. 3). Средний возраст участников — 20,6 года.
Таблица 3. Социально-демографические параметры выборки (% участников)
Пол
Мужской 34
Женский 66
Уровень образования
Неполное среднее образование (9 классов) 0,18
Полное среднее образование (11 классов) 30,81
Среднее профессиональное образование 1,97
Неоконченное высшее образование 41,77
Высшее образование (бакалавр) 17,31
Высшее образование (специалитет) 3,70
Высшее образование (магистр) 2,71
Аспирантура 0,49
Кандидат/доктор наук 1,05
3.2. Конструктная Для исследования структуры теста проведен конфирматорный валидность факторный анализ каждой шкалы теста «Диспозиции критического мышления». Некоторые индикаторы были объединены —
те, которые сильно связаны, и чье объединение улучшило показатели модели.
В табл. 4 приведены итоговая версия распределения индикаторов по шкалам, а также примеры утверждений к ним.
Таблица 4. Распределение индикаторов по шкалам и примеры утверждений
Шкала Индикаторы Примеры утверждений
Поиск информации и работа с ней (search) • Объединенный индикатор «Внимательно работает с информацией» и «Использует более одного источника при поиске информации» (atten_use) • Индикатор «Проверяет надежность источников информации» (check) • Индикатор «Оценивает полученную информацию, подвергает ее сомнению» (doubt) • «Я стараюсь сформировать полную картину, используя более одного источника» • «Я стараюсь отследить первоисточник новостного сообщения» • «Я перепроверяю полученную информацию с помощью других источников»
Рефлексия и открытость альтернативным точкам зрения (refopen) • Индикатор «Проявляет готовность к пересмотру своих взглядов» (view) • Индикатор «Проявляет непредубежденность в отношении взглядов на мир, отличающихся от его собственного» (open) • Индикатор «Запрашивает критическую обратную связь» (alter) • «Под воздействием убедительных доказательств и фактов я меняю свою позицию» • «На мой взгляд, разные точки зрения имеют равные права на существование» • «Для меня важно при решении проблемы рассмотреть разные точки зрения»
Любознательность (curiosity) • Объединенный индикатор «Стремится быть информированным» и «Проявляет желание учиться, узнавать новое» (in-form_study) • Индикатор «Задает вопросы о сути происходящего, уточняет детали» (quest) • «Я использую любую возможность, чтобы научиться чему-то новому» • «Если что-то остается непонятным, я обязательно задам уточняющие вопросы»
Итоговые результаты факторного анализа представлены в табл. 5, а результаты проверки однофакторных моделей тех же шкал — в табл. 6. Многомерные модели шкал оказались статистически значимо лучше одномерных.
Таблица 5. Итоговые результаты факторного анализа шкал теста «Диспозиции критического мышления»
CFI RMSEA SRMR X2/df BIC
Refopen 0,955 0,027 0,044 2,15 31 697,475
Curiosity 0,984 0,02 0,033 1,67 22 637,483
Search 0,978 0,024 0,035 1,92 24 686,947
Таблица 6. Результаты проверки однофакторных моделей шкал теста «Диспозиции критического мышления»
CFI RMSEA SRMR X2/df BIC
Refopen 0,802 0,055 0,086 5,88 32 017,553
Curiosity 0,971 0,027 0,038 2,25 22 649,126
Search 0,951 0,034 0,046 2,93 24 715,085
На рис. 1, 2 и 3 представлены модели шкал теста «Диспозиции критического мышления».
Рис. 1. Модель шкалы «Рефлексия и открытость» (ге^реп)
0,5 6
' 0,58 0,52 / 0i
Rf V 1 R V 2 R V 3 R V 9 R V 10 R 0 1 R 0 2 R 0 3 R 0 4 R А 1 R А 2 R А 3 R А 4 R А 6 R А 9
m m m m т m m m т т т m m m m
0,68 0,66 0,72 0,68 0,64 0,62 0,63 0,60 0,71 0,49 0,74 0,57 0,42 0,56 0,49
Рис. 2. Модель шкалы «Любознательность» (curiosity)
4г- си C_l_3 С S 2 С Б 5 С S 6 — С Q 1 С Q 2 С Q 3 С Q 4 C_Q_7
т т т m т т т m
0,46 0,81 0,72 0,50 0,61 0,64 0,70 0,64 0,69 0,63
Нагрузки для всех вопросов всех шкал составляют от 0,45 и выше (включая нагрузки и на индикатор, и на всю шкалу).
Корреляция между индикаторами шкалы «Любознательность» составила 0,871. Несмотря на то что модель с индикаторами лучше, чем однофакторная, нецелесообразно сообщать отдельные значения по индикаторам из-за их близости.
В табл. 7 приведены корреляции между индикаторами шкалы «Поиск информации и работа с ней». Индикаторы сильно связаны (особенно «Внимательно работает с информацией / Исполь-
Рис. 3. Модель шкалы «Поиск информации и работа с ней» (search)
зует более одного источника при поиске информации» и «Оценивает полученную информацию, подвергает сомнению»). Модель с такими индикаторами лучше, чем одномерная, но давать отдельную обратную связь по ним нецелесообразно.
Таблица 7. Корреляции индикаторов шкалы «Поиск информации и работа с ней»
Внимательно работает с информацией / Использует более одного источника при поиске информации Проверяет надежность источников информации Оценивает полученную информацию, подвергает сомнению
Внимательно работает с информацией / Использует более одного источника при поиске информации 1,00 0,78 0,976
Проверяет надежность источников информации 0,78 1,00 0,814
Оценивает полученную информацию, подвергает сомнению 0,976 0,814 1,00
В табл. 8 приведены корреляции между индикаторами шкалы «Рефлексия и открытость». Эти индикаторы связаны в достаточной степени, но не слишком сильно; теоретически по ним можно сообщать отдельные результаты.
В табл. 9 приведены нагрузки индикаторов на шкалы «Поиск информации и работа с ней» и «Рефлексия и открытость». Для шкалы «Любознательность» исследовать нагрузки индикаторов нецелесообразно: они зафиксированы, так как их всего два. В шкалу «Поиск информации и работа с ней» больший вклад вно-
сит индикатор doubt («Оценивает полученную информацию, подвергает сомнению»); для шкалы «Рефлексия и открытость» базисным является индикатор open («Проявляет непредубежденность в отношении взглядов на мир, отличающихся от его собственных»).
Таблица 8. Корреляции индикаторов шкалы «Рефлексия и открытость»
Проявляет готовность к пересмотру своих взглядов Проявляет непредубежденность в отношении взглядов на мир, отличающихся от его собственных Запрашивает критическую обратную связь
Проявляет готовность к пересмотру своих взглядов 1,00 0,62 0,424
Проявляет непредубежденность в отношении взглядов на мир, отличающихся от его обственных 0,62 1,00 0,644
Запрашивает критическую обратную связь 0,424 0,644 1,00
Таблица 9. Нагрузки индикаторов и шкал
Название индикатора/шкалы Нагрузка
Поиск информации и работа с ней
Внимательно работает с информацией / Использует более одного источника при поиске информации 0,969
Проверяет надежность источников информации 0,807
Оценивает полученную информацию, подвергает сомнению 1,008
Рефлексия и открытость
Проявляет готовность к пересмотру своих взглядов 0,638
Проявляет непредубежденность в отношении взглядов на мир, отличающихся от его собственных 0,664
Запрашивает критическую обратную связь 0,970
3.3. Психометрический анализ шкал
Психометрический анализ проводился в методологии современной теории тестирования (Item Response Theory, IRT). Использовалась однопараметрическая модель для рейтинговых шкал (Rating Scale Model, RSM). Рассчитывались одномерные модели отдельно по шкалам.
В табл. 10 представлены основные психометрические параметры шкал «Любознательность», «Поиск информации и работа с ней», «Рефлексия и открытость». Судя по результатам психометрического анализа, шкалы теста имеют хорошие показатели надежности. С утверждениями чаще соглашаются участники с большей склонностью к любознательности, поиску и рефлексии; нет инверсии в ответах. Взвешенные и невзвешенные статисти-
ки утверждений находятся в пределах конвенциональных значений. Статистика ЯМБй также находится в пределах конвенциональных значений. Средняя трудность шкал показывает, что с утверждениями достаточно легко согласиться: во всех шкалах она примерно на 2 логита меньше средней способности, центрированной в нуле.
Таблица 10. Психометрические параметры шкал теста «Диспозиции критического мышления»
Среднее Минимум Максимум
Шкала «Любознательность» Взвеш. стат. 1,01 0,81 1,34
Невзвеш. стат. 1,01 0,79 1,35
RMSD 0,04 0,029 0,053
Корр. балла и способности 0,64 0,6 0,71
Трудность -2 -2,5 -1,6
IRT-надежность (EAP) 0,7
Альфа Кронбаха 0,92
Шкала «Поиск информации и работа с ней» Взвеш. стат. 1,01 0,82 1,21
Невзвеш. стат. 1,02 0,83 1,25
RMSD 0,039 0,025 0,053
Корр. балла и способности 0,61 0,52 0,7
Трудность -2,13 -2,6 -0,74
IRT-надежность (EAP) 0,73
Альфа Кронбаха 0,89
Шкала «Рефлексия и открытость» Взвеш. стат. 1,04 0,87 1,48
Невзвеш. стат. 1,05 0,86 1,44
RMSD 0,035 0,022 0,053
Корр. балла и способности 0,54 0,51 0,62
Трудность -2 -2,9 -1,33
IRT-надежность (EAP) 0,714
Альфа Кронбаха 0,92
В табл. 11 приведены пороги между категориями шкал тестов. У шкал «Любознательность», «Поиск информации и работа с ней» пороги упорядочены, однако ответные категории 2 и 3 сильно близки. У шкалы «Рефлексия и открытость» пороги также в основном упорядочены, и категории 2 и 3 близки. Однако 2-й и 3-й пороги перепутаны: это значит, что с ответной категорией «не похож на меня» согласиться легче, чем с категорией «мало похож на меня». Также 2-й и 3-й пороги близки. Возможно, «перепутанность» объясняется небольшой долей испытуемых в категории: два респондента во второй категории и семь — в третьей. Также дело может быть отчасти в пропусках данных: если импутировать пропущенные данные, то категории становятся упорядоченными.
Таблица 11. Пороги шкал
1-й порог 2-й порог 3-й порог 4-й порог 5-й порог
Любознательность -0,33 -0,052 0,42 1,38 3,1
Поиск информации и работа с ней -0,03 0,16 0,62 1,37 3,56
Рефлексия и открытость -0,6 0,241 0,133 1,37 3,13
В табл. 12 представлен анализ размерности шкал. Шкалы можно признать преимущественно одномерными: размер первого контраста у них меньше конвенционального значения, равного 2.
Таблица 12. Размерность шкал
Первый контраст
Любознательность 1,26
Поиск информации и работа с ней 1,5
Рефлексия и открытость 1,89
На рис. 4-6 представлены карты переменных для ответных категорий у шкал «Любознательность», «Поиск информации и работа с ней», «Рефлексия и открытость». В левой части рисунка показано распределение способностей; в правой — трудности категорий заданий. Трудности и способности лежат на одной шкале логитов.
Рис. 4. Карта переменных шкалы «Любознательность»
Items
Рис. 5. Карта переменных шкалы «Поиск информации и работа с ней» Поиск и работа
♦ ♦ ♦
1 1 CVJ 1 CO 1
Ci a! Q! Q!
-s*:1
о о о о
OJ аз Ш CD
JZ JZ JZ JZ
о О о О
-E= -E= -E= -E=
£ У У У
cd cd cd cd
CD аз
CO CO CO CO
Items
Рис. 6. Карта переменных шкалы «Рефлексия и открытость» Рефлексия
ш а» аэ аэ
♦
1 C\J i 1 ^ 1 l 1 ^ l CO 1 cry
Q Q. a. a! a. a. a. a.
С С С CD S, CD 3, CD S, CD 3,
CD Q. О CD a. О аз CL О
с CD i с CD с CD с аз с Ш с аз с <33 с аз
Q. *cd DC CL ^O Td oc Q. О аз DC о CD cc о CD CC о CD cc a аз cc о CD DC
Items
ООО О О
■£"85 "Я 'ffi 'Я Ш m щ ш CD
3.4. Конвергентная валидность
Для оценки конвергентной валидности проанализирована связь баллов по диспозициям критического мышления с внешней переменной, связанной с конструктом. В качестве такой переменной выступала самооценка уровня критического мышления.
В исследовании 2020 г., проведенном А. Шоу с коллегами для валидизации русской версии теста критического мышления (HEIghten Critical Thinking), использовался опросник самооценки навыков критического мышления с четырехбалльной шкалой Ли-керта (от «плохо» до «отлично»). Авторы обнаружили, что общая самооценка учащихся соответствовала объективным результатам
теста (F [3, 1045] = 4,97, p = 0,002); при этом респонденты, которые оценили свои навыки критического мышления на уровне «хорошо» и «отлично», превзошли по показателям теста тех, кто оценил свои навыки на уровне «плохо» и «удовлетворительно» (p < 0,001, d Коэна = 0,22) [Shaw et al., 2020].
Сравнив показатели разработанного нами теста «Диспозиции критического мышления» с баллами опросника, оценивающего близкий конструкт — самооценку критического мышления и его составляющих, мы обнаружили, что баллы по опроснику самооценки критического мышления значимо (p < 0,0001) положительно коррелируют с баллами по нашему инструменту (от 0,2 до 0,3 по разным шкалам). Результаты отражены в табл. 13.
Таблица 13. Корреляции показателей теста «Диспозиции критического мышления» и самооценки критического мышления
Коэффициент Уровень значимости
Любознательность 0,3 p < 0,0001
Поиск информации и работа с ней 0,3 p < 0,0001
Рефлексия и открытость 0,2 p < 0,0001
Для подтверждения содержательной валидности утверждения теста «Диспозиции критического мышления» отрецензированы разработчиками тестов департамента оценки и методологии АНО «Россия — страна возможностей»; а кроме того, их проверили пять внешних экспертов по критическому мышлению.
Специалистов по проблематике критического мышления в России немного, поскольку эта тема приобрела популярность только несколько лет назад. Мы пригласили в качестве экспертов специалистов, которые не только исследуют этот конструкт теоретически и эмпирически, т.е. являются авторами научных публикаций на тему критического мышления, но и на практике разрабатывают и ведут курсы по развитию критического мышления у взрослых.
Экспертам были предоставлены все материалы теста: теоретическая рамка, инструкции и задания с индикаторами. Они независимо друг от друга отвечали на следующие вопросы: насколько разработанная рамка покрывает конструкт «диспозиции критического мышления»; насколько указанные индикаторы соответствуют шкале; соответствует ли утверждение шкале и индикатору и является ли утверждение социально желательным.
Эксперты оставили ценные комментарии и предложения по улучшению инструмента. Все утверждения теста, которые вошли в финальную версию, по мнению экспертов, понятны, верно по-
3.5. Содержательная валидность
добраны к индикаторам, а также направлены на измерение диспозиций критического мышления.
4. Обсуждение Проведено исследование с целью разработки инструмента измерения «Диспозиции критического мышления» и оценки его психометрических свойств. С этой целью проанализирована научная литература, посвященная измерению критического мышления, рассмотрены инструменты измерения ДКМ и их теоретические рамки. На этой основе разработаны теоретическая рамка теста, а также банк заданий.
Конфирматорный факторный анализ показал, что с точки зрения размерности каждая шкала теста «Диспозиции критического мышления» имеет хорошие показатели: нагрузки заданий достаточно высоки, статистики модели находятся в рамках конвенциональных значений. Результаты конфирматорного факторного анализа свидетельствуют о том, что данные соответствуют моделям: выделенные теоретически параметры подтвердились эмпирически. Каждая шкала является целостным конструктом.
Проведенный !ЯТ-анализ дает основания утверждать, что все шкалы имеют хорошие психометрические показатели: они являются точными измерительными инструментами (хорошая надежность), обладают приемлемыми статистиками согласия (невысокие значения ЯМБй, взвешенной и невзвешенной статистик), одномерны (небольшое собственное значение первого контраста), категории шкалы упорядочены (анализ порогов). Однако выявлена небольшая неупорядоченность двух категорий рейтинговой шкалы для «Рефлексии и открытости», которая может быть связана как с характеристиками самого опросника (социальная желательность, небольшое число респондентов в негативных категориях), так и с дизайном исследования (много пропущенных значений; если их импутировать, шкала упорядочивается).
Анализ карты переменных свидетельствует о том, что у всех шкал в разных заданиях трудности категорий упорядочены и везде крайняя отрицательная категория сильно отходит по трудности от других. Чтобы с ней согласиться, нужно обладать очень низкой склонностью к любознательности, поиску информации и работе с ней, к рефлексии и открытости. Также немного отрывается крайняя положительная категория. Задания «легкие», т.е. респондентам легко позитивно себя оценить, и они легко соглашаются с утверждениями.
Как показал проведенный в !ЯТ анализ, задания функционируют корректно. Экспертная проверка содержания показала, что задания направлены на измерение диспозиций критического мышления. В целом результаты проведенного анализа свидетельствуют, что разработанный инструмент измерения имеет хо-
рошие психометрические показатели и действительно направлен на измерение диспозиций критического мышления, что показала оценка содержательной валидности.
Используя результаты данного исследования, следует иметь в виду несколько его ограничений. Во-первых, из-за того, что испытуемым предъявлялись не все вопросы, в данных есть пропущенные значения, которые для анализа размерности пришлось импутировать. Это могло сказаться на достоверности анализа размерности. Во-вторых, апробационная выборка может не полностью соответствовать генеральной совокупности, поскольку в ней преобладают определенные категории участников.
В качестве дальнейших направлений работы мы рассматриваем разработку инструмента оценки ДКМ в сценарном формате; разработку теста, измеряющего навыки критического мышления; изучение взаимосвязи ДКМ и критического мышления. Также мы планируем провести дополнительные валидизационные исследования данного инструмента: например, оценить взаимосвязь показателей по тесту «Диспозиции критического мышления» с индикаторами паранормального и конспирологического мышления и других схожих конструктов.
Благодарности Исследование реализовано при поддержке департамента оценки и методологии АНО «Россия — страна возможностей».
Авторы благодарят И.В. Антипкину за комментарии и поддержку в подготовке статьи.
Литература 1. Комиссаров А.Г., Степашкина Е.А., Соболева О.Б., Гужеля Д.Ю., Селезнев П.С. (2022) Методология оценки надпрофессиональных компетенций в российских образовательных организациях. Гуманитарные науки. Вестник Финансового университета, т. 12, № 6, сс. 53-62. https://doi.org/10.26794/2226-7867-2022-12-6-53-62
2. Садова А.Р., Хиль Ю.С., Пащенко Т.В., Тарасова К.В. (2022) Измерение критического мышления взрослых: методология и опыт разработки. Современная зарубежная психология, т. 11, № 4, сс. 105-116. https://doi.org/10.17759/ jmfp.2022110409
3. Chaung S.K. (2011) Critical Thinking Disposition, Problem Solving Ability, and Clinical Competence in Nursing Students. Journal of Korean Academy of Fundamentals of Nursing, vol. 18, no 1, pp. 71-78.
4. Choi H.R., Cho D.S. (2011) Influence of Nurses' Performance with Critical Thinking and Problem Solving Process. Korean Journal of Women Health Nursing, vol. 17, no 3, pp. 265-274. http://dx.doi.org/10.4069/kjwhn.2011.17.3.265
5. Clifford J.S., Boufal M.M., Kurtz J.E. (2004) Personality Traits and Critical Thinking Skills in College Students: Empirical Tests of a Two-Factor Theory. Assessment, vol. 11, no 2, pp. 169-176. http://dx.doi.org/10.1177/1073191104263250
6. Edman K.W. (2009) Exploring Overlaps and Differences in Service-Dominant Logic and Design Thinking. Paper presented at 1st Nordic Conference on Service Design and Service Innovation (Oslo, 2009, 24-26 November).
7. El-Sayed R.S., Sleem W.F., El-Sayed N.M., Ramada F.A. (2011) Disposition of Staff Nurses' Critical Thinking and Its Relation to Quality of Their Performance at Mansoura University Hospital. Journal of American Science, vol. 7, no 10, pp. 388-395.
8. Ennis R.H. (1996) Critical Thinking Dispositions: Their Nature and Assessability. Informal Logic, vol. 18, no 2, pp. 165-182. https://doi.org/10.22329/il.v18i2.2378
9. Ennis R.H. (1993) Critical Thinking Assessment. Theory into Practice, vol. 32, no 3, pp. 179-186. https://doi.org/10.1080/00405849309543594
10. Facione N.C., Facione P.A., Sanchez C.A. (1994) Critical Thinking Disposition as a Measure of Competent Clinical Judgment: The Development of the California Critical Thinking Disposition Inventory. Journal of Nursing Education, vol. 33, no 8, pp. 345-350. https://doi.org/10.3928/0148-4834-19941001-05
11. Facione P., Facione N. (1992) CCTDI: A Disposition Inventory. Millbrae, CA: The California Academic Press.
12. Facione P.A., Facione N.C., Gittens C.A.G. (2000) The Disposition toward Critical Thinking: Its Character, Measurement, and Relationship to Critical Thinking Skill. Informal Logic, vol. 20, no 1, pp. 61-84. http://dx.doi.org/10.22329/il.v20i1.2254
13. Facione P.A., Sanchez C.A., Facione N.C., Gainen J. (1995) The Dispositions Towards Critical Thinking. Journal of General Education, vol. 44, no 1, pp. 1-25. https://www.jstor.org/stable/27797240
14. Fahim M., Bagherkazemi M., Alemi M. (2010) The Relationship between Test Takers' Critical Thinking Ability and Their Performance on the Reading Section of TOEFL. Journal of Language Teaching and Research, vol. 1, no 6, pp. 830-837. http://dx.doi.org/10.4304/jltr.t6.830-837
15. Fikriyati A., Agustini R., Suyatno S. (2022) Pre-Service Science Teachers' Critical Thinking Dispositions and Critical Thinking Skills. Proceedings of the Eighth Southeast Asia Design Research (SEA-DR) & the Second Science, Technology, Education, Arts, Culture, and Humanity (STEACH) International Conference (SEADR-STEACH 2021) (Surabaya, 2021, 19 October), pp. 176-181. https://doi. org/10.2991/assehr.k.211229.028
16. Halpern D.F. (2013) Thought and Knowledge: An Introduction to Critical Thinking. New York, NY: Psychology Press.
17. Halpern D.F. (1998) Teaching Critical Thinking for Transfer across Domains: Disposition, Skills, Structure Training, and Metacognitive Monitoring. American Psychologist, vol. 53, no 4, pp. 449-455. http://dx.doi.org/10.1037/0003-066X.53.4.449
18. Ip W.Y, Lee D.T., Lee I.F., Chau J.P., Wootton YS., Chang A.M. (2000) Disposition towards Critical Thinking: A Study of Chinese Undergraduate Nursing Students. Journal of Advanced Nursing, vol. 32, no 1, pp. 84-90. http://dx.doi.org/10.1046/ j.1365-2648.2000.01417.x
19. Jung S.C., Jung D. (2011) Relationship between Critical Thinking Disposition, Clinical Decision Making and Job Satisfaction of Cancer Center Nurses. Journal of Korean Academy of Nursing Administration, vol. 17, no 4, pp. 443-450. http://dx.doi.org/10.11111/jkana.2011.17.4.443
20. Kakai H. (2003) Re-Examining the Factor Structure of the California Critical Thinking Disposition Inventory. Perceptual and Motor Skills, vol. 96, no 2, pp. 435-438. https://doi.org/10.2466/pms.2003.96.2.435
21. Kolot A., Lopushniak H., Kravchuk O., Varis I., Riabokon I. (2022) Transferable Competencies of HR Manager under Global Socio-Economic Changes. Problems and Perspectives in Management, vol. 20, no 1, pp. 322-341. https://doi. org/10.21511/ppm.20(1).2022.27
22. Ku K.Y (2009) Assessing Students' Critical Thinking Performance: Urging for Measurements Using Multi-Response Format. Thinking Skills and Creativity, vol. 4, no 1, pp. 70-76. http://dx.doi.org/10.1016Zj.tsc.2009.02.001
23. Kwon N., Onwuegbuzie A.J., Alexander L. (2007) Critical Thinking Disposition and Library Anxiety: Affective Domains on the Space of Information Seeking and Use in Academic Libraries. College & Research Libraries, vol. 68, no 3, pp. 268278. https://doi.org/10.5860/crl.68.3.268
24. Lai E.R. (2011) Critical Thinking: A Literature Review. Pearson's Research Reports. Available at: https://pdf4pro.com/view/critical-thinking-a-literature-re-view-pearson-4a88c0.html (accessed 23 May 2024).
25. Liu Y., Pâsztor A. (2022) Design and Validate the Employer-Employee-Supported Critical Thinking Disposition Inventory (2ES-CTDI) for Undergraduates. Thinking Skills and Creativity, vol. 46, December, Article no 101169. https://doi. org/10.1016/j.tsc.2022.101169
26. Macpherson R., Stanovich K.E. (2007) Cognitive Ability, Thinking Dispositions, and Instructional Set as Predictors of Critical Thinking. Learning and Individual Differences, vol. 17, no 2, pp. 115-127. https://doi.org/10.1016/j.lin dif.2007.05.003
27. Norris S.P. (2003) The Meaning of Critical Thinking Test Performance: The Effects of Abilities and Dispositions on Scores. Critical Thinking and Reasoning: Current Research, Theory and Practice (ed. D. Fasko), Cresskill, NJ: Hampton, pp. 315-329.
28. Norris S.P. (1992) Testing for the Disposition to Think Critically. Informal Logic, vol. 14, no 2, pp. 157-164.
29. Orhan A. (2022) Critical Thinking Dispositions and Decision Making as Predictors of High School Students' Perceived Problem Solving Skills. The Journal of Educational Research, vol. 115, no 4, pp. 235-245. http://dx.doi.org/10.1080/0 0220671.2022.2113498
30. Park A.N., Chung K.H., Kim W.G. (2016) A Study on the Critical Thinking Disposition, Self-Directed Learning Readiness and Professional Nursing Competency. Journal of Korean Academy of Nursing Administration, vol. 22, no 1, pp. 1-10. http://dx.doi.org/10.11111/jkana.2016.22.1.1
31. Perkins D.N., Jay E., Tishman S. (1993) Beyond Abilities: A Dispositional Theory of Thinking. Merrill-Palmer Quarterly, vol. 39, no 1, pp. 1-21. http://www. jstor.org/stable/23087298
32. Profetto-McGrath J. (2003) The Relationship of Critical Thinking Skills and Critical Thinking Dispositions of Baccalaureate Nursing Students. Journal of Advanced Nursing, vol. 43, no 6, pp. 569-577. http://dx.doi.org/10.1046/j.1365-2648.2003.02755.x
33. Profetto-McGrath J., Smith K.B., Hugo K., Patel A., Dussault B. (2009) Nurse Educators' Critical Thinking Dispositions and Research Utilization. Nurse Education in Practice, vol. 9, no 3, pp. 199-208. http://dx.doi.org/10.1016/j. nepr.2008.06.003
34. Quinn S., Hogan M., Dwyer C., Finn P., Fogarty E. (2020) Development and Validation of the Student-Educator Negotiated Critical Thinking Dispositions Scale (SENCTDS). Thinking Skills and Creativity, vol. 38, December, Article no 100710. https://doi.org/10.1016Zj.tsc.2020.100710
35. Shaw A., Liu O. L., Gu L., Kardonova E., Chirikov I., Li G. et al. (2020) Thinking Critically about Critical Thinking: Validating the Russian HEIghten® Critical Thinking Assessment. Studies in Higher Education, vol. 45, no 9, pp. 19331948. https://doi.org/10.1080/03075079.2019.1672640
36. Siegel H. (1999) What (Good) Are Thinking Dispositions? Educational Theory, vol. 49, no 2, pp. 207-221. http://dx.doi.org/10.1111/j.1741-5446.1999.00207.x
37. Sosu E.M. (2013) The Development and Psychometric Validation of a Critical Thinking Disposition Scale. Thinking Skills and Creativity, vol. 9, August, pp. 107-119. https://doi.org/10.1016/j.tsc.2012.09.002
38. Tillema M., Bouwmeester S., Verkoeijen P., Heijltjes A. (2021) Psychometric Properties of the Short-Form CART: Investigating Its Dimensionality through a Mokken Scale Analysis. Thinking Skills and Creativity, vol. 39, March, Article no 100793. https://doi.org/10.1016/j.tsc.2021.100793
39. Valenzuela J., Nieto A., Saiz C. (2011) Critical Thinking Motivational Scale: A Contribution to the Study of Relationship between Critical Thinking and Motivation. Electronic Journal of Research in Educational Psychology, vol. 9, no 2, pp. 823-848. http://dx.doi.org/10.25115/ejrep.v9i24.1475
40. Walsh G., Hennig-Thurau T., Mitchell V.W. (2007) Consumer Confusion Proneness: Scale Development, Validation, and Application. Journal of Marketing Management, vol. 23, no 7-8, pp. 697-721. https://doi.org/10.1362/026725707X230009
41. West R.F., Toplak M.E., Stanovich K.E. (2008) Heuristics and Biases as Measures of Critical Thinking: Associations with Cognitive Ability and Thinking Dispositions. Journal of Educational Psychology, vol. 100, no 4, pp. 930-941. https:// doi.org/10.1037/a0012842
42. Yockey R.D. (2016) Validation Study of the Critical Thinking Dispositions Scale: A Brief Report. North American Journal of Psychology, vol. 18, no 1, pp. 101-106.
References Chaung S.K. (2011) Critical Thinking Disposition, Problem Solving Ability, and Clinical Competence in Nursing Students. Journal of Korean Academy of Fundamentals of Nursing, vol. 18, no 1, pp. 71-78. Choi H.R., Cho D.S. (2011) Influence of Nurses' Performance with Critical Thinking and Problem Solving Process. Korean Journal of Women Health Nursing, vol. 17, no 3, pp. 265-274. http://dx.doi.org/10.4069/kjwhn.2011.17.3.265 Clifford J.S., Boufal M.M., Kurtz J.E. (2004) Personality Traits and Critical Thinking Skills in College Students: Empirical Tests of a Two-Factor Theory. Assessment, vol. 11, no 2, pp. 169-176. http://dx.doi.org/10.1177/1073191104263250 Edman K.W. (2009) Exploring Overlaps and Differences in Service-Dominant Logic and Design Thinking. Paper presented at 1st Nordic Conference on Service Design and Service Innovation (Oslo, 2009, 24-26 November). El-Sayed R.S., Sleem W.F., El-Sayed N.M., Ramada F.A. (2011) Disposition of Staff Nurses' Critical Thinking and Its Relation to Quality of Their Performance at Man-soura University Hospital. Journal of American Science, vol. 7, no 10, pp. 388395.
Ennis R.H. (1996) Critical Thinking Dispositions: Their Nature and Assessability. Informal Logic, vol. 18, no 2, pp. 165-182. https://doi.org/10.22329/il.v18i2.2378 Ennis R.H. (1993) Critical Thinking Assessment. Theory into Practice, vol. 32, no 3,
pp. 179-186. https://doi.org/10.1080/00405849309543594 Facione N.C., Facione P.A., Sanchez C.A. (1994) Critical Thinking Disposition as a Measure of Competent Clinical Judgment: The Development of the California Critical Thinking Disposition Inventory. Journal of Nursing Education, vol. 33, no 8, pp. 345-350. https://doi.org/10.3928/0148-4834-19941001-05 Facione P., Facione N. (1992) CCTDI: A Disposition Inventory. Millbrae, CA: The California Academic Press. Facione P.A., Facione N.C., Gittens C.A.G. (2000) The Disposition toward Critical Thinking: Its Character, Measurement, and Relationship to Critical Thinking Skill. Informal Logic, vol. 20, no 1, pp. 61-84. http://dx.doi.org/10.22329/il.v20i1.2254 Facione P.A., Sanchez C.A., Facione N.C., Gainen J. (1995) The Dispositions Towards Critical Thinking. Journal of General Education, vol. 44, no 1, pp. 1-25. https:// www.jstor.org/stable/27797240 Fahim M., Bagherkazemi M., Alemi M. (2010) The Relationship between Test Takers' Critical Thinking Ability and Their Performance on the Reading Section of TOEFL. Journal of Language Teaching and Research, vol. 1, no 6, pp. 830-837. http:// dx.doi.org/10.4304/jltr.1.6.830-837
Fikriyati A., Agustini R., Suyatno S. (2022) Pre-Service Science Teachers' Critical Thinking Dispositions and Critical Thinking Skills. Proceedings of the Eighth Southeast Asia Design Research (SEA-DR) & the Second Science, Technology, Education, Arts, Culture, and Humanity (STEACH) International Conference (SEADR-STEACH 2021) (Surabaya, 2021, 19 October), pp. 176-181. https://doi. org/10.2991/assehr.k.211229.028 Halpern D.F. (2013) Thought and Knowledge: An Introduction to Critical Thinking.
New York, NY: Psychology Press. Halpern D.F. (1998) Teaching Critical Thinking for Transfer across Domains: Disposition, Skills, Structure Training, and Metacognitive Monitoring. American Psychologist, vol. 53, no 4, pp. 449-455. http://dx.doi.org/10.1037/0003-066X.53.4.449
Ip W.Y, Lee D.T., Lee I.F., Chau J.P., Wootton YS., Chang A.M. (2000) Disposition towards Critical Thinking: A Study of Chinese Undergraduate Nursing Students. Journal of Advanced Nursing, vol. 32, no 1, pp. 84-90. http://dx.doi.org/10.1046/ j.1365-2648.2000.01417.x Jung S.C., Jung D. (2011) Relationship between Critical Thinking Disposition, Clinical Decision Making and Job Satisfaction of Cancer Center Nurses. Journal of Korean Academy of Nursing Administration, vol. 17, no 4, pp. 443-450. http:// dx.doi.org/10.11111/jkana.2011.17.4.443 Kakai H. (2003) Re-Examining the Factor Structure of the California Critical Thinking Disposition Inventory. Perceptual and Motor Skills, vol. 96, no 2, pp. 435-438. https://doi.org/10.2466/pms.2003.96.2.435 Kolot A., Lopushniak H., Kravchuk O., Varis I., Riabokon I. (2022) Transferable Competencies of HR Manager under Global Socio-Economic Changes. Problems and Perspectives in Management, vol. 20, no 1, pp. 322-341. https://doi. org/10.21511/ppm.20(1).2022.27 Komissarov A.G., Stepashkina E.A., Soboleva O.B., Guzhelya D.Yu., Seleznev P.S. (2022) Assessing Method for Meta-Professional Competencies in Russian Educational Institutions. Humanities and Social Sciences. Bulletin of the Financial University, vol. 12, no 6, pp. 53-62 (In Russian). https://doi.org/10.26794/2226-7867-2022-6-53-62
Ku K.Y (2009) Assessing Students' Critical Thinking Performance: Urging for Measurements Using Multi-Response Format. Thinking Skills and Creativity, vol. 4, no 1, pp. 70-76. http://dx.doi.org/10.1016Zj.tsc.2009.02.001 Kwon N., Onwuegbuzie A.J., Alexander L. (2007) Critical Thinking Disposition and Library Anxiety: Affective Domains on the Space of Information Seeking and Use in Academic Libraries. College & Research Libraries, vol. 68, no 3, pp. 268-278. https://doi.org/10.5860/crl.68.3.268 Lai E.R. (2011) Critical Thinking: A Literature Review. Pearson's Research Reports. Available at: https://pdf4pro.com/view/critical-thinking-a-literature-review-pearson-4a88c0.html (accessed 23 May 2024). Liu Y., Pasztor A. (2022) Design and Validate the Employer-Employee-Supported Critical Thinking Disposition Inventory (2ES-CTDI) for Undergraduates. Thinking Skills and Creativity, vol. 46, December, Article no 101169. https://doi. org/10.1016/j.tsc.2022.101169 Macpherson R., Stanovich K.E. (2007) Cognitive Ability, Thinking Dispositions, and Instructional Set as Predictors of Critical Thinking. Learning and Individual Differences, vol. 17, no 2, pp. 115-127. https://doi.org/10.1016/j.lindif.2007.05.003 Norris S.P. (2003) The Meaning of Critical Thinking Test Performance: The Effects of Abilities and Dispositions on Scores. Critical Thinking and Reasoning: Current Research, Theory and Practice (ed. D. Fasko), Cresskill, NJ: Hampton, pp. 315-329.
Norris S.P (1992) Testing for the Disposition to Think Critically. Informal Logic, vol. 14, no 2, pp. 157-164.
Orhan A. (2022) Critical Thinking Dispositions and Decision Making as Predictors of High School Students' Perceived Problem Solving Skills. The Journal of Edu-
cational Research, vol. 115, no 4, pp. 235-245. http://dx.doi.org/10.1080/0022 0671.2022.2113498
Park A.N., Chung K.H., Kim W.G. (2016) A Study on the Critical Thinking Disposition, Self-Directed Learning Readiness and Professional Nursing Competency. Journal of Korean Academy of Nursing Administration, vol. 22, no 1, pp. 1-10. http:// dx.doi.org/10.11111/jkana.2016.22.1.1 Perkins D. N., Jay E., Tishman S. (1993) Beyond Abilities: A Dispositional Theory of Thinking. Merrill-Palmer Quarterly, vol. 39, no 1, pp. 1-21. http://www.jstor.org/ stable/23087298
Profetto-McGrath J. (2003) The Relationship of Critical Thinking Skills and Critical Thinking Dispositions of Baccalaureate Nursing Students. Journal of Advanced Nursing, vol. 43, no 6, pp. 569-577. http://dx.doi.org/10.1046/j.1365-2648.2003.02755.x
Profetto-McGrath J., Smith K.B., Hugo K., Patel A., Dussault B. (2009) Nurse Educators' Critical Thinking Dispositions and Research Utilization. Nurse Education in Practice, vol. 9, no 3, pp. 199-208. http://dx.doi.org/10.1016Zj.nepr.2008.06.003 Quinn S., Hogan M., Dwyer C., Finn P., Fogarty E. (2020) Development and Validation of the Student-Educator Negotiated Critical Thinking Dispositions Scale (SENCTDS). Thinking Skills and Creativity, vol. 38, December, Article no 100710. https://doi.org/10.1016/j.tsc.2020.100710 Sadova A.R., Khill J.S., Pashchenko N.V., Tarasova K.V. (2022) Critical Thinking Assessment in Adults: Methodology and Development Experience. Sovremennaia zarubezhnaia psikhologiia / Journal of Modern Foreign Psychology, vol. 11, no 4, pp. 105-116 (In Russian). https://doi.org/10.17759/jmfp.2022110409 Shaw A., Liu O. L., Gu L., Kardonova E., Chirikov I., Li G. et al. (2020) Thinking Critically about Critical Thinking: Validating the Russian HEIghten® Critical Thinking Assessment. Studies in Higher Education, vol. 45, no 9, pp. 1933-1948. https:// doi.org/10.1080/03075079.2019.1672640 Siegel H. (1999) What (Good) Are Thinking Dispositions? Educational Theory, vol. 49,
no 2, pp. 207-221. http://dx.doi.org/10.1111/j.1741-5446.1999.00207.x Sosu E.M. (2013) The Development and Psychometric Validation of a Critical Thinking Disposition Scale. Thinking Skills and Creativity, vol. 9, August, pp. 107-119. https://doi.org/10.1016/j.tsc.2012.09.002 Tillema M., Bouwmeester S., Verkoeijen P., Heijltjes A. (2021) Psychometric Properties of the Short-Form CART: Investigating Its Dimensionality through a Mokken Scale Analysis. Thinking Skills and Creativity, vol. 39, March, Article no 100793. https://doi.org/10.1016/j.tsc.2021.100793 Valenzuela J., Nieto A., Saiz C. (2011) Critical Thinking Motivational Scale: A Contribution to the Study of Relationship between Critical Thinking and Motivation. Electronic Journal of Research in Educational Psychology, vol. 9, no 2, pp. 823-848. http://dx.doi.org/10.25115/ejrep.v9i24.1475 Walsh G., Hennig-Thurau T., Mitchell V.W. (2007) Consumer Confusion Proneness: Scale Development, Validation, and Application. Journal of Marketing Management, vol. 23, no 7-8, pp. 697-721. https://doi.org/10.1362/026725707X230009 West R.F., Toplak M.E., Stanovich K.E. (2008) Heuristics and Biases as Measures of Critical Thinking: Associations with Cognitive Ability and Thinking Dispositions. Journal of Educational Psychology, vol. 100, no 4, pp. 930-941. https:// doi.org/10.1037/a0012842 Yockey R.D. (2016) Validation Study of the Critical Thinking Dispositions Scale: A Brief Report. North American Journal of Psychology, vol. 18, no 1, pp. 101-106.
