CC BY-NC-ND
0
Формирование критического мышления у взрослых с использованием проблемноориентированного обучения в онлайн-среде
Тарас Пащенко
Статья поступила в редакцию в ноябре 2023 г.
Пащенко Тарас Валерьевич — заведующий Лабораторией проектирования содержания образования, ведущий эксперт Института образования, Национальный исследовательский университет «Высшая школа экономики». Адрес: 101000 Москва, Потаповский пер., 16, стр. 10. E-mail: tpaschenko@hse.ru. ORCID: https:// orcid.org/0000-0002-8412-2077
Аннотация Анализируются результаты реализации курса «Критическое мышление», разработанного для платформы «Яндекс.Практикум». Курс спроектирован в парадигме проблемноориентированного обучения и представлен в онлайн-формате с синхронной и асинхронной частями, он ориентирован на взрослую аудиторию и включает задания из общепрофессионального контекста. Разработке курса предшествовал обзор исследований формирования критического мышления у взрослых, в результате которого выявлены преимущества и недостатки применения с этой целью проблемноориентированного обучения. Для оценки уровня критического мышления разработан и валидизирован тест на основе методологии evidence-centered design.
Исследование проводилось по модели интервенции с претестом и посттестом без контрольной группы. В ходе итогового тестирования (n = 184) обнаружены значимые изменения показателей развития компонентов критического мышления у участников, завершивших курс: анализа информации (+0,12), логики (+0,1) и аргументации (+0,17). Полученные данные свидетельствуют в пользу гипотезы о результативности данного курса, для развития критического мышления у взрослых. Дальнейшие исследования с использованием разработанных инструментов позволят уточнить влияние конкретных педагогических инструментов и учебных форматов на развитие критического мышления.
Ключевые слова критическое мышление, проблемноориентированное обучение, образование на протяжении всей жизни, обучение взрослых, оценка критического мышления
Для цитирования
Пащенко Т.В. (2024) Формирование критического мышления у взрослых с использованием проблемноориентированного обучения в онлайн-среде. Вопросы образования / Educational Studies Moscow, № 2, сс. 226-250. https://doi. org/10.17323/vo-2024-16699
Critical Thinking Development in Adult Learners through Problem-Based Learning in an Online Setting
Taras Pashchenko
Taras V. Pashchenko — Head of the Laboratory for Curriculum Design, leading expert at the Institute of Education, HSE University. Address: Bld. 10, 16 Potapovsky Ln, 101000 Moscow, Russian Federation. E-mail: tpaschenko@hse.ru. ORCID: https://or-cid.org/0000-0002-8412-2077
Abstract This paper analyzes the outcomes of the implementation of the "Critical Thinking" course, developed for the "Yandex.Practicum" platform. The course is designed within the paradigm of problem-based learning and is delivered in an online format, incorporating both synchronous and asynchronous components. It is targeted at an adult audience and includes tasks from a general professional context. The course development was preceded by a review of research on the formation of critical thinking in adults, which identified the advantages and disadvantages of using problem-based learning for this purpose. To assess the level of critical thinking, a test was developed and validated based on the evidence-centered design methodology. The study was conducted using an intervention model with a pretest and posttest, without a control group. During the final testing (n = 184), significant changes were observed in the development of critical thinking components among participants who completed the course: information analysis (+0.12), logic (+0.1), and argumentation (+0.17). The data obtained support the hypothesis regarding the effectiveness of this course in developing critical thinking in adults. Further research using the developed tools will help clarify the impact of specific pedagogical tools and learning formats on the development of critical thinking.
Keywords critical thinking, problem-based learning, lifelong education, adult learning, critical thinking assessment
For citing Pashchenko T.V. (2024) Critical Thinking Development in Adult Learners through Problem-Based Learning in an Online Setting. Voprosy obrazovaniya / Educational Studies Moscow, no 2, pp. 226-250 (In Russian). https://doi.org/10.17323/vo-2024-16699
Критическое мышление — одна из наиболее востребованных сегодня универсальных компетентностей: об этом свидетельствуют и опросы работодателей [World Economic Forum, 2020; Dondi et al., 2021], и включение критического мышления и его компонентов в образовательные стандарты1, и результаты исследований [Тарасова, Орел, 2022]. При этом развитие критического мышления не является естественным результатом формального образования [Корешникова, Фрумин, Пащенко, 2021]. Вполне естествен-
1 Приказ Министерства просвещения Российской Федерации от 18.07.2022 № 568 «О внесении изменений в Федеральный государственный образовательный стандарт основного общего образования»; Приказ Министерства образования и науки РФ от 10.01.2018 № 8 «Об утверждении Федерального государственного образовательного стандарта высшего образования — бакалавриат по направлению подготовки «01.03.01 Математика»» (с изменениями и дополнениями). Редакция с изменениями № 1456 от 26.11.2020.
но на российском рынке дополнительного образования возник спрос на продукты, предназначенные для развития критического мышления у взрослых, и появились курсы и программы, прохождение которых обещает пользователям прогресс в умении мыслить критически2. Многие курсы реализуются в онлайн- или смешанном формате. Чтобы обоснованно судить об эффективности такого рода курсов и программ, необходимо проанализировать результаты их прохождения с помощью адекватных оценочных процедур. Публикаций, в которых описывались бы такого рода научные исследования, нам обнаружить не удалось.
С другой стороны, развитию критического мышления в формальном образовании посвящено немало исследований, в том числе несколько метаанализов, например, [Abrami et al., 2015]. Получены убедительные подтверждения эффективности отдельных стратегий и педагогических инструментов развития критического мышления в основном или высшем образовании. Чтобы выяснить, будут ли эти стратегии так же эффективны в дополнительном профессиональном образовании, необходимы дополнительные исследования.
Целью данного исследования является поиск ответа на вопрос, может ли курс, построенный на основе проблемноориентированного обучения и реализуемый с использованием онлайн-форматов, приводить к развитию знаний и навыков критического мышления у взрослых. Идея исследования возникла при разработке такого курса, осуществленной в интересах платформы «Яндекс.Практикум» в 2020 г.
Курс проектировался на основе методологии конструктивного согласования [Biggs, Tang, Kennedy, 2022], которая предполагает согласованную разработку образовательных результатов, средств оценивания их достижения, а также учебных действий, направленных на достижение образовательных результатов. Таким образом, разработаны индикаторы проявления критического мышления у взрослых в общепрофессиональном контексте, учебный курс «Критическое мышление» и инструмент оценки критического мышления. Для апробации курса проведено исследование достижения запланированных образовательных результатов.
1. Гипотеза Проектированию курса предшествовала разработка системы об-исследования разовательных результатов в виде матрицы компетенций, построенной на основе рамки «Универсальные компетентности и новая грамотность» [Добрякова, Фрумин, 2020]. Данная рамка пред-
2 В российском сегменте интернета легко обнаружить подборки как платных, так и бесплатных курсов, например «16 курсов для развития критического мышления»: https://proity.ru/soft-skills/critical-thinking/
полагает три группы универсальных компетентностей: «мышление», «взаимодействие с другими» и «взаимодействие с собой». Компетентность рассматривается как «интегрированный набор знаний, навыков и деятельностных установок, которые мобилизуются в определенном контексте для решения определенной задачи» [Там же. С. 38]. Таким образом, критическое мышление как универсальную компетентность можно представить в виде конечных списков знаний, навыков и установок. Анализ источников [Halpern, 1998; Facione, Facione, Sanchez, 1994; Ennis, 2015; Alsaleh, 2020] и экспертные интервью позволили сформировать такие списки и поставить в соответствие каждому компоненту поведенческие индикаторы, релевантные для целевой аудитории курса. Далее из этих списков отобраны те компоненты, которые могут быть, согласно гипотезе разработчиков, развиты и оценены по итогам прохождения курса. Из списка планируемых образовательных результатов сознательно исключались установки и диспозиции критического мышления, поскольку разработчикам не был доступен инструмент их оценки, а проект не предполагал разработки такого инструмента. При этом в ряде исследований обнаружена положительная связь между уровнями сформиро-ванности навыков и установок критического мышления [Facione, 2000; Yang, Chou, 2008] и можно сделать аккуратное допущение — оно, безусловно, требует дополнительной проверки, — что развитие навыков и установок происходит совместно.
Итак, образовательными результатами курса являются знания и навыки. В перечень знаний, необходимых для формирования критического мышления, вошли:
• критерии достоверности источников;
• виды когнитивных искажений;
• основные способы правильных рассуждений;
• виды логических ошибок;
• критерии убедительных аргументов;
• виды аргументативных уловок.
Перечень навыков включает умения:
• различать факт и мнение;
• оценивать степень достоверности источника информации;
• рассуждать дедуктивно и индуктивно;
• рассуждать гипотетически;
• оценивать рассуждения;
• создавать аргументы;
• анализировать аргументы;
• распознавать уловки в аргументах;
• выбирать наиболее подходящий вариант решения с учетом условий и ресурсов;
• оценивать применимость решения в разных контекстах.
Таким образом, гипотеза исследования приняла следующий вид: курс, реализуемый с использованием онлайн-форматов, может развивать у взрослых критическое мышление в части представленных выше запланированных образовательных результатов.
2. Обзор После определения перечня запланированных образовательных литературы результатов проведено исследование образовательных практик, способствующих формированию критического мышления.
Р. Эннис описал четыре стратегии формирования критического мышления: общую, инфузионную, иммерсионную и смешанную [Ennis, 1989]. Общая стратегия предполагает обучение общим принципам критического мышления без использования специального контента, в инфузионной стратегии элементы критического мышления включаются в предметные курсы, иммерсионная стратегия означает обучение предмету с расчетом на формирование элементов критического мышления естественным путем, а смешанная подразумевает одновременное использование нескольких упомянутых подходов. Применительно к разработке он-лайн-курса можно сказать, что общая стратегия предполагает курс, направленный на обучение именно критическому мышлению с использованием неспецифического («понятного всем») содержания, инфузионная — курс по формированию профессиональных навыков (например, анализ данных в Python), в который включены отдельные задания или формы работы, направленные на формирование критического мышления. Иммерсионная стратегия предполагает традиционный курс, например тот же анализ данных, но уже без специальных элементов, а побочным результатом этого курса может стать развитие критического мышления.
Метаанализ эмпирических исследований [Abrami et al., 2008] показал, что среди четырех выделенных Р. Эннисом стратегий достижению образовательных результатов, связанных с критическим мышлением, в наибольшей степени способствует смешанная стратегия. При этом иммерсионная стратегия наименее эффективна, а общая и инфузионная занимают промежуточное положение между смешанной и иммерсионной.
Целевая аудитория курса, разрабатываемого для платформы «Яндекс.Практикум», не была ограничена какой-либо предметной или профессиональной областью. Слушателями курса могли стать представители любых профессий, занимающие любую должность: от веб-дизайнера, работающего на фрилансе, до руководителя департамента финансового мониторинга в госкорпо-
рации. Стремление выдержать баланс между достижением образовательных результатов и рыночной привлекательностью курса обусловило выбор общей стратегии, т.е. разработку курса, направленного на формирование критического мышления как самостоятельного образовательного результата без привязки к специальному предметному содержанию.
Эмпирически установлено, что для формирования критического мышления у взрослых в онлайн-среде одним из наиболее релевантных подходов является проблемноориентирован-ное обучение [Santos-Meneses, Pashchenko, Mikhailova, 2023] как интегрированный педагогический подход, основанный на систематическом использовании проблем (задач), в том числе слабо структурированных, и других активностей, направленных на развитие навыков решения проблем или иных знаний и навыков [Kek, Huijser, 2011; Kong, 2014; Trullàs et al., 2022]. Проблемно-ориентированное обучение взрослых обычно строится в контексте профессиональных или повседневных ситуаций, для которых характерны дефицит информации или слабо структурированные задачи, требующие прояснения условий и имеющие более одного правильного ответа [Seibert, 2021]. При всех различиях в способах осуществления проблемноориентированного обучения исследователи и практики солидарны в отношении трех основных принципов данного подхода [Sendag, Odabasi, 2009]. Во-первых, в начале обучения перед обучающимися должна стоять проблема (задача), требующая решения. Во-вторых, проблемноориентиро-ванное обучение является не отдельной педагогической техникой, а холистическим подходом, и может строиться с использованием разных педагогических инструментов. В-третьих, независимо от избранных педагогических средств обучение выстраивается как студентоцентричное.
Обзор исследований, посвященных применению проблемноориентированного обучения для формирования критического мышления у взрослых, позволил выявить ряд особенностей образовательных продуктов, способствующих и препятствующих достижению запланированных образовательных результатов. Среди позитивных факторов выделяют: использование вопросов для прояснения условий проблемы (задачи), мозговой штурм, активную роль студентов, групповые дискуссии, тщательное планирование курса, рефлексивные практики, работу в мини-группах при ограничении доли лекционных занятий [Yuan, Williams, Fan, 2008]. Способствуют достижению запланированных образовательных результатов также определенные приемы, применяемые преподавателем: ориентация на фасилитацию, помощь через постановку наводящих вопросов, которые не подсказывают правильный ответ, а подталкивают к размышлениям, стимуляция самостоятельного исследования и рефлексии, а также использование сла-
бо структурированных задач [Sendag, Odabasi, 2009]. Исследователи подчеркивают необходимость обучения в мини-группах, взаимного предоставления обратной связи, фасилитации групповой работы преподавателем [Kong, 2014]. В качестве ключевых особенностей курсов, построенных на основе проблемноориен-тированного обучения, авторы указывают предоставление преподавателем обратной связи студентам и поддержку им групповой коммуникации и командной работы при анализе данных, поиске консенсуса, мотивирование студентов и обучение их выбору релевантных источников информации [Seibert, 2021]. Эффективности группового обучения способствуют небольшой размер групп, использование реалистичных сценариев, качественное управление групповой динамикой, институциональная поддержка подготовки тьюторов [Trullàs et al., 2022]. Все перечисленные свойства образовательных продуктов помогают сделать занятия с использованием проблемноориентированного обучения более привлекательными для студентов по сравнению с традиционными лекциями и стимулировать мотивацию к обучению.
Вместе с тем ряд авторов выделяют особенности использования проблемноориентированного обучения, препятствующие достижению запланированных образовательных результатов. Среди них слабые навыки групповой коммуникации, недостаток взаимной поддержки при групповой работе, неэффективный тайм-менеджмент [Azer, 2001; Hung, 2006], недостаточно систематичная разработка учебных задач и непоследовательность при внедрении проблемноориентированного обучения в учебный процесс [Kek, Huijser, 2011]. Стрессогенность проблемноориентированного обучения для студентов и необходимость затрачивать на обучение много времени могут приводить к переутомлению и снижению продуктивности [Caplow et al., 1997; Klunklin et al., 2011]. Дополнительные трудности возникают, если студенты не настроены на самостоятельное обучение, не готовы к нему и не получают достаточной поддержки от преподавателей: они не стимулируют студентов задавать вопросы, прояснять сложные понятия, оценивать аргументы [Yuan, Williams, Fan, 2008]. Существенным препятствием к эффективному использованию проблемноориентированного обучения является недостаточный уровень научной грамотности у студентов, дефициты базовых предметных знаний, отсутствие навыков самостоятельной работы, а также слабая поддержка со стороны преподавателей [Styawan, Arty, 2021]. Среди наиболее значимых негативных факторов, препятствующих достижению запланированных образовательных результатов, исследователи называют малую длительность интервенций с использованием проблемноориентированного обучения [Kong, 2014]. Наконец, исследователи признают методическую сложность использования проблемноориентированного обуче-
ния, в том числе трудности с разъяснением методических рекомендаций, целей обучения и методов оценивания, проблемы с организацией и администрированием занятий, недостаточный опыт участия преподавателей (тьюторов) в подобной работе, недостаточно ясно сформулированные методические рекомендации для тьюторов при их высокой нагрузке, нехватку качественных учебных материалов [ТгиПав et а1., 2022].
Проведенный теоретический анализ позволил уточнить гипотезу исследования: курс, построенный на основе проблем-ноориентированного обучения и реализуемый с использованием онлайн-форматов, может развивать критическое мышление у взрослых, если при его конструировании выполняются приведенные ниже требования к дизайну курса, взаимодействию между преподавателем и студентами, а также к квалификации преподавателя.
Дизайн курса:
• курс должен допускать синхронное взаимодействие студентов с преподавателем;
• использование лекционных форматов должно быть сведено к минимуму;
• задания курса должны строиться с использованием слабо структурированных задач, связанных с реальным опытом студентов или известным им контекстом;
• задания курса должны поощрять самостоятельную работу студентов и работу в мини-группах, групповые дискуссии, мозговые штурмы;
• курс должен быть достаточно продолжительным, чтобы обеспечить возможность распределения нагрузки. Разработанный нами курс длится 8 недель с нагрузкой 6-8 часов в неделю.
Преподавание и взаимодействие со студентами:
• студентам должны быть известны запланированные образовательные результаты, условия прохождения курса, правила взаимодействия, оценивания, сроки выполнения заданий;
• запланированные образовательные результаты должны поддерживать у студентов внутреннюю мотивацию и заинтересованность в обучении;
• размер мини-групп и форматы групповой работы должны обеспечивать возможность предоставления персональной обратной связи;
• необходимо использовать инструменты формирующего оценивания;
• групповые сессии должны быть грамотно организованы и эффективно управляться преподавателем;
• преподаватель должен ставить открытые вопросы, не давать готовых решений, подталкивать к поиску информации, исследованию, стимулировать самостоятельное мышление студентов.
Квалификация преподавателя:
• преподаватель должен обладать достаточно высоким уровнем развития навыков и установок критического мышления;
• преподаватель должен знать основы проблемноориентированного обучения как подхода;
• преподаватель должен уметь управлять групповой динамикой, фасилитировать различные формы групповой работы;
• преподаватель должен уметь давать обратную связь и стимулировать студентов к предоставлению друг другу обратной связи.
Результаты обзора литературы помогли разработчикам выбрать дизайн курса, определить его длительность, зафиксировать виды и соотношение синхронных и асинхронных форм взаимодействия студентов и преподавателя, ограничить размеры групп, подобрать форматы заданий и их содержание, а также сформулировать критерии отбора преподавателей для работы на курсе.
3. Описание курса «Критическое мышление»
Курс «Критическое мышление» разрабатывался для использования в формате смешанного обучения на платформе «Яндекс. Практикум»3. В состав курса входят онлайн-учебник (тренажер) для самостоятельного изучения и серия групповых воркшопов под руководством преподавателя.
3.1. Дизайн курса Курс состоит из четырех модулей, каждый из которых посвящен инструментам мышления, используемым на определенных стадиях процесса решения проблем: это анализ контекста для уточнения проблемы, генерация множества решений, отбор наилучшего решения и убеждение стейкхолдеров в оптимальности отобранного решения. Таким образом, курс позволяет студентам изучить все этапы решения проблемы, кроме имплементации решения, что является естественным ограничением платформы и дизайна курса. С другой стороны, такой дизайн позволяет студентам познакомиться с основными инструментами критического и, частично, креативного4 мышления: средствами анализа информации и
3 https://practicum.yandex.ru/thinking/
4 Включение в курс инструментов креативности обусловлено привязкой модулей к этапам решения проблемы. При этом навыки и установки креативного мышления не измеряются входным и итоговым тестированием —
прояснения проблемы, способами генерации решений, формальной логикой и аргументацией.
Каждый из четырех модулей курса рассчитан на две недели и включает теоретический материал и практические задания для самостоятельного изучения, разделенные на уроки. Материалы уроков расположены на платформе «Яндекс.Практикум» в формате онлайн-тренажера. Количество материала в каждом уроке рассчитано на 60-120 минут изучения.
Модуль 1. Анализ информации
1. Как работает мышление
2. Когда мышление дает сбой
3. Как определить проблему
4. Как анализировать источники информации
5. Как отличить факт от фейка
6. Как проверить достоверность графиков
7. Как учесть неизвестные переменные
Модуль 2. Генерация решений
1. Включаем креативность. Как придумать много идей
2. Метафоры и ассоциации в креативном поиске
3. Структурированный поиск идей
4. Как придумывать в команде
Модуль 3. Отбор решения
1. Дедукция. Логика условных связей
2. Дедукция. Логика классов и категорий
3. Индукция. Оценка фактов и вероятностей
4. Индукция. Вероятность связанных событий
5. Исключающая индукция и каузальный анализ
6. Ошибки каузального анализа
7. Абдукция. Поиск лучшего объяснения
8. Хорошая гипотеза
Модуль 4. Убеждение стейкхолдеров
1. Виды диалога
2. Как устроена эффективная аргументация
3. Что такое хороший тезис и хорошая иллюстрация
4. Что такое хороший аргумент
5. Как выстроить аргументы
6. Как противостоять логическим уловкам
а следовательно, и не могут, строго говоря, считаться образовательными результатами данного курса. В дальнейшем речь пойдет преимущественно о содержании и образовательных результатах модулей критического мышления — об анализе информации, логике и аргументации. Теоретическая рамка инструмента измерения критического мышления проектировалась на основе именно этих компонентов.
3.2. Онлайн- Каждый урок в онлайн-тренажере оформлен в виде отдельной тренажер веб-страницы и строится в логике чат-бота: следующее задание открывается после ответа на предыдущее. Участник читает теоретические блоки, отвечает на вопросы на понимание, выполняет упражнения. Все разделы урока сопровождаются короткими текстовыми подводками, объясняющими связи между заданиями и теоретическими блоками. Они помогают создавать впечатление интерактивности (участник взаимодействует с рассказчиком) и поддерживать включенность и мотивацию для изучения. Вопросы и задания (преимущественно с выбором одного или нескольких верных вариантов ответа) сопровождаются комментариями, которые помогают участнику понять основания для выбора того или иного ответа, при необходимости отсылая к нужным теоретическим разделам.
Для обеспечения внутренней целостности курса теория и задания в онлайн-учебнике связаны общей историей. В ней участнику отведена роль члена команды, занимающейся разработкой стартапа экологической тематики. Данная история не влияет на теоретические основания курса, но помогает участникам удерживать внимание на материале, а также погружает их в контекст решения открытых и слабо структурированных задач. Например, 4-й урок 1-го модуля «Как анализировать источники информации» начинается с описания ситуации, в которой героям истории нужно провести исследование по открытым источникам, после чего участнику предлагается познакомиться с соответствующими инструментами.
Курс включает 20 воркшопов — интерактивных групповых занятий с преподавателем, проходящих синхронно на основе видеосвязи с использованием интерактивных досок. Один воркшоп длится около 90 минут, участники выполняют индивидуальные и групповые задания, направленные на закрепление понимания теоретического материала и формирование навыков применения представленных инструментов. Сценарии воркшопов включают обращения к изученному ранее материалу, решения задач — индивидуально и в мини-группах, рефлексию. Участники имеют возможность задавать вопросы на понимание, обсуждать между собой особенности применения изученных инструментов, «приземлять» теоретический материал на решение практических задач в знакомом контексте. Во время финального воркшопа каждого модуля участники в группе решают кейс, показывая навыки использования изученных инструментов. Таким образом, воркшопы помогают участникам погружаться в процесс группового решения проблем с применением освоенных инструментов мышления. Например, финальный воркшоп 2-го модуля посвящен поиску гипотез для решения проблемы
3.3. Воркшопы и сопровождение
выгорания сотрудников небольшого IT-бизнеса с помощью метода шести шляп Э. де Боно [De Bono, 1985].
Важную часть курса составляет система сопровождения учебной деятельности слушателей. За каждым потоком закрепляется куратор, в задачи которого входит помощь с организацией процесса обучения: напоминания о сроках выполнения заданий, помощь с техническими проблемами на воркшопах, информирование о новостях, рассылка заданий для самостоятельной работы перед воркшопами, ответы на организационные вопросы, сбор обратной связи после воркшопов, по завершении модулей и по итогам прохождения всего курса.
Прохождение курса «Критическое мышление» занимает около 60 часов самостоятельной и групповой работы с высоким уровнем вовлеченности в течение восьми недель, что приблизительно соответствует семестровому курсу5 в университете.
4. Инструмент оценки критического мышления
Для оценки результатов прохождения курса создан тестовый инструмент на основе систематического подхода к разработке тестов (evidence-centered design), позволяющего измерять комплексные конструкты, к которым можно отнести и критическое мышление [Угланова, Брун, Васин, 2018]. Результаты тестирования при этом рассматриваются как показатели выраженности определенных характеристик личности.
Тест разработан в двух вариантах — для использования перед началом и после завершения курса — и содержит задания для оценки знаний и навыков, являющихся образовательными результатами курса. После разработки первого варианта заданий проведено качественное исследование — интервью с представителями целевой группы для выявления проблемных зон инструмента (когнитивные лаборатории) и пилотное исследование (n = 104). На основании полученных данных часть заданий теста была скорректирована [Садова и др., 2022]. Итоговая версия первого варианта заданий прошла апробацию (n = 117), по результатам которой ее психометрические характеристики можно считать удовлетворительными.
Прохождение одного варианта теста рассчитано на 60 минут, поэтому в нем представлена только часть знаний и навыков критического мышления. Полный охват образовательных результатов привел бы к существенному увеличению времени тестирования, что могло бы негативно сказаться на желании респондентов завершать тестирование и на количестве собранных данных.
5 Для сравнения: курс «Критическое мышление», реализующийся в НИУ ВШЭ в рамках майнора «4К: навыки XXI в.», предусматривает 76 академических часов контактной работы. Студенты проходят этот курс в течение семестра — по 4 академических часа в неделю.
В результате теоретическая рамка теста включает два вида индикаторов: знания и навыки, распределенные по трем группам:
• работа с информацией (примеры индикаторов: «называет критерии достоверности источников», «оценивает степень достоверности источников информации», «определяет недостаточность информации для вывода»);
• логичность рассуждений («описывает типы логических ошибок в дедуктивных, индуктивных и вероятностных рассуждениях», «демонстрирует признаки правильных и убедительных рассуждений», «корректно использует дедуктивные, правдоподобные, вероятностные рассуждения»);
• аргументация («называет критерии убедительных аргументов», «находит убедительные аргументы для подкрепления позиции», «находит контраргументы для опровержения позиции», «находит в тексте тезис, аргументы, иллюстрации») [Садова и др., 2022].
Каждый вариант теста состоит из трех блоков заданий, два блока содержат задания типа performance based assessment, а третий — классические задания с выбором одного или нескольких вариантов ответа. Задания первого и второго блоков организованы вокруг стимульных текстов общепрофессиональной тематики с вопросами для их анализа. Например, в первом блоке (6 вопросов) к одному из стимульных текстов, состоящему из 12 утверждений на тему «Женщины-руководители», было предложено задание «Найдите утверждения, которые подтверждают мнение, что женщины демонстрируют более высокие результаты на руководящих позициях, чем мужчины. Укажите номера подходящих утверждений» (индикатор «находит убедительные аргументы для подкрепления позиции»). Второй блок (8 вопросов) строится вокруг стимульного текста «Четырехдневная рабочая неделя» (15 утверждений). Пример задания: «Найдите утверждение, в котором обосновывается тезис со ссылкой на то, что большинство придерживается представленной точки зрения. Укажите номер подходящего утверждения» (индикатор «распознает психологические и логические уловки»). Третий блок состоит из пяти заданий классического формата с выбором одного или нескольких вариантов ответа, а также одного задания на соотнесение.
При анализе результатов апробации теста (n = 117) получены приемлемые психометрические показатели: INFIT ZSTD = 0,00; OUTFIT ZSTD = 0,03, альфа Кронбаха = 0,74, надежность в IRT = = 0,76. Описание разработки и апробации теста, в том числе оценка конвергентной и критериальной валидности, представлены в статье [Садова и др., 2022].
После апробации первого варианта разработан второй вариант заданий. Для этого изменены контексты стимульного мате-
риала (утверждений и ответных опций) в первом и втором блоках теста с сохранением индикаторов и стемов заданий. Новые контексты выбраны по схожей с первым вариантом теста тематике. Для некоторых заданий третьего блока также разработаны клоны. Часть заданий этого блока перенесены во второй вариант без изменений с целью использования в качестве якорных заданий для проведения процедуры выравнивания.
Для второго варианта также проведена серия когнитивных лабораторий и апробация. Судя по итогам апробации, психометрические характеристики второго варианта теста находятся в зоне конвенциональных значений. Так, показатель надежности альфа Кронбаха составил 0,78, надежность в !ЯТ = 0,76. Сравнение заданий двух вариантов по трудности, дискриминативности, среднему баллу за тест показало близкие значения характеристик с учетом ограничений выборки.
5. Методология Исследование представляло собой интервенцию с претестом и исследования посттестом без контрольной группы. Интервенция длилась 8 недель (около 60 учебных часов). Тестирование было добровольным, и в итоговом тесте участвовала меньшая доля проходивших курс «Критическое мышление», чем в претесте. Выборку исследования составили 468 слушателей курса, 44% из них — женщины. 184 человека (39% выборки) прошли претест и посттест. Средний возраст участников составил 33 года (Бй = 6). Участники проходили обучение в когортах численностью от 20 до 60 человек, которые набирались один раз в месяц в течение 18 месяцев. Перед началом курса участникам предлагалось заполнить анкеты с вопросами о демографических характеристиках, сфере трудовой занятости, должности. Для анализа использовались анкеты участников, результаты претеста (п = 468) и результаты посттеста (п = 184).
6. Результаты Анализ результатов претеста и посттеста проводился с примене-исследования нием Г-критерия Уилкоксона. Средние результаты по трем компонентам теста, а именно по показателям «работа с информацией», «логика» и «аргументация», для респондентов, прошедших оба теста, представлены в табл. 1.
Таблица 1. Средние результаты претеста ((1) и посттеста ((2) по компонентам теста (п = 184), %
П ЭО М Г2 ЭО И Д
Работа с информацией 0,47 0,19 0,59 0,20 0,12*
Логика 0,54 0,18 0,64 0,23 0,1*
Аргументация 0,52 0,20 0,69 0,23 0,17*
* р < 0,01.
Средняя доля верно выполненных заданий претеста (£1) для всех респондентов составила 0,47 (работа с информацией), 0,54 (логика) и 0,52 (аргументация). Средняя доля верно выполненных заданий посттеста (£2) для всех респондентов составила 0,59 (работа с информацией), 0,64 (логика) и 0,69 (аргументация). Таким образом, можно зафиксировать улучшение (Д) средних результатов на 0,12, 0,09 и 0,17 соответственно. Данные различия являются статистически значимыми на уровне р < 0,01. Распределение результатов представлено на рис. 1.
Рис. 1. Распределение результатов претеста и посттеста (п = 184) Работа с информацией Лотка
1,0-
0,8-
| 0,4-
СО
со сз.
Щ 0,2-
О
ч
0,0-
Аргументация
1,00,80,60,4" 0,20,0-
1,00,80,60,40,20,0-
Претест
Посттест
Претест
Поспеет
Претест
Посттест
Для оценки возможных смещений результатов, обусловленных тендерными различиями и возрастом респондентов, проведен дополнительный анализ с помощью критерия Манна — Уитни. Значимых различий между мужчинами и женщинами в изменении результатов теста после прохождения курса не выявлено (табл. 2).
Таблица 2. Различия в изменениях результатов претеста и посттеста между мужчинами и женщинами, %
Мужчины Женщины p-value
Работа с информацией 0,12 0,14 0,57
Логика 0,10 0,10 0,95
Аргументация 0,19 0,16 0,82
При этом корреляционный анализ (коэффициент корреляции Спирмена) не выявил значимой связи между возрастом участников курса и изменениями результатов тестов. Коэффициенты корреляции возраста и прироста правильно решенных заданий составили -0,005 (работа с информацией), 0,035 (логика), 0,103 (аргументация). Таким образом, различия между результатами претеста и посттеста не связаны с гендерными и возрастными различиями между респондентами.
Более высокие в среднем результаты в тестах после прохождения курса, чем до обучения, могут свидетельствовать о том, что обучение на курсе связано с развитием у респондентов знаний и навыков критического мышления. При этом показатели трех компонентов критического мышления, заложенные в теоретическую рамку исследования, — работа с информацией, логика и аргументация — изменяются неравномерно. В наибольшей степени улучшилось выполнение заданий на аргументацию, в то время как прогресс в заданиях на логику оказался наименьшим. При этом разница показателей «логика» и «аргументация» в претесте была незначительной. На основании этих данных можно предположить, что концепция и дизайн курса, форматы работы и длительность модулей в разной степени способствуют формированию знаний и развитию навыков по анализу информации, логике и аргументации. Проверка данной гипотезы требует дополнительных исследований.
Несмотря на то что размер выборки достаточен для получения статистически значимых результатов, по мере накопления данных видна тенденция к снижению разницы между результатами пре-теста и посттеста, начиная с 12-й когорты. Если в когортах с 4-й по 12-ю разница результатов составила 0,21 (работа с информацией), 0,16 (логика) и 0,28 (аргументация), то в когортах с 13-й по 21-ю — уже 0,04, 0,04 и 0,10 соответственно (табл. 3).
Таблица 3. Средние результаты претеста ((1) и посттеста ((2) для двух групп когорт, %
А, когорты 4-12 (п = 85) 12, когорты 4-12 (п = 85) Д, когорты 4-12 11, когорты 13-21 (п = 99) 12, когорты 13-21 (п = 99) Д, когорты 13-21
Работа с информацией 0,46 0,67 0,21 0,48 0,52 0,04
Логика 0,57 0,73 0,16 0,53 0,57 0,04
Аргументация 0,53 0,81 0,28 0,50 0,60 0,10
Снижение показателей результативности прохождения курса может быть связано с тем, что студенты 13-й когорты начали обучение в феврале 2022 г. Как и все последующие когорты, они проходили курс в ситуации социально-экономического и политического кризиса, которая могла спровоцировать у них повышенный уровень стресса и вызвать тревожность. Эмпирически установлено, что такие состояния могут влиять на выполнение заданий, требующих применения аналитического и логического мышления [БкигууЬав et а1., 2022], повышать риск искажений при принятии решений [МогдаЬо, Боива, Сещие1га, 2015], а также снижать эффективность обучения [Яове^еН, 1978]. О снижении эффективности обучения может свидетельствовать и тот факт, что результаты претеста, начиная с 13-й когорты, снизились в меньшей степени,
чем результаты посттеста. Вопрос об эффективности обучения в сложных социальных условиях требует дополнительного исследования.
7. Дискуссия В данном исследовании мы сознательно избегали вопросов о и ограничения диспозициях, связанных с критическим мышлением, поскольку исследования их оценка и развитие изучены в меньшей степени, чем навыки как компонент критического мышления. При этом диспозиции могут играть ключевую роль в применении навыков, и их изучение в контексте образования является довольно перспективным. В частности, представляет интерес выявление возможных связей между диспозициями критического мышления и эпистемическими убеждениями, или персональной эпистемологией, — убеждениями о природе и источниках знания. Согласно ряду теорий, персональная эпистемология развивается от дуализма (деления всех утверждений на истинные и ложные) через релятивизм («сколько людей, столько и мнений») к признанию некоторых точек зрения более обоснованными, чем другие [Hofer, 2004; Zhu, Cox, 2015]. В качестве стандарта обоснования здесь используется рациональная аргументация, навыки которой также признаются ключевыми для критического мышления [Ennis, 2015].
Возвращаясь к дискуссии о стратегиях развития критического мышления — что эффективнее: обучать через отдельный курс или встраивать практики развития критического мышления в другие курсы [Ennis,1989], — на основании полученных данных можно утверждать, что в контексте неформального образования у взрослых общая стратегия действительно способствует развитию навыков критического мышления. При этом совместное использование общей и инфузионной стратегий, возможно, как и в высшем образовании, даст лучший результат. Но данную гипотезу проверить непросто: потребуется организовать исследование, в котором испытуемые будут одновременно изучать несколько курсов, среди которых курс критического мышления и профессиональные курсы с элементами практик критического мышления. Достижение такого согласования вне рамок формального образования крайне затруднительно, поскольку выбор индивидуальных траекторий в неформальном образовании принципиально более разнообразен, чем в формальном — высшем или общем.
Проблемноориентированное обучение выбрано в качестве рамки курса, поскольку исследования подтвердили его продуктивность для развития критического мышления. Данный подход позволяет привязать содержание курса и образовательные результаты к релевантному реальным задачам студентов контексту, и такая привязка является принципиальным условием успешности обучения взрослых. Согласно андрагогике в версии М. Но-
улза, специфика взрослых студентов состоит в приоритетности внутренней мотивации и необходимости для них знать причины, по которым им требуется изучать тот или иной курс [Метат, 2018]. Данные особенности взрослых обучающихся можно учесть при разработке курса, не прибегая к проблемноориентирован-ному обучению, которое довольно сложно в реализации. Например, можно применить аутентичное обучение. Этот метод также предполагает использование в обучении релевантных опыту обучающегося примеров и задач [йопоуап, Вга^огЬ, РеПедппо, 1999]. В этом случае курсы критического мышления нужно делить по профессиональным областям и адаптировать задания и теорию к профессиональному контексту конкретной целевой аудитории. Данное решение экономически нерационально, поскольку увеличит затраты на разработку нескольких курсов вместо одного, построенного на задачах из общепрофессионального контекста, а также сегментирует и сократит целевую аудиторию. Таким образом, использование общей стратегии представляется наиболее целесообразным в рамках неформального образования взрослых.
Применяя полученные нами результаты, необходимо учитывать ряд ограничений проведенного исследования.
Во-первых, нельзя исключить возможность смещения выборки по причине самоотбора респондентов. Прохождение тестов перед началом и после завершения курса не было обязательным. 61% респондентов, прошедших претест, отказались от участия в посттесте. Судя по результатам апробации теста и когнитивных лабораторий, задания теста являются достаточно сложными для респондентов. Возможно, оба теста полностью проходят только те студенты, для которых характерна высокая мотивация к обучению, и такой отбор также может влиять на результаты прохождения курса, хотя данные релевантных исследований неоднозначны ^еттауг et а1., 2019]. Связь мотивации студентов с результатами прохождения курса также требует дополнительных исследований.
Другим возможным объяснением отказа от прохождения посттеста может быть воспринимаемая сложность теста. Если так, то те, кому проще дался претест, с большей вероятностью проходят оба теста. Для оценки значимости различий проведен анализ с применением критерия Манна — Уитни. Значимых различий в доле правильных ответов в претесте между группами респондентов, которые прошли только претест и которые выполнили оба теста, не обнаружено (табл. 4). Таким образом, гипотеза о субъективной сложности теста как причине отказа от прохождения посттеста не подтвердилась.
При сопоставлении заданий претеста и постеста по трудности получены близкие значения, например средний балл претеста 14, а посттеста — 14,1. Однако объем использованной при апроба-
Таблица 4. Значения претеста для прошедших только претест и прошедших оба теста (п = 184), %
Прошли оба теста Да Нет p-value
Работа с информацией 0,47 0,47 0,95
Логика 0,54 0,53 0,48
Аргументация 0,52 0,53 0,87
ции выборки не позволяет однозначно утверждать, что результаты сопоставления статистически значимы. Таким образом, остается возможность объяснения различий в результатах претеста и посттеста различиями в сложности заданий.
Среди иных ограничений исследования стоит отметить длительность интервенции: интервал между когортами составил около четырех недель, между первой и последней когортами — 18 месяцев, а также отсутствие контрольной группы. Несмотря на то что общий дизайн курса и материалы онлайн-учебника не претерпели за этот срок существенных содержательных изменений, незначительные модификации в поведении преподавания и в материалах воркшопов могут постепенно накапливаться, оказывая влияние на эффективность обучения. К сожалению, на данном этапе использование контрольной группы было невозможно в силу особенностей платформы реализации курса и условий обучения, а также процедурных ограничений проекта. Использование контрольной группы в дальнейшем может помочь оценить не только размер эффекта обучения, но и сравнительную эффективность разных педагогических подходов и инструментов.
8. Заключение Критическое мышление необходимо современному человеку для достижения личного благополучия и успеха на рынке труда. При этом ответ на вопрос, что делать, чтобы критическое мышление развивалось, часто сводится к общим рекомендациям и не опирается на надежные эмпирические данные. В данном исследовании мы проверяли предположение, что курс обучения, построенный на основе научно обоснованных рекомендаций, может способствовать развитию критического мышления у взрослых. Полученные данные с учетом описанных ограничений подтверждают эту гипотезу. У студентов, завершивших курс «Критическое мышление», построенный на основе проблемноориентированно-го обучения и реализуемый с использованием онлайн-форматов, в среднем выявлены более высокие, чем до прохождения курса, показатели критического мышления. Таким образом, с помощью данного формата обучения возможно добиться развития критического мышления как компетентности, по крайней мере в части знаний и навыков. Дальнейшие исследования с использованием
разработанных инструментов на выборках большего размера позволят повысить достоверность полученных результатов и уточнить влияние конкретных педагогических инструментов и учебных форматов на развитие критического мышления у взрослых.
Благодарности Исследование подготовлено в рамках гранта, предоставленного Министерством науки и высшего образования Российской Федерации (соглашение о предоставлении гранта № 075-15-2022-325).
Автор выражает признательность Михаилу Гасинцу, Александре Михайловой, Надежде Авдеенко, команде курса «Критическое мышление для менеджеров» «Яндекс.Практикума» за помощь в подготовке данных и текста, а также анонимным рецензентам журнала «Вопросы образования / Educational Studies Moscow» за конструктивные замечания.
Литература 1. Добрякова М.С., Фрумин И.Д. (ред.) (2020) Универсальные компетентности и новая грамотность: от лозунгов к реальности. М.: НИУ ВШЭ. https:// doi.org/10.17323/978-5-7598-2177-9
2. Корешникова Ю.Н., Фрумин И.Д., Пащенко Т.В. (2021) Организационные и педагогические условия формирования навыка критического мышления у студентов российских вузов. Университетское управление: практика и анализ, т. 25, № 1, сс. 5-17. https://doi.org/10.15826/umpa.2021.01.001
3. Садова А.Р., Хиль Ю.С., Пащенко Т.В., Тарасова К.В. (2022) Измерение критического мышления взрослых: методология и опыт разработки. Современная зарубежная психология, т. 11, № 4, сс. 105-116. https://doi.org/10.17759/ jmfp.2022110409
4. Тарасова К.В., Орел Е.А. (2022) Измерение критического мышления студентов в открытой онлайн-среде: методология, концептуальная рамка и типология заданий. Вопросы образования / Educational Studies Moscow, № 3, сс. 187-212. https://doi.org/10.17323/1814-9545-2022-3-187-212
5. Угланова И.Л., Брун И.В., Васин Г.М. (2018) Методология Evidence-Centered Design для измерения комплексных психологических конструктов. Современная зарубежная психология, т. 7, № 3, сс. 18-27. https://doi.org/10.17759/ jmfp.2018070302
6. Abrami P.C., Bernard R.M., Borokhovski E., Waddington D.I., Wade C.A., Persson T. (2015) Strategies for Teaching Students to Think Critically. Review of Educational Research, vol. 85, no 2, pp. 275-314. https://doi. org/10.3102/0034654314551063
7. Abrami P.C., Bernard R.M., Borokhovski E., Wade A., Surkes M.A., Tamim R., Zhang D. (2008) Instructional Interventions Affecting Critical Thinking Skills and Dispositions: A Stage 1 Meta-Analysis. Review of Educational Research, vol. 78, no 4, pp. 1102-1134. https://doi.org/10.3102/0034654308326084
8. Alsaleh N.J. (2020) Teaching Critical Thinking Skills: Literature Review. Turkish Online Journal of Educational Technology-TOJET, vol. 19, no 1, pp. 21-39.
9. Azer S.A. (2001) Problem-Based Learning. A Critical Review of Its Educational Objectives and the Rationale for Its Use. Saudi Medical Journal, vol. 22, no 4, pp. 299-305.
10. Biggs J., Tang C., Kennedy G. (2022) Teaching for Quality Learning at University. Open University.
11. Caplow J.A., Donaldson J.F., Kardash C., Hosokawa M. (1997) Learning in a Problem-Based Medical Curriculum: Students' Conceptions. Medical Education, vol. 31, no 6, pp. 440-447. https://doi.org/10.1046/j.1365-2923.1997.00700.x
12. De Bono E. (1985) Six Thinking Hats: An Essential Approach to Business Management. Boston: Little, Brown, & Company.
13. Dondi M., Klier J., Panier F., Schubert J. (2021) Defining the Skills Citizens Will Need in the Future World of Work. Available at: https://www.mckinsey.com/in-dustries/public-sector/our-insights/defining-the-skills-citizens-will-need-in-the-future-world-of-work#/ (accessed 2 May 2024).
14. Donovan S., Bransford J., Pellegrino J.W. (1999) How People Learn: Bridging Research and Practice. Washington, DC: National Academy of Sciences.
15. Ennis R.H. (2015) Critical Thinking: A Streamlined Conception. The Palgrave Handbook of Critical Thinking in Higher Education (eds M. Da-vies, R. Barnett), New York, NY: Palgrave Macmillan, pp. 31-47. https://doi. org/10.1057/9781137378057_2
16. Ennis R.H. (1989) Critical Thinking and Subject Specificity: Clarification and Needed Research. Educational Researcher, vol. 18, no 3, pp. 4-10. https://doi. org/10.3102/0013189X018003004
17. Facione P.A. (2000) The Disposition toward Critical Thinking: Its Character, Measurement, and Relationship to Critical Thinking Skill. Informal Logic, vol. 20, no 1. https://doi.org/10.22329/il.v20i1.2254
18. Facione N.C., Facione P.A., Sanchez C.A. (1994) Critical Thinking Disposition as a Measure of Competent Clinical Judgment: The Development of the California Critical Thinking Disposition Inventory. Journal of Nursing Education, vol. 33, no 8, pp. 345-350. http://dx.doi.org/10.3928/0148-4834-19941001-05
19. Halpern D.F. (1998) Teaching Critical Thinking for Transfer across Domains: Disposition, Skills, Structure Training, and Metacognitive Monitoring. American Psychologist, vol. 53, no 4, pp. 449-455. https://doi.org/10.1037/0003-066X.53.4.449
20. Hofer B.K. (2004) Exploring the Dimensions of Personal Epistemology in Differing Classroom Contexts: Student Interpretations during the First Year of College. Contemporary Educational Psychology, vol. 29, no 2, pp. 129-163. https:// doi.org/10.1016/j.cedpsych.2004.01.002
21. Hung W. (2006) The 3C3R Model: A Conceptual Framework for Designing Problems in PBL. Interdisciplinary Journal of Problem-Based Learning, vol. 1, no 1, pp. 55-77. http://dx.doi.org/10.7771/1541-5015.1006
22. KekM.YC.A., Huijser H. (2011) The Power of Problem-Based Learning in Developing Critical Thinking Skills: Preparing Students for Tomorrow's Digital Futures in Today's Classrooms. Higher Education Research & Development, vol. 30, no 3, pp. 329-341. https://doi.org/10.1080/07294360.2010.501074
23. Klunklin A., Subpaiboongid P., Keitlertnapha P., Viseskul N., Turale S. (2011) Thai Nursing Students' Adaption to Problem-Based Learning: A Qualitative Study. Nurse Education in Practice, vol. 11, no 6, pp. 370-374. https://doi.org/10.1016/j. nepr.2011.03.011
24. Kong S.-C. (2014) Developing Information Literacy and Critical Thinking Skills through Domain Knowledge Learning in Digital Classrooms: An Experience of Practicing Flipped Classroom Strategy. Computers & Education, vol. 78, September, pp. 160-173. http://dx.doi.org/10.1016Zj.compedu.2014.05.009
25. Merriam S.B. (2018) Adult Learning Theory: Evolution and Future Directions. Contemporary Theories of Learning (ed. K. Illeris), London: Routledge, pp. 8396. https://doi.org/10.4324/9781315147277
26. Morgado P., Sousa N., Cerqueira J.J. (2015) The Impact of Stress in Decision Making in the Context of Uncertainty. Journal of Neuroscience Research, vol. 93, no 6, pp. 839-847. https://doi.org/10.1002/jnr.23521
27. Rosenfeld R.A. (1978) Anxiety and Learning. Teaching Sociology, vol. 5, no 2, pp. 151-166. https://doi.org/10.2307/1317061
28. Santos-Meneses L.F., Pashchenko T., Mikhailova A. (2023) Critical Thinking in the Context of Adult Learning through PBL and E-Learning: A Course Framework. Thinking Skills and Creativity, vol. 49, no 2, Article no 101358. http:// dx.doi.org/10.1016/j.tsc.2023.101358
29. Seibert S.A. (2021) Problem-Based Learning: A Strategy to Foster Generation Z's Critical Thinking and Perseverance. Teaching and Learning in Nursing, vol. 16, no 1, pp. 85-88. http://dx.doi.org/10.1016Zj.teln.2020.09.002
30. Sendag S., Odabasi H.F. (2009) Effects of an Online Problem Based Learning Course on Content Knowledge Acquisition and Critical Thinking Skills. Computers & Education, vol. 53, no 1, pp. 132-141. http://dx.doi.org/10.1016/j.compedu.2009.01.008
31. Skurvydas A., Lisinskiene A., Majauskiene D., Valanciene D., Dadeliene R., Fatkulina N., Sarkauskiene A. (2022) Do Physical Activity, BMI, and Wellbeing Affect Logical Thinking? International Journal of Environmental Research and Public Health, vol. 19, no 11, Article no 6631. https://doi.org/10.3390/ijerph19116631
32. Steinmayr R., Weidinger A.F., Schwinger M., Spinath B. (2019) The Importance of Students' Motivation for Their Academic Achievement-Replicating and Extending Previous Findings. Frontiers in Psychology, no 10, Article no 1730. https:// doi.org/10.3389/fpsyg.2019.01730
33. Styawan A., Arty I.S. (2021) Inquiry-Based Learning and Problem-Based Learning: Which One Has Better Effect on Students Critical Thinking Skills Profile of Thermochemistry? Journal of Physics: Conference Series, vol. 1806, no 1, Article no 012177. http://dx.doi.org/10.1088/1742-6596/1806/V012177
34. Trullas J.C., Blay C., Sarri E., Pujol R. (2022) Effectiveness of Problem-Based Learning Methodology in Undergraduate Medical Education: A Scoping Review. BMC Medical Education, vol. 22, no 1, Article no 104. http://dx.doi. org/10.1186/s12909-022-03154-8
35. World Economic Forum (2020) The Future of Jobs Report 2020. Available at: https://www3.weforum.org/docs/WEF_Future_of_Jobs_2020.pdf (accessed 2 May 2024).
36. Yang YT.C., Chou H.A. (2008) Beyond Critical Thinking Skills: Investigating the Relationship between Critical Thinking Skills and Dispositions through Different Online Instructional Strategies. British Journal of Educational Technology, vol. 39, no 4, pp. 666-684. http://dx.doi.org/10.1111/j.1467-8535.2007.00767.x
37. Yuan H., Williams B.A., Fan L. (2008) A Systematic Review of Selected Evidence on Developing Nursing Students' Critical Thinking through Problem-Based Learning. Nurse Education Today, vol. 28, no 6, pp. 657-663. http://dx.doi. org/10.1016/j.nedt.2007.12.006
38. Zhu J., Cox M.F. (2015) Epistemological Development Profiles of Chinese Engineering Doctoral Students in US Institutions: An Application of Perry's Theory. Journal of Engineering Education, vol. 104, no 3, pp. 345-362. https://doi. org/10.1002/jee.20080
References Abrami P.C., Bernard R.M., Borokhovski E., Waddington D.I., Wade C.A., Persson T.
(2015) Strategies for Teaching Students to Think Critically. Review of Educational Research, vol. 85, no 2, pp. 275-314. https://doi.org/10.3102/0034654314551063 Abrami P.C., Bernard R.M., Borokhovski E., Wade A., Surkes M.A., Tamim R., Zhang D. (2008) Instructional Interventions Affecting Critical Thinking Skills and Dispositions: A Stage 1 Meta-Analysis. Review of Educational Research, vol. 78, no 4, pp. 1102-1134. https://doi.org/10.3102/0034654308326084 Alsaleh N.J. (2020) Teaching Critical Thinking Skills: Literature Review. Turkish Online Journal of Educational Technology-TOJET, vol. 19, no 1, pp. 21-39.
Azer S.A. (2001) Problem-Based Learning. A Critical Review of Its Educational Objectives and the Rationale for Its Use. Saudi Medical Journal, vol. 22, no 4, pp. 299-305.
Biggs J., Tang C., Kennedy G. (2022) Teaching for Quality Learning at University. Open University.
Caplow J.A., Donaldson J.F., Kardash C., Hosokawa M. (1997) Learning in a Problem-Based Medical Curriculum: Students' Conceptions. Medical Education, vol. 31, no 6, pp. 440-447. https://doi.org/10.1046/j.1365-2923.1997.00700.x De Bono E. (1985) Six Thinking Hats: An Essential Approach to Business Management. Boston: Little, Brown, & Company. Dobryakova M.S., Froumin I.D. (2020) Universal Competencies and New Literacy: From Slogans to Reality. Moscow: HSE (In Russian). https://doi. org/10.17323/978-5-7598-2177-9 Dondi M., Klier J., Panier F., Schubert J. (2021) Defining the Skills Citizens Will Need in the Future World of Work. Available at: https://www.mckinsey.com/industries/ public-sector/our-insights/defining-the-skills-citizens-will-need-in-the-future-world-of-work#/ (accessed 2 May 2024). Donovan S., Bransford J., Pellegrino J.W. (1999) How People Learn: Bridging Research and Practice. Washington, DC: National Academy of Sciences. Ennis R.H. (2015) Critical Thinking: A Streamlined Conception. The Palgrave Handbook of Critical Thinking in Higher Education (eds M. Davies, R. Barnett), New York, NY: Palgrave Macmillan, pp. 31-47. https://doi.org/10.1057/9781137378057_2 Ennis R.H. (1989) Critical Thinking and Subject Specificity: Clarification and Needed Research. Educational Researcher, vol. 18, no 3, pp. 4-10. https://doi. org/10.3102/0013189X018003004 Facione P.A. (2000) The Disposition toward Critical Thinking: Its Character, Measurement, and Relationship to Critical Thinking Skill. Informal Logic, vol. 20, no 1. https://doi.org/10.22329/il.v20i1.2254 Facione N.C., Facione P.A., Sanchez C.A. (1994) Critical Thinking Disposition as a Measure of Competent Clinical Judgment: The Development of the California Critical Thinking Disposition Inventory. Journal of Nursing Education, vol. 33, no 8, pp. 345-350. http://dx.doi.org/10.3928/0148-4834-19941001-05 Halpern D.F. (1998) Teaching Critical Thinking for Transfer across Domains: Disposition, Skills, Structure Training, and Metacognitive Monitoring. American Psychologist, vol. 53, no 4, pp. 449-455. https://doi.org/10.1037/0003-066X.53.4.449
Hofer B.K. (2004) Exploring the Dimensions of Personal Epistemology in Differing Classroom Contexts: Student Interpretations during the First Year of College. Contemporary Educational Psychology, vol. 29, no 2, pp. 129-163. https://doi. org/10.1016/j.cedpsych.2004.01.002 Hung W. (2006) The 3C3R Model: A Conceptual Framework for Designing Problems in PBL. Interdisciplinary Journal of Problem-Based Learning, vol. 1, no 1, pp. 5577. http://dx.doi.org/10.7771/1541-5015.1006 Kek M.YC.A., Huijser H. (2011) The Power of Problem-Based Learning in Developing Critical Thinking Skills: Preparing Students for Tomorrow's Digital Futures in Today's Classrooms. Higher Education Research & Development, vol. 30, no 3, pp. 329-341. https://doi.org/10.1080/07294360.2010.501074 Klunklin A., Subpaiboongid P., Keitlertnapha P., Viseskul N., Turale S. (2011) Thai Nursing Students' Adaption to Problem-Based Learning: A Qualitative Study. Nurse Education in Practice, vol. 11, no 6, pp. 370-374. https://doi.org/10.1016/j. nepr.2011.03.011
Kong S.-C. (2014) Developing Information Literacy and Critical Thinking Skills through Domain Knowledge Learning in Digital Classrooms: An Experience of Practicing Flipped Classroom Strategy. Computers & Education, vol. 78, September, pp. 160-173. http://dx.doi.org/10.1016/j.compedu.2014.05.009 Koreshnikova Yu.N., Froumin I.D., Pashchenko T.V. (2021) Organizational and Pedagogical Conditions for the Development of Critical Thinking Skills among Rus-
sian University Students. University Management: Practice and Analysis, vol. 25, no 1, pp. 5-17 (In Russian). https://doi.org/10.15826/umpa.2021.01.001 Merriam S.B. (2018) Adult Learning Theory: Evolution and Future Directions. Contemporary Theories of Learning (ed. K. Illeris), London: Routledge, pp. 83-96. https://doi.org/10.4324/9781315147277 Morgado P., Sousa N., Cerqueira J.J. (2015) The Impact of Stress in Decision Making in the Context of Uncertainty. Journal of Neuroscience Research, vol. 93, no 6, pp. 839-847. https://doi.org/10.1002/jnr.23521 Rosenfeld R.A. (1978) Anxiety and Learning. Teaching Sociology, vol. 5, no 2, pp. 151166. https://doi.org/10.2307/1317061 Sadova A.R., Khill J.S., Pashchenko N.V., Tarasova K.V. (2022) Critical Thinking Assessment in Adults: Methodology and Development Experience. Sovremennaia zarubezhnaia psikhologiia / Journal of Modern Foreign Psychology, vol. 11, no 4, pp. 105-116 (In Russian). https://doi.org/10.17759/jmfp.2022110409 Santos-Meneses L.F., Pashchenko T., Mikhailova A. (2023) Critical Thinking in the Context of Adult Learning through PBL and E-Learning: A Course Framework. Thinking Skills and Creativity, vol. 49, no 2, Article no 101358. http://dx. doi.org/10.1016/j.tsc.2023.101358 Seibert S.A. (2021) Problem-Based Learning: A Strategy to Foster Generation Z's Critical Thinking and Perseverance. Teaching and Learning in Nursing, vol. 16, no 1, pp. 85-88. http://dx.doi.org/10.1016/j.teln.2020.09.002 Sendag S., Odabasi H.F. (2009) Effects of an Online Problem Based Learning Course on Content Knowledge Acquisition and Critical Thinking Skills. Computers & Education, vol. 53, no 1, pp. 132-141. http://dx.doi.org/10.1016/j. compedu.2009.01.008 Skurvydas A., Lisinskiene A., Majauskiene D., Valanciene D., Dadeliene R., Fatkuli-na N., Sarkauskiene A. (2022) Do Physical Activity, BMI, and Wellbeing Affect Logical Thinking? International Journal of Environmental Research and Public Health, vol. 19, no 11, Article no 6631. https://doi.org/10.3390/ijerph19116631 Steinmayr R., Weidinger A.F., Schwinger M., Spinath B. (2019) The Importance of Students' Motivation for Their Academic Achievement-Replicating and Extending Previous Findings. Frontiers in Psychology, no 10, Article no 1730. https://doi. org/10.3389/fpsyg.2019.01730 Styawan A., Arty I.S. (2021) Inquiry-Based Learning and Problem-Based Learning: Which One Has Better Effect on Students Critical Thinking Skills Profile of Thermochemistry? Journal of Physics: Conference Series, vol. 1806, no 1, Article no 012177. http://dx.doi.org/10.1088/1742-6596/1806/V012177 Tarasova K.V., Orel E.A. (2022) Measuring Students' Critical Thinking in Online Environment: Methodology, Conceptual Framework and Tasks Typology. Voprosy obrazovaniya / Educational Studies Moscow, no 3, pp. 187-212 (In Russian). https://doi.org/10.17323/1814-9545-2022-3-187-212 Trullas J.C., Blay C., Sarri E., Pujol R. (2022) Effectiveness of Problem-Based Learning Methodology in Undergraduate Medical Education: A Scoping Review. BMC Medical Education, vol. 22, no 1, Article no 104. http://dx.doi.org/10.1186/s12909-022-03154-8
Uglanova I.L., Brun I.V., Vasin G.M. (2018) Evidence-Centered Design Method for Measuring Complex Psychological Constructs. Sovremennaia zarubezhnaia psikhologiia / Journal of Modern Foreign Psychology, vol. 7, no 3, pp. 18-27 (In Russian). https://doi.org/10.17759/jmfp.2018070302 World Economic Forum (2020) The Future of Jobs Report 2020. Available at: https:// www3.weforum.org/docs/WEF_Future_of_Jobs_2020.pdf (accessed 2 May 2024).
Yang YT.C., Chou H.A. (2008) Beyond Critical Thinking Skills: Investigating the Relationship between Critical Thinking Skills and Dispositions through Different Online Instructional Strategies. British Journal of Educational Technology, vol. 39, no 4, pp. 666-684. http://dx.doi.org/10.1111/j.1467-8535.2007.00767.x
Yuan H., Williams B.A., Fan L. (2008) A Systematic Review of Selected Evidence on Developing Nursing Students' Critical Thinking through Problem-Based Learning. Nurse Education Today, vol. 28, no 6, pp. 657-663. http://dx.doi. org/10.1016/j.nedt.2007.12.006 Zhu J., Cox M.F. (2015) Epistemological Development Profiles of Chinese Engineering Doctoral Students in US Institutions: An Application of Perry's Theory. Journal of Engineering Education, vol. 104, no 3, pp. 345-362. https://doi.org/10.1002/ jee.20080
