CC BY
60
УДК 159.98-053.6(045) А.А. Вихман
ТЕСТ «КРИТИЧЕСКОЕ МЫШЛЕНИЕ ПОДРОСТКА»: РАЗРАБОТКА И ПСИХОМЕТРИЧЕСКАЯ ОЦЕНКА
Необходимость разработки методик измерения критического мышления обусловлена тем, что готовность и способность критически оценивать и интерпретировать информацию является важной метапредметной компетенцией обучающихся в ФГОС школьного образования. В статье представлены результаты пилотной валидиза-ции теста критического мышления для детей подросткового возраста. Теоретической основой при разработке психологического инструментария является экспертный «Дельфийский консенсус» по критическому мышлению (АРА), согласно которому существуют конкретные когнитивные навыки критического мышления, из которых в тест включены четыре: обнаружение фактов, аргументов, гипотез и опровержений, анализ и критика аргументов, оценка противоречий и альтернатив и формулировка вывода. Тест состоит из 16 заданий, которые делятся на 4 шкалы по 4 задания на каждую из шкал. Дистракторы составлены с нарушением принципов количества (неполный ответ), качества (неверный ответ) и релевантности (ответ не соответствует вопросу). Психометрические свойства теста исследовались на двух выборках школьников. Первая выборка: 202 школьника 13-15 лет (67,8 % девочки, 32,2 % мальчики; средний возраст - 14 лет, от 13 до 15 лет). Вторая выборка: 96 подростков, участников летнего детского лагеря (69 % девочки, 31 % мальчики; средний возраст - 14,8 лет, от 14 до 17 лет). Общий балл критического мышления получил нормальное распределение (критерий Колмогорова-Смирнова незначим: D = 0,080; p <0,152). Приведены результаты проверки шкал теста на надежность: коэффициент внутренней согласованности а-Кронбаха общего балла критического мышления равен 0,595, га-Макдональдса равна 0,613. Установлено, что показатели надежности отдельных шкал теста имеют низкий уровень. Изучена конвергентная валидность теста: результаты непараметрического корреляционного анализа наглядно демонстрируют тесную, разнообразную, умеренную по силе связь между общим интеллектом и общим баллом критического мышления, разными его шкалами. Положительные линейные коэффициенты корреляций варьируются от 0,20 до 0,39. Наиболее тесно с общим показателем критического мышления связан вербальный интеллект. В целом психометрическая проверка показала удовлетворительную валидность и надежность теста. Предложенный психологический инструмент может быть одновременно и диагностичным, и развивающим, к тому же дополняющим тесты интеллекта.
Ключевые слова: критическое мышление, интеллект, психологический тест, валидность, надежность.
DOI: 10.35634/2412-9550-2024-34-2-166-180
Введение
Определение, практика и диагностика критического мышления уже на протяжении полувека активно обсуждается психологами, педагогами, философами, социологами, различными теоретиками и практиками. Среди наиболее цитируемых психологов и философов можно выделить R. Glaser, P. Ennis, R. Paul, B. Bloom, P. Facione, K. Stanovich, D. Halpern, R. Sternberg, C. Dwyer, L. Eider, K. Ku, Е. Lai. В отечественной психологии также существует давняя традиция исследования критического мышления, и аспекты изучения данного феномена можно встретить в работах Блонского П.П., Тихомирова О.К., Короля С.А., Давыдова В.В., Теплова Б.М., Сориной Г.В., Загашева И.О., Заир-Бека С.И., Волкова Е.Н., Вихмана А.А., Попова А.Ю., Луценко Е.Л., Гущина Ю.Ф., Мяукиной В.П., Углановой И.Л. и других.
Навыки критического мышления особенно ценны в образовательной среде ввиду того, что они позволяют обучающемуся выходить за рамки простого сохранения и копирования информации и способствуют более сложному многогранному пониманию информации, которая представляется на учебных занятиях. Навыки критического мышления необходимы для максимального использования доступной информации в противовес её пассивному усвоению и употреблению (Dwyer, Hogan & Stewart, 2014). Дополнительную актуальность навыки критического мышления приобретают в ситуации актуализации цифровой социализации детей и подростков (Shaughnessy et al., 2018). Об актуальности данной темы говорит обширная общемировая практика развития критического мышления в школах и университетах.
В Российской Федерации Федеральный государственный образовательный стандарт нового поколения (ФГОС) предполагает использование метапредметного подхода в образовательном процессе школы. В практику психолога и педагога введены новые векторы: формирование универсальных учебных действий и личностных результатов обучения. В то же время анализ показывает, что средства оценки результатов, которые прописаны в ФГОС, в настоящее время отсутствуют. В документе есть требования к мониторингу метапредметных результатов, но отсутствуют какие-либо указания к тому, каким психодиагностическим инструментом это делать. Стоит сразу отметить, что универсальные учебные действия по содержанию схожи с содержанием разных моделей критического мышления. В связи с этим разработка и валидизация психодиагностического инструментария критического мышления решает важную задачу отечественного образования - мониторинг метапредметных результатов школьников на разных этапах обучения.
Термин «критическое мышление» активно используется в психологических исследованиях и философии с 70-х годов, а чуть позже в педагогике и сфере образования. Хотя разные авторы признают важную роль навыков критического мышления в успешной адаптации к современному цифровому миру, можно констатировать, что не существует согласия в определении критического мышления и его составляющих, а также не прояснена его взаимосвязь с другими когнитивными процессами, такими как память, понимание и мышление (Dwyer, 2011; Lai, 2011; Halpem, 2003). Под критическим мышлением понимают философию, идеологию, метод, методику, технологию, практически ориентированную логику и социальную практику.
Психологические определения критического мышления опираются на проявляемое поведение и возможность измерения. Р. Стернберг (Sternberg, 1986) критическое мышление определил как мета-когнитивный процесс (или стратегия мышления), который посредством целенаправленного, рефлексивного суждения увеличивает шансы на логичный вывод или решение проблемы. Д. Дайер с коллегами определяет критическое мышление как метакогнитивный процесс, состоящий из ряда вспомогательных когнитивных навыков (например, анализ, оценка), который посредством целенаправленного рефлексивного суждения увеличивает шансы создания завершённого логического умозаключения или решения проблемы (Dwyer, Hogan & Stewart, 2014). К. Станович с коллегами отмечает, что центральным смысловым компонентом критического мышления является необходимость оценки аргументов, доказательств и собственного мышления без предвзятости от ранее существовавших убеждений. В данном определении прослеживается относимость критического мышления ко второй системе мышления, затратной и рефлексируемой (West, Toplak, Stanovich, 2008). Критическое мышление сопровождается меньшей вовлеченностью в когнитивную предвзятость и в необоснованный риск (Facione & Facione, 2001).
Сущностью явления критического мышления являются многочисленные мыслительные умения и навыки, например, навыки анализа и формулировки вывода, которые увеличивают шансы на получение логичного и непротиворечивого вывода или решения проблемы. Один из первых наборов таких умений и навыков, входящих в явление критического мышления, предложил американский психолог Э. Глейзер. В набор входит умение распознавать проблему, неподтверждённые предположения и оценки, упорядочивать необходимую информацию, избирательность в использовании и восприятии языковых средств, умение истолковывать факты и информацию, давать оценку доказательствам, обнаруживать существование или отсутствие логических связей между суждениями, делать правомерные выводы и обобщения и подвергать их сомнению, перестраивать собственную систему убеждений (Muyakina, Moskovskaya, 2010). Обозначенный набор умений и навыков вошел в тест оценки критического мышления Уотсона-Глейзера (Watson & Glaser, 2002).
Вопрос о наборе тех или иных умений, которые могут относиться к умениям критического мышления, до сих пор остаётся открытым, так как каждый из авторов предлагает свою комбинацию навыков. Интересный опыт договориться о ключевых компонентах критического мышления осуществлён Американской философской ассоциацией (АРА) в 1990 году в виде экспертного «Дельфийского консенсуса», описанного в статьях П. Фачионе и его коллег. После двух лет заочных опросов группа из 46 экспертов (философы, психологи, педагоги, социологи) определила критическое мышление как «целенаправленное саморегулирующееся суждение, результатом которого являются интерпретация, анализ, оценка и вывод, а также объяснение эмпирических, концептуальных, методологических, критериальных и контекстуальных оснований самого этого суждения» (Facione, 1990). В качестве центральных или ключевых компонентов эксперты определяют конкретные когнитивные
навыки критического мышления. Шесть базовых навыков: интерпретация, анализ, оценка, формулирование выводов, объяснение, саморегуляция. В дополнение и уточнение к нему сформулированы двенадцать субнавыков: распределение по категориям, определение важности, прояснение значения, проверка идей, распознавание аргументов, анализ аргументов, оценка утверждений (заявлений), оценка аргументов, осмысление фактов (данных), анализ альтернатив, формулирование выводов, формулирование (изложение, преподнесение) результатов, обоснование процедур, подача (презентация) аргументов, самопроверка и самокоррекция (APA, 1990).
Позже разные авторы добавили в список навыков дельфийского исследовательского проекта APA некоторые личностные черты, важные для критической оценки информации (осторожность, скептицизм, толерантность к неопределённости), склонность к критическому мышлению, ориентацию на поиск истины и системность мышления (Halpern, 1998; Sosu, 2013). В западной традиции принято рассматривать содержание критического мышления как совокупность двух компонентов: способности (навыки и умения) к критическому мышлению (critical thinking skills and abilities) и склонности (мотивация, установка, готовность) к критическому мышлению (critical thinking dispositions) (Facione, 1990; Muyakina, Moskovskaya, 2010; Ku, Ho, 2010).
Несмотря на богатый опыт диагностики навыков критического мышления, в данной теме остаётся много открытых вопросов. Исследователи обсуждают эффективность различных методов и форм диагностики: открытые / закрытые вопросы, тестирование / свободное эссе, стандартизированный тест / развивающее тестирование. Ощущается острый дефицит тестов критического мышления на русском языке, прошедших психометрическую проверку и обладающих удовлетворительными параметрами валидности и надёжности.
Среди наиболее популярных тестов критического мышления можно выделить тест критического мышления Уотсона-Глейзера (WGCTA), а также тесты критического мышления Ennis & Weir (EWCTET), Калифорнийский тест навыков критического мышления (CCTST), Миннесотский тест критического мышления (MTCT), тест критического мышления Корнелла (CCTT) (Ennis et al., 1985; Facione, 1992; Noone, 2016; Lai, 2011; Watson & Glaser, 2002). Стоит отметить, что несмотря на актуальность измерения критического мышления школьников, ни один из обозначенных тестов не проходил адаптацию для русскоязычной выборки. На русском языке существуют очень ограниченный набор психодиагностических инструментов: тесты критического мышления Волкова Е.Н., Гущина Ю.В. (нет данных о проверке валидности) и адаптированный тест критического мышления Л. Старки, переведённый Луценко Е.Л. (Volkov, 2015; Lutsenko, 2014). Данные инструменты не проходили стандартную проверку по ключевым психометрическим критериям надежности, валидности и согласованности.
Ощущается острый дефицит тестов критического мышления на русском языке, прошедших психометрическую проверку и обладающих удовлетворительными параметрами валидности и надёжности. Тесты критического мышления востребованы в образовании, в контексте мониторинга метапредметных результатов обучения школьников, в области развития способностей детей, сопровождения безопасной и благополучной социализации современных детей с учетом цифровой социализации современного человека. Различные исследования сигнализируют, что критическое мышление является важным фактором социализации и адаптации ребенка в современном цифровом мире с избытком разнообразной информации и киберрисков. Существующий ограниченный список инструментов диагностики критического мышления не проходил стандартную проверку по ключевым психометрическим критериям надежности, валидности и согласованности. В связи с этим основная научная проблема актуального исследования выражается в дефиците валидных и надежных методик диагностики критического мышления у школьников.
Методология исследования
Тест критического мышления можно отнести к тестам на индуктивное мышление, так как он направлен на выявление и следование правилам вопросов шкалы. В качестве конструкта, предлагаемого в данной статье теста критического мышления для подростка (Приложение 1), выступает экспертный «Дельфийский консенсус» по критическому мышлению (APA, 1990; Facione, 1990), сопоставленный с формулировками метапредметных результатов из Федерального государственного образовательного стандарта общего образования. Тест состоит из 16 заданий и 4 шкал, по 4 задания на каждую из шкал. Возрастной диапазон применения: с 13 лет, т. е. с начала подросткового возраста. Учитывая многообразие компонентов критического мышления и ограниченность психологической
диагностики некоторых из них (например, саморегуляция), в тест включены четыре когнитивных навыка: обнаружение фактов, аргументов, гипотез и опровержений; анализ и критика аргументов; оценка противоречий и альтернатив и формулировка вывода.
Пристальное внимание уделено разработке правильных ответов и дистракторов теста. Отдельное задание состоит из описания ситуации, формулировки вопроса, правильного ответа и трех дистракторов. Дистракторы формулируются по возможности в логике нарушения принципов (максим) достоверности информации, сформулированных в теории импликатур П. Грайса (Опсе, 1989). Теория разговорной импликатуры предполагает наличие в любом разговоре общего принципа сотрудничества и основных рациональных предположений (максим) о том, как должна происходить качественная передача информации: принципы количества, качества, манеры и релевантности ответа. Дистрак-торы в тесте критического мышления по возможности составлены с нарушением принципов количества (неполный ответ), качества (неверный ответ) и релевантности (ответ не соответствует вопросу). Метапредметность задания сохраняется благодаря стратегии не использовать в задании терминов или фактов, требующих предметных знаний. То есть все, что нужно для правильного ответа на вопрос, уже содержится в самом задании.
Пример задания (шкала «формулировка вывода»):
Эксперименты, проведенные швейцарскими биологами, показали, что крысы охотнее помогают тем своим соплеменникам, которые в предыдущих опытах помогали им самим. Какой можно сделать вывод?
A. Крысы умеют чувствовать (ответ не соответствует вопросу)
Б. Крысы способны на проявления доброты по отношению друг к другу (неполный ответ)
B. Крысы будут помогать только тем сородичам, которые когда-то сами им помогли (неверный ответ)
Г. Крысы могут запоминать историю взаимоотношений с другими крысами (верный ответ)
Обобщая вышесказанное, можно констатировать наличие научной проблемы в отсутствии на данный момент в психологической науке и практике психодиагностического инструментария критического мышления, прошедшего проверку на конвергентную и структурную валидность и надежность на выборке российских подростков. Два исследования, представленные в настоящей статье, нацелены на устранение обозначенного научного дефицита. Были сформулированы следующие исследовательские вопросы (предположения):
1) структурная валидность опросника будет приемлемой, теоретический конструкт будет согласован с эмпирическими данными;
2) надежность общего балла и отдельных шкал теста будет достаточной;
3) будет удовлетворительная внутренняя согласованность и взаимосвязанность шкал опросника;
4) тест характеризуется удовлетворительной конвергентной валидностью.
Исследование № 1 Выборка
Выборку первого исследования составили 202 учащихся 7-9 классов муниципального автономного общеобразовательного учреждения с углублённым изучением математики и английского языка «Школа дизайна «Точка» г. Перми. Из 202 респондентов 137 девочек (67,8 %) и 65 мальчиков (32,2 %). Средний возраст - 14,0 лет (от 13 до 15 лет).
Методика
Тест критического мышления (Приложение 1) для подростков (и более старших возрастов) состоит из 16 вопросов, по 4 отдельных вопроса на каждую из шкал: «поиск аргументов», «анализ ар-
гументов», «анализ альтернатив» и «формулировка вывода». Общий балл критического мышления подсчитывался простым сложением правильных ответов теста.
Результаты
Первой задачей исследования был анализ нормальности распределения данных. Как видно из гистограммы (рис.), общий балл критического мышления распределён нормально. Проверка согласия эмпирического распределения с нормальным по критерию Колмогорова-Смирнова подтвердила нормальность распределения выборки (N=202, критерий Колмогорова-Смирнова незначим: D = 0,080; p <0,152). По отдельным шкалам теста критического мышления обнаружено распределение, отличное от полностью нормального (p <0,01). В связи с этим, в дальнейшем для анализа взаимосвязей использовался непараметрический метод корреляционного анализа по Спирмену.
35
1 3 5 7 9 11 13 15
Критическое мышление (0бщ|й балл)
Рис. Распределение общего балла критического мышления (п=202)
Проверка надежности разработанного теста критического мышления проводилась двумя способами: анализ на внутреннюю согласованность (однородность или гомогенность) и анализ на надежность частей теста. Альфа Кронбаха для общей шкалы критического мышления равен 0,595, го-Макдональдса равна 0,613. Значения а-Кронбаха меньше 0,6 считаются признаком низкой надежности теста (ВийаЛик, 2010).
Следующий вопрос, относящийся к валидности теста, касается его внутренней структуры. Анализ корреляционных связей, осуществленный непараметрическим корреляционным анализом - методом Спирмена, свидетельствует о слабой взаимосвязанности и внутренней согласованности компонентов критического мышления (таблица 1). Единственное сочетание шкал критического мышления, где не было обнаружено статистически достоверной связи - между шкалой «обнаружение фактов, аргументов, гипотез и опровержений, поиск аргументов» и шкалой «оценка противоречий и альтернатив». Хотя уровень значимости приближен к границе достоверности.
Таблица 1
Корреляционные связи между шкалами теста критического мышления (п=202)
Среднее SD 1 2 3 4
Обнаружение фактов, аргументов, гипотез и опровержений 2,55 0,85 1
Анализ и критика аргументов 1,91 1,09 0,16* 1
Оценка противоречий и альтернатив 1,65 1,05 0,12 0,12* 1
Формулировка вывода 2,27 1,24 0,13* 0,45*** 0,22** 1
Примечание: *** р<0,001; ** р<0,01; * р<0,05; SD - стандартное отклонение; 1 - обнаружение фактов, аргументов, гипотез и опровержений; 2 - анализ и критика аргументов; 3 - оценка противоречий и альтернатив; 4 - формулировка вывода.
Для изучения внутренней структуры теста для четырех шкал применялась статистическая процедура факторного анализа методом главных компонент (principal component analysis, PCA) с Verimax-вращением. За значимые принимались нагрузки выше 0,4. Оптимальное количество компонент определялось по критерию «каменистой осыпи» Кеттелла. Относительно большой «обрыв» после первой точки графика осыпи свидетельствует об одномерной структуре данных. В результате факторизации шкал теста критического мышления обозначена однофакторная структура, где наибольший вес имеют шкалы «анализ и критика аргументов» (0,790) и «формулировка вывода» (0,765), а шкалы «обнаружение фактов, аргументов, гипотез и опровержений» (0,431) и «оценка противоречий и альтернатив» (0,476) имеют вдвое меньший, но значимый вес. Стоит отметить достаточно низкий процент (40,9 %) объяснимой дисперсии факторной структуры.
Исследование № 2 Выборка
Выборку второго исследования составили 96 подростков, участников летнего лагеря «Новое поколение», из них 67 (69,8 %) девочек и 29 (30,2 %) мальчиков. Средний возраст - 14,9 лет (от 14 до 17 лет). Исследование проводилось в два дня в групповой форме на территории детского лагеря в дообеденное время. Диагностика осуществлялась с помощью индивидуальных тестовых тетрадей, в части заданий контролировалось время выполнения. Тест критического мышления подростка проводился вместе с другими методиками, необходимыми для оценки валидности.
Методики
Для оценки уровня интеллектуального развития подростков использовалась методика «Прогрессивные матрицы Равена». В настоящем исследовании применялся черно-белый вариант теста Д. Равена, предназначенный для обследования подростков. Основной блок состоял из 60 матриц с пропущенными элементами. Задания были разделены на 5 серий (А, В, С, D, Е) по 12 однотипных, но возрастающих по сложности матриц в каждой серии, а также при переходе от серии к серии. Испытуемый выбирал недостающий элемент матрицы среди 6 и 8 предложенных вариантов. Каждая серия заданий была составлена по определенному принципу: А - анализ структуры целого и восстановление целостности; В - аналогия между парами фигур; С - принцип прогрессивных изменений в фигурах матриц; D - принцип перегруппировки фигур; E - синтез недостающей фигуры по частям согласно алгебраическому принципу. Оценка результатов проводилась в соответствии с общей суммой баллов, набранной по окончании тестирования, а также отдельными результатами каждой серии (Mukhordova, Shreiber, 2011).
Для определения структуры аналитических вербальных и математических способностей использовали три субтеста методики TSI «Теста структуры интеллекта» Р. Амтхауэра - вербальный интеллект «Дополнение предложений» и «Исключение слова», а также математический интеллект «Числовые ряды». Тест отличается хорошими психометрическими показателями (коэффициент параллельных форм, ретестовая надежность и пр.) (Елисеев, 2011).
Статистическая обработка данных проводилась с использованием программ STATISTICA 10 (Dell Software Company) и Jamovi (Version 2.3.21).
Результаты
Далее, на данных второго тестирования подростков изучалась конвергентная валидность теста. Результаты непараметрического корреляционного анализа наглядно демонстрируют тесную, разнообразную, умеренную по силе связь между общим интеллектом и общим баллом критического мышления, разными его шкалами (табл. 2). Положительные линейные коэффициенты корреляций варьируются от 0,20 до 0,39. Общий балл критического мышления достоверно положительно связан общим баллом интеллектуального развития подростка на высоком уровне достоверности (0,41; p<0,001).
Отмечается, что первые серии прогрессивных матриц Равена (А и В) имеют меньше достоверных взаимосвязей с критическим мышлением, чем последующие серии (C, D, E). Навыки анализа структуры целого и восстановление целостности, поиска аналогии между парами фигур связаны умеренно с критическим мышлением, а навыки анализа закономерности чередования фигур в целостной
структуре, синтеза недостающей фигуры по частям согласно алгебраическому принципу и в особенности анализа прогрессивного изменения в структуре связаны высокозначимо.
Таблица 2
Корреляционные связи между шкалами теста критического мышления и прогрессивными матрицами Д. Равена (п=96)
A B C D E IQ
Общий балл критического мышления 0,24* 0,22* 0 39*** 0,31** 0,32** 0 41***
Обнаружение фактов, аргументов, гипотез и опровержений 0,19 0,27** 0,36*** 0,33*** 0,30** 0 39***
Анализ и критика аргументов 0,26** 0,17 0,32** 0,20* 0,29** 0,33***
Оценка противоречий и альтернатив 0,14 0,07 0,26** 0,17 0,14 0,22*
Формулировка вывода 0,08 0,09 0,20* 0,13 0,14 0,20*
Примечание: *** р<0,001; ** р<0,01; * р<0,05. Шкалы теста Д. Равена: А - анализ структуры целого и восстановление целостности; В - аналогия между парами фигур; С - анализ прогрессивного изменения в структуре; D - анализ закономерности чередования фигур в целостной структуре; Е - синтез недостающей фигуры по частям согласно алгебраическому принципу; Щ - общий интеллект.
Практическая направленность критического мышления отражается в специфике корреляционных связей отдельных навыков критического мышления и интеллекта (табл. 3). Наиболее тесно с общим баллом критического мышления связан вербальный интеллект (0,41). Правильное дополнение предложений высоко достоверно коррелирует со всеми шкалами критического мышления и его общим баллом. Предлагаемый тест критического мышления состоит из описания ситуаций и вопросов, поэтому навыки смыслового чтения и понимания текста являются ключевыми для успешности выполнения теста критического мышления.
Таблица 3
Корреляционные связи между шкалами теста критического мышления и интеллекта (п=96)
Субтест 1 Субтест 2 Субтест 6
Общий балл критического мышления 0,41*** 0,31** 0,26**
Обнаружение фактов, аргументов, гипотез и опровержений 0,35*** 0,31** 0,18
Анализ и критика аргументов 0,29** 0,28** 0,06
Оценка противоречий и альтернатив 0,22* 0,05 0,27**
Формулировка вывода 0,31** 0,22* 0,25*
Примечание: *** р<0,001; ** р<0,01; * р<0,05. Шкалы теста Р. Амтхауэра: Субтест 1 - вербальный интеллект (дополнение предложений); Субтест 2 - вербальный интеллект (исключение слова); Субтест 6 - математический интеллект (числовые ряды).
Математический интеллект, имея достоверную связь с общим баллом критического мышления, достоверно связан только с двумя шкалами критического мышления: анализ альтернатив и формулировка вывода.
Дискуссия
Логика создания теста критического мышления формировалась постепенно в длительном проекте по диагностике метапредметных результатов у школьников в Пермском крае в рамках научно-методического сопровождения развития и диагностики метапредметных результатов школьников (Popov, 2014; Vikhman, Sibiryakov, Cherepanov, 2019). Многочисленные аналитические материалы, психометрические исследования с использованием IRT, проекты по совместному с педагогами созданию тестов критического мышления на основе различных предметных областей показали содержательную валидность тестов критического мышления в целях диагностики метапредметных компетенций школьников.
Необходимым условием надежности создаваемого теста является внутренняя согласованность. Мера гомогенности - стандартизованная альфа Кронбаха. Значения альфа Кронбаха меньше 0,6 считаются признаком низкой надежности теста. Показатель альфа Кронбаха и ш-Макдональдса для общей шкалы критического мышления на выборке 202 школьников находится на границе признака надежности, что свидетельствует о низкой, но достаточной внутренней согласованности опросника. Возможно, низкая надежность отдельных шкал теста обусловлена тем обстоятельством, что пункты шкал критического мышления не могут быть достаточно синонимичными, близкими по описанию и содержанию, скорее они близки только по смыслу задания. То есть задания даже внутри одной шкалы не являются полностью однородными. Возможно, в случае теста критического мышления необходим компромисс между объемом теста и надежностью пунктов.
Корреляции между шкалами теста внутри теста свидетельствуют о слабой, но статистически достоверной взаимосвязанности и удовлетворительной внутренней согласованности компонентов критического мышления. Шкала «формулировка вывода» нагружена достоверными корреляционными связями разной степени значимости: высокая степень значимости взаимосвязанности со шкалой анализа аргументов (0,46), средняя степень значимости со шкалой оценки альтернатив (0,22) и низкая степень значимости взаимосвязи со шкалой поиска аргументов (0,13). Заметно выделяется сильная взаимосвязанность навыков формулировки выводов и анализа аргументов.
Конвергентная валидность означает, что тест должен иметь высокие корреляции с другими переменными, с которыми он должен коррелировать, исходя из теоретических предположений (Fer, Ba-karak, 2010). Ожидается взаимосвязанность баллов валидизируемого теста критического мышления с показателями сходных психологических конструктов, а именно с разными видами интеллекта. С одной стороны, критическое мышление - это всего лишь одна из разновидностей тесно связанных и переплетённых форм мышления высшего порядка, и интеллект сам по себе включает в себя навыки хорошего мышления (Halpern, 2006). С другой стороны, интеллект и критическое мышление хоть и имеют много общего, все же различаются смыслом решаемых в тестировании задач. Интеллект можно описать как эффективность обработки абстрактной информации, в то время как диагностика критического мышления направлена на оценку качества информации на примере конкретных практических ситуаций реального мира (Stanovich, 2016). В связи с этим между конструктами ожидались умеренные корреляционные связи. В результате эмпирического исследования установлены умеренные по статистической значимости взаимосвязи между критическим мышлением (и его шкалами), с одной стороны, и общим интеллектом, вербальным интеллектом и математическим интеллектом, с другой стороны. Учитывая логику усложняющихся субтестов прогрессивных матриц Д. Равена, можно предположить, что рост достоверности корреляционных связей между успешностью решений серий C, D, E и задач критического мышления связан с процессом утомляемости, личностной и когнитивной настойчивости респондентов. Вероятно, высококритичные респонденты проявляют большую настойчивость в выполнении интеллектуальных заданий, кроме того, у них остается больше времени для решения задач более сложных серий прогрессивных матриц Д. Равена. Такая когнитивная усидчивость связывается с функционированием развитой второй системы мышления (West, Toplak, Stanovich, 2008).
Дополнительным свидетельством конвергентной валидности является тесная связь успешности решения задач критического мышления и учебной успеваемости на больших выборках школьников, выявленная в исследованиях А.Ю. Попова и А.А. Вихмана (Popov, 2014). Хотя в современном исследовании использовался другой комплект задач, они методологически и технически составлены схожим образом, что и в исследовании 2014 года.
Выводы
Инструмент в целом соответствует функциям и заявленным областям применения. Надежный и информативный инструмент психологической диагностики пригоден для использования как в научно-исследовательских, так и практических целях в различных сферах образования и практической психологии. Можно утверждать, что представленный в статье тест критического мышления характеризуется низкими или умеренными показателями надежности и конструктной и конвергентной ва-лидностью. Общий балл критического мышления информативен, и распределение его эмпирических значений согласуется с нормальным распределением. Показатель надежности общей шкалы критического мышления с помощью метода альфа Кронбаха равен 0,595, ш-Макдональдса равна 0,613. Кон-
вергентная валидность подтверждается статистически достоверными связями между критическим мышлением и общим баллом интеллектуального развития подростка (p<0,001 при n=96) и вербальным интеллектом (p<0,001 при n=96). Полученные взаимосвязи согласуются с теоретическими представлениями, на которых основана разработка теста.
Таким образом, тест может быть использован для оценки критического мышления учащихся и мониторинга метапредметных результатов в школе. Разнообразное содержание теста критического мышления выполняет важную психодидактическую задачу, делая измерение когнитивного развития детей интересным и познавательным. Логика построения теста позволяет создавать параллельные формы и варианты теста для разных возрастов. Формулировки заданий теста критического мышления могут быть ориентированы на кейсы из опыта цифровой социализации ребенка. Серия тестирований может выполнять развивающую и профилактическую задачи социализации.
Благодарность и финансирование
Работа выполнена в рамках государственного задания № 07-00080-21-02 от 18.08.2021 г., номер реестровой записи № 730000Ф.99.1. «Особенности цифровой социализации детей и подростков в контексте их когнитивного развития».
СПИСОК ЛИТЕРАТУРЫ
1. Бурлачук Л.Ф. Психодиагностика. СПб.: Питер, 2010. 351 с.
2. Вихман А.А., Сибиряков Е.С., Черепанов М.С. Технологии психологического мониторинга метапредметных результатов для оценки качества образования: инновационный опыт Пермского края // Проблемы и перспективы развития систем оценки качества образования. Сборник материалов III межрегиональной научно-практической конференции (под редакцией А.А. Барабаса). 2018. С. 21-25.
3. Волков Е.Н. Тесты критического мышления: вводный обзор // Психологическая диагностика. 2015. № 3. С. 5-23.
4. Елисеев О.П. Практикум по психологии личности. СПб.: Питер, 2001. 560 с.
5. Луценко Е.Л. Адаптация теста критического мышления Л. Старки// Вшник Харк. нац. ун-ту. Сер1я: Психо-лопя. 2014. № 1110. С. 65-70.
6. Муякина В.П., Московская Н.Л. Критическое мышление как образовательная ценность // Преподаватель высшей школы в 21 веке: труды международной научно-практической интернет-конференции. 2010. Ростов-на-Дону: РГУПС. С. 215-220.
7. Попов А.Ю. Оценка учебного и профессионального потенциала: принципы, методы и технологии. Пермь: Перм.гос.пед.гум.университет, 2015. 428 с.
8. Мухордова О.Е., Шрейбер Т.В. Прогрессивные матрицы Равена: методические рекомендации. Ижевск: Изд-во «Удмуртский университет», 2011. 70 с.
9. Психометрика: Введение / Р. Майкл Фер, Верн Р. Бакарак пер. с англ. А.С. Науменко, А.Ю. Попов; под ред. Н.А. Батурина, Е.В. Эйдмана. Челябинск: Издательство ЮУрГУ, 2010. 445 с.
10. American Philosophical Association [APA] (1990). Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction, The Delphi Report: Research Findings and Recommendat ions Prepared for the Committee on Pre-College Philosophy. P. Facione, (Project Director). ERIC Doc. No. ED 315-423.
11. Dwyer C.P. The evaluation of argument mapping as a learning tool. Doctoral Thesis. National University of Ireland, Galway, 2011.
12. Dwyer C. P., Hogan M. J., Stewart I. An integrated critical thinking framework for the 21st century // Think Skills Creat. 2014.Vol 12. P. 43-52. DOI: 10.1016/j.tsc.2013.12.004
13. Facione P.A. Critical Thinking: A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction. The California Academic Press, 1990. 19 p.
14. Facione P.A., Facione N.C. Analyzing explanations for seemingly irrational choices: Linking argument analysis and cognitive science // International Journal of Applied Philosophy. 2001. Vol 15. No 2. P. 267-286.
15. Grice P. Studies in the way of words. Cambridge, MA: Harvard University Press, 1989. 387 p.
16. Ku K.Y.L., Ho I.T. Metacognitive strategies that enhance critical thinking // Metacognition & Learning. 2010. Vol 5. P. 251-267.
17. Lai E. R. Critical thinking: A literature review // Pearson's Research Reports. 2011.Vol 6. P. 40-41.
18. Legg S., Hutter M. A. collection of definitions of intelligence // Frontiers in Artificial Intelligence and Applications. 2007. P. 1-12. DOI: 10.1207/s15327051hci0301_2
19. Noone C. Mindfulness and Critical Thinking: Structural Relations, Short-Term State Effects, and Long-Term Intervention Effects. School of Psychology, National University of Ireland, Galway, 2016. 290 p.
20. Halpern D.F. Thought & knowledge: An introduction to critical thinking (4th Ed.). New Jersey: Laurence Erlbaum Associates, 2003. 625 p.
21. Halpern D. F. Teaching Critical Thinking for Transfer Across Domains: Dispositions, Skills, Structure Training, and Metacognitive Monitoring // American Psychologist. 1998. Vol 53. No 4. P. 449-455.
22. Paul R. Critical thinking: What every person needs to survive in a rapidly changing world. RohnertPark, CA: Foundation for Critical Thinking, 1993. 505 p.
23. Shaughnessy M., Viner M., Kennedy C. Search Engines and Critical Thinking, Evaluation and Investigation // World Journal of Educational Research. 2018 Vol 5. No 107. P. 107-116. D0I:10.22158/wjer.v5n2p107.
24. Sosu E. M. The development and psychometric validation of Critical Thinking Disposition Scale // Thinking Skills and Creativity. 2013. Vol 9. P. 107-119. DOI: 10.1016/j.tsc.2012.09.002
25. Stanovich K.E. The Comprehensive Assessment of Rational Thinking // Educational Psychologist. 2016. Vol 51. No 1. P. 23-34. DOI: 10.1080/00461520.2015.1125787.
26. Sternberg R.J. Critical thinking: Its nature, measurement, and improvement - National Institute of Education, 1986. 37 p.
27. Watson G., Glaser E. Watson-Glaser critical thinking appraisal. London, UK: Pearson Assessment, 2002. 15 p.
28. West R.F., Toplak M.E., Stanovich K.E. Heuristics and biases as measures of critical thinking: Associations with cognitive ability and thinking dispositions // Journal of Educational Psychology. 2008. Vol. 100. No 4. P. 930-941. DOI: 10.1037/a0012842
Приложение. Тест критического мышления
Инструкция: Вашему вниманию представлены 16 задач. Внимательно прочитайте задачу и ответьте на поставленный вопрос, поставив галочку напротив правильного ответа.
Задание 1
(1) - Глаза хамелеона могут смотреть одновременно в разные стороны. (2) - Пока хамелеон спокоен, его глазные яблоки могут вращаться независимо друг от друга, отыскивая съедобных насекомых. (3) - Но способен ли хамелеон видеть одновременно два разных предмета (мозг должен реагировать не только на что-то одно), когда глаза его глядят в разные стороны? (4) - Возможно, это науке пока неизвестно.
Предложение № 3 является
А. Фактом (утверждением о том, что происходит в действительности)
Б. Аргументом (доводом, приводимым в доказательство чего-либо)
В. Гипотезой (предположением)
Г. Опровержением (доводом, приводимым для обоснования ложности какого-либо мнения)
Задание 2
(1) Чему обязан своим названием тасманский дьявол? (2) Вероятно, своей пасти со страшными зубами. (3) Известно, что он охотится по ночам, неожиданно набрасываясь на добычу и сверкая клыками, как дьявол. (4) Но в свете дня внешне он скорее напоминает маленького медвежонка, чем дьявола.
Какое предложение содержит аргумент (довод, приводимый в доказательство чего-либо)?
А. Предложение №1
Б. Предложение №2.
В. Предложение №3.
Г. Предложение №4.
Задание 3
(1) - В Мексике обитает кузнечиковый хомячок - ночной хищник, сильно отличающийся поведением от большинства грызунов. (2) - Он охотится на кузнечиков, скорпионов и змей, к яду которых у него выработан иммунитет, и даже на других мышей. (3) - Для обозначения своей территории хомячок периодически встаёт на задние лапы, запрокидывает голову и издаёт протяжный писк, что очень походит на волчий вой на Луну.
Предложение № 1 является...
А. Фактом (утверждением о том, что происходит в действительности)
Б. Аргументом (доводом, приводимым в доказательство чего-либо)
В. Гипотезой (предположением)
Г. Опровержением (доводом, приводимым для обоснования ложности какого-либо мнения)
Задание 4
(1) - Способствуют ли волосы на теле слона регуляции температуры? (2) - Обычно мех у животных способствует термоизоляции и больше характерен для северных видов. (3) - Однако волосяной покров слонов, наоборот, помогает им поддерживать постоянную температуру тела при более высокой температуре воздуха.
Предложение № 2 является.
А. Фактом (утверждением о том, что происходит в действительности)
Б. Аргументом (доводом, приводимым в доказательство чего-либо)
В. Гипотезой (предположением)
Г. Опровержением (доводом, приводимым для обоснования ложности какого-либо мнения)
Задание 5
За лето растения используют много минеральных веществ. Например, пшеница на площади 1 га поглощает из почвы 40 кг азота и 20 кг фосфора. Поэтому следует систематически восполнять запасы минеральных веществ в почве, своевременно вносить удобрения.
Какой из правдивых фактов может ослабить правильность данного утверждения?
А. Минеральные удобрения вносят в почву своевременно и строго по нормам
Б. Нужные растениям минеральные вещества есть в органических удобрениях: навоз, торф
В. Часто при недостатке фосфора растения хуже цветут и плодоносят
Г. Избыточное внесение удобрений вредит растениям и окружающей среде
Задание 6
«В стране Х на несколько лет разрешили свободную продажу успокоительных в таблетках (антидепрессантов), и следом это вызвало снижение показателей числа преступлений в следующее десятилетие».
Выберите наиболее сильную критику этого рассуждения:
А. Не представлены точные математические данные
Б. Связь событий во времени не говорит о причинно-следственной связи между ними
В. В утверждении представлены слишком разные временные отрезки введения свободной продажи антидепрессантов и снижения показателей преступности
Г. Не разъяснено, что значит свободная продажа антидепрессантов и какая именно преступность
Задание 7
«Если в процессе эволюции увеличение размеров тела происходит без одновременного и пропорционального увеличения головного мозга, то животное скорее поглупеет, чем поумнеет».
Какой из приведенных правдивых фактов может наиболее сильно ослабить аргументацию данного утверждения?_
А. Мы не можем посмотреть процесс эволюции воочию
Б. Кроме головного мозга, важную роль в развитии играет спинной мозг
В. Динозавры были гораздо больше по размеру, чем современные млекопитающие, но имели меньший по объему мозг
Г. Главную роль в развитии разума играет не размер мозга, а его внутреннее устройство
Задание 8
Какой аргумент (если предположить, что он верен) говорил бы в пользу утверждения «новые информационные технологии становятся для нас своего рода умственными протезами (костылями), тем самым делая нас глупее»?
А. Мы сможем в полном смысле владеть электронной техникой лишь в том случае, если будем уметь ею пользоваться, например, научимся ее иногда выключать
Б. Цифровые носители способны нам помочь, освобождая наш мозг для другой работы - поиска новых, творческих идей и решений
В. Чтобы сохранить память, нужно ежедневно ее использовать, не полагаясь на инструменты, которые лишают наш мозг работы
Г. Любой не используемый нами потенциал накапливается, и у нас всегда есть возможность вернуться к нему позже
Задание 9
Один из последних ассирийских царей Ашшурбанапал был человеком образованным. Он приказал привозить в свой дворец книги. Так была собрана большая библиотека из множества книг. В ней хранились ассирийские и вавилонские мифы и сказания. В 612 г. до н. э. город был осаждён и захвачен, дворец сгорел. А библиотека уцелела. Археологи смогли собрать кусочки и прочитать старинные мифы и сказания.
Что из перечисленного позволяет правдоподобно разрешить этот парадокс?
А. Книги не сгорели, а стали прочнее, так как были изготовлены из глины
Б. Царь сам разбил свою библиотеку, чтобы спрятать все книги и ее не заметили осаждавшие
В. Многие книги были в подвале, и их успели закопать и вынести из охваченного огнём дворца
Г. Дворец царя был огромным, и огонь не захватил библиотеку
Задание 10
В книге Фреда Кауфмана «Как еда перестала быть едой» описывается парадокс современного производства продуктов питания. В 2008 году фермеры произвели больше зерна, чем когда-либо, и такого количества еды было достаточно для того, чтобы накормить вдвое больше людей, чем те, которые жили в то время на нашей планете. В том же самом году впервые в истории более миллиарда человек голодали. Как мы могли произвести так много еды, и в то же время столько людей недоедали?
Какой факт, если бы он был правдой, мог бы объяснить этот парадокс?
А. Качество еды падает, все чаще используются заменители и химические соединения
Б. Из года в год люди становятся все более требовательными и придирчивыми к еде
В. В развитых странах люди стали покупать еды гораздо больше, чем могут съесть
Г. Сложно доставить еду из тех стран, где она произведена, в те, где в ней особенно нуждаются голодающие
Задание 11
Начиная с 1920 года, средний рост европейских мужчин стабильно растет. Исследователи объясняют это явление постоянным улучшением уровня жизни в целом и здоровья людей в частности. В то же время известно, что на этот период попадает время Второй Мировой Войны, и это не единственное, хоть и самое масштабное, трагическое событие тех времен.
Что из перечисленного позволяет разрешить этот парадокс?
А. Несмотря на войны и беды, в военное время уровень медицины постоянно повышался
Б. Война была не так страшна для мужского населения западной Европы
В. Учитывается только средний показатель - рост жителей затронутых войной стран мог быть ниже остальных
Г. Ученые ошиблись - рост европейских мужчин растет по иным биологическим причинам
Задание 12
Эксперты говорят, что инструкции по безопасности труда снижают количество несчастных случаев среди работников на заводах. Однако недавнее исследование показало, что на заводах, которые ввели инструкции по безопасности труда, количество несчастных случаев было высоким в течение нескольких месяцев сразу после нововведения.
Что из перечисленного позволяет снять противоречие?
А. Похожее исследование показало, что у работников транспорта количество несчастных случаев после введения инструкций не изменилось
Б. Обычно на заводах вводят новые инструкции по безопасности труда после того, как увеличилась численность рабочих
В. Вероятно, что увеличение количества несчастных случаев на несколько месяцев не является случайностью
Г. Другие меры безопасности действовали задолго до введения новых инструкций
Задание 13
Когда арабы захватили Александрию, их военачальник Амру не знал, что делать с богатейшим собранием книг в Александрийской библиотеке и послал в Медину спросить халифа. «Если в этих книгах написано то же самое, что и в Коране, то они лишние, а если противное Корану, то они вредны. Прикажи их уничтожить», - таков был ответ Халифа. Шесть месяцев топили рукописями бани, причем безжалостно уничтожали сокровища науки, собранные за 10 веков.
Что можно с точностью утверждать на основании этой истории?
А. Халиф считал, что в Коране содержится вся необходимая мудрость
Б. Амру считал Коран самой главной книгой
В. Арабы, захватившие Александрию, были необразованными
Г. Амру должен был во всем подчиняться решениям халифа
Задание 14
Учёные из Мичиганского университета США выяснили, что многие живые существа прибегают к самолечению. Если раньше было известно, что лечить себя умеют шимпанзе, то теперь список животных-терапевтов пополнили и другие существа, даже такие насекомые, как муравьи, моль и плодовые мушки.
Выберите верный вывод.
А. Всех животных можно в той или иной степени лечить
Б. Существуют другие животные, помимо шимпанзе, способные к самолечению
В. Современная наука позволяет привлекать шимпанзе к терапевтической работе
Г. Только люди и шимпанзе умеют по-настоящему лечить себя
Задание 15
Эксперименты, проведенные швейцарскими биологами, показали, что крысы охотнее помогают тем своим соплеменникам, которые в предыдущих опытах помогали им самим.
Какой можно сделать вывод?_
А. Крысы умеют чувствовать
Б. Крысы способны на проявления доброты по отношению друг к другу
В. Крысы будут помогать только тем сородичам, которые когда-то сами им помогли
Г. Крысы могут запоминать историю взаимоотношений с другими крысами
Задание 16
В каждом художественном произведении, в том числе в историческом романе, мы ценим, прежде всего, фантазию автора, восстанавливающего по отрывкам документов живую картину эпохи... Можно ли «присочинить» биографию историческому лицу? Должно. Но сделать это так, чтобы это было вероятно, чтобы сочиненное, если и не было, то должно было быть.
Выберите ответ, который больше всего подходит в качестве вывода.
А. Главное в каждом художественном произведении - фантазия автора
Б. Автор художественного произведения рассказывает о реальных фактах и персонажах, опираясь на исторические документы
В. В художественном произведении авторский вымысел должен воссоздавать картину эпохи, не противореча историческим фактам
Г. Автор в произведении любого жанра должен «присочинять» элементы к историческим фактам, чтобы более ярко воссоздать картину прошлого
Ключ
Шкала «Обнаружение фактов, аргументов, гипотез и опровержений»: 1в, 2в, 3а, 4г
Умеет выявлять в тексте важные компоненты рассуждения: факты (утверждения о том, что происходит в действительности), аргументы (доводы, приводимые в доказательство чего-либо), гипотезы (предположения) и опровержения (доводы, приводимые для обоснования ложности какого-либо мнения).
Шкала «Анализ и критика аргументов»: 5г, 6б, 7г, 8в
Умеет определять критику и факты, ослабляющие аргументацию, определять, когда для доказательства достоверности суждения или утверждения нужна дополнительная информация, по заданному набору аргументов определять, выражает ли данный набор аргумент либо контраргумент к представленному утверждению.
Шкала «Оценка противоречий и альтернатив»: 9а, 10в, 11а, 12б
Умеет определять альтернативные варианты решения проблемы, формулировать серию предположений в ответ на вопрос, формулировать альтернативные гипотезы по поводу некоторого события, вычленять лежащие в основе суждения противоречия и парадоксы.
Шкала «Формулировка вывода»: 13а, 14б, 15г, 16в
Умеет определять, какое из нескольких возможных умозаключений наиболее обосновано или наиболее подтверждено эмпирически, и какое из умозаключений сформулировано наиболее точно и репрезентативно.
Поступила в редакцию 05.04.2024
Вихман Александр Александрович, кандидат психологических наук,
директор Пермского научного центра РАО при ПГГПУ, заведующий кафедрой практической психологии ФГБОУ ВО «Пермский государственный гуманитарно-педагогический университет» 614990, Россия, г. Пермь, ул. Сибирская, 24 E-mail: [email protected]
A.A. Vikhman
THE ADOLESCENT CRITICAL THINKING TEST: DEVELOPMENT AND PSYCHOMETRIC EVALUATION
DOI: 10.35634/2412-9550-2024-34-2-166-180
The need to develop methods for measuring critical thinking is due to the fact that the willingness and ability to critically evaluate and interpret information is an important meta-subject competence of students. The paper describes the results of pilot validation of a critical thinking test for adolescent children. The theoretical basis for the development of psychological tools is a critical thinking Delphi expert consensus (ETE) which outlines particular cognitive skills of critical thinking. The test includes four of them: finding facts, arguments, hypotheses and refutations, analysis and criticism of arguments, evaluation of contradictions and alternatives, formulation of a conclusion. The test consists of 16 tasks which are divided into 4 scales by 4 tasks for each. Distractors are designed so that they violate the principles of quantity (not full answers), quality (wrong answers) and validity (answers do not correspond to the question). Psychometric features of the test were verified with two school student samples. The first sample includes 202 students from 7-
9 grades of a secondary school (67.8% of girls, 32.2% of boys; an average age is 14, from 13 to 15). The second sample covers 96 teenagers from a summer camp for children (69% of girls, 21% of boys; an average age is 14.8, from 14 to 17). The overall score of critical thinking is normally distributed (the Kolmogorov—Smirnov coefficient is minor: D = 0.080; p <0.152). The paper gives the results of test scale validation for reliability: Chronbach's alpha internal consistency coefficient for the overall score of critical thinking equals 0.595, ю-McDonald's is 0.613. It was found that reliability indices of individual scales of the test have a low level of reliability. The paper analyzes test's convergent validity: non-parametric correlational analysis clearly illustrates a close, diverse, moderate link between general intelligence and the overall score of critical thinking by its different scales. Positive linear coefficients of the correlations vary from 0.20 to 0.39. In general, psychometric testing showed satisfactory validity and reliability of the test. The proposed psychological tool can be both diagnostic and developmental, besides complementing intelligence tests.
Keywords: critical thinking, intelligence, psychological test, validity, reliability.
Received 05.04.2024
Vikhman A.A., Candidate of Psychology, Associate Professor at Department of Practical Psychology Perm State Humanitarian Pedagogical University Sibirskaya st., 24, Perm, Russia, 614990 E-mail: [email protected]
