CC BY
16DOI: 10.19181/ezheg.2019.10
ПОЧЕМУ ИНДЕКСЫ РАБОТАЮТ НЕ ТАК? РЕЗУЛЬТАТЫ МЕЖДУНАРОДНЫХ ИССЛЕДОВАНИЙ ОБРАЗОВАНИЯ В РОССИИ В КОНТЕКСТЕ СОЦИАЛЬНО-ЭКОНОМИЧЕСКИХ ПАРАМЕТРОВ
Попов Дмитрий Сергеевич,
ведущий научный сотрудник, Институт социологии ФНИСЦ РАН; доцент НИУ ВШЭ, Москва.
E-mail: dmtrppv@gmail. com
Аннотация. В литературе широко обсуждаются связи между измеренным в рамках международных исследований уровнем знаний (компетентности) и различными социально-экономическими параметрами, в том числе комплексными индексами, такими как социально-экономический статус и культурный капитал респондентов и их семей. На основе этих сравнений порой делаются выводы об успешности (или неуспешности) национальных систем образования и -шире - отдельных стран. В рамках данной статьи мы рассматриваем подобные выводы, полученные исследователями на основе данных масштабных международных сравнительных исследований в области образования (так называемые large scale assessments) за последние годы. В статье поднимается вопрос о работе упомянутых показателей в российских условиях и возможностях их использования при международных сравнениях. Показано, что разность результатов, полученных для России и стран ОЭСР может быть интерпретирована с учетом неодинаковости работы индексов и их отдельных параметров в национальных условиях.
Ключевые слова: международные исследования, образование, социально-экономический статус.
WHY DO INDEXES WORK WRONG? SOCIOECONOMIC PARAMETERS IN INTERNATIONAL STUDIES OF EDUCATION IN RUSSIA
Dmitry S. Popov,
leading researcher at the Federal Center of Theoretical and Applied Sociology (FCTAS RAS),
associate professor at the National Research University Higher School of
Economics,
Moscow, Russia.
E-mail: dmtrppv@gmail. com
Abstract. Several core background variables and indexes (socio-economic status and social capital), widely used in international educational assessments, show rather small or no correlation with the measured literacy and competency levels in Russia. In this article we address this problem drawing on the data of the Programme for the International Assessment of Adult Competencies (PIAAC) and the Programme for International Student Assessment (PISA). The results allow us to make a well-grounded assumption that the selected indicators do not adequately measure and represent corresponding constructs in Russian context. We argue that this issue is rooted in the country's historical development of last decades.
Keywords: International comparative studies, education, socioeconomic status
Введение
Международные исследования грамотности (компетентности) детей и взрослых, реализуемые на общенациональных выборках в десятках стран мира, получили широкую известность и востребованы сегодня как в науке, так и в государственном управлении. С начала столетия Россия последовательно участвует в крупнейших международных проектах оценки грамотности учащихся и взрослых. Речь идет о таких проектах, как Международная программа по оценке образовательных достижений учащихся (Programme for International
Student Assessment, PISA) (с участием России замеры реализованы в 2000, 2003, 2006, 2009, 2012, 2015 гг.), Международное мониторинговое исследование качества школьного математического и естественнонаучного образования (Trends in Mathematics and Science Study, TIMSS) (с участием России в 2003, 2007, 2011, 2015 гг.), Международное исследование качества чтения и понимания текста (Progress in International Reading Literacy Study, PIRLS) (с участием России в 2001, 2006, 2011, 2016 гг.), Программа международной оценки компетентности взрослых (Programme for the International Assessment of Adult Competencies, PIAAC) (с участием России в 2013 г.).
Перечисленные международные мониторинговые проекты выстроены в единой логике, позволяющей анализировать измеренные навыки респондента в контексте целого ряда социально-экономических показателей, отражающих социальное положение индивида и/или его семьи. Соответствующая стратегия анализа данных подразумевает выявление связи измеренной грамотности и упомянутых факторов, появление такой возможности сформировало значительный корпус научной литературы [Buchmann 2002; Woessmann 2004; Martins, Veiga 2010]. В частности, было показано, что для стран ОЭСР различия в измеренной грамотности в большей степени объясняют увеличение производительности труда на национальном уровне в сравнении с традиционно используемыми формальными показателями, такими как количество лет обучения или наличие формального диплома в случае с образованием взрослых [Hanushek, Woessmann 2010; Hanushek at al. 2015]. В конечном итоге на смену формальным показателям, таким как количество лет обучения или наличие формального диплома, приходят более точные сведения об измеренном уровне компетентности, что в контексте международных сравнительных исследований позволяет говорить о более глубоком понимании работы институтов и механизмов образования, а также о качественных отличиях разных стран, наличие которых не обязательно является признаком социальной патологии. Но на этом фоне серьезно возрастают требования и к инструментам, измеряющим социально-экономические условия, в которых находятся исследуемые.
При использовании результатов международных сопоставительных исследований всегда существует риск неодинаковой работы инструментов оценки социальной неоднородности, что особенно актуально, когда речь идет о посткоммунистических странах и России, обладающих отличной от стран Западной Европы и Северной Америки историей развития системы образования и формирования социальной структуры в последние десятилетия [Amini, Commander 2012]. В случае с Россией поиск комплексных конструктов и составляющих их отдельных переменных, описывающих и объясняющих различения в уровнях компетентности как на внутринациональном, так и на международном уровне, по-прежнему важен и актуален [Freeman et al. 2010]. В конечном итоге в случае выявления неодинаково работающих инструментов ключевыми становятся вопросы о том, каким образом эта неодинаковая работа повлияла на интерпретацию уже опубликованных результатов и как инструменты сделать такими, чтобы они адекватно отражали реальную ситуацию?
В данной статье мы концентрируемся на результатах, полученных в рамках двух методологически близких исследований -PIAAC и PISA. Программа международной оценки компетентности взрослых (PIAAC) была реализована в России единственный раз, в 2013 г. Как и PISA, PIAAC проводится по заказу ОЭСР и тестовый инструментарий двух программ достаточно близок. В PIAAC исследуется компетентность (грамотность) взрослого населения в трудоспособном возрасте 16-65 лет. Как и в PISA, компетентность (грамотность) респондентов измеряется по нескольким направлениям: грамотность чтения (literacy), математическая грамотность (numeracy) и решение задач в технологически насыщенной среде (problem solving in technology-rich environment). «Решение задач» доступно респондентам только в электронной, компьютерной версии, что в случае с Россией сокращает число выполнивших тестовые задания на 40% и дает значительные смещения в выборке. Измеренные математическая грамотность и грамотность чтения имеют высокий коэффициент корреляции между собой. В данной статье мы приводим сведения о грамотности чтения и математической грамотности.
Компетентность в каждой области в PIAAC оценивается по 500-балльной шкале, среднее по странам ОЭСР равно 250 баллам, стандартное отклонение - 50 баллов.
Международная программа по оценке образовательных достижений учащихся (PISA) представляет собой международное сопоставительное исследование, проводимое под патронажем ОЭСР. Исследовательский фокус в рамках программы направлен на образовательные достижения 15-летних подростков. Уровень грамотности измеряется по нескольким направлениям - грамотность чтения (literacy), математическая грамотность (numeracy), грамотность в сфере естественных наук (scientific literacy). По каждому из направлений измерение происходит 1000-балльной шкалой, среднее по странам ОЭСР равно 500, стандартное отклонение - 100 баллов. Измеренные навыки по разным направлениям имеют высокий коэффициент корреляции между собой. В данной статье мы приводим сведения о грамотности в сфере естественных наук (на ней был сфокусирован последний раунд исследования, реализованный в 2015 г.), а также о математической грамотности.
Основное внимание в данной статье уделяется работе базовых исследовательских инструментов, индексов социально-экономического статуса и культурного капитала, а также отдельных переменных их составляющих, в России и других странах, участвующих в двух упомянутых программах. Ставится под сомнение адекватность репрезентации социальной структуры в нашей стране средствами этих индексов, а также поднимаются вопросы о возможности международного сопоставления результатов в их текущем виде и о проблемах измерения социально-экономического статуса и культурного капитала в нашей стране.
О международных исследованиях и их инструментах
Существует большой корпус литературы, посвященной изучению связей между социально-экономическим статусом семьи и образовательными достижениями, а также измерению
социально-экономического статуса [Buchmann 2002; Duncan, Peterson 2001; Hauser, Warren 1997; Smith 1994]. Отметим однако, что эти публикации в основном затрагивают США и страны Западной Европы, тогда как в российских условиях измерению этих параметров и формированию специальных индексов уделено гораздо меньше внимания. В данной статье мы сделаем обзор подходов к измерению социально-экономического статуса и далее обсудим сложности, связанные с созданием и измерением подобных индексов в России, которые связаны скорее не с измерением, но с более широкими проблемами конструктной валидности, то есть соответствия используемых комплексных показателей и наблюдаемых переменных их формирующих.
Среди исследователей в целом существует консенсус относительно того, что социально-экономический статус должен включать в себя три составляющих: культурный капитал и образовательные достижения (как правило, речь идет о формальных дипломах об образовании); позиция на рынке труда и, наконец, располагаемые финансовые и материальные ресурсы [Eshelman, Rottinghaus 2015]. Каждая из этих составляющих может измеряться при помощи нескольких индикаторов/ переменных, однако смысловое наполнение остается неизменным. Так, например, наряду с формальными дипломами для определения культурного капитала традиционно используется такой показатель как количество книг в доме. Этот показатель включен в анкеты PISA, PIAAC, TIMSS и других исследований.
В рамках двух анализируемых международных проектов PIAAC и PISA соблюдается описанная логика измерения социально-экономического статуса. В этих проектах принимают участие десятки стран, но нас в первую очередь интересует работа исследовательских инструментов в России, остальные же страны выступают в качестве ориентиров для сопоставления и выявления возможных девиаций.
При запуске программы PISA в четырех странах - Великобритании, Канаде, Франции и Чехии - были проведены исследования валидности, направленные на изучение корректности измерения социально-экономического статуса семей респондентов. В частности, было не вполне очевидно, насколько точно
подростки способны описать профессии и позиции на рынке труда своих отцов и матерей. В ходе исследования валидно-сти были получены показатели корреляции между ответами подростков и их родителей варьировались в диапазоне от 0,7 (наименьший показатель) до 0,86 (наибольший показатель), то есть корреляция была достаточно большой, что было признано приемлемым результатом [OECD2002]. В России такого рода исследования не проводились.
Поскольку при измерении материального положения семьи в PISA невозможно напрямую спрашивать респондентов о размере доходов родителей из-за риска серьезного искажения результатов, материальные ресурсы оцениваются косвенным образом через вопросы о наличии в домохозяйстве предметов бытовой техники, гаджетов и автомобилей, о наличии отдельной выделенной респонденту комнаты в квартире или доме, где он проживает. Наряду с материальными ценностями в PISA собирается информация о так называемых «культурных ценностях» (cultural possessions) и образовательных ресурсах (home educational resources) дома у респондента.
В литературе было показано, что на российской выборке при оценке влияния семейных ресурсов на образовательные достижения подростков в PISA и TIMSS показатель «количество книг в доме» схожим образом связан с образовательными достижениями, как и некоторые другие индикаторы, например, образование матери [Carnoy et al. 2015]. Этот индикатор достаточно популярен и используется при измерении культурного капитала семьи, поэтому при рассмотрении полученных данных наряду с общим социально-экономическим статусом нам было интересно посмотреть и на работу индикатора «количество книг в доме» отдельно.
По своей логике анкета PIAAC близка к анкете PISA, однако, как уже было сказано, в этом исследовании участие принимают взрослые респонденты. Для измерения социально-экономического статуса семьи респондентов используется единственная составляющая: сведения об уровне образования родителей. Разработчики программы делают предположение, что уровень образования родителей тесно связан с другими
социально-экономическими показателями, например, с уровнем дохода [0ECD2013]. Согласно их замыслу, измерение социально-экономического статуса семьи позволяет сделать выводы о межпоколенной мобильности.
Необходимо отметить, что для российской выборки в PIAAC обозначено важное ограничение: выборка репрезентативна для всей территории России за исключением Москвы и Московской области (в Москве и области исследование было проведено, однако была выявлена некорректная работа нескольких тестовых заданий).
Связь между переменными среды и образовательными достижениями
В этом разделе статьи мы обратимся к полученным различными исследователями результатам, описывающим связь между переменными среды и измеренными образовательными достижениями. По каждому из выбранных исследовательских проектов (PISA и PIAAC) мы предложим общую картину работы социально-экономического индекса в России на фоне других стран. Затем обсуждение будет сфокусировано на работе отдельных переменных и результатах, полученных за последние годы российскими и зарубежными исследователями.
Семья является основным агентом развития ребенка, поэтому внимание исследователей традиционно уделяется связи между семьей и достижениями детей. Существует обоснованное предположение, что межпоколенная мобильность в области образования тесно связана с межпоколенной мобильностью в сфере материальных доходов [Freeman et al. 2010]. В контексте этого разработчики международных сравнительных исследований в области образования уделяют значительное внимание влиянию социально-экономического статуса на образовательные достижения. Этот вопрос серьезно изучается в том числе в рамках программы PISA. На рисунке 1 демонстрируется то, как в разных странах-участницах программы PISA грамотность респондентов связана с социально-экономическим положением их семей.
Рисунок 1. Связь показателя грамотности вобласти естественных наук и социально-экономического индекса PISA
Н В
Вьетнам 76 2
Макао (Китай) 22 9
В^-.^ (Китай) 52 8
Япония 8 11
Сингапур 11 27
Гонконг (Китай) 26 12
Тайпей (Китай) 12 14
Эстония 5 23
Финляндия 2 33
Ю.Корея 6 9
Португалия 28 24
Германия 39
Канада 2 48
Польша 16 13
Испания 31 20
Великобритания 5 35
Латвия 25 11
Словения 5 25
Швейцария 8 31
Австралия 4 35
Новая Зеландия 5 29
Ирландия 5 31
Чехия 9 16
Дания 3 53
Венгрия 16 22
Среднее по ОЭСР 12 27
Голландия 4 28
Франция 9 18
Италия 15 24
Бельгия 7 34
Норвегия 45
Швеция 3 39
Австрия 5 26
Россия 5 24
США 11 32
Хорватия 10 17
Литва 12 24
САВА (Аргентина) 18 39
Словакия 8 22
Чили 27 18
Люксембург 14 34
Исландия 1 57
Мальта 13 26
Уругвай 39 13
Греция 13 26
Румыния 20 9
Израиль 6 29
Турция 59 4
Индонезия 74 i
Молдавия 28 7
Мексика 53 8
Тайланд 55 8
Болгария 13 28
Колумбия 43 8
Коста-Рика 38 14
Тринидад и Тобаго 14 18
Перу 50 9
Иордания 21 13
Черногория 11 17
ОАЭ 3 42
Бразилия 43 14
Грузия 19 12
Тунис 39 15
Ливан 27 10
Македония 13 18
Алжир 52 4
Катар 3 48
Косово 10 19
канская Республика 40
250 300 350 400 450 500 550 600 650 Средний балл
!Ю—6-О
ol-o-d-o -i—О-н-сн>
I—О-О—
—о—о—о -о-сх>
q—о^-хэ -о-!—oU>
Р-D
-0-
—о—¡-OJ-t>
—О—I-р>
+-о—р-> +-0—I—о4> о—кз-> U>—¡-о—>! J-o—¡-о—t-
Н Процентная доля опрошенных в двух нижних международных децилях СЭС
В Процентная доля опрошенных в двух верхних международных децилях СЭС
Д Верхний дециль
0 Средний дециль
— Нижний дециль
О Дециль выше среднего
□ Дециль ниже среднего
Нр-о—
-ho—I—о->
Рт-0—I—О—^
l-d-o—кн>
Страны ранжированы в порядке убывания среднего значения измеренной грамотности в области естественных наук. Таблица публикуется с адаптациями из следующего источника: OECD, PISA 2015 Database. DOI: http://dx. doi. org/10. 1787/888933432757
Дом
Как видно, диапазон, в котором «работает» социально-экономическое положение для России едва ли не самый низкий из всех представленных стран. Измеренные образовательные достижения респондентов из двух нижних децилей не отличаются от достижений респондентов из среднего дециля, при этом два верхних дециля также совпадают с точки зрения грамотности респондентов. Отличия достижений респондентов из среднего дециля и респондентов из двух верхних децилей в нашей стране составляют менее 100 баллов, то есть менее одного стандартного отклонения. Такая картина вроде бы дает основания для того, чтобы говорить о выдающихся результатах российской системы образования, которая приводит к эффективным результатам вне контекста семейных социально-экономических условий и предоставляет равные возможности для учащихся из любых социально-экономических групп. Тем не менее это утверждение не вполне согласуется с тем, что сегодня можно наблюдать в российских школах. Причины же такой картины могут заключаться в некорректной работе индекса СЭС (или его некорректном измерении) в российских условиях. По меньшей мере столь серьезное отличие России от других стран требует внимания и детального изучения.
Отметим, что статистически работа подшкал индекса была изучена для разных стран [Rutkowski, Rutkowski 2013]. На основе конфирматорного факторного анализа работа подшка-лы «домашнее имущество» (home possessions) была признана удовлетворительной во многих странах, включая Россию. Однако при анализе других подшкал, в том числе «культурных ценностей» в домах респондентов (cultural possessions) и «образовательных ресурсов» (home educational resources) был сделан вывод, что для многих стран (включая Россию) факторная структура определена неправильно. В этой ситуации было бы важно посмотреть на то, как работают не столько шкалы, сколько отдельные переменные, в них входящие.
На рисунке 2 показана связь социально-экономического статуса семьи и измеренной в рамках программы PIAAC грамотности. Как уже было упомянуто, в данном случае измерение социально-экономического положения семьи реализовано на
Рисунок 2. Связь социально-экономического статуса семьи и измеренной грамотности на основе данных программы
Р1ААС (2013)
Влияние социально-экономических факторов 30т
25
20
15
10
5
Ниже среднего грамотность чтен ия Выше среднего влияние социально-экономических факторов США Польша К. О > ^ Выше среднего и грамотность чтения ^ Выше среднего влияние социально-экономических факторов
Италия Франци > В -VV- я ^ Германия еликобританИя^ч Австрия^ . Бельгия ко Словакия Ф О Чехи я инлянд ия
Среднее Ч/---------------- Испания Дания О Ирландия (X Корея ^ Нидер ^Канада Норвегия ^ф|±1веция л А ланды Япония О
V N Эстония Австралия
Ниже среднего грамотность чтения Ниже среднего влияние социально-экономических факторов Кипр О Россия о Выше среднего грамотность чтения Ниже среднего влияние социально-экономических факторов
240
250
260
270
280
290
300 Баллы
Рисунок с адаптациями приводится по следующему источнику: OECD (2012) Survey of Adult Skills (PIAAC). Paris, 2012.
основе единственного индикатора: образования родителей респондента [OECD2013]. Этот индикатор используется и при расчете индекса социально-экономического статуса семьи в PISA. Данные демонстрируют исключительно низкое влияние индекса, измеряющего социально-экономическое положение семьи, на достижения российских респондентов в тесте на грамотность чтения. Причем по уровню измеренной грамотности российские респонденты находятся чуть выше среднего уровня, рассчитанного по всем странам. Как и в случае с PISA, здесь речь вполне
может идти о некорректной работе индекса (или переменной, на основе которой он измеряется), в том числе при международном сравнении. Причем причины такой работы должны и в случае с программой PISA, и в случае с программой PIAAC быть определены при содержательном анализе основных показателей индекса и проверке их конструктной валидности.
С учетом высокого внимания исследователей к индексу «культурный капитал семьи» и индикатору «количество книг в доме», логично было бы отдельно проанализировать опубликованные исследовательские результаты, связанные с этим показателем. Этот индикатор широко используется и включен в большинство международных эмпирических обследований в области измерения грамотности и образовательных результатов, включая и рассматриваемые здесь PISA и PIAAC. При анализе статичных данных каждого из замеров PISA было выявлено, что респонденты из групп с большим культурным капиталом (замеренным через индикатор «количество книг в доме») демонстрируют результаты выше, чем респонденты из групп с меньшим культурным капиталом, однако в России разница между группами заметно меньше, чем в других странах. В таблице 1 показаны средние баллы измеренной грамотности чтения респондентов из групп с различным показателем «количество книг в доме», традиционно используемым для репрезентации культурного капитала, на российских выборках PISA и PIAAC.
Сравнение различий в баллах PISA между Россией и другими странами для респондентов из групп с разным количеством книг в доме позволяет выделить типичную тенденцию: различия между группами с малым количеством книг в России и ОЭСР минимальны, тогда как при увеличении количества книг разница в грамотности возрастает. Тенденция увеличения отставания России от показателей ОЭСР по мере увеличения количества книг в доме наблюдается и для взрослых, и для школьников (причем в рамках всех циклов PISA). В PIAAC группа младше 40 лет демонстрирует тенденцию, аналогичную школьникам, тогда как группа старше 40 лет показывает лучшие результаты, но разница снижается по мере увеличения культурного капитала.
Таблица 1. Показатели измеренной грамотности вобласти чтения в PISA и PIAAC в контексте культурного капитала, измеренного через индикатор «количество книг в доме»
До 10 книг 11-25 книг 201-500 книг Больше 500 книг
PISA 2003 Россия 386 (7.4) 400 (5.4) 478 (4.6) 477 (4.8)
ОЭСР 422 (1.3) 452 (1.1) 541 (0.6) 542 (1.0)
PISA 2006 Россия 375 (9.2) 406 (5.8) 483 (4.5) 459 (7.8)
ОЭСР 418 (1.3) 452 (0.9) 537 (0.8) 537 (1.3)
PISA 2009 Россия 410 (6.2) 426 (3.8) 499 (4.2) 500 (8.0)
ОЭСР 425 (0.9) 458 (0.7) 542 (0.7) 541 (1.1)
PISA 2012 Россия 429 (5.6) 445 (3.8) 524 (4.3) 502 (7)
ОЭСР 431 (0.9) 465 (0.7) 547 (0.8) 544 (1.2)
PIAAC (до 40 лет) Россия 263 (0.7) 261 (0.9) 287 (1.6) 290 (1.0)
ОЭСР 245 (0.1) 265 (0.2) 301 (0.2) 304 (0.1)
PIAAC (после 40 лет) Россия 263 (1.0) 256 (2.1) 294 (0.6) 293 (0.6)
ОЭСР 235 (0.2) 253 (0.2) 289 (0.1) 289 (0.1)
PIAAC (вся выборка) Россия 261 (6.4) 261 (4.7) 289 (2.8) 292 (5.2)
ОЭСР 239 (0.6) 257 (0.5) 296 (0.4) 297 (0.6)
Таблица с дополнениями приводится по: Кузьмина Ю. В., Попов Д. С. Функциональная грамотность взрослых и их включенность в общество в России. Социологические исследования. 2015. № 7.
Примечание к таблице: серым цветом выделены показатели, по которым результаты ОЭСР значимо выше России (на уровне р<0.05). Жирным шрифтом выделены показатели, по которым результаты России выше ОЭСР (уровень значимости < 0.05).
Эта тенденция касается и математической грамотности. В группе респондентов с наименьшим показателем культурного капитала разница между Россией и ОЭСР незначима по всем циклам PISA [Кузьмина, Попов 2015]. В PIAAC респонденты в группе с минимальными показателями культурного капитала имеют результаты выше, чем в ОЭСР. В то время как, по данным всех включенных в анализ исследований, российские респонденты с высокими показателями культурного капитала имеют показатели заметно ниже, чем аналогичные им респонденты из стран-членов ОЭСР.
Причем похожая картина наблюдается не только для программ PIAAC и PISA, но и для программы TIMSS [Carnoy et al. 2015]. И если в других странах с небольшим разбросом измеренной грамотности между группами с разным культурным капиталом (например, в Финляндии и Эстонии) высокие результаты в тесте на грамотность показывают ученики из групп с низким уровнем культурного капитала, в России же картина противоположная - этот результат достигается за счет низких тестовых баллов респондентов из групп с высоким уровнем культурного капитала. На этом фоне российские респонденты из групп с низким уровнем культурного капитала обладают сравнимым со странами ОЭСР уровнем знаний или даже превышают средний по ОЭСР уровень в случае с данными PIAAC.
Таблица 2 показывает динамику изменения измеренной в PISA математической грамотности в 2000-2009 гг. (на основе четырех замеров, реализованных в 2000, 2003, 2006, 2009 гг.) по группам с различным культурным капиталом (определенным через единственный показатель «количество книг в доме»).
Отметим, что наблюдаемая в России ситуация серьезно отличается от других стран. В нашей стране прирост компетентности происходит в группах с наименее значительным культурным капиталом, измеренным через показатель «количество книг в доме» (группы 1 и 2), тогда как в группах со средним и высоким объемом культурного капитала (группы 4, 5, 6) происходит заметное падение. Причем российские респонденты в «верхних» группах еще в 2000 г. показывали результаты ниже,
Таблица 2. Изменение измеренной грамотности в PISA 20002009 в группах с разным культурным капиталом.
Группы с разным культурным капиталом Математическая грамотность
Россия Латвия Польша Чехия Венгрия Швеция Германия Финляндия
Группа 1 (низшая) 1б 42 23 4Q -2Q -1B Б2 -1?
Группа 2 11 38 1Б 38 2B -1б 49 -11
Группа 3 2 4б 2? 1Б 2Б -11 3B 1
Группа 4 -4 19 ЗЗ 1Q 1Б -14 2B 3
Группа 5 -9 29 З4 б 9 -2 3Q 11
Группа 6 (высшая) -1Q 24 4Б 1? 14 -1 2Q 1Б
Средние баллы -1Q 19 2Б -Б 2 -1б 23 4
Таблица адаптирована, приводится по: Martin Carnoy, Tatiana Khavenson & Alina Ivanova (2Q1S) Using TIMSS and PISA results to inform educational policy: a study of Russia and its neighbours, Compare: A Journal of Comparative and International Education, 4Б:2, 24B-2?1.
чем в других странах, выбранных для сравнения, за исключением Латвии и Польши [Carnoy et al. 2015]. Вероятно, можно найти объяснение тому, почему столь заметное падение наблюдается в группах с высоким культурным капиталом. Тем не менее было бы правильно задать и другие вопросы - насколько верно выбранные показатели отражают измеряемый конструкт и насколько такой подход адекватен для нашей страны?
Сравнение измеренных образовательных результатов
В международных сравнительных исследованиях, таких как PISA и PIAAC, основной интерес представляет возможность сравнения измеренных образовательных результатов. Эти
результаты связаны со многими комплексными социальными факторами, которые могут быть явными или скрытыми. Состав этих факторов и механизмы их работы могут быть неодинаковыми в разных исторических, экономических и культурных условиях. В этом сложность их понимания, выбора и измерения. В конечном итоге при сильных отклонениях, выявленных при работе такого рода факторов, причины обнаруженной разницы могут заключаться в неправильной концептуализации и неправильном измерении факторов.
В статье было показано, что работа комплексного индекса социально-экономического положения семьи, используемого в программе PISA, в России сильно отличается от того, что мы наблюдаем в других странах, где реализуется эта программа. Аналогичным образом странной оказалась работа показателя социально-экономического статуса семьи в программе PIAAC. Социально-экономический статус семьи респондента, измеренный через образовательный уровень родителей, в России не определяет образовательные результаты, не связан с ними.
В литературе было статистически показано, что показатель «количество книг в доме» работает так же, как и показатель «образование матери» в программе PISA [Carnoy et al. 2015]. Показатель «количество книг в доме» доступен как в программе PISA, так и в программе PIAAC. В обеих программах показатели работают в нашей стране в единой логике, но эта логика заметно отличается от того, что мы наблюдаем в других странах. Иными словами, работа показателя в российских условиях вызывает вопросы и в PIAAC, и в PISA. Так, было выявлено, что в России люди из групп с малым количеством книг в доме показывают относительно высокие результаты в тестах на грамотность, тогда как люди из групп с большим количеством книг в доме демонстрируют уровень грамотности заметно более низкий в сравнении с аналогичными группами в других странах. Эта особенность характерна как для данных PISA, так и для данных PIAAC. Поскольку обе программы были реализованы в России разными исследовательскими группами и разными компаниями, занимающимися сбором данных, скорее всего речь не идет об ошибке измерения.
Как уже было упомянуто, инструменты PISA разрабатывались в самом конце XX в. и проверялись в небольшом количестве европейских и североамериканских стран [OECD2000]. Инструменты для исследования взрослых были созданы примерно в тот же период, и в странах, входящих в ОЭСР, они показывали линейную зависимость между измеренной грамотностью и целым рядом социально-экономических параметров, таких как уровень формального образования, уровень дохода, культурный капитал, СЭС [OECD and Statistics ... 1995; OECD and Statistics. 2000]. Гипотеза о том, что уровень грамотности людей в современном обществе напрямую связан с их социально-экономическим успехом и достижениями (измеренными выбранным способом) неизменно подтверждалась в странах ОЭСР и подтверждается по-прежнему [Hanushek et al. 2015]. Однако в российских условиях эти инструменты никогда не проверялись.
На наш взгляд, полученные результаты позволяют сделать обоснованное предположение о том, что в российских условиях выбранные индикаторы, в частности количество книг в доме и уровень образования родителей в PIAAC, на деле не адекватно отражают тот конструкт (будь то социально-экономический статус или культурный капитал), который они призваны измерять. Причины этого кроются в особенностях исторического развития российского общества в конце XX - начале XXI в.
В литературе было показано, что в конце XX - начале XXI вв. в результате глубоких социально-экономических трансформаций в России произошло масштабное обесценивание человеческого капитала. По некоторым сведениям, до 40% работников в этот период были вынуждены сменить профессию [Лукьянова, Капелюшников 2010]. На этом фоне А. Л. Лукьянова и Р. И. Капелюшников с опорой на статистические данные показывает, что состояние специфического человеческого капитала в нашей стране имеет серьезные отличия от того, что можно наблюдать в странах Запада. В частности, средний непрерывный трудовой стаж на одном рабочем месте в нашей стране ниже на 40-70%, а пик заработков приходится на возраст между 35 и 40 годами, что ниже «западного» показателя
на 10-15 лет [Капелюшников 2006]. На основе этого можно сделать вывод о том, что старшие поколения испытывают серьезные трудности с восполнением утраченного человеческого капитала. Наряду с этим в литературе описан процесс маргинализации наиболее массовых профессий умственного труда - врачей, учителей, инженеров [Тощенко 2018]. Эти факты вполне могут объяснить то, что связь между уровнем образования родителей и измеренными навыками взрослых респондентов в России оказалась минимальной среди всех стран, участвовавших в программе Р1ААС. Более того, с учетом упомянутых разрывов и изменений выбранная переменная на деле не отражает реальный социально-экономический уровень респондента.
Советская практика приобретения книг была связана с подпиской на издания и приобретением больших собраний сочинений «в нагрузку» к необходимой литературе. В результате большое количество книг в доме в позднесоветский период было не редкостью, а скорее нормой даже для представителей самых массовых профессий. Уже в постсоветский период семьи с высоким социально-экономическим положением, имеющие возможность регулярно делать ремонт своего жилья или улучшать свои жилищные условия, приобретая новую недвижимость, зачастую избавлялись от значительной части советского «подписного» книжного наследия. Та же часть семей, которая оказалась в тяжелых экономических обстоятельствах, напротив, сохранила советские интерьеры и советские библиотеки у себя дома. Можно предположить, что при поиске связи между «количеством книг в доме» и уровнем измеренной грамотности, мы видим тот эффект, когда часть маргинализированных семей с советским наследием оказываются среди людей с высоким социально-экономическим и культурным капиталом, тогда как те, кто от этого книжного наследия постепенно избавляется, оказались в группах с низким капиталом. Это же явление может объяснять отрицательную динамику достижений в группах с высоким «культурным капиталом» в период общего экономического роста в стране. Аналогично образованию родителей показатель «количество книг в доме» вполне может
не отражать реального социально-экономического статуса и культурного капитала семьи, что способно объяснить отклоняющиеся результаты России в PIAAC и PISA.
Работа по отладке инструментария, определению операциональной и конструктной валидности комплексных показателей, использующихся в международных исследованиях, на наш взгляд, имеет высокую важность именно в России, которая значительно отличается от тех стран, в которых подобная работа была реализована. В частности, имеет смысл еще раз пересмотреть индикаторы социально-экономического и культурного капитала с тем, чтобы получать адекватную картину происходящего. И настоящая статья направлена на то, чтобы привлечь внимание к этой серьезной проблеме.
Список литературы
Кузьмина Ю. В., Попов Д. С. 2015. Функциональная грамотность взрослых и их включенность в общество в России // Социологические исследования. 2015. № 7. С. 9-59. Лукьянова А. Л., Капелюшников Р. И. 2010. Трансформация человеческого капитала в российском обществе (на базе «Российского мониторинга экономического положения и здоровья населения»). М.: Фонд «Либеральная миссия». 196 с. Тощенко Ж. Т. 2018. Как живешь, интеллигенция? Социологические очерки: коллективная монография. М.: Центр социального прогнозирования и маркетинга. 360 с. Amini С., Commander S. 2012. Educational scores: How does Russia fare? // Journal of Comparative Economics. Vol. 40. Issue 3. P. 508-527.
Buchmann C. 2002. Measuring Family Background in International Studies of Education: Conceptual Issues and Methodological Challenges // Methodological Advances in Cross-National Surveys of Educational Achievement / edited by A. Porter, A. Gamoran. Washington, DC: National Academy Press. P. 150-197. Buchmann C. 2002. Measuring Family Background in International Studies of Education: Conceptual Issues and Methodological Challenges // Methodological Advances in Cross-National
Surveys of Educational Achievement. Washington, DC: National Academy of Sciences. P. 150-197.
Carnoy M., Khavenson T., Ivanova A. 2015. Using TIMSS and PISA results to inform educational policy: a study of Russia and its neighbours, Compare // Journal of Comparative and International Education. № 45 (2). P. 248-271.
Duncan G.J., Petersen E. 2001. The long and short of asking questions about income, wealth, and labor supply // Social Science Research. № 30 (2). P. 248-263.
Eshelman A.J., Rottinghaus P.J. 2015. Viewing Adolescents' Career Futures Through the Lenses of Socioeconomic Status and Social Class // The Career Development Quarterly. № 63. P. 320-332.
Freeman R., Machin B., Stephen & Viarengo M. 2010. Variation in educational outcomes and policies across countries and of schools within countries. NBeR Working Papers 16293.
Hanushek E. A., Schwerdt G, Wiederhold S., Woessmann L. 2015. Returns to Skills Around the World: Evidence from PIAAC // European Economic Review. № 73 (C). P. 103-130.
Hanushek E. A., Woessmann L. 2010. The Economics of international differences in educational achievement // Handbook of the Economics of Education. № 3 4925).
Hanushek E. A., Schwerdt G, Wiederhold S., Woessmann L. 2015. Returns to skills around the world: Evidence from PIAAC // European Economic Review. № 73 (C). P. 103-130.
Hauser R. M. 1994. Measuring socioeconomic status in studies of child development // Child Development. № 65. P. 1541-1545.
Hauser R. M., Warren J. R. 1997. Socioeconomic Indexes for Occupations: A Review, Update, and Critique // Sociological Methodology. № 27. P. 177-298.
Hauser R. M., Warren J. R. 1997. Socioeconomic Indexes for Occupations: A Review, Update, and Critique // Sociological Methodology. № 27. P. 177-298.
Krieger N. D., Williams R., Moss N. E. 1997. Measuring Social Class in US Public Health Research: Concepts, Methodologies, and Guidelines // Annual Review of Public Health. № 183. P. 41-78.
Martins L., Veiga P. 2010. Do Inequalities in Parents' Education Play an Important Role in PISA Students' Mathematics Achievement
Test Score Disparities? // Economics of Education Review. № 29 (6). P. 1016-1033. OECD. 2002. PISA 2000 Technical Report. Adams R., Wu M., eds. P.: Organisation for Economic Co-operation and Development. DOI: https://doi. org/10.1787/9789264199521-en OECD. 2013. OECD Skills Outlook 2013: First Results from the Survey of Adult Skills. P.: OECD Publishing. DOI: http://dx. doi. org/10.1787/9789264204256-en OECD. 2016. PISA 2015 Results (Volume I). Excellence and Equity in Education. P.: OECD Publishing. DOI: https://doi. org/10.1787/9789264266490-en OECD and Statistics Canada. 1995. Literacy, Economy and Society: Results of the first International Adult Literacy Survey, Statistics Canada Catalogue no. 89-545-XPE. P. and Ottawa: OECD and Minister of Industry. OECD and Statistics Canada. 2000. Literacy in the Information Age: Final Report of the International Literacy Study. P. and Ottawa: OECD and Minister of Industry, DOI: https://doi. org/10.1787/9789264181762-en Rutkowski D., Rutkowski L. 2013. Measuring Socioeconomic Background in PISA: one size might not fit all Research // Comparative and International Education. Vol. 8. № 3. Smith T. 1994. Some Aspects of Measuring Education. General Social Survey Methodological Reports: Methodological Report 83. Chicago: The National Opinion Research Center. Woessmann L. 2004. How Equal Are Educational Opportunities? Family Background and Student Achievement in Europe and the United States. Munich: CESifo Working Paper № 1162.
