CC BY-NC-ND
85
Тенденции изменений и детерминанты когнитивных навыков и компетенций:
предварительный статистический анализ данных PIAAC
М. В. Брюханов, С. С. Поляченко
Статья поступила в редакцию в сентябре 2014 г.
Исследование осуществлено в рамках Программы фундаментальных исследований НИУ ВШЭ 2015 г. и при финансовой поддержке Правительства РФ, направленной на реализацию «Дорожной карты» Программы 5/100 Национального исследовательского университета «Высшая школа экономики».
Брюханов Максим Витальевич
кандидат экономических наук, младший научный сотрудник Международной научно-учебной лаборатории институционального анализа НИУ ВШЭ. E-mail: [email protected] Поляченко Сергей Сергеевич M. Sc. in Economics, младший научный сотрудник Международной научно-учебной лаборатории институционального анализа НИУ ВШЭ. E-mail: [email protected]
Адрес: Москва, 101000, Мясницкая ул., 24.
Аннотация. Выделены пять факторов, которые влияют на когнитивные навыки, измеренные с помощью различных стандартизированных тестов: возраст, пол индивида, образование, жизненный и профессиональный опыт. Целью данного исследования было выяснить, каковы характер и сила воздействия этих факторов
на когнитивные навыки и компетенции, измеренные тестами Программы международной оценки компетенций взрослых — PIAAC. Методом главных компонент выделены два латентных эндогенных фактора, объясняющих вариацию числа лет обучения и использования когнитивных навыков на работе и дома. С помощью двух- и трехшагового методов наименьших квадратов определено влияние каждого из факторов на результаты тестов грамотности чтения, математической грамотности и решения задач в технологически насыщенной среде.
Ключевые слова: PIAAC, когнитивные навыки, компетенции, грамотность чтения, математическая грамотность, решение задач в технологически насыщенной среде, факторный анализ, двухшаговый метод наименьших квадратов, трехшаговый метод наименьших квадратов.
Когнитивные навыки (cognitive skills) человека являются важным фактором его успеха на рынке труда. В экономической литературе акцентируется внимание на том, что они превосходят по силе влияния на зарплату, в частности, личностные характеристики работника [Carbonaro, 2007; Cunha, Heckman, 2006; Glew-we, Huang, Park, 2011; Murnane, Willett, Levy, 1995]. В среднем по странам — участницам PIAAC увеличение у работников в возрасте от 35 до 54 лет математической грамотности на одно стан-
дартное отклонение сопровождается ростом зарплаты на 18% [Hanushek, Schwerdt, 2013]. Исследования когнитивных навыков проводились в основном в рамках отдельных стран, а с релизом данных Программы международной оценки компетенций взрослых (The Programme for the International Assessment for Adult Competencies, PIAAC) осенью 2013 г. появилась уникальная возможность выявить, проанализировать и сопоставить статистические закономерности в результатах тестирования компетенций и навыков — таких как грамотность чтения и математическая грамотность, способность решать задачи в технологически насыщенной среде — на международном уровне.
Сравнение результатов тестирования компетенций по под-выборкам представителей разных направлений деятельности показывает, что показатели математической грамотности в российской выборке отстают от средних значений в странах ОЭСР во всех областях, кроме сферы услуг и здравоохранения (рис. 1, левая панель). Наиболее существенное отставание наблюдается у работников сельского хозяйства (при статистическом уровне значимости разности, равном 5%, p < 0,05), специалистов в сфере социальных наук, бизнеса и права (p < 0,01), а также у выпускников программ подготовки специалистов в сфере математических и компьютерных наук (p < 0,01).
В грамотности чтения (рис. 1, правая панель) отставание статистически значимо по следующим направлениям: программы подготовки учителей и педагогические науки (p < 0,01), гуманитарные науки, язык и искусство (p < 0,05), социальные науки, бизнес и право (p < 0,01), естественные науки, математика и компьютерные науки (p < 0,01), сельское хозяйство и ветеринария (p < 0,01). Специалисты в сфере здравоохранения в России в среднем отстают в грамотности чтения от своих коллег из стран — членов ОЭСР, однако статистически разница не значима.
Сравнение уровней математической грамотности по группам профессий показывает, что в России представители наименее престижных профессий (по классификации ISC0-08) демонстрируют более высокий уровень математической грамотности, чем аналогичные группы респондентов в среднем по странам ОЭСР (рис. 2, левая панель), при этом представители самых престижных профессий, а также военные имеют уровень математической грамотности ниже, чем их коллеги в странах ОЭСР (рис. 2, левая панель).
По грамотности чтения картина в целом та же (рис. 2, правая панель), за исключением военных: на графике их показатели выше, чем в среднем по странам ОЭСР, но статистически они не различаются. Средние значения результатов теста у российских специалистов высшего уровня квалификации ниже средних значений той же категории респондентов в странах ОЭСР
Рис. 1. Уровни математической грамотности и грамотности чтения по направлениям подготовки в России и ОЭСР
Математическая грамотность
Грамотность чтения
Общие программы
Подготовка учителей и педагогическтенауки
Гуманттакные неуки,бизнес и право
Естественные науки, математика и компьютерные науки Инженерные науки, производство и строительство
Сельское хознйстио и нетег>инария
Здравоохранение
Услуги
230 240 250 260 270 280 290 300 310 230 240 250 260 270 280 290 300 310
Россия в среднем
В средним по странам ОЭСР
Все расчеты проведены на основе публичных данных PIAAC [OECD, 2014].
Рис. 2. Уровни математической грамотности грамотности чтения погруппам профессий в России и ОЭСР
Математическая грамотность
Грамотность чтения
Военнослужащие
Саионодатили, крупные чиновники, руклводители высш. и ср. звена
Специалисты! выиш. уровня квалификации
рлециаслсты ср. уеолня ивалиОилации, ниновники
Служащие офисныю и по обслуживанию клионтов
Работоики торговли и сферо у/слуг
Квалиф. ци6отиини дольского, лесного хозныства и осбоводства
КвaтлОициpованныlи рабочех, иапятыю ручны1м трудом
KиалиОсцисовтвинlи рабочое, использующие машины и механизмы
НеквалиОицированные рабочие всех отраслей
200 220 240 260 280 300 320 200 220 240 260 280 300 320
как по математической грамотности (р < 0,01), так и по грамотности чтения (р < 0,01). Средние значения результатов тестирования работников сферы торговли и услуг в России выше как по математической грамотности (р < 0,01), так и по грамотности чтения (р < 0,01). Статистически значимое превышение средних результатов тестирования соответствующих категорий работников в странах ОЭСР характерно и для российских квалифицированных рабочих, занятых ручным трудом, и для квалифицированных рабочих, использующих машины и механизмы, а также для неквалифицированных рабочих всех отраслей.
Закономерно возникает вопрос: какие факторы определяют уровень развития когнитивных навыков, измеренных с помощью тестов Р1ААС? Его актуальность подчеркивали и авторы первого исследования Р1ААС в России [Подольский, Попов, 2014].
Мы остановимся на тех факторах из обусловливающих формирование когнитивных навыков, которые наиболее часто обсуждаются в экономической литературе, информация о которых доступна в Р1ААС и которые будут использоваться в статистическом анализе. Это число лет обучения, возраст, пол и характер жизнедеятельности индивида. Количественная оценка влияния каждого из этих факторов сопряжена с рядом проблем, что обусловливает необходимость использования соответствующих статистических методов. Специфика наиболее распространенного метода— метода инструментальных переменных в первом приближении будет рассмотрена ниже.
Число лет обучения — показатель эндогенный. В эконометри-ческом анализе под эндогенностью понимают корреляцию объясняющей переменной с ошибкой регрессии. Существуют три причины эндогенности:
Факторы, обусловливающие развитие когнитивных навыков, и методы их анализа
1) упущенная переменная (omitted variable bias). Пример: одно-факторная регрессия индивидуальных баллов теста TOEFL на число лет (часов) занятий английским языком. Упущенная переменная — индивидуальные способности студента;
2) ошибка измерения (measurement error). Ошибки измерения возникают, когда респонденты не помнят точные данные или систематически завышают (занижают) ответы в опросных листах, а также в случаях, если вопрос неправильно сформулирован или по каким-то внешним причинам студенты не могут корректно на него ответить;
3) взаимная зависимость показателей. Пример: однофакторная регрессия балла студента по математике на балл по математике его товарища. Очевидно, что студенты влияют на успеваемость друг друга.
Подробно проблема эндогенности и ее возможные решения описаны Д. Вулдриджем [Wooldridge, 2010]. Мы лишь отметим, что она является причиной ошибочных (смещенных) значений эмпирических коэффициентов, оцененных методом наименьших квадратов. Использование инструмента (или инструментальной переменной) позволяет устранить данное смещение. В экономе-трическом анализе инструментом называется такая наблюдаемая переменная (z.), которая удовлетворяет двум важным условиям:
(1) корреляция z. с эндогенной переменной x. не равна нулю: Cov(x.,z) # 0;'
(2) корреляция z. с ошибкой регрессии равна нулю: Cov(x., s.) = 0.
В общем случае состоятельность оценивания методом инструментальных переменных рассмотрена в учебнике Д. Вулдриджа [Ibid.]. Оценки (значения) эмпирических коэффициентов регрессии с инструментальной переменной на практике обычно получают с помощью двухшагового метода наименьших квадратов, суть которого применительно к исходным данным и эмпирической модели работы будет рассмотрена в следующем разделе.
Метод инструментальной переменной является общепризнанным и интенсивно используется при оценке эффекта числа лет обучения. Так, на данных о 18-летних призывниках в шведскую армию, которые в момент исследования учились в школе, показано, что дополнительные 10 дней обучения повышают результативность в тесте когнитивных навыков Enlistment Battery—80 (аналог теста Armed Services Vocational Aptitude Battery) на 1% стандартного отклонения [Carlsson, Dahl, Rooth, 2012]. Назначенную военным ведомством дату прохождения теста в данной работе использовали как инструмент, т. е. как источник экзогенной вариации.
Американские экономисты на основе данных National Longitudinal Surveys of Youth провели фундаментальное эмпирическое исследование факторов, определяющих успешность прохождения квалификационного теста военных (Armed Forces Qualification Test, AFQT) [Hansen, Heckman, Mullen, 2004]. Он включает разделы: знание слов (word knowledge), понимание текста (paragraph comprehension), арифметические действия (arithmetic reasoning) и математические знания (mathematics knowledge). Показано, что эффект числа лет обучения статистически значим и продолжительность обучения положительно влияет на результаты теста. Так, переход из средней школы в колледж сопровождается ростом показателя по тесту на 18-31 балл (16-29,5 процентного пункта). В качестве инструментальных переменных использовались: квартал, на который приходится дата рождения индивида; место проживания (город, село); полная/неполная семья; образование матери; образование отца; расстояние до колледжа; до-
ход семьи; наличие братьев и сестер; переменные, отражающие принадлежность к когорте.
Положительное влияние числа лет обучения на показатели тестов когнитивных навыков отмечается также в работах Д. Хек-мана с соавторами [Heckman, Larenas, Urzua, 2004], Э. Касцио и Э. Льюиса [Cascio, Lewis, 2006], М. Ким и Х. Ли [Kim, Lee, 2006].
Большинство исследований свидетельствует, что возраст также статистически значимо влияет на когнитивные навыки. На основании данных, полученных в лонгитюдных проектах — в программах MIDUS (National Study of Midlife in the United States) и BOLOS (Boston Longitudinal Study), — в которых участвовали респонденты в возрасте от 34 до 84 лет, выявлено негативное влияние возраста на когнитивные навыки [Agrigoroaei, Lachman, 2011].
Падение с возрастом показателей когнитивных тестов обнаружено и в статистическом анализе, который был проведен по возрастным группам от 20 до 70 лет [Salthouse, 2005]. Показано, что с возрастом ухудшаются способность к рассуждению и пространственное мышление, снижается скорость мышления. Те же выводы сделаны по результатам лонгитюдного обследования здоровья после выхода на пенсию (Health and Retirement Study), который провели американские специалисты [Agarwal et al., 2010].
Ряд исследователей отмечает важную роль гендерного фактора как источника различий в когнитивных навыках. Данной теме посвящено множество работ, так что их результаты, опубликованные в прессе и научных журналах, подвергаются мета-анализу. Д. Хайд на основании метаанализа показала, что, начиная с определенного возраста — с 15-18 лет, мужчины в среднем имеют более высокие показатели по тестам математических навыков, чем женщины [Caplan, Caplan, 1997]. Что касается вербальных навыков, метаанализ 165 литературных источников, проведенный тем же автором [Hyde, Linn, 1988], свидетельствует, что гендерные различия в них настолько малы, что не достигают уровня статистической значимости. Уровень развития пространственного мышления у мужчин также выше. При этом учет факторов, влияющих на здоровье, иногда нивелирует гендерное неравенство в когнитивных навыках, измеряемых различными тестами [Jorm et al., 2004].
Важными факторами, определяющими динамику когнитивных навыков, являются род занятий человека (профессия) и уровень его когнитивной активности после школы и университета [Engelhardt et al., 2010; Scarmeas, Stern, 2003]. Эмпирически установлено, что на сохранность когнитивных навыков положительно влияет чтение книг, журналов и газет, разгадывание кроссвордов и головоломок, посещение лекций и курсов, письмо [Salthouse, 2005].
Наиболее полную модель формирования и динамики когнитивных навыков на протяжении жизни человека представил в фундаментальном эмпирическом исследовании Д. Берман [Behrman и др., 2014]. Он выделяет три типа образовательного опыта: 1) дошкольный; 2) школьный или вузовский; 3) после-учебный опыт в повседневной жизни и на работе. Безусловно, во времени эти типы опыта могут пересекаться: студент может совмещать работу и учебу, школьник может заниматься производительным трудом в лаборатории, рабочий может учиться в свободное время, да и жизненный опыт накапливается непрерывно. Тем не менее применительно к массиву данных PIAAC такой подход позволяет нам сформулировать гипотезу о причинно-следственных связях имеющихся статистических показателей и проверить ее.
Метод и данные Итак, анализ публикаций по теме исследования позволяет выде-исследования лить пять факторов, которые влияют на когнитивные навыки, измеренные с помощью различных стандартизированных тестов: возраст, пол индивида, образование, жизненный и профессиональный опыт. Целью данного исследования было выяснить, каковы характер и сила воздействия выделенных факторов на когнитивные навыки и компетенции, измеренные тестами PIAAC.
Обобщенным эмпирическим уравнением в нашей работе является производственная функция когнитивных навыков, представленная в виде:
(3) Y = a. + a.X.+a2X2. + ... + a X .+PRE.xв + SCHOOL.xx + POST.x y + е.,
x ' /011/22/ n ni i ~ i t ' i
где
i — индекс индивида;
Y—уровень когнитивных навыков индивида i, измеренных с помощью теста;
X1; , X2i, ... ,Xni—характеристики индивида (такие как возраст, пол, опыт работы, место проживания и т. д.); PRE. — набор (матрица) переменных, отражающий дошкольный опыт индивида i;
SCHOOLi — набор переменных, характеризующих школьный или вузовский опыт;
POST—набор переменных, соответствующий опыту (профессиональному и жизненному) после учебы; a0 , a. , a2 , an , в,x, Y — параметры, подлежащие статистической оценке;
е.—ошибка регрессии.
Схема причинно-следственных связей в формировании когнитивных навыков и компетенций представлена на рис. 3. Своеоб-
Рис. 3. Причинно-следственные связи в формировании когнитивных навыков
сс
И
1С \
< /
И
m
О
О
СО
ü_
1- \
^ /
РАБОЧЕЕ ВРЕМЯ
Латентный фактор 1
Число лет Использование компьютерных навыков
обучения письма, чтения и математики на работе
5 /
Использование компьютерных навыков письма, чтения и математики дома
Латентный фактор 2
ЭКЗОГЕННОЕ ОГРАНИЧЕНИЕ СВОБОДНОГО ВРЕМЕНИ
-О
Р
О
1—
К
А
\ о.
Е И
К
С
Ч
И
е
А
Р
Г
О
М
ДЕ
РЕЗУЛЬТАТЫ ТЕСТОВ PIAAC Грамотности
Математической грамотности Решения задач в технологически насыщенной среде
разной сердцевиной формирования компетенций и когнитивных навыков являются опыт использования этих навыков и число лет обучения (yrsqual).
В соответствии с методикой опроса PIAAC респонденты давали подробное описание навыков, которые они применяют на работе и дома, и оценивали частоту их использования [OECD, 2013]. В модели мы учитываем использование навыков (соответствующие индексы PIAAC), которые, на наш взгляд, оказывают непосредственное влияние на результаты тестирования:
• компьютерные навыки дома (icthome) и на работе (ictwork) — написание электронных писем, использование Интернета, текстовых процессоров, программирование, проведение он-лайн-трансакций, участие в онлайн-дискуссиях (конференциях, чатах);
• навыки чтения дома (readhome) и на работе (readwork): чтение документов, директив, инструкций, писем, памяток, электронных писем, книг, манускриптов и руководств, счетов, ин-войсов, диаграмм, карт;
• навыки письма дома (writhome) и на работе (writhome): написание писем, памяток, электронных писем, статей, отчетов, заполнение форм;
• математические навыки дома (numhome) и на работе (num-work): расчет цен, расходов бюджета, подсчет процентов, пользование калькулятором, подготовка таблиц и графиков,
использование алгебры, тех или иных формул, применение математического анализа, тригонометрии и регрессионного анализа.
К сожалению, кроме потенциальной эндогенности в случае оценивания вклада всех факторов «напрямую» методом наименьших квадратов, как отмечается в исследованиях [Hansen, Heckman, Mullen, 2004], практически невозможно в явном виде определить и измерить статистическую переменную, которая отражала бы дошкольный, вузовский и профессиональный опыт одновременно. Поэтому приходится использовать факторный анализ как средство сокращения числа переменных и метод поиска тех латентных факторов, которые могли бы объяснить их вариацию.
Факторный анализ — это статистический метод, который применяется для оценки взаимосвязи переменных, когда предполагается, что значения этих переменных могут быть обусловлены меньшим количеством латентных факторов и статистической ошибкой. Данный метод применяется, в частности, когда необходимо уменьшить количество переменных в уравнении, а также для решения проблемы мультиколлинеарности объясняющих переменных. В факторном анализе мы используем вращения матрицы факторных нагрузок методом varimax. Применение ортогонального вращения матрицы факторных нагрузок обусловлено необходимостью обеспечить ортогональность факторов с целью избежать проблемы мультиколлинеарности при использовании их в качестве объясняющих переменных в дальнейшем регрессионном анализе. Вращение по методу varimax осуществляется так, чтобы максимизировать дисперсию квадратов нагрузок и таким образом «навести контраст», увеличивая большие факторные нагрузки с одновременным уменьшением малых.
Факторный анализ позволил нам выделить два латентных фактора (ортогональных между собой по построению) — factorl, factor2, — объясняющих вариацию числа лет обучения, а также использования навыков письма, чтения и математики на работе и дома. Соответствующие факторные нагрузки представлены в табл. 1. Как свидетельствуют данные, первый фактор в большей степени связан с числом лет обучения и использованием когнитивных навыков на работе, а второй — с использованием навыков дома.
Из набора возможных экзогенных переменных, характеризующих факторы среды воспитания, в данных PIAAC имеются лишь образование родителей (переменная parent в регрессионном анализе) и эмиграционный статус респондента, при этом доля мигрантов, сменивших место жительства в дошкольном и школьном возрасте, ничтожно мала. Именно поэтому в регрессиях мы используем только образование родителей.
Мы допускаем, что источником экзогенной вариации (инструментом) первого латентного фактора является число часов рабо-
Таблица 1. Факторные нагрузки переменных
Переменная Factor 1 Factor 2 Уникальность
Использование математических навыков на работе 0,57 9 0 5 49 0,2040787 0,6230473
Использование математических навыков дома 0,0689572 0,7453 0 24 0,43976 9 2
Использование навыков чтения на работе 0,7139909 0,197806 0,4510897
Использование навыков чтения дома 0,1810756 0,7505516 0,403884
Использование навыков письма на работе 0,7092197 0,0804977 0,4905275
Использование навыков письма дома 0,1042061 0,7595349 0,4122478
Использование компьютерных навыков дома 0,2104523 0,7570713 0,3825529
Использование компьютерных навыков на работе 0,7540991 0,1801412 0,3988837
Число лет обучения 0,4375176 0,0893102 0,800602
чего времени (WORK HOURS). Операционализация экзогенного ограничения свободного времени осуществлена с помощью переменной children — наличие детей. Для контроля демографической составляющей мы используем возраст (AGE) и дамми-пе-ременную пола (женский, если FEMALE =1) респондента.
Таким образом, система уравнений, выражающая зависимость результатов тестов грамотности чтения (Y. = PVLIT. ), математической грамотности (Y. = PVNUM.) и решения задач в технологически насыщенной среде (Y = PVPSL.), подлежащая статистической оценке, имеет вид:
' Y. = a. + a, x factorl.+a_x factor2.+a, x age.+a_ x female. + e„.
/01 /2 /3^/2 / 1/
• factor1.= в0+в1 x Workhours.+в2 x parent.+в3 x age,+в4 x female.+e2; (4) . factor2 . = y0+y1 x children. + y2 xparent.+y3 x age.+y4 x female. + а3.,
Во втором и третьем уравнении мы предполагаем, что условное (с учетом объясняющих переменных правой части) ожидание ошибок регрессии а2/ и а3. равно нулю. Для того чтобы это условие выполнялось и в первом уравнении, мы оцениваем эндогенные переменные factorl., factor2.двухшаговым методом наименьших квадратов (2МНК), инструментируя их во втором и третьем уравнении, предполагая взаимную независимость величин ау, а2., а3/.
Суть метода достаточно проста. На первом шаге оцениваются регрессии эндогенных переменных (X) на все экзогенные переменные и инструменты (Z) методом наименьших квадратов с общеизвестной формулой оценок коэффициентов: <5 = (Z'Z)-1
ZX. Далее получаются прогнозные значения X = 6X и оцениваются коэффициенты (a 2SLS ) уравнения с эндогенными переменными, которые заменяются на прогнозные: a2SLS = (X' P.X)-1 X' Pz Y, где Pz = Z (Z' Z)-1 Z'.
Результаты К первому уравнению системы (4) мы сначала применили спе-статистического циальную программу PIAAC Tools; были оценены методом анализа наименьших квадратов (МНК) регрессии для 15 стран. Вслед за Э. Ханушеком [Hanushek, Schwerdt, 2013] в качестве зависимой переменной мы используем первое вероятностное значение (first plausible value) результата по соответствующему тесту (математической грамотности, грамотности чтения и решения задач в технологически насыщенной среде). В табл. 2 представлены эмпирические коэффициенты уравнений, рассчитанные в среднем по странам ОЭСР и России.
Полученные нами значения коэффициентов при переменных согласуются с результатами других эмпирических исследований. Так, влияние возраста на результаты тестов отрицательно. Женщины показывают более низкие результаты в тестах математической грамотности. Влияние первого латентного фактора более сильное.
Оценки параметров системы (4) по всей выборке приведены в табл. 3. При этом мы использовали и трехшаговый метод оценивания (3МНК), который снимает ограничение взаимной независимости остатков еу, e2i, e3i .
Также мы проанализировали средние значения интенсивности использования навыков письма, чтения и математики на работе и дома (переменные writwork, writhome, readwork, readhome, numwork, numhome) применительно к направлениям подготовки, полученной респондентами (классификация ISCED), и по группам профессий (классификация ISCO-08).
Для определения статистической значимости разностей средних значений использования чтения, письма и математики в группах респондентов, различающихся по направлениям подготовки (по классификации ISCED), мы использовали односторонний z-тест и на его основании выводили p-значения. Для респондентов — выпускников общеобразовательных программ нам не удалось вычислить средние значения показателей использования навыков письма, чтения и математики на работе по причине отсутствия указанных усредненных значений для стран ОЭСР.
Среди получивших подготовку в области педагогических наук выявлено статистически значимое (p < 0,1) отставание в использовании навыков письма у респондентов из России по сравнению со странами ОЭСР. В применении навыков чтения аналогичного статистически значимого отставания в данной группе специальностей не обнаружено. Не отстают российские выпускники-педа-
Таблица 2. Оценки коэффициентов первого уравнения системы (4) методом наименьших квадратов
Грамотность (PVLIT) Математическая грамотность ^иМ) Решение задач в технологически насыщенной среде (PVPSL)
ОЭСР Россия ОЭСР Россия ОЭСР Россия
Female -10,08*** -2,61 -0,01 1,76 -3,96*** -4,24
(0,53) (3,04) (0,5) (2,88) (0,58) (3,34)
Age -0,33*** 0,13 -0,59*** 0,19 -1,14*** 0,19
(0,03) (0,17) (0,02) (0,22) (0,03) (0,21)
Factor 1 8,14*** 3,56*** 7,04*** 4,24* 8,15*** 3,99*
(0,3) (1,14) (0,28) (2,2) (0,33) (2,13)
Factor 2 6,1*** -1,04 5,44*** 2,79* 6,34*** 0,00
(0,3) (1,16) (0,27) (1,49) (0,33) (1,73)
Константа 311,95*** 278,93*** 317,14*** 276,64*** 341*** 285,6***
(1,11) (6,11) (1,04) (6,52) (1,11) (6,18)
Примечание. В скобках указана стандартная ошибка; р-значения: *** 0,01; ** 0,05; * 0,1.
гоги и в применении навыков математических операций. В группе российских выпускников гуманитарных специальностей не обнаружено статистически значимого отставания от средних значений по странам ОЭСР в применении навыков письма, чтения и математики. У российских специалистов в области социальных наук также нет статистически значимого отставания в использовании навыков письма и математики, однако наблюдается значимое отставание в использовании навыков чтения (р < 0,1).
Выпускники, специализировавшиеся в области математики и компьютерных наук, не демонстрируют статистически значимых отличий от своих коллег в странах ОЭСР в применении в трудовой деятельности навыков письма, чтения и математики. Российские респонденты, получившие инженерное образование, отстают от европейских коллег в применении в трудовой деятельности навыков письма (р < 0,01) и при этом не отличаются от них в применении навыков чтения и математики. Респонденты с аграрным образованием показывают существенное отставание от своих коллег из ОЭСР по применению в трудовой деятельности навыков чтения (р < 0,01), однако они демонстрируют существенное, порядка 60%, и статистически значимое опережение в применении навыков математики в трудовой деятельности (р < 0,05). По применению навыков чтения существенных отличий от средних значений по странам ОЭСР в этой группе специальностей не выявлено. Как и респонденты, получившие
Таблица 3. Оценки коэффициентов системы (4) двухшаговым (2МНК) и трехшаговым (3МНК) методом наименьших квадратов
2МНК 3МНК
PVNUM PVLIT PVPSL PVNUM PVLIT PVPSL
Основное уравнение
Female 0,28 (0,78) 10,0*** (0,74) 5,10*** (0,76) 1,21 (0,77) 10,9*** (0,74) 5,95*** (0,76)
Age -0,13*** (0,030) -0,37*** (0,028) -0,96*** (0,028) 0,075*** (0,028) -0,16*** (0,027) -0,78*** (0,027)
Factorl 22,0*** (1,09) 18,8*** (1,04) 17,7*** (1,03) 13,8*** (0,98) 10,4*** (0,92) 11,2*** (0,93)
Factor2 38,8*** (1,90) 38,5*** (1,81) 34,3*** (1,85) 50,8*** (1,84) 50,6*** (1,75) 44,5*** (1,80)
Константа 298,6*** (2,00) 303,7*** (2,09) 332,2*** (1,99) 291,4*** (1,68) 292,1*** (1,58) 322,2*** (1,68)
Factor 1
Work hours 0,021*** (0,00041) 0,021*** (0,00041) 0,022*** (0,00045) 0,021*** (0,00041) 0,021*** (0,00041) 0,022*** (0,00045)
Age 0,0071*** (0,00042) 0,0071*** (0,00042) 0,0082*** (0,00046) 0,0071*** (0,00042) 0,0071*** (0,00042) 0,0082*** (0,00046)
Female -0,064*** (0,010) -0,064*** (0,010) -0,063*** (0,011) -0,063*** (0,010) -0,063*** (0,010) -0,062*** (0,011)
Parent 0,22*** (0,011) 0,22*** (0,011) 0,20*** (0,011) 0,22*** (0,011) 0,22*** (0,011) 0,21*** (0,011)
Константа -1,13*** (0,026) -1,13*** (0,026) -1,21*** (0,028) -1,14*** (0,026) -1,15*** (0,026) -1,22*** (0,028)
Factor 2
Age 0,0062*** (0,00052) 0,0062*** (0,00052) 0,0057*** (0,00056) 0,0074*** (0,00049) 0,0072*** (0,00049) 0,0063*** (0,00054)
Female -0,22*** (0,010) -0,22*** (0,010) -0,22*** (0,011) -0,22*** (0,010) -0,22*** (0,010) -0,22*** (0,011)
Parent 0,21*** (0,011) 0,21*** (0,011) 0,19*** (0,012) 0,23*** (0,011) 0,22*** (0,011) 0,20*** (0,012)
Children -0,083*** (0,013) -0,083*** (0,013) -0,096*** (0,014) -0,025** (0,010) -0,034*** (0,0099) -0,068*** (0,011)
Константа 0,30*** (0,020) 0,30*** (0,020) 0,33*** (0,022) 0,30*** (0,020) 0,30*** (0,020) 0,33*** (0,022)
Число наблюдений 37156 37156 30477 37156 37156 30477
Примечание. В скобках указана стандартная ошибка; р-значения: *** 0,01; ** 0,05; * 0,1. В регрессиях мы также учли фиксированные эффекты по странам с помощью соответствующих дамми-переменных.
математическую и компьютерную подготовку, специалисты с медицинским образованием и образованием в сфере услуг в России не отличаются существенно в применении навыков письма, чтения и математики от своих коллег в странах ОЭСР.
За исключением некоторых специальностей, мы не выявили статистически значимой разницы в интенсивности использования ключевых навыков письма, чтения и математики в России по сравнению со странами ОЭСР. Следовательно, мы не можем объяснить существенные различия в уровнях развития самих навыков, отраженные на рис. 1 и 2, разницей в интенсивности их использования специалистами различных областей. Поэтому мы решили сравнить средние значения интенсивности использования навыков письма, чтения и математических операций для разных групп профессий по классификации ^С0-08.
Российские военные существенно и статистически значимо (р < 0,05) опережают в применении навыков письма коллег в странах ОЭСР, но не отличаются от них по интенсивности использования чтения и математики. Представители первой категории профессий по классификации 1БС0-08 (законодатели, крупные чиновники, руководители высшего и среднего звена) демонстрируют существенное и статистически значимое (р < 0,05 для всех навыков) отставание в интенсивности применения навыков письма, чтения и математики в трудовой деятельности от респондентов, относящихся к данной группе профессий, в странах ОЭСР. Те же соотношения показателей российских и европейских респондентов выявлены и для второй группы профессий по классификации ^С0-08 (специалисты высшего уровня квалификации). Отставание в интенсивности применения всех базовых навыков значимо на уровне не более р < 0,01. Российские специалисты среднего уровня квалификации и мелкие чиновники также отстают от европейских в интенсивности применения навыков письма (р < 0,1), чтения (р < 0,01) и математики (р < 0,1). Среди офисных служащих и персонала по обслуживанию клиентов статистически значимое отставание было выявлено только в интенсивности применения навыков чтения (р < 0,05), использование ими остальных навыков статистически не отличается от среднего значения в данной группе работников по странам ОЭСР. Квалифицированные работники в области сельского, лесного хозяйства и рыбоводства в России также отстают от своих коллег в странах ОЭСР по интенсивности применения навыков чтения и математики (р < 0,05 для разности в обоих навыках). Еще более сильное отставание демонстрируют квалифицированные работники, занятые ручным трудом и использующие машины и механизмы (категории профессий 7 и 8 в ^С0-08): они отстают от представителей стран ОЭСР по интенсивности использования всех навыков (р < 0,05 для разности во всех навыках). Представители самой низкой квалификационной категории
(группа 9 в ^С0-08) — неквалифицированные рабочие — отстают по интенсивности использования навыков чтения и математики ф < 0,01 и р < 0,1 соответственно).
По интенсивности использования компьютерных навыков статистически значимо отстают от европейских коллег российские выпускники программ по подготовке учителей ф < 0,01) и гуманитарных специальностей ф < 0,05).
Таким образом, в разрезе категорий профессий по классификации !БС0-08 все без исключения группы российских респондентов демонстрируют отставание от европейских коллег в интенсивности применения навыков чтения, письма и математики ф < 0,05 или менее).
Выводы, обсуждение и направления дальнейших исследований
В работе представлены результаты факторного и регрессионного анализа детерминант, влияющих на когнитивные навыки человека, измеренные с помощью тестов Р1ААС. Наши результаты частично согласуются с имеющимися в научной литературе данными эмпирических исследований. Так, возраст оказывает отрицательное влияние на грамотность чтения, решение задач в технологически насыщенной среде и математическую грамотность. Женщины показывают более высокие результаты по грамотности чтения и решению задач в технологически насыщенной среде, что может быть обусловлено характерными для них преимуществами в запоминании прочитанного и терпеливостью: решение задач в технологически насыщенной среде в основном связано с поиском информации.
Методом факторного анализа выделены две латентные (ненаблюдаемые) составляющие формирования когнитивных навыков индивида. Первая составляющая связана с использованием когнитивных навыков (математических навыков, навыков чтения и письма, компьютерных навыков) на работе, вторая — с их применением дома. С первой составляющей отчасти связано также и число лет обучения индивида. Методами регрессионного анализа установлена положительная связь между оцененными значениями выделенных составляющих (факторов) и индивидуальными результатами в тестах Р1ААС. При этом образование родителей играет фундаментальную роль и положительно связано со всеми составляющими когнитивных навыков.
Сравнительный анализ компетенций по группам профессий и по направлениям подготовки показал заметное отставание показателей в российской выборке от средних баллов по грамотности чтения и математической грамотности в странах ОЭСР. Особенно ощутимо это отставание у законодателей, крупных чиновников, руководителей высшего и среднего звена, специалистов высшего уровня квалификации, а также у респондентов, которые получили гуманитарное образование, образование в сфере социальных наук, бизнеса, права, науки, математики
и компьютерные наук. С другой стороны, российские респонденты с низким уровнем образования (8 классов и ниже) и неквалифицированные работники показывают результаты лучше средних европейских по данной категории населения.
Наиболее высокого уровня математической грамотности, очевидно, следует ожидать у респондентов, получивших подготовку по направлениям «естественные науки, математика и компьютерные науки». И именно такие данные получены в выборке стран ОЭСР. В то же время в России разница в уровне математической грамотности между группами респондентов, получивших подготовку по направлениям «гуманитарные науки, языки и искусство», «естественные науки, математика и компьютерные науки», «инженерные науки, производство и строительство», «здравоохранение» и «услуги», практически отсутствует. Не выявлено существенных различий между ними и в уровне грамотности чтения. Таким образом, специализация, полученная в российском вузе, не дает конкурентного преимущества в грамотности чтения и математической грамотности.
На наш взгляд, можно выдвинуть как минимум три причины такого положения вещей. Во-первых, отсутствие жесткой селекции учеников в школе (например, стандартизированного экзамена по типу ЕГЭ) при переходе в 10-11-й класс. Во-вторых, низкий по сравнению со странами ОЭСР уровень требований к выпускникам вузов степени «магистр», к аспирантам и докторантам. В-третьих, отсутствие эффективных рынков труда, где труд оплачивается в соответствии с предельным продуктом, который он создает, и где обеспечивается прозрачность и развитая инфраструктура.
Перспективные направления исследования авторы видят в построении макроэкономической модели, объясняющей вариацию уровней реального ВВП на душу населения с помощью качества человеческого капитала, количественным выражением которого являются результаты тестов PIAAC.
1. Подольский О. А., Попов Д. С. Первое исследование компетенций Литература взрослых в России // Вопросы образования. 2014. № 2. С. 82-108.
2. Agarwal S., Driscoll J., Gabaix X., Laibson D. (2010) What is the Age of Reason? Boston: Center for Retirement Research at Boston College. http://crr. bc.edu/wp-content/uploads/2010/07/IB_10-12-508.pdf
3. Agrigoroaei S., Lachman M. E. (2011) Cognitive Functioning in Midlife and Old Age: Combined Effects of Psychosocial and Behavioral Factors // Journal of Gerontology. Series B: Psychological Sciences, Social Sciences. Vol. 66. Suppl 1. P. i130-i140.
4. Behrman J. R., Hoddinott J., Maluccio J. A. et al. (2014) What Determines Adult Cognitive Skills? Influences of Pre-school, School, and Post-School Experiences in Guatemala // Latin American Economic Review. Vol. 23. No 1. P. 1-32. DOI: 10.1007/s40503-014-0004-4
5. Caplan P., Caplan J. (1997) Do Sex-Related Cognitive Differences Exist, and Why Do People Seek Them Out // Caplan P. J., Crawford M., Hyde J. S., Richardson J.T.E. (eds) Gender Differences in Human Cognition. New York: Oxford University. P. 52-80.
6. Carbonaro W. (2007) The Effects of Education and Cognitive Skill on Earnings: How Much Do Occupations and Jobs Matter? // Research in Social Stratification and Mobility. Vol. 25. No 1. P. 57-71.
7. Carlsson M., Dahl G., Rooth D. (2012) The Effect of Schooling on Cognitive Skills. NBER Working Paper No 18484. Cambridge: National Bureau of Economic Research.
8. Cascio E., Lewis E. (2006) Schooling and the Armed Forces Qualifying Test Evidence from School-Entry Laws // Journal of Human Resources. Vol. 41. No 2. P. 294-318.
9. Cunha F., Heckman J. (2006) Formulating, Identifying and Estimating the Technology of Cognitive and Noncognitive Skill Formation http://econom-ics.uchicago.edu/pdf/Heckman_0602.pdf
10. Engelhardt H., Buber I., Skirbekk V., Prskawetz A. (2010) Social Involvement, Behavioural Risks and Cognitive Functioning among Older People // Ageing and Society. Vol. 30. No 5. P. 779-809.
11. Glewwe P., Huang Q., Park A. (2011) Cognitive Skills, Non-Cognitive Skills, and the Employment and Wages of Young Adults in Rural China. Selected Paper Prepared for Presentation at the Agricultural and Applied Economics Association 2011 Annual Meeting, July 24-26, 2011, Pittsburgh, PA. http:// ageconsearch.umn.edu/bitstream/103407/2/Huang.pdf
12. Hansen K. T., Heckman J. J., Mullen K. J. (2004) The Effect of Schooling and Ability on Achievement Test Scores // Journal of Econometrics. Vol. 121. No 1-2. P. 39-98.
13. Hanushek E., Schwerdt G. (2013) Returns to Skills around the World: Evidence from PIAAC. IZA Discussion Papers No 7850. Bonn: The Institute for the Study of Labor.
14. Heckman J., Larenas M., Urzua S. (2004) Accounting for the Effect of Schooling and Abilities in the Analysis of Racial and Ethnic Disparities in Achievement Test Scores (unpublished).
15. Hyde J., Linn M. (1988) Gender Differences in Verbal Ability: A Metaanalysis // Psychological Bulletin. Vol. 104. No 1. P. 53-69.
16. Jorm A. F., Anstey K. J., Christensen H., Rodgers B. (2004) Gender Differences in Cognitive Abilities: The Mediating Role of Health State and Health Habits // Intelligence. Vol. 32. No 1. P. 7-23.
17. Kim M., Lee H. (2006) Determinants of TOEFL Score: A Comparison of Linguistic and Economic Factors. Selected Paper Prepared for Presentation at Korea and the World Economy V Conference, Korea University, Seoul, July 7-8, 2006. http://faculty.washington.edu/karyiu/confer/seoul06/pa-pers/kim-lee.pdf
18. Murnane R., Willett J., Levy F. (1995) The Growing Importance of Cognitive Skills in Wage Determination. NBER Working Papers No 5076. Cambridge: National Bureau of Economic Research.
19. OECD (2013) OECD Skills Outlook 2013: First Results from the Survey of Adult Skills http://dx.doi.org/10.1787/9789264204256-en
20. OECD (2014) PIAAC Data. http://vs-web-fs-1.oecd.org/piaac/puf-data
21. Salthouse T. (2005) Effects of Aging on Reasoning //Holyoak K. J., Morrison R. G. (eds) Cambridge Handbook on Thinking and Reasoning. New York: Cambridge University. P. 586-605.
22. Scarmeas N., Stern Y. (2003) Cognitive Reserve and Lifestyle // Journal of Clinical and Experimental Neuropsychology. Vol. 25. No 5. P. 625-33.
23. Wooldridge J. (2010) Econometric Analysis of Cross Section and Panel Data. Cambridge: The MIT Press.
Determinants of Cognitive Skills and Competencies: Preliminary Statistical Analysis of PIAAC Data
Maxim Bruhanov Author
Candidate of Sciences in Economics, Junior Researcher, International Research Laboratory for Institutional Analysis, National Research University— Higher School of Economics. Email: [email protected]
Sergiy Polyachenko
M. Sc. in Economics, Junior Researcher, International Research Laboratory for Institutional Analysis, National Research University—Higher School of Economics. Email: [email protected]
Address: 20 Myasnitskaya str., 101000, Moscow, Russian Federation.
The paper presents results of factor and regression analysis of determinants Abstract affecting cognitive skills assessed with PIAAC tests. Comparative analysis of competencies by occupation categories and by specializations shows that results of the Russian sample fall remarkably behind the average OECD scores in literacy and numeracy. The difference is especially perceptible between law -makers, high-level public officials, top- and middle-level managers, most highly skilled professionals, and respondents from humanities, social sciences, business, law, mathematics, or computer sciences. However, respondents with low education levels (8 years of school or less) and unqualified workers scored better than their average European counterparts. OECD graduates from "natural sciences, mathematics and computer sciences" had higher points in numeracy in the PIAAC sample. Russia demonstrated almost no difference between the numeracy points obtained by people who majored in "humanities, languages and art", "natural sciences, mathematics and computer sciences", "engineering sciences, production and construction", "health care", or "services". We believe that graduates from "natural sciences, mathematics and computer sciences" cannot enjoy a competitive advantage in numeracy due to no rigid selection of school students, to the low-level requirements to university graduates, and to no efficient labor markets available.
PIAAC, cognitive skills, competencies, literacy, numeracy, problem-solving Keywords in technology-rich environments, factor analysis, Two-Stage Least Squares, Three-Stage Least Squares.
Agarwal S., Driscoll J., Gabaix X., Laibson D. (2010) What is the Age of Rea- References son? Boston: Center for Retirement Research at Boston College. Available at: http://crr.bc.edu/wp-content/uploads/2010/07/IB_10-12-508.pdf (accessed 27 February 2015).
Agrigoroaei S., Lachman M. E. (2011) Cognitive Functioning in Midlife and Old Age: Combined Effects of Psychosocial and Behavioral Factors // Journal of Gerontology. Series B: Psychological Sciences, Social Sciences, vol. 66, suppl 1, pp. i130-i140.
Behrman J. R., Hoddinott J., Maluccio J. A., Soler-Hampejsek E., Behrman E. L., Martorell R., Ramírez-Zea M., Stein A. D. (2014) What Determines Adult Cognitive Skills? Influences of Pre-school, School, and Post-School Experiences in Guatemala. Latin American Economic Review, vol. 23, no 1, pp. 1-32. DOI: 10.1007/s40503-014-0004-4
Caplan P., Caplan J. (1997) Do Sex-Related Cognitive Differences Exist, and Why Do People Seek Them Out. Gender Differences in Human Cognition (eds P. J. Caplan, M. Crawford, J. S. Hyde, J.T.E. Richardson), New York: Oxford University, pp. 52-80.
Carbonaro W. (2007) The Effects of Education and Cognitive Skill on Earnings: How Much Do Occupations and Jobs Matter? Research in Social Stratification and Mobility, vol. 25, no 1, pp. 57-71.
Carlsson M., Dahl G., Rooth D. (2012) The Effect of Schooling on Cognitive Skills. NBER Working Paper No 18484. Cambridge: National Bureau of Economic Research.
Cascio E., Lewis E. (2006) Schooling and the Armed Forces Qualifying Test Evidence from School-Entry Laws. Journal of Human Resources, vol. 41, no 2, pp. 294-318.
Cunha F., Heckman J. (2006) Formulating, Identifying and Estimating the Technology of Cognitive and Noncognitive Skill Formation. Available at: http:// economics.uchicago.edu/pdf/Heckman_0602.pdf (accessed 27 February 2015).
Engelhardt H., Buber I., Skirbekk V., Prskawetz A. (2010) Social Involvement, Behavioural Risks and Cognitive Functioning among Older People. Ageing and Society, vol. 30, no 5, pp. 779-809.
Glewwe P., Huang Q., Park A. (2011) Cognitive Skills, Non-Cognitive Skills, and the Employment and Wages of Young Adults in Rural China. Selected Paper Prepared for Presentation at the Agricultural and Applied Economics Association 2011 Annual Meeting, July 24-26, 2011, Pittsburgh, PA. Available at: http://ageconsearch.umn.edu/bitstream/103407/2/Huang.pdf (accessed 27 February 2015).
Hansen K. T., Heckman J. J., Mullen K. J. (2004) The Effect of Schooling and Ability on Achievement Test Scores. Journal of Econometrics, vol. 121, no 1-2, pp. 39-98.
Hanushek E., Schwerdt G. (2013) Returns to Skills Around the World: Evidence from PIAAC. IZA Discussion Papers No 7850. Bonn: The Institute for the Study of Labor.
Heckman J., Larenas M., Urzua S. (2004) Accounting for the Effect of Schooling and Abilities in the Analysis of Racial and Ethnic Disparities in Achievement Test Scores (unpublished).
Hyde J., Linn M. (1988) Gender Differences in Verbal Ability: A Meta-Analysis. Psychological Bulletin, vol. 104, no 1, pp. 53-69.
Jorm A. F., Anstey K. J., Christensen H., Rodgers B. (2004) Gender Differences in Cognitive Abilities: The Mediating Role of Health State and Health Habits. Intelligence, vol. 32, no 1, pp. 7-23.
Kim M., Lee H. (2006) Determinants of TOEFL Score: A Comparison of Linguistic and Economic Factors. Selected Paper Prepared for Presentation at Korea and the World Economy V Conference, Korea University, Seoul, July 7-8, 2006. Available at: http://faculty.washington.edu/karyiu/confer/seoul06/ papers/kim-lee.pdf (accessed 27 February 2015).
Murnane R., Willett J., Levy F. (1995) The Growing Importance of Cognitive Skills in Wage Determination. NBER Working Papers No 5076. Cambridge: National Bureau of Economic Research.
OECD (2013) OECD Skills Outlook 2013: First Results from the Survey of Adult Skills. Available at: http://dx.doi.org/10.1787/9789264204256-en (accessed 27 February 2015).
OECD (2014) PIAAC Data. Available at: http://vs-web-fs-1.oecd.org/piaac/ puf-data (accessed 27 February 2015).
Podolskiy O., Popov D. (2014) Pervoe issledovanie kompetentsiy vzroslykh v Rossii [The First Assessment of Adult Competencies in Russia]. Voprosy obrazovaniya, no 2, pp. 82-108.
Salthouse T. (2005) Effects of Aging on Reasoning. Cambridge Handbook on Thinking and Reasoning (eds K. J. Holyoak, R. G. Morrison), New York: Cambridge University, pp. 586-605.
Scarmeas N., Stern Y. (2003) Cognitive Reserve and Lifestyle. Journal of Clinical and Experimental Neuropsychology, vol. 25, no 5, pp. 625-33.
Wooldridge J. (2010) Econometric Analysis of Cross Section and Panel Data. Cambridge: The MIT Press.
