CC BY-NC-ND
46
Психология. Журнал Высшей школы экономики. 2021. Т. 18. № 4. С. 718-747. Psychology. Journal of the Higher School of Economics. 2021. Vol. 18. N 4. P. 718-747. DOI: 10.17323/1813-8918-2021-4-718-747
ИСПОЛЬЗОВАНИЕ МЕТОДА МОДЕРИРУЕМОГО КОНФИРМАТОРНОГО ФАКТОРНОГО АНАЛИЗА В ИССЛЕДОВАНИИ НЕЛИНЕЙНЫХ ЭФФЕКТОВ РЕЗУЛЬТАТОВ ИНТЕЛЛЕКТУАЛЬНОГО ТЕСТИРОВАНИЯ
А.А. КОРНЕЕВ% А.Н. КРИЧЕВЕЦ", К.В. СУГОНЯЕВь, Д.В. УШАКОВ^
' Московский государственный университет имени М.В. Ломоносова, 119991, Россия, Москва, Ленинские горы, 1
b ФГБУН «Институт психологии РАН», 129366, Москва, ул. Ярославская, д. 13, к. 1
Moderated Confirmatory Factor Analysis and Non-Linear Effects in
Intelligence Testing
A.A. Korneev", A.N. Krichevets", K.V. Sugonyaevb, D.V. Ushakova,b
аLomonosov Moscow State University, 1 Leninskie Gory, Moscow, 119991, Russian Federation
b Institute of Psychology, Russian Academy of Sciences, 13 build. 1, Yaroslavskaya Str, Moscow, 129366, Russian
Federation
Abstract
In this work we discuss the advantages and limitations in using moderated confirmatory factor analysis (MCFA) in studies of intelligence structure in the context of Spearman's Law of Diminishing Returns (SLODR). A simple one-factor model was estimated on large samples of simulated data and real results of intelligence tests using MCFA. The simulated data represent large datasets (about 10,000 "respondents" in each dataset) and simulate some specific situations: the SLODR effect, the het-eroscedasticity of the residuals (an increase in error along with an increase in the general IQ factor), asymmetry in the distribution of the g-factor, and a high density of easy tasks in the test. The real data consist of the
Исследование выполнено при финансовой поддержке РФФИ, проект № 17-29-07030. The reported study was funded by RFBR, project N 17-29-07030.
Резюме
Статья посвящена возможностям и ограничениям метода модерированного конфирма-торного факторного анализа (MCFA) при исследованиях структуры интеллекта в контексте анализа закона убывающей отдачи Ч. Спирмена (Spearman's Law of Diminishing Returns, SLODR). В рамках работы с помощью MCFA проверяется простая однофак-торная модель на больших выборках симулированных данных и реальных результатах тестирования интеллекта. Симулированные данные представляют большие наборы (около 10 000 «респондентов» каждый) и моделируют несколько специфических ситуаций: эффект SLODR, гетероскедастичность остатков модели (увеличение ошибки с ростом общего фактора интеллекта), асимметрию
распределения общего фактора интеллекта и большую плотность легких заданий в психометрической методике. Реальные данные, используемые в работе, — результаты тестирования 11 388 респондентов. Модель была оценена на каждом из наборов данных, в качестве модератора использовались факторные значения, полученные с помощью метода главных компонент, модерировались факторные нагрузки и ошибки модели как по отдельности, так и совместно. Результаты показали, что
(1) одновременное модерирование факторных нагрузок и ошибок в модели может давать в некоторых случаях неадекватные результаты;
(2) эффект SLODR может выражаться разными комбинациями асимметрии распределения факторных значений и возрастания дисперсий ошибок вдоль главного фактора; (3) в рамках классической психометрики различение реального эффекта SLODR и ложного, порожденного отбором респондентов, вероятно, невозможно; (4) два известных источника асимметрии распределений в тестировании интеллекта — неравная плотность заданий разной трудности и отбор респондентов — «в чистом виде» легко различаются, однако в реальных данных это сделать нелегко; (5) метод MCFA недостаточно прозрачен для прямых интерпретаций, показано, что модерация дисперсии ошибки может быть заменена анализом регрессионных остатков, а интерпретация модераций факторных нагрузок выигрывает, если сопровождается анализом асимметрий распределений переменных и факторных значений.
Ключевые слова: структура интеллекта, закон убывающей отдачи Спирмена, структурное моделирование, модерируемый конфирма-торный факторный анализ.
Корнеев Алексей Андреевич — старший научный сотрудник, лаборатория нейропсихологии, факультет психологии, МГУ имени М.В. Ломоносова, кандидат психологических наук. Сфера научных интересов: когнитивная психология, экспериментальная психология, нейропсихология, статистические методы обработки данных в психологии. Контакты: korneeff@gmail.com
Кричевец Анатолий Николаевич — профессор, кафедра методологии психологии,
results of IQ testing of 11,388 adult respondents. The model was estimated on each of the datasets, with factor scores obtained by the principal component analysis used as a moderator. Factor loadings and residuals were moderated, both separately and simultaneously. The results showed that (1) the simultaneous moderation of factor loadings and residuals may give inadequate results in some cases; (2) the SLODR effect can be expressed by various combinations of the distribution asymmetry of factor scores and an increase in error variances along the g-factor; (3) within the framework of classical psychometrics, it is probably impossible to distinguish between the real SLODR effect and the false one generated by the selection of respondents; (4) two known sources of asymmetry of distributions in intelligence testing - unequal density of tasks of varying difficulty and selection of respondents are easily detected in simulated pure form, but it is not so easy to do with the real data. (5) It may be difficult to interpret directly the results of MCFA due to its closeness and opacity: it is shown that the moderation of the error variance can be replaced by the analysis of regression residuals, and the interpretation of the moderation of factor loadings can be improved if it is accompanied by an analysis of the asymmetries of the distributions of variables and factor scores.
Keywords: structure of intelligence, Spearman's law of diminishing returns, structural modeling, moderated confirmatory factor analysis.
Aleksei A. Korneev — Senior Research Fellow, Faculty of Psychology, Lomonosov Moscow State University, PhD in Psychology.
Research Area: cognitive psychology, experimental psychology, neuropsychology, statistical methods of data processing in psychology.
E-mail: korneeff@gmail.com
Anatoly N. Krichevets — Professor, Department of Psychological Methodology,
факультет психологии, МГУ имени М.В. Ломоносова, доктор философских наук, кандидат физико-математических наук. Сфера научных интересов: методология психологии, когнитивная психология, статистические методы обработки данных в психологии.
Контакты: ankrich@mail.ru
Сугоняев Константин Владимирович —
ассоциированный сотрудник, лаборатория психологии и психофизиологии творчества, Институт психологии Российской академии наук, кандидат технических наук. Сфера научных интересов: психология интеллекта, психодиагностика, психометрика. Контакты: skv-354@yandex.ru
Ушаков Дмитрий Викторович - директор, заведующий лабораторией, лаборатория психологии и психофизиологии, Институт психологии Российской академии наук; заведующий кафедрой, кафедра общей психологии, факультет психологии МГУ имени М.В. Ломоносова, доктор психологических наук, профессор, академик РАН. Сфера научных интересов: общая психология, психология интеллекта, методология психологии, когнитивная психология. Контакты: dv.ushakov@gmail.com
Faculty of Psychology, Lomonosov Moscow State University, DSc in Philosophy, PhD in Physics and Mathematics, Professor.
Research Area: methodology of psychology, cognitive psychology, statistical methods of data processing in psychology. E-mail: ankrich@mail.ru
Konsatantin V. Sugonyaev — Associate Researcher, Laboratory of psychology and psychophysiology of creativity, Institute of Psychology, Russian Academy of Sciences PhD in Technical Sciences. Research Area: psychology of intelligence, psychodiagnostics, psychometrics. E-mail: skv-354@yandex.ru
Dmitriy V. Ushakov - Director, Head of the laboratory of psychology and psy-chophysiology of creativity, Institute of Psychology, Russian Academy of Sciences; Head of the department, Department of General Psychology, Faculty of Psychology, Lomonosov Moscow State University, DSc in Psychology, Professor, Member of the Russian Academy of Sciences. Research Area: general psychology, psychology of intelligence, methodology of psychology, cognitive psychology. E-mail: dv.ushakov@gmail.com
Тема нашей статьи — так называемый закон убывающей отдачи, в современных публикациях обозначаемый аббревиатурой SLODR (Spearman's Law of Diminishing Returns). Ч. Спирмен сформулировал его в работе 1927 г. (Spearman, 1927): корреляции между тестами интеллекта оказываются более высокими на выборках менее интеллектуальных испытуемых. Отметим, что первоначально Спирмен иллюстрировал закон на выборках детей разного возраста, но сформулирован он был для интеллекта вообще, вне связи с возрастом. Работать же с законом в этой последней формулировке оказывается гораздо труднее, потому что невозможно представить корректный способ получения выборок, с одной стороны, представляющих разный уровень развития интеллекта, а с другой, эквивалентных в смысле расчета корреляций между результатами разных тестов интеллекта. Напротив, очень легко представить одну выборку, в которой присутствуют респонденты с различным уровнем развития интеллекта, но в этом случае трудно операционализировать понятие корреляции в разных регионах одной выборки. Таким образом, задача подтверждения закона Спирмена является в значительной степени методологической. В последнее время исследователи получили возможность использовать очень большие выборки и компьютерные программы для их
обработки (см., например: Arden, Plomin, 2007; Dombrowski et al., 2018), что вернуло тему в фокус интереса сообщества.
Исследователи интеллектуальных способностей активно обсуждают проблему обнаружения эффекта SLODR и близких к нему вопросов дифференциации когнитивных способностей при изменении общего уровня развития (Breit et al., 2020; Molenaar et al., 2017; Murray et al., 2013; Reynolds, 2013; Hildebrandt et al., 2016; и др.). Метаанализ (Blum, Holling, 2017), показал в целом тенденцию к снижению интеркорреляций между субтестами тестов интеллектуальных способностей с ростом уровня интеллекта, однако результаты заметно зависят от уровня методологической оценки исследований (репрезентативность выборок, число выделяемых групп, корректность выделения групп) — тенденция наиболее заметна в исследованиях со средними оценками.
Детекция и оценка эффекта Спирмена представляется достаточно важной и с точки зрения развития наших представлений о строении и развитии интеллектуальных способностей. В этом контексте отдельной важной задачей является исследование различных методов детекции эффекта SLODR и подобных ему, подразумевающих изменение структуры связей различных способностей в зависимости от уровня их развития. Для этого используются различные методы, такие как модерируемый конфирматорный факторный анализ (Molenaar et al., 2010), межгрупповой конфирматорный факторный анализ (multi-group confirmatory factor analysis — Reynolds, Keith, 2007), смешанные факторные модели (factor mixture modeling — Reynolds et al., 2010), локальное структурное моделирование (local structural equation models — Hildebrandt et al., 2016) и др. (краткий обзор методов можно найти во введении к работе: Hartung et al., 2018).
Противоречивые результаты, получаемые в различных исследованиях эффекта SLODR, могут свидетельствовать о том, что, во-первых, эффект Спирмена не слишком мощный, если не схватывается надежно очень большими выборками, а во-вторых, что работа с большими выборками сама может порождать проблемы, маскирующие эффект. В связи с этим вопросы метода кажутся нам не менее, а даже более важными, чем подтверждение закона Спирмена. Данная статья продолжает серию по разработке подходов к доступным нам данным с различными методами детекции эффекта SLODR (Корнеев и др., 2019; Korneev et al., 2021).
Ниже мы представляем распределение, удовлетворяющее гипотезе Спир-мена геометрическим образом. В двумерном случае это представление изображено на рисунке 1, который иллюстрирует дальнейшее изложение. Координатные оси на рисунке соответствуют субтестовым переменным, а диагональ — фактору общего интеллекта (далее — фактор g). При этом выполняются следующие условия:
1) маргинальные распределения по осям одинаковые и нормальные;
2) маргинальное распределение вдоль главной диагонали, отображающей фактор g, имеет отрицательную асимметрию (справа вверху в выборочном распределении проекции точек на диагональ ложатся более плотно);
Рисунок 1
Линии уровня распределения двух переменных, демонстрирующих эффект SLODR при нормальности маргинальных распределений
3) условные распределения при фиксированном значении фактора g вдоль направления, перпендикулярного главной диагонали, суть нормальные с дисперсией, зависящей от g и растущей по мере роста g.
До последнего десятилетия эффект детектировался способами, которые задним числом получили название традиционных. Выборку делили на две части, обычно по медиане распределения g (или иной переменной, коррелирующей с g, которая затем из анализа исключалась) (Molenaar et al., 2010). В пользу SLODR свидетельствовала меньшая средняя интеркорреляция между переменными в «верхней» подвыборке (с более высокими значениями g). Также в каждой подвыборке проводился факторный анализ методом главных компонент, первый фактор без вращения считался отображающим g. В этом случае в пользу SLODR свидетельствовали: меньшее собственное значение, соответствующее g в «верхней» подвыборке; меньшая дисперсия g в «верхней» подвыборке; меньшие факторные нагрузки переменных на фактор g в «верхней» подвыборке.
При обработке реальных данных распределения переменных не обязательно симметричные, тем более не обязательно нормальные. В этом случае фактор g может иметь асимметричное распределение даже в отсутствие SLODR и разделить два эффекта очень трудно. Некоторые авторы, имея дело с данными, распределение которых явно асимметрично, проводят нормализацию
F2
Fl
Маргинальное нормальное распределение по Р1
(Сугоняев, Радченко, 2018), однако деформация шкал сама может как порождать ложный эффект, так и маскировать действительный.
Относительно недавно для детектирования SLODR стали использовать модерированный конфирматорный факторный анализ (MCFA) (Bauer, Hussong, 2009; Hildebrandt et al., 2016).
Основную идею подхода MCFA можно описать следующим образом. В кон-фирматорном факторном анализе связь наблюдаемой переменной с фактором (латентной переменной) можно записать так:
У, = Af + Ц + е,
где yij — значение ,-й переменной для г-го испытуемого, Aj — факторная нагрузка, f — значение фактора для г-го испытуемого, ц — свободный член или интерсепт для ,-й переменной и ejj — ошибка модели (или остаток) для ,-й переменной и г-го испытуемого. Первая задача, которую решает конфирма-торный факторный анализ, — это нахождение такого набора коэффициентов A, при котором наилучшим образом воспроизводится структура корреляций между переменными.
В рамках модерируемого факторного анализа вводится дополнительное условие: параметр Aj перестает быть константой и становится функцией (в нашей работе мы рассматриваем линейную функцию) от g. Вторая возможность — модерация дисперсии ошибки. В этом случае дисперсия полагается логистической функцией от g. Получается уравнение
У, = A,(g)f, + ц, + е'г
Модерируемый конфирматорный факторный анализ сравнивает эти два уравнения по Байесовскому информационному критерию (BIC), а полученные коэффициенты модерации сравниваются со стандартными ошибками оценки. Если получено значительное превосходство модуля углового коэффициента модерации над стандартной ошибкой, это означает, что модерация «удалась». Что касается критерия BIC, то он, по-видимому, слишком жесткий в нашем случае. Мы приводим его значение только для информации.
Метод MCFA использовался в контексте исследований и сопоставлений двухуровневых моделей интеллекта с дополнительным или промежуточным уровнем факторов специальных способностей, которые группировали «пучки» субтестов (иерархическая и бифакторная модели — рисунки 2А и 2Б). После того как обсчитана первоначальная модель без модераций (так называемая baseline-модель), делается дополнительное предположение о том, что некоторые коэффициенты этой модели можно считать не постоянными, а линейно зависящими от выделенной модерирующей переменной. В качестве модератора можно взять коррелирующую с g переменную или саму величину g, как и в «традиционных» методах. Если для набора переменных имеет место эффект SLODR, то это может выразиться, во-первых, в увеличении дисперсий ошибок при росте g (угловой коэффициент модерации больше нуля) и, во-вторых, в уменьшении факторных нагрузок переменных на фактор g при росте g (угловой коэффициент модерации меньше нуля) (Molenaar et al., 2011). В случае иерархических моделей SLODR может быть локализован на одном из уровней или на обоих сразу.
Рисунок 2
Общие схемы моделей структуры интеллекта
Примечание. А — иерархическая модель (У1-У4 — субтесты, —£2 — промежуточные «специальные» способности, g — общий фактор интеллекта); Б — бифакторная модель (У1-У4 — субтесты, £1 —£2 - «специальные» способности, g — общий фактор интеллекта); В — простая одноуровневая модель, использующаяся в данной работе.
С самого начала применения MCFA авторы использовали особую методологию, анализируя и сопоставляя модерированные модели параллельно на реальных данных и симулированных данных с аналогичным образом модери-руемыми параметрами порождения, чтобы лучше понять, что именно может быть детектировано с помощью метода модераций. В работе Д. Моленара и соавт. (Molenaar et al., 2010), например, показано, что введение нелинейных изменений факторных нагрузок в иерархически организованных симуляциях только на одном уровне (верхнем либо нижнем) ошибочно детектируется методом MCFA на обоих уровнях сразу.
Есть работы, в которых порождение ложных эффектов связывают с асимметрией распределений (Molenaar et al., 2011; Murray et al., 2013). В последней работе указывается, что источником асимметрий могут быть неравная плотность легких и трудных заданий в тесте и отбор респондентов по каким-либо внешним критериям. В первой нашей работе (Корнеев и др., 2019), в которой тестирование SLODR проводилось традиционным методом, мы показали, что «в чистом виде» эти источники достаточно легко различимы с помощью традиционного анализа, однако их «смеси» могут выдавать ложный эффект даже при симметрии распределений переменных. В следующей статье мы тестировали
методы MCFA на бифакторных (рисунок 2Б) моделях (Korneev et al., 2021). Здесь мы продолжаем исследования, однако вместо тестирования иерархических моделей мы ограничиваемся простой одноуровневой моделью MCFA, для которой нам удалось сделать параметры распределений максимально контролируемыми. Как нам представляется, основные методологические проблемы в этом случае проявляются наиболее явно, общая схема модели изображена на рисунке 2В.
Суть дела состоит в том, что любые линейные методы исследования психологических данных получают ясный и однозначный смысл лишь в случае, если имеются основания считать используемую шкалу интервальной, причем психологическая цена условного балла на разных участках шкалы одинакова. Это требование нуждается в операционализации, и вопрос о психологической цене совсем не простой. Но, даже оставляя его в стороне, мы понимаем, что измеряющие одно качество две шкалы, связанные между собой нелинейным преобразованием, не могут одновременно считаться интервальными, поскольку единичные отрезки этих шкал не являются пропорциональными на разных участках шкал. Это значит, что линейные методы, примененные к таким шкалам, могут дать существенно разные результаты. Нелинейные методы, в том числе MCFA, измеряющие отклонения от линейности, также чувствительны к изменениям шкал. В работах последних лет это обстоятельство получило признание (Molenaar et al., 2017; Schwabe, 2016).
В классической психометрике приводится такой аргумент: распределение психологического качества в популяции должно быть нормальным, следовательно, интервальная шкала та, в которой распределение именно таково (На-следов, 2004, с. 51; Фер, Бакарак, 2010, с. 44). Простая операция нормализации тестовой шкалы по выборке стандартизации приводит распределение к требуемому состоянию.
Однако мы видим препятствия для использования этого аргумента. Во-первых, в случае эффекта SLODR нормализация субтестовых переменных приведет к результату, отличающемуся от полученного нормализацией фактора g, поскольку переменные, соответствующие субтестам, и переменная g в линейной модели не могут быть в этом случае одновременно нормально распределенными. Во-вторых, в разных культурных условиях распределение выраженности качества в популяциях может быть различным. Например, система образования может замедлять развитие одних качеств и ускорять развитие других1, приводя к разным распределениям, что ставит под вопрос возможность выделения интервальной шкалы на основании нормализации сырых данных.
1 И. Швабе в докладе, текст которого не опубликован, на конференции 1п1е1^епсе-2018 привела результаты своего исследования, показывающего, что молодые граждане Нидерландов имеют в среднем тот же уровень результатов по тесту математических достижений, что и другие европейцы. Однако у нидерландцев заметно меньше выпускников школ с высокими достижениями по тесту, чем в среднем по Европе. Швабе связывает этот факт с особенностями голландской системы образования, которая оставляет без попечения способных школьников.
Методика
Исходя из высказанных выше соображений, мы продолжаем исследовать изменения выраженности эффекта SLODR при различных деформациях шкал и различных распределениях респондентов по уровню способностей и оценивать, в какой степени методы детекции эффекта SLODR могут различать реальный эффект и ложные эффекты, порожденные не относящимися к существу дела особенностями распределений тестовых результатов. В предыдущих работах мы использовали «традиционный» метод детекции эффекта SLODR в сочетании с оригинальным методом скользящей оценки дисперсии (Running Variance Estimate — RVE, его мы кратко опишем ниже) (Корнеев и др., 2019) и метод модераций факторных нагрузок, остатков и ошибок для бифакторных моделей (Korneev et al., 2021). В данной работе мы тестируем методы, использующие линейные модерации параметров простейшей модели конфирматорного факторного анализа с четырьмя субтестовыми переменными, корреляции между которыми все равные, а следовательно, равны и их факторные нагрузки на фактор g (см. рисунок 2В).
Для «правильного» SLODR в двумерном случае алгоритм получения выборки приведен (см. также рисунок 1) и в четырехмерном — в приложении 12. Объясним действие алгоритма в двумерном случае. Распределение вдоль g берется асимметричным (отрицательная асимметрия, параметры подбирались эмпирически). Для каждого «респондента» реализуется случайная величина, выбранная из данного распределения. Далее вычисляется реализация зависящей от выпавшего значения g случайной величины (нормально распределенной, имеющей растущую по мере увеличения g дисперсию), задающей ортогональную к g координату Ort1. Подбирая параметры, легко добиться неотличимых от нормальных маргинальных распределений вдоль F1 и F2. Первоначально симулируя выборки в системе координат (g, Ort1), мы затем пересчитываем результаты «респондентов» в систему координат F1 и F2, которые изображают тестовые показатели (условимся считать их оценками по субтестам), в то время как g представляет фактор общего интеллекта.
Для нашей простой не модерированной (будем называть ее baseline) модели с равными корреляциями между субтестовыми переменными оценка максимально правдоподобного факторного значения для данного испытуемого всегда пропорциональна среднему арифметическому значений субтестов. В случае среднего арифметического сумма ошибок по всем субтестовым переменным равна нулю и корреляции между ними отрицательны. В двумерном случае нашего примера (рисунок 1) две ошибки равны по модулю и имеют противоположные знаки. На этом основана наша симуляция SLODR: стартовое значение g при симуляции для данного индивида у нас совпадает3 с тем факторным значением, которое будет получено в baseline-модели методом максимального правдоподобия.
2 Все приложения к статье доступны онлайн: http://mathpsy.com/mfca_appendix/
3 Точнее, пропорционально, коэффициент пропорциональности легко рассчитывается.
Основная цель нашего исследования — проверить гипотезу о том, что подходящее «перешкалирование» (т.е. монотонное, но не линейное преобразование координат, соответствующих субтестовым переменным) задает взаимные переходы между тремя типами симуляций распределений «респондентов»:
1) описанный выше «правильный» эффект SLODR, далее обозначаемый
S0;
2) строго нормальное распределение респондентов по фактору g с остатками, дисперсия которых растет в направлении роста g (гетероскедастичность), далее обозначаемое Er04 (скрипт для генерации таких данных приведен в приложении 1); симуляция ErN получена из Er0 нормализацией субтестовых переменных;
3) распределение «респондентов» по g, имеющее отрицательную асимметрию, с постоянной дисперсией остатков, не зависящей от g, далее обозначаемое G0; симуляция GN получена из G0 нормализацией субтестовых переменных (скрипт для генерации приведен в приложении 1).
При этом варианты S0 и Er0 по смыслу построения соответствуют реальному эффекту SLODR, в то время как вариант G0 — ложному, когда асимметрия распределения g может быть получена, например, неконтролируемым отбором относительно сильных респондентов (по тем или иным причинам) при исходно неискаженном многомерном нормальном распределении возможных результатов в пространстве субтестовых переменных. Проведенный отбор по g приводит к значительной асимметрии распределения по g (—0.509), но при этом (за счет перемешивания) асимметрии по субтестовым переменным оказываются значительно менее выраженными (—0.205), такая асимметрия в исследованиях реальных данных часто даже не принимается во внимание.
Дополнительно мы анализировали еще два набора данных:
4) симуляция большей плотности легких заданий в тестах, реализованная как деформации субтестовых шкал с помощью квадратичной функции, растягивающей левую часть шкалы и сжимающей правую, далее обозначаемая D.
Реальные данные. Использовались результаты тестирования абитуриентов факультетов высшего профессионального образования военных вузов (11 388 испытуемых) по специально сконструированной для их отбора тестовой батарее интеллектуальных способностей. Батарея состоит из 10 тестов по 30 заданий (см.: Сугоняев, Радченко, 2018). Мы выбрали четыре субтеста с простой структурой корреляций (никаких содержательных соображений за этим выбором не стоит): субтесты «Аналогии» (далее An), «Силлогизмы» (далее Sil), «Числовые ряды» (далее Ch) и «Исключение слова» (далее Is). Матрица приведена в таблице 1.
В случаях симуляций мы подбирали параметры так, чтобы корреляции между субтестовыми переменными были примерно равны 0.4.
4 Для удобства чтения подробное описание алгоритмов симуляций мы помещаем ниже, в описании результатов.
Таблица 1
Матрица корреляций между отобранными для анализа четырьмя субтестами
Субтесты «Аналогии» (An) «Числовые ряды» (Ch) «Исключение слова» (Is)
«Силлогизмы» (Sil) 0.553 0.520 0.499
«Аналогии» (An) 0.487 0.539
«Числовые ряды» (Ch) 0.415
Результаты и обсуждение
Для всех симуляций и для реальных данных мы проводили следующие операции:
1. Рассчитывалась baseline-модель — однофакторная модель конфирматор-ного факторного анализа. Все показатели качества моделей для симуляций были достаточно высокими (CFI > 0.990, RMSEA < 0.050 во всех случаях). В случае реальных данных показатели качества подгонки таковы: х2(2) = 113.963, CFA = 0.991, RMSEA = 0.070 для сырых данных и х2(2) = 106.596, CFA = 0.991, RMSEA = 0.068 для нормализованных данных.
Для дальнейших сравнений в модерированных моделях использовался информационный показатель BIC: его уменьшение при добавлении модера-ции означает улучшение подгонки (но теперь уже на уровне факторных значений и исходных данных). Однако даже в отсутствие улучшения показателя BIC мы не отказываемся от интерпретации полученных результатов.
2. Рассчитывались по три модели (модерация только ошибки, модерация только факторной нагрузки, модерация и ошибки, и факторной нагрузки одновременно) с модерациями для каждой переменной по отдельности и модерацией по всем переменным вместе.
3. Для симулированных данных, поскольку все переменные внутри одной модели отличались только небольшими случайными вариациями, рассчитывалось среднее значение коэффициента модерации по четырем переменным. Стандартная ошибка оценки для четырех переменных оказывается практически одинаковой.
Резюмирующие результаты проведенных анализов при модерации одной факторной нагрузки и/или ошибки для симулированных данных приведены в таблице 2, результаты, полученные при модерации сразу четырех факторных нагрузок и/или ошибки, приведены в таблице П1 приложения 2.
Как видим по первой строке таблицы 2, для симуляции S0 модерации соответствуют ожиданиям.
Однако следующие строки вызывают вопросы. Второй набор симулированных данных Ег0 получен следующим образом5: сначала каждому респонденту
5 Для удобства соотнесения мы перенесли описание порождения данных в раздел их первичной интерпретации.
Таблица 2
Результаты модерации факторной нагрузки и дисперсии ошибки одной переменной
в различных симуляциях
ABIC Угловые коэффициенты модерации Асимметрия факторных значений
При модерации по отдельности При модерации вместе Baseline Модерации только нагрузок
Фактические нагрузки Ошибки Фактические нагрузки Ошибки
Симуляция S0 («правильный» эффект SLODR, переменные нормально распределены, g имеет отрицательную асимметрию, ошибка растет вдоль g).
40, 5, 55 -0.048 (0.007) 0.034 (0.009) -0.078 (0.009) 0.089 (0.010) —0.359 —0.379
Симуляция Er0 ^ распределен нормально, дисперсии ошибок возрастают, переменные имеют правую асимметрию 0.327).
—7, 379, 501 —0.014 (0.013) 0.250 (0.013) -0.137 (0.012) 0.328 (0.014) —0.043 —0.040
Симуляция ErN (переменные нормализуются, поэтому g получает отрицательную асимметрию, дисперсии ошибок растут медленнее).
88, 8, 168 -0.047 (0.012) 0.133 (0.014) -0.116 (0.012) 0.195 (0.015) —0.286 —0.246
Симуляция G0 (отрицательная асимметрия g, дисперсия ошибок постоянна вдоль g, переменные имеют отрицательную асимметрию —0.205).
—9, 11, 638 -0.094 (0.012) 0.005 (0.013) -0.117 (0.013) 0.060 (0.015) —0.509 —0.433
Симуляция GN (переменные нормализуются, поэтому асимметрия g уменьшается по модулю, оставаясь отрицательной, дисперсии ошибок приобретают рост вдоль g).
38, 30, 136 -0.074 (0.013) 0.093 (0.013) -0.135 (0.013) 0.163 (0.015) —0.361 —0.310
Симуляция D0 (получается из многомерного нормального распределения деформацией переменных, придающей им отрицательную асимметрию, g получает отрицательную асимметрию, остатки убывают вдоль g).
197, 13, 204 -0.033 (0.008) -0.135 (0.009) 0.032 (0.009) -0.161 (0.012) 0.237 —0.206
Примечание. Столбец ABIC содержит три числа, характеризующие изменение критерия BIC по трем вариантам модерации: только нагрузки, только ошибки, нагрузки и ошибки одновременно. Положительная разность означает, что введение модерирующего параметра существенно увеличивает правдоподобие результата при введении модерации.
Полужирным выделены коэффициенты, в два и больше раз превышающие стандартную ошибку.
присваивается случайный «уровень интеллекта» g, нормально распределенный по множеству «респондентов». Затем (с небольшим огрублением для простоты расчета — см. скрипт в приложении 1) строится система четырех нормально распределенных ошибок (среднеквадратическое отклонение которых линейно зависит от g), в сумме дающая ноль, с помощью этих ошибок «восстанавливаются» значения субтестовых переменных. Поскольку дисперсия ошибок растет по g, переменные имеют положительную асимметрию, а так как сумма ошибок равна нулю, вычисленные факторные значения base-line-модели с достаточной точностью совпадают с исходным значением g.
Для Erü метод MCFA адекватно улавливает и рост дисперсии ошибок, и отсутствие отклонения от нормальности распределения g при модерации параметров по отдельности, однако при совокупной модерации обоих параметров происходит некое усиливающее перераспределение обнаруженного эффекта: более выражен эффект роста дисперсии ошибок, при этом нулевой коэффициент модерации для факторных нагрузок на g превращается в достаточно явный отрицательный коэффициент.
Похожую картину мы наблюдаем в симуляции G0, построенной аналогично Erü, в которой исходно постоянна дисперсия ошибок вдоль g, а распределение самого g имеет отрицательную асимметрию (см. приложение 1). В этом случае получены отрицательный коэффициент модерации нагрузки на g и нулевой коэффициент модерации дисперсии ошибки при модерации параметров по отдельности, а также наблюдается усиливающееся перераспределение эффекта при совместной модерации: более выраженный отрицательный коэффициент для факторных нагрузок и заметно отличающийся от нуля положительный коэффициент модерации дисперсии ошибок.
Симуляции ErN и GN получаются из соответствующих Erü и G0 с помощью нормализации субтестовых переменных. В случае ErN устраняется положительная асимметрия, т.е. сжимается правая полуось и растягивается левая. В этом случае ошибки справа несколько уменьшаются, а слева — увеличиваются (но все-таки не уравниваются), а распределение g, наоборот, приобретает отрицательную асимметрию. В случае GN устраняется отрицательная асимметрия субтестовых переменных, сжимается левая полуось и растягивается правая, что приводит к увеличению ошибок справа и уменьшению слева. Отрицательная асимметрия g сглаживается, но не достигает нуля.
Фактически три симуляции S0, ErN и GN оказываются схожи, а модерации во всех случаях надежно детектируют отрицательный угловой коэффициент модерации для факторных нагрузок и положительный для дисперсии оши-бок6.
Симуляция D0 была получена следующим образом: сначала были построены четыре стандартно нормально распределенные переменные с попарными корреляциями равными, 0.4, затем каждая переменная была подвергнута преобразованию, заданному функцией F'= — 0.06*F2 + F — 0.06. Полученные переменные
6 Три модели демонстрируют различия по соотношению этих коэффициентов, но вряд ли можно надеяться отличать таким способом «правильный» SLODR от «ложного».
имели асимметрию, в среднем равную —0.36, распределение факторных значений в baseline-модели имело асимметрию —0.237. При растяжении левой полуоси и сжатии правой дисперсии ошибок получали неравномерность, противоположную эффекту SLODR: дисперсия убывала при росте g. Метод MCFA дает здесь адекватные коэффициенты при модерации отдельно ошибок и нагрузок, отражающие отрицательную асимметрию распределения g и убывание дисперсии ошибок. Однако, как и в предыдущих случаях, совместная модерация двух параметров демонстрирует перераспределение: неравномерность ошибок усугубляется, «перетягивая» в положительную область также и коэффициент модерации факторных нагрузок. Если учесть совершенно прозрачный способ получения симулированных данных, то результаты такой модерации нельзя признать адекватными.
На наш взгляд, модерации всех четырех нагрузок одновременно выражают в случае симуляций (с четырьмя одинаково порожденными переменными) асимметрию факторных значений baseline-модели. Отметим, что, указывая на асимметрию распределений как на проблему MCFA, авторы публикаций (Murray et al., 2013; Molenaar et al., 2011) используют третий центральный момент распределений, но пока нет оснований (теоретических или эмпирических) считать, что он наилучшим образом отражает особенности распределений, важные для MCFA. Возможно, это не так. С асимметрией (в обыденном смысле слова) распределений связаны все нечетные центральные моменты. Отсутствие линейной связи между указанным в таблице третьим центральным моментом и коэффициентом модерации нагрузок может быть вызвано именно этим обстоятельством.
В таблице 3 приведены коэффициенты только при модерации всех переменных одновременно (в порядке возрастания асимметрий факторных значений) и коэффициенты квадратичной регрессии переменных к факторным значениям baseline- и модерированной моделей, а также факторных значений baseline-модели к модерированным. Этим мы проверяем нашу гипотезу, что модерация нагрузок приводит к «выпрямлению» распределения факторных значений, делая его больше похожим на симметричное (нормальное), и что этот эффект детектируется квадратичной регрессией7.
Прежде всего, отметим параллельность роста асимметрий и коэффициентов модерации нагрузок независимо от поведения ошибок. Мы видим, что «эффект SLODR» не детектируется квадратичной регрессией переменной к факторным значениям baseline-модели (практически нулевой результат во всех случаях), а проявляет себя в отношении модерированных факторных значений к факторным значениям baseline-модели (определяемом соотношением асимметрий их распределений) и, вторично, в регрессии переменных к модерированным факторным значениям.
Таким образом, модерацию факторных нагрузок в наших симуляциях можно заменить анализом асимметрий распределений baseline-факторных
7 На связь модерации нагрузок и квадратичной регрессии наводит сам вид их уравнений: V = Lxg + с, причем L = aXg + Ь, откуда следует V = aXg2 + bxg + с.
Таблица 3
Усредненные угловые коэффициенты только при модерации всех переменных одновременно
Симуляции GN S0 ErN D0 Er0
Асимметрия факторных значений baseline -0.361 -0.359 -0.286 -0.237 -0.043
Коэффициент модерации нагрузок -0.154 -0.100 -0.096 -0.064 -0.015
Коэффициент модерации ошибок 0.069 0.033 0.107 -0.132 0.250*
Асимметрия факторных значений (модери-рованных) 0.061 0.035 0.050 0.029 0.009
Квадратичная регрессия факторных значений baseline-модели к модерированным -0.098 -0.083 -0.065 -0.054 -0.010
Квадратичная регрессия переменных к модерированным факторным значениям -0.070 -0.071 -0.056 -0.040 -0.002
Квадратичная регрессия переменных к baseline-факторным значениям 0.008 0.004 0.002 0.006 0.005
* В данном случае посчитано среднее значение (выделено курсивом) по модерациям переменных по отдельности, поскольку требуемая модель не сходилась.
значений, причем ни тот, ни другой показатель не гарантирует наличия эффекта SLODR (симуляция D0 дает пример ложной детекции).
Аналогичным образом более прямолинейно можно оценивать и гетероске-дастичность остатков. Метод скользящей оценки вариации ^УЕ) (Корнеев и др., 2019) позволяет оценить неравномерность остатков непосредственно. Для вычисления показателя RVE для каждой переменной и для каждого респондента вычисляется квадрат разности значения переменной и факторного значения (в качестве последнего в случае наших симуляций проще всего взять просто среднее арифметическое значений субтестовых переменных)8. Усредняя по испытуемым, мы получаем оценку ошибки для данной переменной. Разбивая диапазон изменения факторных значений (которые оценивают g) на сегменты, мы можем оценить средние значения RVE для данной переменной на разных участках диапазона значений g.
В качестве примера график средних квадратов остатков для симуляции D0 представлен на рисунке 3.
Основная масса значений в выборке находится между —2 и 2, вне этого интервала усреднение производится по небольшому количеству «респондентов» и поэтому подвержено значительным колебаниям, но это и не оказывает существенного влияния на результат регрессии. Стандартизованный коэффициент линейной регрессии RVE к факторному значению в этом случае равен —0.25, Ь = —25.9. В таблице 4 сопоставлены регрессионные коэффициенты
8 Поскольку факторные значения при применении разных методов масштабируются по-разному, исходя из разных соображений, то параметр масштаба надо отслеживать. Наиболее универсальный способ: вычислить линейную регрессию переменной по факторным значениям с сохранением остатка, затем этот остаток возвести в квадрат.
Рисунок 3
Средние скользящие оценки вариации ^УЕ) в группах «респондентов» с разным уровнем
общего фактора для симуляции D0
Таблица 4
Сравнение результатов, полученных регрессией RVE и модерацией ошибок на симуляциях
Коэффициенты линейной регрессии ЯУЕ к факторным Коэффициент модерации*
Симуляция значениям
Нестандарти- Стандарти- По четырем пере- По каждой пере-
зованные зованные менным вместе менной отдельно**
80 0.053 0.109 0.033 (0.009) 0.034 (0.009)
Бг0 0.188 0.356 - 0.250 (0.013)
БгК 0.093 0.193 0.107 (0.010) 0.133 (0.014)
G0 0.008 0.017 -0.021 (0.012) 0.005 (0.013)
GN 0.073 0.153 0.069 (0.015) 0.093 (0.013)
D0 -0.132 -0.251 -0.132 (0.009) -0.135 (0.009)
Примечание. Полужирным выделены коэффициенты, в два и больше раз превышающие стандартную ошибку;
* в скобках указаны стандартные ошибки; ** приведены усредненные коэффициенты.
RVE к факторным значениям и модерации дисперсии ошибок. Результаты, полученные двумя методами, в достаточной степени схожи.
Мы видим, что модерации по всем переменным вместе и модерации по переменным по отдельности дают схожие результаты при анализе дисперсии ошибок. Также похожие (пропорциональные) результаты дают стандартизованные и нестандартизованные регрессионные коэффициенты. Достаточно
большое сходство и между парами модераций/регрессий. Таким образом, в симуляциях взаимная заменимость модераций ошибок и регрессионного анализа RVE достаточно очевидна.
Теперь мы переходим к реальным данным. Основные результаты анализа приведены в таблице 5, полные данные — в таблице П2 приложения 2. Начнем с нормализованных данных, образующих более простую структуру. Отрицательная асимметрия факторных значений (фактор g) и отрицательные коэффициенты модерации нагрузок, с одной стороны, вместе с ростом дисперсии ошибок вдоль g, одинаково хорошо улавливаемым RVE и модерация-ми ошибок, с другой стороны, показывают, что данные ведут себя в согласии с гипотезой SLODR. Отметим менее выраженный эффект на нормализованной переменной Ап — не обязательно эффект SLODR должен быть выражен на всех переменных одинаково.
Сырые данные дают более сложную картину. Во-первых, наблюдаются левая асимметрия ЬазеНпе-факторных значений и отрицательный коэффициент модерации для нагрузок, достаточно хорошо соответствующие асимметриям самих переменных. Однако, с другой стороны, анализ RVE и модераций ошибок показывает убывание дисперсии ошибок вдоль g, что выше было получено только в симуляции различной плотности заданий. Это значит, что отрицательные коэффициенты модерации нагрузок могут отражать ложный эффект, связанный с неравномерной плотностью заданий по сложности, и таким образом, наши сырые данные сами по себе не могут свидетельствовать в пользу наличия эффекта. Однако нормирование переменных в симуляции D0 приводит к полному исчезновению эффекта9, в то время как реальные дан-
Таблица 5
Оценка асимметрии данных, факторных нагрузок, сравнение результатов, полученных регрессией RVE и модерацией ошибок на реальных данных
Переменная Асимметрия переменной Асимметрия факторных значений Коэффициент модерации нагрузки Лин. регр. RVE к фактическим значениям Коэффициент модерации ошибки
An -0.309 -0.393 -0.104 -0.108 -0.121
Sil -0.233 -0.393 -0.094 -0.060 -0.041
Ch -0.092 -0.393 -0.078 -0.008 -0.004
Is -0.710 -0.393 -0.183 -0.159 -0.194
Norm. An -0.022 -0.145 -0.035 0.018 0.016
Norm. Sil -0.002 -0.145 -0.030 0.046 0.036
Norm. Ch -0.002 -0.145 -0.045 0.043 0.028
Norm. Is -0.018 -0.145 -0.053 0.048 0.029
Примечание. Полужирным шрифтом выделены коэффициенты, в два и больше раз превышающие стандартную ошибку.
9 Мы не проводили эту операцию, поскольку она возвращает данным структуру многомерной нормальности, которая была у них до деформации переменных при построении симуляции.
ные после нормирования сохраняют эффект. Это, по-видимому, значит, что при наличии зашумляющего действия неравномерной сложности заданий полученный массив свидетельствует в пользу неразличимых между собой эффекта SLODR и результата возможного отбора респондентов, связанного с внешней ситуацией тестирования (например, особенностей абитуриентов, поступающих в тот или иной вуз).
Значительные различия в асимметриях переменных приводят к нелинейности зависимости дисперсии ошибок от g. Наложение на линейную тенденцию образует нетривиальные формы изменения дисперсий ошибок, которые можно анализировать с помощью RVE. Для наших сырых данных они изображены на рисунке 4.
В принципе такие искажения могут быть источником артефактов для модерации ошибок. Поскольку отбор респондентов в принципе может приводить к разным результатам для разных переменных, это еще более усложняет картину. Прояснить ситуацию может следующая серия симуляций, которую мы планируем реализовать и рассмотреть в дальнейшем.
Рисунок 4
Анализ поведения дисперсии ошибок с помощью RVE
Примечание. Последовательность переменных An, Sil, Ch, Is. По оси абсцисс сгруппированные факторные значения (g) в интервале от —2 до 2. По оси ординат средние квадраты ошибки для данной переменной.
Выводы
Механизмы работы метода максимального правдоподобия при оценке параметров распределений в многомерном случае весьма трудно контролировать, поэтому тестирование работы этих механизмов на симуляциях с понятными свойствами является необходимым аспектом работы с ними. Мы показали в нашей работе следующее:
1. Одновременная модерация двух параметров модели MCFA — факторных нагрузок и дисперсии ошибок, с одной стороны, дает довольно устойчивый результат, структурно инвариантный относительно деформаций шкал в симуляциях Er0, ErN, G0 и GN. С другой стороны, в симуляции D0, в которой при раздельной модерации коэффициенты для факторных нагрузок и дисперсии существенно отрицательны, при совместной модерации коэффициент перераспределяется в пользу ошибки в случае модерации всех четырех переменных и даже меняет знак на противоположный при модерации по одной переменной, что совершенно не соответствует структуре данных. Мы видим здесь пример неконтролируемого перераспределения эффектов между модерируе-мыми параметрами модели, что ставит под вопрос саму возможность прямой интерпретации получаемых результатов. Мы можем предположить, что неконтролируемость вызвана смешением в модели модераций совершенно разнородных параметров — асимметрии переменных и дисперсии ошибок. Например, нисколько не менее логично было бы вместо дисперсии ошибок (Bauer, Hussong, 2009) взять для модерации стандартное отклонение; предполагаем, что в этом случае результаты получились бы другими при совместной модерации нагрузок и ошибок, но практически теми же при раздельной моде-рации.
2. Сопоставление симуляции Er0, ErN, G0 и GN показывает, что SLODR может выражаться любой комбинацией асимметрии распределения факторных значений и возрастания дисперсий ошибок вдоль главного фактора.
3. В рамках классической психометрики, в которой оценка интервальности шкал опирается на распределение показателей, различение реального эффекта SLODR и ложного, порожденного отбором респондентов, вероятно, невозможно. В симуляции Er0 мы смоделировали один из вариантов уменьшения интеркорреляций между переменными вдоль g, соответствующий SLODR. В симуляции G0 была смоделирована постоянная корреляция интеллектуальных функций вдоль g, но с вызванным отбором респондентов нарушением симметрии эмпирических распределений. После нормализации переменных данные приходят в вид ErN и GN, практически неотличимые между собой и вместе неотличимые от симуляции S0 «правильного» эффекта SLODR ни с помощью «традиционных» методов, ни с помощью MCFA. Косвенно наш вывод подтверждается тем, что работы, применяющие MCFA, в последние годы уступают место работам, базирующимся на Item-Response theory, представляющей некоторые теоретические основания для выделения интервальных шкал в тестировании интеллекта (Molenaar et al., 2017; Schwabe et al., 2019).
4. Хотя в работах (Murray et al., 2013; Molenaar et al., 2011) указывается на два главных источника асимметрии распределений в тестировании интеллекта — неравная плотность заданий разной трудности и отбор респондентов, — тот факт, что эти случаи дают различимые конфигурации данных, в публикациях не отмечен. Возможно, дело в том, что модерации факторных нагрузок в MCFA не различают источники асимметрий, а совместная модерация нагрузок и дисперсий остатков может просто запутать дело. Мы показываем, что в симуляциях два источника легко различаются, однако в реальных данных это сделать нелегко. В нашем примере три из четырех переменных имеют признак большей представленности легких заданий (отрицательная асимметрия факторных значений вместе с убыванием дисперсии ошибки вдоль g), но после нормализации появляются признаки наличия эффекта SLODR. По-видимому, можно утверждать, что имеет место также и присутствие эффекта SLODR и/или последствия отбора респондентов в этих трех субтестах.
5. Сам метод MCFA недостаточно прозрачен для прямых интерпретаций. Мы показали, что модерация дисперсии ошибки может быть заменена анализом регрессионных остатков, а интерпретация модераций факторных нагрузок выигрывает, если сопровождается анализом асимметрий распределений переменных и факторных значений.
Заключение
Основной вывод статьи — классическая теория тестирования не дает достаточных оснований для обсуждения наличия или отсутствия тонких нелинейных эффектов взаимодействия тестовых показателей, хотя сравнительный анализ выраженности нелинейных эффектов в разных ситуациях возможен. Применение метода MCFA задачу не решает, и без сопоставления результатов его применения с результатами, получаемыми другими методами, принимать решения в практически важных ситуациях кажется нам рискованным.
На наш взгляд, необходим обстоятельный анализ возможностей решения данной (SLODR) и аналогичных (например, генно-средового взаимодействия) проблем методом IRT, в частности с переходом на уровень тестовых заданий без интеграции в субтестовые шкалы (Molenaar et al., 2017).
Надо также иметь в виду, что некоторые методы с успехом используются в фундаментальной науке (эффективность которой измеряется современными отнюдь не безупречными методами оценки), но могут оказаться совершенно непригодными в прикладных областях. Возможно, именно таков MCFA.
Литература
Корнеев, А. А., Кричевец, А. Н., Ушаков, Д. В. (2019). Закон убывающей отдачи Спирмена: виды асимметрий распределений и их роль в порождении артефактов. Сибирский психологический журнал, 71, 24-43. https://doi.Org/10.17223/17267080/71/2 Наследов, А. Д. (2004). Математические методы психологического исследования: анализ и
интерпретация данных. СПб.: Речь. Сугоняев, К. В., Радченко, Ю. И. (2018). «Закон уменьшения отдачи» Спирмена: исследование на масштабных российских выборках. Вестник Южно-Уральского государственного университета. Серия: Психология, 11(1), 5-21. https://doi.org/10.14529/psy180101 Фер, М., Бакарак, В. (2010). Психометрика: введение. Челябинск: Издательский центр ЮУрГУ.
Ссылки на зарубежные источники см. в разделе References. References
Arden, R., & Plomin, R. (2007). Scant evidence for Spearman's law of diminishing returns in middle childhood. Personality and Individual Differences, 42(4), 743-753. https://doi.org/10.1016Zj.paid.2006.08.010 Bauer, D. J., & Hussong, A. M. (2009). Psychometric approaches for developing commensurate measures across independent studies: Traditional and new models. Psychological Methods, 14(2), 101125. https://doi.org/10.1037/a0015583 Blum, D., & Holling, H. (2017). Spearman's law of diminishing returns. A metaanalysis. Intelligence, 65, 60-66. https://doi.org/10.1016/jintell.2017.07.004 Breit, M., Brunner, M., & Preckel, F. (2020). General intelligence and specific cognitive abilities in adolescence: Tests of age differentiation, ability differentiation, and their interaction in two large samples. Developmental Psychology, 56, 364-384. https://doi.org/10.1037/dev0000876 Dombrowski, S. C., Canivez, G. L., & Watkins, M. W. (2018). Factor structure of the 10 WISC-V primary subtests across four standardization age groups. Contemporary School Psychology, 22(1), 90104. https://doi.org/10.1007/s40688-017-0125-2 Furr, R. M., & Bacharach, V. R. (2010). Psychometrics: An introduction. Chelyabinsk: YuUrGU.
(Original work published 2008) Hartung, J., Doebler, P., Schroeders, U., & Wilhelm, O. (2018). Dedifferentiation and differentiation of intelligence in adults across age and years of education. Intelligence, 69, 37-49. https://doi.org/10.1016/jintell.2018.04.003 Hildebrandt, A., Ludtke, O., Robitzsch, A., Sommer, C., & Wilhelm, O. (2016). Exploring Factor Model Parameters across Continuous Variables with Local Structural Equation Models. Multivariate Behavioral Research, 51(2-3), 257-258. https://doi.org/10.1080/00273171.2016.1142856 Korneev, A. A., Krichevets, A. N., & Ushakov, D. V. (2019). Spearmen's law of diminishing returns: the impact of the distribution asymmetry in artefact producing. Sibirskii Psikhologicheskii Zhurnal [SiberianJournal of Psychology], 71, 24-43. https://doi.org/10.17223/17267080/7V2 (in Russian) Korneev, A., Krichevets, A., Sugonyaev, K., Ushakov, D., Vinogradov, A., & Fomichev, A. (2021). Sources of artifacts in SLODR detection. Psychology in Russia: State of the Art, 14(1), 86-100. https://doi.org/10.11621/pir.2021.0107
Molenaar, D., Dolan, C. V., & van der Maas, H. L. (2011). Modeling ability differentiation in the second-order factor model. Structural Equation Modeling: A Multidisciplinary Journal, 18(4), 578-594. https://doi.org/10.1080/10705511.2011.607095 Molenaar, D., Dolan, C. V., Wicherts, J. M., & van der Maas, H. L. (2010). Modeling differentiation of cognitive abilities within the higher-order factor model using moderated factor analysis. Intelligence, 38(6), 611-624. https://doi.org/10.1016/j.intell.2010.09.002 Molenaar, D., Ko, N., Rozsa, S., & Meszaros, A. (2017). Differentiation of cognitive abilities in the
WAIS-IV at the item level. Intelligence, 65, 48-59. https://doi.org/10.1016/j.intell.2017.10.004 Murray, A. L., Dixon, H., & Johnson, W. (2013). Spearman's law of diminishing returns: A statistical
artifact? Intelligence, 41(5), 439-451. https://doi.org/10.1016/j.intell.2013.06.007 Nasledov, A. D. (2004). Matematicheskie metody psikhologicheskogo issledovaniya: analiz i interpretat-siya dannykh [Mathematical methods of psychological research: analysis and interpretation of data]. Saint Petersburg: Rech'. Reynolds, M. R. (2013). Interpreting the g loadings of intelligence test composite scores in light of Spearman's law of diminishing returns. School Psychology Quarterly, 28(1), 63-76. https://doi.org/10.1037/spq0000013 Reynolds, M. R., & Keith, T. Z. (2007). Spearman's law of diminishing returns in hierarchical models of intelligence for children and adolescents. Intelligence, 35(3), 267-281. https://doi.org/10.1016/j.intell.2006.08.002 Reynolds, M. R., Keith, T. Z., & Beretvas, S. N. (2010). Use of factor mixture modeling to capture Spearman's law of diminishing returns. Intelligence, 38(2), 231-241. https://doi.org/10. q1016/j.intell.2010.01.002 Schwabe, I. (2016). Nature, nurture, and item response theory: a psychometric approach to behaviour
genetics. Universiteit Twente. https://doi.org/10.3990/L9789036540735 Schwabe, I., Gu, Z., Tijmstra, J., Hatemi, P., & Pohl, S. (2019). Psychometric modelling of longitudinal genetically-informative twin data. Frontiers in Genetics, 10, 837. https://doi.org/10.3389/fgene.2019.00837 Spearman, C. (1927). The abilities of man. New York, NY: Macmillan.
Sugonyaev, K. V., & Radchenko, Yu. I. (2018). Spearman's law of diminishing returns: investigation on large-scales Russian samples. Bulletin of the South Ural State University. Series Psychology, 11(1), 5-21. https://doi.org/10.14529/psy180101 (in Russian)
Приложение 1
Скрипт симуляции «правильного» SLODR в двумерном случае
set seed 1234.
***Заготовка файла доступна по адресу http://mathpsy.com/mfca_appendix/20000_template.sav. *** ID - номер кейса (от 1 до 20000).
*** Из равномерно распределенной выборки 20000 отбираются значения w лежащие ниже прямой (ID/20000), остальные удаляются.
COMPUTE w=RV.Uniform(0,1).
EXECUTE.
FILTER OFF.
USE ALL.
SELECT IF (w <= ID / 20000). EXECUTE.
*** Эмпирически подобранные коэффициенты
COMPUTE MLTPL = .6. COMPUTE MLT3=2. EXECUTE.
*** Задание фактора g *** 1) Стандартизация ID
DESCRIPTIVES VARIABLES=ID /SAVE.
*** 2) Расчет g
COMPUTE GG=(ZID * MLTPL + RV.NORMAL(0,1) * SQR(1 - MLTPL**2)) *
MLT3.
EXECUTE.
*** Огрубление g для задания неравномерных остатков (GRnd всегда больше -15) и подбор параметров
COMPUTE GRnd=RND(GG / MLT3 + 0.5) - 0.5. EXECUTE.
*** Эмпирически подобранные коэффициенты для расчета ортогнальной к g переменной
COMPUTE MLT1 = 1.8. COMPUTE MLT2 =3.5. EXECUTE.
*Расчет ортогональной к g переменной
IF (GRnd > - 15) ORT1 =RV.NORMAL(0 ,1/8 3 * MLT1+MLT2) / MLT3
IF (GRnd > - 2) ORT1= RV.NORMAL(0, 2/8 * MLT1+MLT2) / MLT3.
IF (GRnd > - 1) ORT1= RV.NORMAL(0, 3/8 * MLT1+MLT2) / MLT3.
IF (GRnd > 0) ORT1=RV .NORMAL(0,4/ 8 * MLT1+MLT2) / MLT3.
IF (GRnd > 1) ORT1=RV .NORMAL(0,5/ 8 * MLT1+MLT2) / MLT3.
IF (GRnd > 2) ORT1=RV .NORMAL(0,6/ 8 * MLT1+MLT2) / MLT3.
EXECUTE.
*** Расчет целевых переменных
COMPUTE F1 = (0.71 * GG + 0.71 * ORT1). EXECUTE.
COMPUTE F2 = (0.71 * GG - 0.71 * ORT1). EXECUTE.
*** Нормализация переменных
RANK VARIABLES=F1 F2 (A) /RANK
/PRINT=YES /TIES=MEAN.
*** ВНИМАНИЕ - в дроби необходимо вставить полученную на первом шаге (SELECT IF (w <= ID / 20000)) длину массива, в зависимости от исходного числа для датчика случайных чисел она может меняться.
COMPUTE NF1=IDF.NORMAL((RF1-0.5)/10033,0,1)
COMPUTE NF2=IDF.NORMAL((RF2-0.5)/10033,0,1). EXECUTE.
Скрипт симуляции «правильного» SLODR в четырехмерном случае
set seed 1235.
******Заготовка файла доступна по адресу http://mathpsy.com/mfca_appendix/3 0 0 0 0_template.sav.
*** ID - номер кейса (от 1 до 30000).
*** Из равномерно распределенной выборки 30000 отбираются значения w лежащие ниже прямой (параболы w = (ID/30000) ** 2), остальные удаляются (в среднем остается - 10000).
COMPUTE w=RV.Uniform(0,1).
EXECUTE.
FILTER OFF.
USE ALL.
SELECT IF (w <= (ID / 30000) ** 2). EXECUTE.
***Эмпирически подобранные коэффициенты
COMPUTE MLTPL = .7. COMPUTE MLT3=2.91. EXECUTE.
*** Создание фактора g *** 1) Стандартизация ID
DESCRIPTIVES VARIABLES=ID /SAVE.
*** 2) Расчет g
COMPUTE GG=(ZID * MLTPL + RV.NORMAL(0,1) * SQR(1 - MLTPL**2)) *
MLT3.
EXECUTE.
*** Огрубление g для задания неравномерных остатков (GRnd всегда больше -15) и подбор параметров
COMPUTE GRnd=RND(GG / MLT3 + 0.5) - 0.5. EXECUTE.
*** Эмпирически подобранные коэффициенты для расчета ортогнальной к g переменной
COMPUTE MLT1 = 1.8. COMPUTE MLT2 =3.5. EXECUTE.
*** Расчет ортогональных к g переменной
IF (GRnd > - 15) ORT1=RV.NORMAL(0,1/8 * MLT1+MLT2) / MLT3. IF (GRnd > - 2) ORT1=RV.NORMAL(0,2/8 * MLT1+MLT2) / MLT3. IF (GRnd > - 1) ORT1=RV.NORMAL(0,3/8 * MLT1+MLT2) / MLT3. IF (GRnd > 0) ORT1=RV.NORMAL(0,4/8 * MLT1+MLT2) / MLT3. IF (GRnd > 1) ORT1=RV.NORMAL(0,5/8 * MLT1+MLT2) / MLT3. IF (GRnd > 2) ORT1=RV.NORMAL(0,6/8 * MLT1+MLT2) / MLT3.
IF (GRnd > - 15) ORT2=RV.NORMAL(0,1/8 * MLT1+MLT2) / MLT3. EXECUTE.
IF IF IF IF IF
EXECUTE.
(GRnd > - 2) ORT2=RV.NORMAL(0,2/8
(GRnd > - 1) ORT2=RV.NORMAL(0,3/8
(GRnd > 0) ORT2=RV.NORMAL(0,4/8 *
(GRnd > 1) ORT2=RV.NORMAL(0,5/8 *
(GRnd > 2) ORT2=RV.NORMAL(0,6/8 *
MLT1+MLT2) MLT1+MLT2) MLT1+MLT2) MLT1+MLT2)
/ MLT3. / MLT3. / MLT3. / MLT3.
MLT1+MLT2) / MLT3.
IF (GRnd > - 15) ORT3=RV.NORMAL(0,1/8 * MLT1+MLT2) / MLT3.
(GRnd > - 2) ORT3=RV.NORMAL(0,2/8
(GRnd > - 1) ORT3=RV.NORMAL(0,3/8
(GRnd > 0) ORT3=RV.NORMAL(0,4/8
(GRnd > 1) ORT3=RV.NORMAL(0,5/8
/ MLT3. / MLT3.
IF IF IF IF
IF (GRnd > 2) ORT3=RV.NORMAL(0,6/8 * MLT1+MLT2) / MLT3. EXECUTE.
MLT1+MLT2) MLT1+MLT2) MLT1+MLT2) / MLT3. MLT1+MLT2) / MLT3.
Расчет целевых переменных
ORT3). I F2=(0. ORT3). : F3=(0. ORT3).
* 0 * ORT3). EXECUTE.
GG + 1 * 0. 5 * ORT1 + 0. .71 * 0 * ORT2 + 0. 71
GG + 1 * 0. 5 * ORT1 + 0. .71 * 0 * ORT2 - 0. 71
GG - 1 * 0. 5 * ORT1 - 0. .71 * 1 * ORT2 + 0. 71
GG - 1 * 0. 5 * ORT1 + 0. .71 * 1 * ORT2 + 0. 71
*** Нормализация переменных
RANK VARIABLES=F1 F2 F3 F4 (A) /RANK
/PRINT=YES /TIES=MEAN.
*** ВНИМАНИЕ - в дроби необходимо вставить полученную на первом шаге (SELECT IF (w <= (ID / 30000) ** 2) ) длину массива, в зависимости от исходного числа для датчика случайных чисел она может меняться.
COMPUTE NF1=IDF.N0RMAL((RF1-0.5)/9995,0,1). COMPUTE NF2=IDF.N0RMAL((RF2-0.5)/9995,0,1). COMPUTE NF3=IDF.N0RMAL((RF3-0.5)/9995,0,1). COMPUTE NF4=IDF.N0RMAL((RF4-0.5)/13273,0,1). EXECUTE.
*** Расчет Running Variation Estimation (RVE) COMPUTE MG=(NF1 + NF2 + NF3 + NF4) / 4.
COMPUTE RVE=((NF1 - MG) ** 2 + (NF2 - MG) ** 2 + (NF3 - MG) **
2 + (NF4 - MG) ** 2) / 4.
EXECUTE.
*** Расчет групп по MG
COMPUTE RMG=RND(MG * 3) / 3. EXECUTE.
Скрипт симуляции Er (нормальное распределение респондентов по фактору g с остатками, дисперсия которых растет в направлении роста g)
set seed 1253.
*** Заготовка файла доступна по адресу
http://mathpsy.com/mfca_appendix/10000_template.sav. *** ID - номер кейса (от 1 до 10000).
*** Коэффициент для подгонки корреляций
COMPUTE MLTPL = 1.62. EXECUTE.
*** Задание g
COMPUTE GG=RV.N0RMAL(0,1) * MLTPL. EXECUTE.
*** Округление до целого стандартного отклонения
COMPUTE GRnd=RND(GG / MLTPL + 0.5) - 0.5. EXECUTE.
*** Коэффициенты для подгонки асимметрий
COMPUTE MLT1 = 1.8. COMPUTE MLT2 = 0.5. EXECUTE.
Вычисление с переменными дисперсиями GRnd всегда больше -15
(GRnd > - 15) ORT1=RV.NORMAL(0,1/
(GRnd > - 2) ORT1=RV.NORMAL(0,2/8
(GRnd > - 1) ORT1=RV.NORMAL(0,3/8
(GRnd > 0) ORT1=RV.NORMAL(0,4/8 *
(GRnd > 1) ORT1=RV.NORMAL(0,5/8 *
(GRnd > 2) ORT1=RV.NORMAL(0,6/8 *
IF IF IF IF IF IF
EXECUTE.
8 * MLT1+MLT2) / MLTPL.
* MLT1+MLT2) / MLTPL.
* MLT1+MLT2) / MLTPL. MLT1+MLT2) / MLTPL. MLT1+MLT2) / MLTPL. MLT1+MLT2) / MLTPL.
IF (GRnd > - 15) ORT2=RV.NORMAL(0,1/8 * MLT1+MLT2) / MLTPL.
(GRnd > - 2) ORT2=RV.NORMAL(0,2/8
(GRnd > - 1) ORT2=RV.NORMAL(0,3/8
(GRnd > 0) ORT2=RV.NORMAL(0,4/8
(GRnd > 1) ORT2=RV.NORMAL(0,5/8
(GRnd > 2) ORT2=RV.NORMAL(0,6/8
IF IF IF IF IF
EXECUTE.
MLT1+MLT2) MLT1+MLT2) MLT1+MLT2) MLT1+MLT2)
/ MLTPL. / MLTPL. / MLTPL. / MLTPL.
MLT1+MLT2) / MLTPL.
IF (GRnd > - 15) ORT3=RV.NORMAL(0,1/8 * MLT1+MLT2) / MLTPL.
(GRnd > - 2) ORT3=RV.NORMAL(0,2/8
(GRnd > - 1) ORT3=RV.NORMAL(0,3/8
(GRnd > 0) ORT3=RV.NORMAL(0,4/8
(GRnd > 1) ORT3=RV.NORMAL(0,5/8
(GRnd > 2) ORT3=RV.NORMAL(0,6/8
IF IF IF IF IF
EXECUTE.
MLT1+MLT2) MLT1+MLT2) MLT1+MLT2) MLT1+MLT2)
/ MLTPL. / MLTPL. / MLTPL. / MLTPL.
MLT1+MLT2) / MLTPL.
*** Ортогональное преобразование и вычисление целевых переменных
COMPUTE F1=(0.5 * GG + 1 * 0.5 * ORT1 + 0.71 * 0 * ORT2 + 0.71 * 1 * ORT3).
COMPUTE F2=(0.5 * GG + 1 * 0.5 * ORT1 + 0.71 * 0 * ORT2 - 0.71 * 1 * ORT3).
COMPUTE F3=(0.5 * GG - 1 * 0.5 * ORT1 - 0.71 * 1 * ORT2 + 0.71 * 0 * ORT3).
COMPUTE F4=(0.5 * GG - 1 * 0.5 * ORT1 + 0.71 * 1 * ORT2 + 0.71 *
0 * ORT3).
EXECUTE.
*** Нормализация
RANK VARIABLES=F1 F2 F3 F4 (A) /RANK
/PRINT=YES /TIES=MEAN.
COMPUTE NF1=IDF.NORMAL((RF1-0.5)/10000,0,1). COMPUTE NF2=IDF.NORMAL((RF2-0.5)/10000,0,1). COMPUTE NF3=IDF.NORMAL((RF3-0.5)/10000,0,1). COMPUTE NF4=IDF.NORMAL((RF4-0.5)/10000,0,1). EXECUTE.
***Вычисление RVE
COMPUTE MG=(NF1 + NF2 + NF3 + NF4) / 4. EXECUTE.
COMPUTE RVE=((NF1 - MG) ** 2 + (NF2 - MG) ** 2 + (NF3 - MG) **
2+ (NF4 - MG) ** 2) / 4.
EXECUTE.
*** Расчет групп по MG
COMPUTE RMG=RND(MG * 3) / 3. EXECUTE.
Скрипт симуляции G (распределение «респондентов» по g, имеющее левую асимметрию, с постоянной дисперсией остатков, не зависящей от g)
set seed 1245.
*** Заготовка файла доступна по адресу http://mathpsy.com/mfca_appendix/4 0 0 0 0_template.sav.
*** ID - номер кейса (от 1 до 40000).
*** Из равномерно распределенной выборки 40000 отбираются значения w лежащие ниже прямой (параболы w = (ID/40000) ** 3), остальные удаляются (в среднем - 10000).
COMPUTE w=RV.Uniform(0,1).
EXECUTE.
FILTER OFF.
USE ALL.
SELECT IF (w <= (ID / 40000) ** 3). EXECUTE.
*** Коэффициенты для регулирования интеркорреляций
COMPUTE MLTPL = 0.79. COMPUTE MLT2=1.41. EXECUTE.
*** Задание фактора g *** 1) Стандартизация ID
DESCRIPTIVES VARIABLES=ID /SAVE.
*** 2) Расчет g
COMPUTE GG=(ZID * MLTPL + RV.NORMAL(0,1) * SQR(1 - MLTPL**2)) *
MLT2.
EXECUTE.
COMPUTE ORT1=RV.NORMAL(0,1) / MLT2. COMPUTE ORT2=RV.NORMAL(0,1) / MLT2. COMPUTE ORT3=RV.NORMAL(0,1) / MLT2. EXECUTE.
*** Ортогональное преобразование и вычисление целевых переменных
COMPUTE F1=(0. .5 * GG + 1 * 0. 5 * ORT1 + 0. .71 * 0 * ORT2 + 0. 71
* i * ORT3).
COMPUTE F2=(0. . 5 * GG + 1 * 0. 5 * ORT1 + 0. .71 * 0 * ORT2 - 0. 71
* i * ORT3).
COMPUTE F3=(0. 5 * GG - 1 * 0. 5 * ORT1 - 0. .71 * 1 * ORT2 + 0. 71
* о * ORT3).
COMPUTE F4=(0. 5 * GG - 1 * 0. 5 * ORT1 + 0. .71 * 1 * ORT2 + 0. 71
* 0 * ORT3). EXECUTE.
*** Нормализация
RANK VARIABLES=F1 F2 F3 F4 (A) /RANK
/PRINT=YES /TIES=MEAN.
*** ВНИМАНИЕ - в дроби необходимо вставить полученную на первом шаге (SELECT IF (w <= (ID / 40000) ** 3) ) длину массива, в зависимости от исходного числа для датчика случайных чисел она может меняться.
COMPUTE NF1=IDF.N0RMAL((RF1-0.5)/9954,0,1). COMPUTE NF2=IDF.N0RMAL((RF2-0.5)/9954,0,1). COMPUTE NF3=IDF.N0RMAL((RF3-0.5)/9954,0,1). COMPUTE NF4=IDF.NORMAL((RF4-0.5)/9954,0,1). EXECUTE.
*** Расчет Running Variation Estimation (RVE) COMPUTE MG=(NF1 + NF2 + NF3 + NF4) / 4.
COMPUTE RVE=((NF1 - MG) ** 2 + (NF2 - MG) ** 2 + (NF3 - MG) **
2 + (NF4 - MG) ** 2) / 4.
EXECUTE.
*** Расчет групп по MG
COMPUTE RMG=RND(MG * 3) / 3. EXECUTE.
Приложение 2
Таблица П1
Результаты одновременной модерации всех факторных нагрузок и ошибок в различных
симуляциях
Тип симуляции ABIC Угловые коэффициенты модерации Асимметрия факторных значений
При модерации по отдельности При модерации вместе
Факт. нагрузок Ошибок Факт. нагрузок Ошибок
S0 18, 360, - -0.100 (0.011) 0.033 (0.009) - - 0.035
Er0 29, -, - -0.015 (0.012) - - - 0.009
ErN 302, 196, - -0.096 (0.012) 0.107 (0.010) - - 0.050
GO -, "24, - - -0.021 (0.012) - - -
GN 97, 420, - -0.154 (0.015) 0.069 (0.012) - - 0.061
DO 772, 138, 745 -0.064 (0.009) -0.132 (0.009) -0.016 (0.009) -0.127 (0.011) 0.029
Примечание. Столбец ABIC содержит три числа, характеризующие изменение критерия BIC по трем вариантам модерации: только нагрузки, только ошибки и нагрузки и ошибки одновременно. Положительная разность означает, что введение модерирующего параметра существенно увеличивает правдоподобие результата при введении модерации. Коэффициенты усреднены для четырех переменных. В скобках после углового коэффициента приведена стандартная ошибка оценки. Прочерки проставлены в случаях, когда модель не сходилась. Полужирным выделены коэффициенты, в два и больше раз превышающие стандартную ошибку.
Таблица П2
Результаты модерации факторных нагрузок и дисперсии ошибок на реальных данных
Число модерируе-мых переменных: одна (*) или четыре (****) ABIC При модерации по отдельности При модерации вместе Асимметрия ф. з. (модера-ция только нагрузок)
Факт. нагрузки Ошибки Факт. нагрузки Ошибки
Не нормализованные данные. Асимметрия переменных: An--0.309, Sil--0.223, Ch--0.092, Is--0.710). Асимметрия факторных значений в baseline-модели —0.393.
An* 11, 163, 153 -0.025 (0.005) -0.121 (0.01) 0.002 (0.006) -0.122 (0.012) -0.352
An**** 761, 776, 1126 -0.104 (0.007) -0.103 (0.009) -0.078 (0.007) -0.105 (0.012) 0.111
Sil* -4, 17, 8 -0.013 (0.005) -0.041 (0.008) -0.001 (0.006) -0.041 (0.009) -0.371
Sil**** 761, 776, 1126 -0.094 (0.008) -0.035 (0.008) -0.084 (0.008) -0.019 (0.01) 0.111
Ch* -6, -9, -15 -0.012 (0.006) -0.004 (0.009) -0.013 (0.007) 0.005 (0.01) -0.382
Ch**** 761, 776, 1126 -0.078 (0.009) -0.002 (0.009) -0.081 (0.009) 0.015 (0.01) 0.111
Is* 469, 627, 726 -0.127 (0.006) -0.194 (0.006) -0.07 (0.008) -0.147 (0.009) -0.265
Is**** 761, 776, 1126 -0.183 (0.008) -0.187 (0.005) -0.121 (0.009) -0.137 (0.009) 0.111
Нормализованные данные. Асимметрия переменных равна нулю. Асимметрия факторных значений в baseline-модели —0.145.
An* -9, -3, -11 -0.005 (0.005) 0.016 (0.008) -0.013 (0.006) 0.024 (0.009) -0.137
An**** 12, 57, 129 -0.031 (0.007) 0.011 (0.008) -0.030 (0.008) 0.003 (0.010) 0.045
Sil* 5, -5, 15 -0.004 (0.006) 0.036 (0.007) -0.024 (0.006) 0.051 (0.008) -0.138
Sil**** 12, 57, 129 -0.030 (0.007) 0.034 (0.007) -0.047 (0.008) 0.044 (0.010) 0.045
Ch* -3, 12, 31 -0.025 (0.006) 0.028 (0.008) -0.042 (0.007) 0.055 (0.010) -0.120
Ch**** 12, 57, 129 -0.045 (0.007) 0.026 (0.009) -0.058 (0.008) 0.044 (0.010) 0.045
Is* -9, 73, 90 -0.034 (0.006) 0.029 (0.008) -0.057 (0.007) 0.070 (0.010) -0.110
Is**** 12, 57, 129 -0.053 (0.007) 0.029 (0.008) -0.076 (0.008) 0.064 (0.009) 0.045
