CC BY
0Пол де Бек та iH. Заклик тримати двер1 вщкритими та працювати паралельно*
*Переклад статг1: De Boeck, P., Pek, J., Walton, K., Wegener, D. T., Turner, B. M., Andersen, B. L., ... Petty, R. E. (2023). A Call for Keeping Doors Open and for Parallel Efforts. Psychological Inquiry, 34(4), 291-297. https://doi.org/1Q.1Q8Q/104784QX.2Q23.2281Q23
А в т о р и
Цитування: Пол де Бек га ¡и. Заклик гримаги двер1 вщкритими га працювати паралельно. Теоретичш дотдження у психологи: мо-нографЫна серя. Сосг. В. О. Медшцев. Том 22. 2024. С. 52-71.
Ми вдячш за коментарi та цiнуeмо коментар^ кри-тичнi дискуси та розбiжностi. У наших вiдповiдях ми пояснюемо важливi моменти та продовжуемо поточну дискусiю, сподiваючись, що ця дискуйя про конструкцп, яка розпочалася в цьому журналi, може продовжи-тися на iнших форумах i в подальших обмiнах iз защка-вленими вченими. Ми обговорюемо ключовi моменти, зробленi в коментарях, i виступаемо за те, щоб тримати дверi вiдкритими для рiзних пiдходiв, паралельно роб-лячи вiдповiднi зусилля, а не зосереджуватися на одному поясненш проблем, з якими стикаеться психологiя як наука.
Коротко резюмуючи, De Воеск et а1., яке ми назива-емо нашою анкетою, започаткувало суперечку щодо по-яснень деяких фундаментальних питань у психологи. Цi проблеми включають спостережувану неоднорiднiсть i неузгодженiсть у психолопчних результатах, як1 пов'язанi з незадоволенням широкими та абстрактними конструктами, яга вщображають складнiсть психолопч-них явищ. У вiдповiдь на це деяга методологи пропону-ють удосконалити операцшш визначення (OD) констру-кцiй i вдосконалити вимiрювання (так званi масштабнi OD в опитуваннi), а також використовувати бiльш конк-ретнi конструкцп (як1 називаються зменшуючими конструкциями в опитуваннi патр).
Зам1сть того, щоб приписувати спостережувану варЬ абельнкть психолопчних pезультaтiв субоптимальним концептуaлiзaцiям (наприклад, типу констpуктiв) i ме-тодолопчним практикам (наприклад, менш ретельне вимipювaння), ми розглядаемо альтернативний п1дх1д. Ми переглянули природу конструкпв, щоб краще узго-дити конструкти 3i змшною та складною психологiчною pеaльнiстю. Зокрема, ми вважаемо, що конструкцп слщ модифжувати, щоб вони були бшьш гнучкими, н1ж те, що зазвичай вважаеться бажаним для констpукцiй. 1н-шими словами, нaвiть якби ми вим1ряли всiх осiб у щ-льовiй сукупностi (зменшивши вapiaбельнiсть вибipки до 0), звели вимipювaння до iдеaлiзовaного piвня та пе-реконалися, що вся статистична практика е чесною, зменшивши сумшвну дослдницьку практику (QRP), ступень дос -лщника свобода (RDF), p-hacking — до нуля, ми припускаемо, що все ще залишаться мLнливiсть i невизна-четсть, притаманн1 складнш i мшливш pеaльностi.
Тому ми пропонуемо розглянути бiльш гнучга конструкцп та супутнi методики. Цi методологи базуються на пpийняттi пpинципiв безперервносп вимipювaння та узагальнення. Безпеpеpвнiсть вимipювaння означае, що, окpiм вapiaцil вибipки, завжди будуть вapiaцil у ви-мipювaннi констpукцiй. Пiдходи до узагальнення мо-жуть формально моделювати мшливкть, щоб можна
було робити висновки за бшьш реалктичного р1вня не-визначеност1. Таким чином, всупереч пропаганд! сприйманого послабления методолопчно1 строгосп, ми виступаемо за використання та розвиток метод1в, ви-знаючи невизначенкть природи конструкци.
Незважаючи на те, що ми створили певну суперечку в нашому досл1дницькому документ1, це було - як за-значено - з1 стратег1чних причин. Ми не в1римо, що в пщход1 до психологiчного дослщження е виб1р або/або. Нашою головною мотивац1ею було розглянути альтернативу зростаючому консенсусу про те, що абстрактш конструкци та методи витрювання е проблемою сучас-но1 психологи. Як ми можемо бути настшьки впевнен1, що зростаючий консенсус (у вщповщност1 до масштаб-них ODs 1 downscaling конструкц1й) е найкращим вар1а-нтом? Альтернативна точка зору полягае в тому, що психолопчш явища е надто складними та м1нливими, щоб 1х можна було достатньо охопити доступними або щеал1зованими методами та концептуал1защями. Робити ставку лише на один або галька вар1анпв може
Щоб уточнити терм1нолог1ю, яка використовуеться в нашому опитуванш, 1 щоб уникнути нових непорозу-
бути нерозумним. Тому ми вважаемо за краще тримати двер1 вщкритими та 1нвестувати паралельн1 зусилля. Якщо е один найкращий гадхщ, це покаже, 1 якщо е е т, що е шформативний як добре.
Наш1 в1дпов1д1 починаються з попереднiх момент1в, щоб прояснити (у вщповщь на Угера), як ми вважаемо, що типовий психолог розглядае конструкци та викори-стовуе термши, пов'язан1 з вим1рюванням. Це створюе основу для вщповщ1 на шш1 отриман1 коментар1. Зага-лом, було порушено питання про: (а) роль конструкпв 1 теор1я (Хейг; Ооша1еБ; Махер1я); (Ь) методи як джерело м1нливост1 емп1ричних висновк1в (Боллен; Ходсон; Ма-чер1); (с) операцшш визначення та мультиреферентний характер психолопчних конструкц1й (Uher); та (d) роль епктемолопчних теор1й у тлумаченн1 питань, на яких ми зосереджуемося в нашш робот1 з запитаннями (Хейг; Угер). Ми усвщомлюемо, що теми, яга ми обговорюемо, е лише вибором тднятих питань, 1 в коментарях е ба-гато шших ц1нних важливих 1дей 1 аргумента, як1 варт1 подальшого обговорення.
м1нь у наших вщповщях, ми пояснюемо наше припу-щення, що психологи е реалктами неявним чином,
коли вони будують теори та використовують конструкцп як будiвельнi блоки. Ми також вважаемо за краще припустити, у вщповщь Угеру, що бiльшiсть дослщни-кiв-психологiв розглядають конструкцп як (i) iснуючi або гiпотетичнi властивостi (яга розглядаються в дослЬ дженнях так, шби вони iснують) з (ii) визначенням, яке пояснюе концепцiю властивостi , i (iii) з ярликом, тер-м1н на позначення властивосп i поняття . Угер викори-стовуе терм1н референт для властивосп, конструкт для поняття влaстивостi та означник для термша. II критика психологи та нашо1 стaттi з питаннями полягае в тому, що часто одна або бшьше з трьох пар тpiaди зм1шу-ються. Ця тpiaдa з (i) по (iii) чудово узгоджуеться зi стандартною термшолопею в метрологи, опублжованою М1жнародною оpгaнiзaцiею зi стандартизацп (ISO ви-дання 2022 р .). Tpiaa;a також чiтко пояснена Mari et al. ( 2019 ), яга використовували piзнi фоpмaльнi позначення для кожного з трьох i сформулювали свою теоpiю вимЬ рювання в усiх науках, спираючись на це тpiaдa.
У психологи витрюють влaстивостi об'ектiв. Об'ектами можуть бути особи або поди (наприклад, процеси), а значення властивостей можуть змшюватися м1ж об'ектами та всеpединi них. Щ влaстивостi е атрибутами у визначенш констpуктiв Кронбахом i М1хлем ( 1955 ), хоча Кронбах i Мiль у своему психометричному
пiдходi зосереджуються на особах як на об'ектах. У пси-холопчнш лiтературi цi властивостi також називаються змшними, а в статистичнш моделi вони називаються латентними змшними, тому що вони не тддаються без-посередньому спостереженню i до них можна пiдiйги лише через явш (тобто спостережуванi) змiннi, також зваш iндикаторами. Психологи та багато шших вчених використовують терм1н «конструкт» для позначення як властивосп, так i поняття властивость Також пошире-ною практикою е те, що психологи пишуть так, нiбито ототожнюють термiн (м1тку) з (гiпотетичною) властиш-стю, яка певним чином вим1рюеться та мае пояснюва-льну цшнкть. Зрозумiло, що один термiн не може мати пояснювального значення; натомкть це властивiсть який в термш вiдноситься що може мати ан поясню-вальний роль.
З ряду причин ми вщчуваемо заспокоення в думцi, що психологи розрiзняють поняття, властивiсть i тер-мiн, а не зм1шують цi три, принаймнi неявно. Коли дос-л1дники використовують термш у сво1х статтях, вони, як правило, дають визначення (тобто концепцiю, позна-чену термшом), i вони використовують операцшш визначення конструкцш як спостережуваних iндикаторiв властивостi . Можуть виникнути проблеми з такими ви-значеннями, як визначення, якi не е обов'язковими, або
вщсутнкть правил для отримання оперативних визна-чень 1з концептуальних визначень, окр1м розпливчас-тих запит1в на узгодження концептуальних визначень 1 оперативних визначення. Додатковий потенщал питань з визначення включають неявне та, можливо, хи-бне переконання, що той самий терм1н обов'язково мае на уваз1 ту саму концепц1ю та властивкть 1 що р1зн1 те-рмши обов'язково мають на уваз1 р1зт поняття та влас-тивост1. Людина не вщчуватиме потреби давати визначення термшу та вибирати операцшне визначення, якщо не розр1знш,име термши, поняття, 1 властивост1 як референти. Емп1ричне дослщження проводиться для дослщження ппотетично! пояснювально1 рол1 (гiпоте-тичних) властивостей.
Мабуть, найкритичн1шим моментом, який наголо-шуе Угер, е те, що психологи, як 1 ми в нашому дослщ-ницькому документ1, гр1шимо зм1шуванням. Мова, якою користуються багато психолопв, включно з нами,
Теорiя та
У нашому опитуванш ми розглядали теор1ю як наб1р 1ерарх1чних та/або пояснювальних зв'язк1в м1ж конструктами та мш компонентами всередин1 конструкци (тобто мш властивостями). Р1зниця мш теор1ею та
1нод1 може збивати з пантелику, хоча ми все ще досить добре розум1емо один одного. Приклади заплутано1 мови не доводять вщсутност1 концептуально1 диферен-щаци. Дуже багато мовних вираз1в не мають лопчного сенсу, якщо 1х тлумачити буквально, тод1 як вони зрозу-м1л1 читачам 1 письменникам. Середнш голос в англш-ськш мов1 е простим прикладом. Наприклад, «Басов1 ноти чути не дуже чггко» (HaШday, 1967 , стор. 49). Немае сенсу, що ноти можуть чути. Бшьше приклад1в див. у Ба^Бе and 01Мег ( 2008 ). Нехай це не буде виправдан-ням, це лише пояснення того, як текст може вводити в оману залежно вщ того, як в1н 1нтерпретуеться. У вщповщь на запрошення Угера до самокритики ми визнаемо, що плутанина (включно з будь-якою створеною нами) може призвести до лопчних помилок. У подальшому ми спод1ваемося, що наша мова зрозум1ла з контексту. Ре-шта тем, яю ми вибрали з коментар1в, будуть обговорю-ватися наступний.
конструкци
конструктом не завжди ч1тка, оск1льки значення конструкци залежить в1д 11 зв'язк1в, оскшьки конструкт можуть мати компонента з теоретичними зв'язками, 1 в цьому конструкти вщкрають пояснювальну роль для ш-ших конструкт1в. Коментар1 пщняли два питання про
роль конструкпв i теори. Коментар Хейга поставив гад сумшв нашу увагу до конструкпв у контекстi теорiй i ко-ментар1в Gonzales i Iррiбарра i за Махер1я стурбований в розташування мiнливостi та складностi психолопчш вЬ дкриття, як можуть бути в конструктах, або в теори (вЬ дношення м1ж конструктами), або обидва.
Хейг у своему коментарi запропонував вщмовитися вщ рол! конструкпв i замшити розрив м1ж конструктами та ix OD (розрив C-OD) розривом м1ж спостере-женнями та теор!ею. Його рекомендац!я полягае в тому, щоб заповнити прогалину м1ж теор!ею i спостережен-нями психолопчними феноменами. Заповнення прога-лини таким чином зробило б нашу зосереджешсть на конструктах вщволжаючою. Те, як ми розум!емо пропо-зицш Хейга, полягае в тому, що вш вщдае перевагу пщ-ходу знизу до теорш побудований на психолопчних феноменах. У сво1й статп «Псшологiчш методы» 2008 року Хейг ( 2005 ) описав пщхщ як такий, що керуеться абду-ктивними принципами, а не конструктами. Отже чому дбати про конструкцп? «Мехашстичш» теори (тобто теори причинно-наслщкових проце0в), як пояснюеться в його коментар! та в Haig ( 2005 , стор. 272), мало займа-ються визначеннями конструкцш. Таке бачення «розхо-диться» (терм1н Хейга) з фокусом на конструктах у на-шш статп Питания. Ми вважаемо, що погляд Хейга е
щкавим i реалктичним як погляд на контекст вщк-риття, незважаючи на бiльшiсть статей у психологи пи-шуться з контексту точки зору виправдання. Як альтернативу, можна розглядати запропонований Хейгом пiдхiд як досл1дницький (вщкриття) проти все ще по-ширеного iдеалу (п1дтверджувального) пiдходу до пере-вiрки гiпотези (обгрунтування).
Наше тлумачення пропозицiï Хейга може бути надто спрощеним у свiтлi подальших розробок Haslbeck et al. ( 2022 рш ). У Haslbeck et al. ( 2022 ) Абдуктивний пщхщ, вони почали з щльових феноменiв, наприклад, трьох феноменiв патчного розладу (повторюванi панiчнi атаки, постшне занепокоення та поведiнка уникнення) та формальноï моделi загального типу (наприклад, ме-режева модель), щоб iмiтувати данi щоб оцiнити, насга-льки вони узгоджуються з емпiричними даними. На ос-новi можливих розб1жностей м1ж змодельованими та емпiричними даними модель коригуеться та розробля-еться теорiя панiчного розладу. Оск1льки пщхщ включае в себе директивт та тестовi (пiдтверджувальнi) кроки , його навряд чи можна назвати суто дослщницьким пщ-ходом. Для нас три явища панiчного розладу означають низькоабстрактш конструкцiï (тобто досить конкретш конструкцiï; див. приклад ефекту Зейгаршка в нашiй
статп з питаниями). ми сумшв що один може робити без конструкци.
Хейг у своему коментарi також посилаеться на ефект Флiнна як на психолопчний феномен, у якому IQ зрос-тае з поколiниями. Знаючи, як IQ вим1рюеться рiзними способами, ми розглядаемо IQ як абстракцш, i оскiльки IQ використовуеться в шших публiкацiях як пояснюва-льна змшна, вiн квалiфiкуеться як конструкт. Звичайно, поняття iнтелекту в теори iнтелекту Д1ккенса та Флiнна ( 2001 ) на яку посилаеться Хейг, е конструкщею. Мож-ливо, роль цих конструктiв е другорядною в процесi ви-крадення i менш важливою, нiж явище пщвищення IQ. Загалом, незважаючи на те, що мае сенс встановлювати психологiчнi явища та будувати теорiï, не обов'язково починаючи з конструкпв, цей пiдхiд все одно потребуе конструкпв, щоб зрозумiти явища та розробити теорiï. У дослщжуваному документi ми використали п1дх1д «зверху донизу», тому ми радi, що Хейг вказуе на альте-рнативний бшьш «знизу вгору» пiдхiд iз можливими компонентами перевiрки гiпотез, як у Haslbeck et al. ( 2022 рш ). Роль конструкпв можна було б зменшити, якщо застосувати абдуктивний пiдхiд, але в такому гад-ходi проблеми складносп та мiнливостi перетворилися на варiацiï в фуидаментальнiй психологiчнiй явища.
Iншi KOMeHTapi до теори та конструкпв стосу-ються того, де знаходиться змiнний характер психоло-гiчних феномешв, або в теори (вiдношeння м1ж власти-востями), або в самих властивостях. Якщо зв'язок мiж X i Y як властивостями змшюеться, або X i Y е фжсова-ними властивостями 3i змшними вiдносинaми, або X i Y змшюються влaстивостi (якi проявлятимуться як змшш зв'язки в eмпipичних дослщженнях). в наш шгерпрета-цiя, Gonzales, Ippiбappa i Ma4epi вipять у перше - якщо емтричш зв'язки м1ж X та Y змшюються, вapiaцiю мо-жна (i по^бно?) пояснити склaднiстю тeоpiй; напри-клад, розширюючи тeоpiю з модераторами. Може бути важко pозpiзнити два погляди: piзm конструкци чи pi-зш в1дносини, оскiльки цi два погляди вщображаються на однiй i тш сам1й нeодноpiдностi висновки.
Однак обидва погляди вiдpiзняються нaслiдки. 3ri-дно з piзними конструктами, вiдмiнностi часто призво-дять до вiдсутностi iнвapiaнтностi вим1рювань. Однак, вiдповiдно до погляду на piзнi взаемозв'язки, часто мае бути можливкть досягти iнвapiaнтностi вимipювaння, можливо, пiсля уточнения визначень i впровадження вдосконалених мeтодiв вимipювaния, а пойм визначення послщовних модepaтоpiв в1дносин XY. Пiдхiд до модерацн досить стандартний, але може бути неможли-вим, якщо модepaцiя буде високою складш.
У своему коментарi Боллен пщшмае щкаве питания про те, чи можна фальсифжувати наш погляд. Ми вЬ римо, що це так; якщо не зараз, то точно в довгостроко-вш перспективi. Якщо випадок температури виявиться застосовним до психологiчних конструктiв, як припустив Мачер^ тодi наш погляд можна фальсифжувати за умови, що докладено достатн1х зусиль для вдоскона-лення визначень i вим1рювань у лiнiï, як це вщстоюе,
Методи як джерело
Тут буде розглянуто двi рiзнi широкi категори дже-рел мiнливостi результатiв дослщжень. Ми не говоримо про мшливкть вибiрки в загальному розумiннi вибiрки з сукупностi осiб, а також не говоримо про недосконалу надшнкть чи помилку витрювання. Вони е очевид-ними та добре вщомими джерелами варiацiй iз устале-ними способами боротьби з цими джерелами. Замкть цього ми протиставимо (а) мшливкть через методоло-гiчнi практики та (б) мшливкть як вщображення психо-логiчноï реальностi. Варiацiï, що випливають iз методiв, стосуються вщмшностей м1ж методами, як1 використо-вуються, а також субоптимальних методiв, у тому чи^ недостатньо уточненi визначення та невщповщносп в конструкц1ях i вимiрюваннях. Варiацiï на основi мето-дiв, включаючи QRP/ RDF/p-hacking, — це те, що Боллен,
наприклад, Flake and Fried ( 2020 ). Ми не проти таких кроюв; натомкть ми вважаемо за краще тримати двеpi вiдкpитими, одночасно працюючи над методами боротьби з piзними висновки, чи то через складну психоло-гiчну реальнкть, чи через piзнi недолiки поточного до-слiдницькi практики.
варiативиостi
Ходсон i Мачерi мають на уваз^ щоб пояснити неодно-рiднiсть психолопчних висновгав. Подiбно до iсторiï визначення та вимiрювання температури, Боллен, Ходсон i Мачерi стверджують, що нам потрiбно продовжувати наполегливо працювати та мати терпiния, щоб проблему врешп-решт було вирiшено. Це розумна та похвальна точка зору, яку ми також заохочуемо читачiв шу-кати як можливе рiшения. Багато з нас, спiвавторiв Questioning paper, значною м1рою швестують у такi зу-силля у своïх власних досл1дженнях. Слабк1сть бангавсь-коï роботи з цiеï единоï точки зору полягае в припу-щеннi, що такi зусилля гарантуватимуть усп1х. Але що, якщо щ зусилля не вирiшать повнiстю проблему неод-норiдностi? Ми вважаемо за краще тримати дверi вiдк-
ритими для можливосй, яка передбачае паралельт зу-силля для виршення вар1аци та пов'язано! з нею неви-значеность Щоб було зрозум1ло, вар1ац1я е висновком, тод1 як пов'язана з нею невизначенкть мае значення для висновгав, зроблених на основ1 таких висновки.
Джерелом вар1аци, яке ми протиставляемо методам, е психологiчна реальнкть разом 1з конструктами, як1 використовуються для розумшня, пояснення та перед-бачення ц1е1 реальност1. Ми використали терм1н «безпе-рервн1сть вим1рювання» для позначення результуючо1 безперервно1 зм1ни результата вим1рювання. Можна стверджувати, що повинш бути пояснення (наприклад, модератори) таких змшностей, як порушення швар1ан-тност вим1рювання. Мачер1 ч1тко говорить про свою в1ру в те, що потр1бно шукати пояснення. Пояснення сприяли б психологи як науц1, але ми також вважаемо, що не завжди кнуе пояснення, яке е можливим або на-в1ть бажаним; таю пояснення можуть вимагати розга-дки величезних складнощ1в. Такий пщхщ до спрощення складност1 фактично вже прийнятий для 1нших форм складность Наприклад, звичайною практикою е згор-тання взаемод1й вищого порядку в анал1з1 дисперси та додавання 1х до залишково1 дисперси. 1нш1 приклади включають терм1ни помилок для недосконало! надшно-
ст1 (наприклад, тест1в) 1 для неповного пояснення (наприклад, у регресшнш модел1). Ми стверджуемо, що концепц1я випадково! помилки (Ши & Browne, 2015 ) ви-конуе под1бну роль спрощення. Випадкова помилка — це зм1нна «упередженкть», якщо хтось вважае, що вла-стив1сть, на яку посилаеться конструкт, е фшсованою. Поняття випадково! помилки використовуеться в лгге-ратур1 для роботи з великим набором збурень, хоча теоретично можна було б 1нтерпретувати збурення значу-щим чином (наприклад, через модератор1в). Насправд1 терм1ни помилки е формою визначення статистично! конструкцИ, н1би помилка дшсно 1снуе 1 мае причинний вплив на спостереження. З м1ркувань скупосп (щоб спростити величезну складн1сть), ми зазвичай дотриму-емося ген1ально! ще! Сп1рмена розглядати збурення та конкретш терм1ни як джерела вар1аци, незалежно в1д властивост1, яка нас щкавить, щоб можна було вид1лити щ неприемн1 збурення вщ основно! властивосп . За ба-жання ми можемо виправити послаблення (оц1нок па-раметр1в), викликане недосконалою над1йн1стю, що сьогодш означае використання прихованих змшних або форм 1ерарх1чного байесовського моделювання. «Щоб» у цьому параграф! е гарантованим «щоб», оск1льки це випливае з визначення термшв випадково! помилки. Отр р1зноман1тним конструктам у сена властивостей е
дивним у свпга легкост прийняття поняття незрозу-м1ла помилка.
Чому б нам не думати про валщшсть так само, як про надшнкть? Якщо природа конструкпв е складною, а також рiзною, можна очжувати двох наслiдкiв. Мiж двома не буде iдеальноï конвергенцiï набори: (а) мж рiзними показниками однiеï конструкцп та (б) мж стввщно-шеннями показник1в, що використовуються в рiзних дослiдженнях для однiеï конструкцiï (що буде проявля-тися як порушення iнварiантностi вим1рювань). Тобто для складних конструкцiй, таких як депрес1я, можна очжувати рiзних виборiв елементiв змкту, якi використовуються як iндикатори для конструкцiï, без високоï конвергенци м1ж цими рiзними виборами. Крiм того, якщо природа конструкцiï змшюеться, можна було б очiкувати рiзнi спiввiдношення в межах одного набору показнигав, що виявилося б як порушення iнварiантно-стi вимiрювання. В обох випадках прихована змiнна як статистичне представлення властивостi буде рухатися в межах нестрого окресленоï обласп, так само як випад-кова помилка змшюеться i розглядаеться як необме-жена. Для того самого набору показнигав цей вид випа-дковостi зв'язк1в за межами варiацiï вибiрки Ву та Браун ( 2015 ) називають випадковою помилкою та обговорю-валося як фундаментальне поняття в нашiй анкетi.
Якщо вважати властивкть настiльки фiксованою, як у метафорi «яблучне око», то варiацiя навколо «яблучного ока» буде упередженктю (тобто в1дхиленням в1д «яблучного ока») i джерелом недоскона^ дшсносп, так само як помилковий термш е джерелом недосконалоï надшшсть.
Безперервнкть вим1рювання навколо загального ядра можна iнтерпретувати як випадкове зм1щення в дослiдженнях. На нашу думку, безперервнкть вим1рю-вання може не бути упередженням, але вона вщображае рiзну природу конструкцiй (тобто властивосп). Випад-кова помилка пропонуе елегантний пiдхiд до свого роду варiацiй, як1 в iдеалi можна було б пояснити за допомо-гою великого набору модераторiв i складних ефекпв взаемодiï (подiбно до того, як термши помилок, тобто варiацiï у вiдносинах м1ж учасниками, можна пояснити теоретично). Випадкова помилка змушуе латентну змiнну займати дещо iншi позицiï в геометричному представленш моделi латентноï змiнноï. Разом щ рiзнi позицiï латентноï змiнноï визначають область (замкть точки; дивiться рисунок 1 у нашш анкетi), що призво-дить до збiльшення стандартних помилок оцiнок пара-метрiв. Дуже приемною особливiстю цiеï статистичноï концеттатзаци е те, що показник вщповщносп RMSEA можна використовувати для оцшки збiльшення
стандартноï помилки кшьккного визначення ширини област1 безперервносп вим1рювання, яка статистично представляе конструкщю (див. також Wu & Browne, 2015 ). Випадкова помилка, як один i3 тип1в концептуалiзацiï вар1аци конструкту, е однiею з причин для представления конструкпв як обласп, в яку може потрапити ощ-нена прихована змiнна не через варiацiю вибiрки, а на-томкть через випадкову помилку. Конструкти як областi не е розпливчастою метафорою, якщо не розг-лядати статистичнi моделi, якi явно моделюють рiзнi джерела мiнливостi, як розпливчаст та суто метафори-чний.
Наслщком точки зору, зг1дно з якою конструкт представляе область, е те, що пов'язаш конструкцiï бшьше не е чiтко диференцiйованими i можуть накладатися на iншi конструкци без розмежування, як згадував Ходсон. Отримана нечптасть також е можливим поясненням по-милкового джинглу. Ми розутемо, що збiги сприйма-ються як проблема, i хотiли б, щоб Ходсон мав рацш. На жаль, це збй" може бути прямим наслщком нешткосп, яка вщображае психолог1чну реальнiсть. Ми не можемо змусити реальнiсть поводитися вiдповiдно до нашоï потреби категоризувати та окреслювати. Суб'ективнi вщ-мiнностi тж вченими та всерединi них у переживанш
та iнтерпретацiï психологiчноï реальносп можуть пояс-нити, що одна й та сама реальшсть класифжуеться р!з-ними способами та що для однiеï властивостi вибира-ються рiзнi набори показникiв. Такi вщм1нносп м1ж суб'ективним досвiдом вчених не е тим, що ми маемо на увазi пiд рiзними конструктами, хоча це може пояснити деяй розбiжностi в психологiчнiй лiтературi. Знову ж таки, ми не стверджуемо, що наш погляд на конструкти та психолопчну реальнiсть е едино дшсним (або навiть правдоподiбним), i ми хотiли б тримати дверi вщкри-тими для починань з iншоï передумови, з я^ можна починати, у тандем! з тими, закликали Боллон, Ходсон i Махерiя.
Як запропонували Боллен i Ходсон, щея нечiткостi може спонукати деяких авторiв iгиорувати постшш збоï реплiкацiï. Щоб протистояти реалiстичному страху, що вчеш дотримуються неповторюваних знахщок, можна використовувати методи, заснованi на принципах уза-гальнення, в щеат починаючи з ранн1х етапiв перевiрки г1потези дослщження. Принципи узагальнення - це те, що лежить в основ! кшькох методiв, як1 обговорюються в нашш статп з питаннями. Прикладами таких метод!в е мета-дослщження, анатз потужност! на основ! неви-значеносп та концептуальш копiï. Метадослщження
(DeKay та ш., 2022 ), як1 використовуються на ранн1х ета-пах перевiрки дослiдницькоï гiпотези, допомагають за-поботи публiкацiï невщтворюваних результатiв. Ощ-нки потужностi, заснованi на невизначеностi ефекпв (Pek & Park, 2019 ; Pek et al., 2022 ), можуть допомогти запоботи використанню нереально великих оцшок по-тужностi. Концептуальш копiï та варiацiï методiв допомагають запобпти висуванню загальних тверджень при посиланнi на конкретнi висновки, як1 не пiдлягають уза-гальненню. Як загальну точку зору, ми вважаемо, що ба-жано сприйняти невизначенiсть, як запропоновано в статп Кронбаха ( 1982 ) «На честь невизначеносп», i ус-вщомити, що статистика може кiлькiсно визначити не-визначенiсть, але не зменшуе ïï. Завжди будуть хибнi спрацьовування, але ми можемо використовувати бшьш реалiстичнi методи кiлькiсноï оцiнки невизначеностей за допомогою принцитв узагальнення. Теор1я узагальнення, започаткована Кронбахом та ш. ( 1963 ) е досить специфiчним психометричним пiдходом як розширен-ням класичноï теорiï тесйв, тодi як принципи узагальнення становлять ширший i бiльш загальнозастосовний набiр принципiв для iнтерпретацiï результата (наприклад, De Boeck & Jeon, 2018 ; Shrout & Rodgers, 2018 ).
Ми вдячш, що Ходсон, схоже, погоджуеться з тим, що «якщо це [наш пщхщ до роботи з запитаннями] буде
устшним, це стане серйозним досягненням i прогресом у цш галузi». Так чому не тримайте цi дверi вiдкритими, дозвольте паралельш зусилля та будьте оптимiст замкть того, щоб робити ставку лише на одного коня? Ми також вважаю, що аналопя з дартсом, як пояснюеться в Ходсона коментарi та пщкршлеш документами, на яю вш посилаеться, е частиною що ми пропонуемо пiд час обговорення дiйсностi вмiсту (iнше причина представ-ляти конструкцiï як област). Подiбнiсть Ходсон пом1тив м1ж своею щеею дартс i нашою пропозицкю полягае в тому, що рiзнi п1дмножини конструктного вмiсту (шди-катори) можуть бути представлеш рiзними точками на мгшет. Однак Ходсон закликае до вдосконалення конс-трукцiй далi у своему коментарi може призвести до над-мiрного вибiрковiсть у виборi показникiв вiдповiдностi моделей вим1рювання та п1двищення надiйностi вимЬ рювань замкть того, щоб намагатися охопити весь змкт конструкцiï. Озираючись на методи, як1 ми бачимо як можливi реалiзацiï нашого погляду, ми визнаемо, що щ методи е складними (але все ж простшими, н1ж, мож-ливо, нескiнченнi термши взаемодiï). Ми вважаемо, що це складна реальнкть вимагае складних методiв i моделей аналiзу для роботи зi складною реальнiстю, яка може зробити висновки, як пропонуе Gonzalez i Iррiба-рра. для наприклад, комплексы факторнi моделi для
експериментальних ефекпв запропоновано McShane та ш. ( 2022 ) та Де Боеком, Декеем i Сю ( 2022 ), як! були не
Операцшш визна
У коментар! Угера оперативш визначення (ОД) вщД-грають визначну роль. Ми вважаемо, що ïï iдеï збка-ються з тим, як ОП обговорюються в нашому дослщни-цькому документ!, за винятком ïï критичних зауважень щодо вим!рювання на основ! ОП. Угер стверджуе, що OD е необхщнктю, i продовжуе, що «Конструкци е багато-референтними концептуальними сутностями — вони посилаються на яккно р!знорщш референти. Вчеш по-винш виршити, як! саме якост е репрезентативними для конструкци. «Екстравер0я» може бути операцюна-л!зована р!зними способами поведшки, думками та емоц1ями, отже, яккно р!зними явищами. Стльний ро-згляд ïхиiх р!зних якостей визначае значення конструкци». 1ншими словами, елементи OD (так! як поведшка, думки та емоци) е референтами конструкцiï. Вони вщ-пов1дають тому, що Кронбах i Мель ( 1955 ) називають змктом конструкци. У загальноприйнятш психометри-чнш термiнологiï вони називаються !ндикаторами конструкту або латентноï змiнноï як статистичного
згадуеться в нашш анкет!. Щ папери показати, як узага-льнеш та р!знорщт ефекти вщображаються в розм!рах факторноï модель
я та вим1рювання
представлення конструкпв. 1дея Угера про те, що конс-трукти е багатореферентними, вщповщае неоднорщно-сй, яку ми приписуемо конструктам у нашш робот! з за-питаннями, i нашому представленню конструкпв як областей. Наб!р референпв для екстраверсiï буде набором досить специф!чних властивостей (наприклад, ко-мушкабельнкть, балакучкть). Пам'ятайте, що ми вико-ристовуемо термш «конструкт» як для властивосп, так i для концепци концептуалiзованоï властивость Легко побачити, що крарх1ю з перекриттям можна побуду-вати на основ! властивостей низь^ та високоï абстрактность Властивкть високоï абстрактност може засто-совуватися до широкого набору властивостей низь^ абстрактность Концепщя властивост висо^ абстракт-носп, наприклад «валентнкть оцшки об'екта» як визначення ставлення, е визначенням, що вщноситься до од-нiеï властивосп, яка передбачае наявнкть однорщность У цьому сенс! конструкт ставлення е однорщним, але вш також неоднор1дний у тому, що властивосп нижчоï
абстракци (наприклад, позитивш думки, позитивш по-чуття, поведшка позитивного пiдходу) та ïхнi концепци якiсно вiдрiзияються в Угерi. переглянути.
Проте ми не погоджуемось iз зауваженням Угера про те, що вим!рювання як1сно рiзних властивостей немо-жливо. Ми розум1емо, що можуть виникнути проблеми з поеднанням яблук i груш, але ми також вважаемо, що це залежить вщ того, як визначено вимiрювання та чи можна вим1ряти дуже абстрактш властивостi. Мае сенс вимiряти кшьккть зерняткових фруктiв, зокрема яблук i груш. У нашому досл1дницькому документ ми взяли точку зору психометригав з точки зору переконань щодо вимiрювання, насл1дуючи Кронбаха та Мшя ( 1955 ), а також загальноприйнятих практик вимiрювання в психологи (як! рiзко критикувалися Угером). Щна, яку ми платимо за вим1рювання р!знорщних конструкцш, приходить у Форм! потенцшних порушень швар!антно-сп вим!рювання та багатьох р!вшв багатовим!рност через яккно р!зт властивосп низь^ абстракцiï. Зг1дно з щеею про фрактали, висловленою в нашш статп Questioning, здаеться, що навиъ властивост з низькою абстрактнктю можна розкласти на властивосп з ще ни-жчою абстрактнктю. Статистичш докази р!вшв багато-вим!рносп обговорюються в нашш анкет!, що стосу-еться особистость Кожен !з великих п'яти вим1р!в
особистосп е багатовим1рним з точки зору аспекпв, а аспекти, у свою чергу, е багатовим!рними з точки зору специф!чних компоненпв, що узгоджуеться з двофакто-рною теоркю Сшрмена. Ця складшсть е одшею з моти-вацш , що стоять за нашою анкетою. Скорше шж досить крайнш, але лопчно чистий висновок Угера про те, що вим!рювання неможливе, якщо конструкти е багаторе-ферентними, ми мати подивився для методи до справа з в складшсть наприклад безперервнкть вим1рювання. Починаючи з ^ï ж передумови, що й Uher (тобто гете-рогенш конструкцп), ми приходимо до iншоï висновок.
Ми також погоджуемося з Угером, що так! ОП, як са-мооцшки, можуть бути легко скомпрометоваш через плутанину м!ж методом i об'ектом дослщження. Метод i об'ект дослщження зб!гаються в тому, що метод спира-еться на психолопчне функцюнування (виршення проблем у когштивних тестах i судження в самооцшках), тод! як об'ектом дослщження також е психолопчне функцюнування. Де Боек i Гор ( 2023 ) використовують термш «обличчя Януса» для цього типу змшування в пси-хометричних пщходах. Пов'язане зауваження, яке робить Угер, стосуеться циклчного пояснення, коли психолопчш дан!, так! як вiцповiцi на тест, використо-вуються для вим!рювання риси та для пояснення того самого тесту. вщповщь
Нарешп, ми хочемо висвггаити тему для обгово-рення ОП та вим!рювання. Хоча ми вщводили важливу роль вмкту конструкци та ïï OD (у сенс! валщност вмЬ сту), ми хочемо висвгтлити деяю важлив! питання пов'-язаш з розривом C-OD, який ще належить обговорити. В1дпов1дно до Макдональда ( 1999 , стор. 201), конструкт е абстрактним або екзистенщальним. Розр!знення е ва-жливим для понять змкту конструкцiï та ïï OD. Для Макдональда абстрактне вщноситься до «абстракцш вщ того, що здоровий глузд вважав би спостережуваним», тод! як екзистенщальний вщноситься до «постулюва-них сутностей, як! (нараз!) не можна спостер!гати».
Акгуальиiсгь еш
Зосереджуючись на головних питаннях, як! обгово-рюються в нашш статп Питання, наш погляд на етсте-молог1ю е досить прагматичним. Ми виршили обговорити, чи можуть i наскшьки епктемолопчш теорiï вплинуть на наше переглянуте уявлення про конструкци та що робити дал!. Ми схильш в!рити, з причин, як! потр!бно пояснити, що проблеми, як! ми пщшмаемо в нашому дослщницькому документ!, не потребують сут-тевих змш щодо реалктичних, лог1чних позитивктсь-
(стор. 201). На думку McDonald's, абстракттсть як квалЬ фшащя стосуеться «бшьшосп тих атрибупв, як! пщда-ються кшьккнш ощнщ, як! вим!рюються як досягнення, зд!бносй, риси особистосй, !нтереси та ставлення» (с. 201). Було б щкаво розглянути р!зницю м1ж тим, що е абстрактним i екзистенщальним, i що ця вщмшнкть означае для OD. Наприклад, для екзистенщальних кон-струкцш можна стверджувати, що валщнкть змкту не мае значення i що слщ використовувати р!зш статисти-чш модель Маркус i Борсбум ( 2013 ) пов'язують екзис-тенщальш конструкцiï з причинно-наслщковим зв'яз-ком м!ж вим!рюваною властивктю та ïï шдикаторами, як у рефлексивнш прихованш змшнш модель.
элоичних теорш
ких чи !нструменталктичних поглдщв . Ми також пояс-нимо, чому те саме не в!рно для пщходу сощального конструктив!зму та критично-реалiстичноï точки зору, згаданоï Угером. Як пояснювалося рашше, ми дотриму-емося реалiстичноï точки зору, стверджуючи, що психо-лог1чна реальнкть е складною та мшливою. Тому ми також обговоримо локальна реалктична перспектива, згадана Хейгом.
Складнкть i мшливкть для лопчного позитивкта означали б, що правила вщповщност е складними та
мшливими, а для !нструменталкта, що передбачення е складними та м1нливими. З конструктивктського пщ-ходу Основним джерелом складносп буде те, що спо-стереження тлумачаться по-р!зному на основ! контекс-тно-специфiчноï iнтерпретацiï спостережень. У той час як критична реалктична перспектива, яку вщстоюе Угер, приймае реальнкть подробиць (ïï слова), але будь-яка абстракц1я та узагальнення щодо цих подробиць ба-зуеться на людському розум! та випливае з р!зномашт-них точок зору, як! можна прийняти. Дивгться поси-лання Угера на Bhaskar and Danermark ( 2006 ) для бшьш широкого обговорення критичного реал!зму. Ми вважаемо, що конструктивктська та критично-реалктична перспективи призведуть до свого роду сумшву в конструктах, який призначае значно бшьшу роль конструк-тивним процесам, як це визначено Uher.
Оск1льки ми використовували досить реалктичну мову вщповщно до загальноприйнятих переконань психолопв, ми уважшше вивчали це Maki's ( 2005 ) мк-цевий реал1зм, переданий за Хейг у своему коментарь Локальний реал!зм означае реал!зм одинищ науки (тобто «окремих теорш або окремих моделей та ïхнiх частин i положень», стор. 232), як! ми розумкмо як кон-
струкцiï, явища та ïxhï в1дношення. KpiM того, щ оди-ницi можуть вiдрiзнятися за ступенем реалiстичностi: «ми можемо зробити реал1зм себе a змшна» (Maki, стор. 232). Мкцевий реал1зм допускае варiацiю м1ж буквально вiрним, ймовiрно правдивим, приблизно правда, напевно приблизно правда (цит. за Maki, с. 236, зi Стенфо-рда, 2003 , стор. 553), все «без порушення реатзму » ( Maki, стор. 242). Maki в1рить перш за все в р1зний стутнь реалiзму причинно-насл1дкових зв'язгав i, здаеться, менше пiклуеться про реатзм «теоретично постульова-них неспостережуваних» (с. 246), що пояснюе, чому Хейг не зосереджений на конструктах. При правильному тлу-маченнi локальний реатзм добре вписуеться в склад-нiсть i мiнливiсть, як! ми бачимо в психолопчнш реальности за винятком того, що ми бшьше зосереджуемося на конструктах i, отже, на гiпотезах. неспостережуванi.
Ми усвщомлюемо, що епiстемологiчна терпрета-щя Хейгом Кронбаха та Мшя ( 1955 ) в^а^зняеться в1д нашоь Ця р!зниця в думках заслуговуе на подальше обговорення, але, враховуючи наш ви6!р, пояснений на початку цього роздшу, ми не бачимо важливих причин не погоджуватися з нашим вщповщь.
Мотиващею для нашоï анкети була пропозиц!я аль-тернативне пояснення важливих питань у психологи, таких як змшш висновки та складносп: порушення ш-вар!антносп витрювання, пом!рш кореляцiï м1ж пока-зниками однiеï конструкцiï, р!вш багатовим!рност! та шш! питання, як! тут обговорюються. Прямо зараз будь-яю пояснення та рекомендован! дiï були б спекулятив-ними, незважаючи на те зростаючий консенсус в один напрямок.
Один з домшуючих вар!анпв припускае, що щ про-блематичш питання виникають через неоптимальнкть у методолопчних i вим!рювальних пщходах дослщни-к1в-психолог1в, що вимагае уточнених визначень i вдо-сконаленого вим1рювання як лопчного ршення. Хоча прагнення до кращих визначень i вим!рювань е потен-цшним поясненням, ми хотши б розглянути альтерна-тивне пояснення того, що психолопчна реальшсть е складною та мшливою. Це може вимагати конструкцш, як! можуть врахувати складтсть i мшливкть, i методо-лог1я для роботи з невизначенктю, яка перевищуе ба-жану. Ось чому перспектива узагальнення корисна. Ми запропонували методолог1ю, пов'язану з щею точкою
зору, у нашш робот! з питаннями, i ми спробували пояс-нити ïх дал! тут, насамперед у роздМ про джерела мш-ливость
Поняття узагальнення може призвести до прийняття випадкового компонента в валщност побудови та до бшьш точних оцшок невизначеность Кшцева мета по-лягае в тому, щоб зробити крашД висновки, як! можна узагальнити, щоб створити бшьш надшну дисциплшу, засновану на добре обгрунтованих теор!ях. Можна вва-жати реплжацш, узагальнення та штеграцш трьома ва-жливими проблемами емшричних дисциплш. Узагаль-нення (розширення та оцшка д!апазону застосовносп) важливше, н1ж реплжащя (бшарний результат вщтво-рення ефекту проти вщтворення), а !нтегращя прагне поеднати окрем! висновки ^зольоваш фрагменти) для формування бшьш завершеного цшого (психологiчноï головоломки) . Тому ми також хочемо нагадати соб! та читачев! про тему, яка обговорювалася наприкшщ на-шого Питання (див. приклад на восковому шар! яблук). Тема, про яку йде мова, — багатомасштабне дослЬ дження для штеграци явищ, що вимагае теоретизу-вання на р!зних масштабних р!внях вщ властивостей з
низькою абстрактнктю до властивостей з високою абстрактнктю, включаючи ï™! зв'язки та процеси, в яких вони присутш залучений.
ють. Однак було б нерозумно закривати двер! перед аль-тернативними пщходами, поки ми не д!знаемося, куди вони можуть нас привести. Нараз! ми не знаемо, чи пси-холопчш конструкти врешп-решт виявляться конструктами, под!бними до температури. Можливо, вони роб-лять, можливо, ш. Нарешп, ми спод!ваемося, що з'являться можливост для подальшого д!алогу тсля того, як коментар! та наш! вщповщ! стануть доступними для спшьноти психолопв. дослщники.
У найближчому чи далекому майбутньому може ви-явитися, що деяю з пщход!в, як! обговорюються в на-шому опитуванш, у коментарях або у наших вщповщях, працюють краще, або що деяк! нов! подходи переважа-
Л!тература
Bhaskar, R., & Danermark, B. (2006). Metatheory, interdisciplinarity and disability research: A critical realist perspective. Scandinavian Journal of Disability Research, 8(4), 278-297. https://doi.org/10.1080/ 15017410600914329
Cronbach, L. J. (1982). In praise of uncertainty. New Directions for Program Evaluation, 1982(15), 49-58. https://doi.org/10.1002/ev.1310
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302. https://doi.org/10.1037/h0040957
Cronbach, L. J., Rajaratnam, N., & Gleser, G. C. (1963). Theory of generalizability: A liberalization of reliability theory. British Journal of Statistical Psychology, 16(2), 137-163. https://doi.org/10.1111/J.2044-8317
Davidse, K., & Olivier, N. (2008). English middles with mental and verbal predicates: Towards a typology. English Text Construction, 1(2), 169197. https://doi.org/10.1075/etc. 1.2.02dav
De Boeck, P., DeKay, M., & Xu, M. (2022). The potential of factor analysis for replication, generalization, and integration. Journal of the American Statistical Association, 117(540), 1622-1626. https://doi. org/10.1080/01621459.2022.2096618
De Boeck, P., & Gore, L. R. (2023). The Janus face of psychometrics. In A. van der Ark, Emmons, W., & Meijer, R. (Eds.), Practical measurement essays on contemporary psychometrics (pp. 31-46). Springer.
De Boeck, P., & Jeon, M. (2018). Perceived crisis and reforms: Issues, explanations, and remedies. Psychological Bulletin, 144(7), 757-777. https://doi.org/10.1037/bul0000154
DeKay, M., Rubinchik, N., Li, Z., & De Boeck, P. (2022). Accelerating psychological science with metastudies: A demonstration using the risky-choice framing effect. Perspectives on Psychological Science, 17(6), 1704-1736. https://doi.org/10.1177/17456916221079611
Dickens, W. T., & Flynn, J. R. (2001). Heritability estimates versus large environmental effects: The IQ paradox resolved. Psychological Review, 108(2), 346-369. https://doi.org/10.1037/0033-295X.108.2346
Flake, J., & Fried, E. I. (2020). Measurement schmeasurement: Questionable measurement practices and how to avoid them. Advances in Methods and Practices in Psychological Science, 3(4), 456-465. https://doi.org/10.1177/2515245920952393
Haig, B. D. (2005). An abductive theory of scientific method. Psychological Methods, 10(4), 371-388. https://doi.org/10.1037/1082- 989X.10.4.371
Halliday, M. A. K. (1967). Notes on transitivity and theme in English. Part 1. Journal of Linguistics, 3(1), 37-81. https://doi.org/10.1017/ S0022226700012949
Haslbeck, J. M. B., Ryan, O., Robinaugh, D. J., Waldorp, L. J., & Borsboom, D. (2022). Modeling psychopathology: From data models to formal theories. Psychological Methods, 27(6), 930-957. https:// doi.org/10.1037/met0000303
International Organization for Standardization (ISO). (2022). ISO 704:2022, Terminology work—Principles and methods (4th ed.). ISO.
Maki, U. (2005). Reglobalizing realism by going local, or (how) should our formulations of scientific realism be informed about science? Erkenntnis, 63(2), 231-251. https://doi.org/10.1007/s10670-005-3227-6
Mari, L., Wilson, M., & Maul, A. (2019). Measurement across the sciences. Springer. https://doi.org/10.1007/978-3-030-65558-7
Markus, K.A., & Borsboom, D. (2013). Frontiers of test validity and theory: Measurement, causality, and meaning. Routledge.
McDonald, R.P. (1999). Test theory: A unified treatment. Lawrence Erlbaum.
McShane, B. B., Bockenholt, U., & Hansen, K. T. (2022). Variation and covariation in large-scale replication projects: An evaluation of replicability. Journal of the American Statistical Association, 117(540), 1605-1621. https://doi.org/10.1080/01621459.2022.2117703
Pek, J., & Park, J. (2019). Complexities in power analysis: Quantifying uncertainties with a Bayesianclassical hybrid approach. Psychological Methods, 24(5), 590-605. https://doi.org/10.1037/met0000208
Pek, J., Pitt, M., & Wegener, D. (2022). Uncertainty limits the use of power analysis. Journal of Experimental Psychology General. https:// doi.org/10.1037/xge0001273
Shrout, P. E., & Rodgers, J. L. (2018). Psychology, science, and knowledge construction: Broadening perspectives from the replication crisis. Annual Review of Psychology, 69(1), 487-510. https://doi.org/10. 1146/annurev-psych-122216-011845
Stanford, P. K. (2003). Pirrhic victories for scientific realism. Journal of Philosophy, 100(11), 553-572.
Wu, H., & Browne, M. W. (2015). Quantifying adventitious error in a covariance structure as a random effect. Psychometrika, 80(3), 571- 600. https://doi.org/10.1007/s11336-015-9451-3
