CC BY
164
ПСИХОЛОГИЯ
УДК 159.9.316+159.9.018
Проблема достоверности результатов социально-психологического исследования
А. Ф. Пантелеев
Пантелеев Александр Федорович, кандидат психологических наук, доцент кафедры психологии личности, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, afp45@mail.ru
Достоверность результатов исследования - одна из актуальных проблем социальной психологии. Более половины результатов при повторении экспериментов с использованием опубликованной методики и материалов не подтверждаются. Среди наиболее известных - проверка «тюремного» эксперимента Зимбардо. Факты недостоверности ставят под сомнение прогностическую функцию науки, создают трудности для практического применения результатов. В статье рассмотрены некоторые источники недостоверности, в том числе проблемы определенности теории, лежащей в основе проведенного исследования, выделения объекта изучения, несоблюдения требований контроля зависимой и независимой переменных эксперимента, предвзятости подтверждения. Влияние сложившихся социальных стереотипов приводит к снижению уровня объективности оценки достоверности исследования при публикации материалов. Возможными источниками недостоверности служат неадекватное применение методов математической статистики при обработке данных, трудность в раскрытии социально-психологических механизмов наблюдаемого явления, проблема соблюдения принципа детерминизма. Акцент на нейрофизиологические аргументы нередко дает неоправданные преимущества материалистическому детерминизму в ущерб психологическому и логическому. Некоторые из положений иллюстрированы ссылками на конкретные исследования, в которых вероятно снижение достоверности.
Ключевые слова: социальная психология, достоверность исследования, объект исследования, психологический детерминизм.
Р01: https://d0i.0rg/10.18500/1819-7671 -2019-19-2-176-182
Проблема достоверности результатов социально-психологических исследований в последние десятилетия приобрела особую актуальность. Это связано как с существенным ростом количества научных публикаций по данному разделу психологической науки, так и с требованиями, которые предъявляются практикой к полученным данным. Развитие цивилизации проходит период, когда истощение ресурсов, климатические изменения, рост народонаселения и ряд других вызовов, с которыми столкнулось человечество, стимулируют поиск новых резервов, в частности, совершенствование управления и учет тесно связанного с ним фактора социального взаимодействия в его различных формах (политической, социальной, практической и других). Совершенствование невозможно без опоры на знание закономерностей межличностного взаимодействия, это позволяет уверенно его проектировать и прогнозировать результаты. Научное исследование предназначено для достижения именно таких целей.
Одним из ключевых требований к качеству научного исследования в любой науке, в том числе и в психологии, является воспро-
изводимость его результатов. Невоспроизводимые результаты недостоверны. Эта проблема в течение многих лет была и остается темой для обсуждения, особенно среди вычислительных ученых, то есть тех, научная ориентация которых так или иначе связана с применением строгих математических методов при обработке данных и моделировании психологических процессов с применением достижений математики. Известно, что любое исследование воспроизводимо, если существует определенный набор вычислительных функций (методов) анализа, которые точно воспроизводят все числовые данные, опубликованные в статье с ориентацией на необработанные результаты (так называемый «сырой» материал). То, что исследование повторяется, не означает, что оно воспроизводимо. Оно может быть охарактеризовано как воспроизводимое только в том случае, если выполняется этот же эксперимент (по крайней мере) дважды, собираются данные, проводится такой же, как и в оригинале, анализ данных, обработка которых приводит к тем же выводам. Поскольку для проверки воспроизводимости необходимо выполнить точно такой же эксперимент и собрать данные заново, постольку по известным причинам сам факт повторения вводит новые потенциальные источники ошибок (новые экспериментаторы, материалы, лаборатория, новое мышление, различные настройки на оборудовании и т. д.). Тем не менее воспроизводимости в современной психологии уделяется все большее внимание, в том числе и в связи с повторением некоторых резонансных исследований, которые в свое время не были реплицированы. В частности, оказалось, что плохо реплицируется тюремный эксперимент Зимбардо. В аналогичных исследованиях Райхери и Хазлама, Блюма и его участники, исполнявшие роли охранников, экспериментаторы не стимулировались относительно характера наказаний и жесткости поведения в отношении испытуемых, исполнявших роли заключенных, в связи с чем жестокости и садистских наклонностей в поведении «охранявших» выявлено не было [1, 2].
Б. Ноузек и др. из Center for Open Science в рамках «Проекта по изучению воспроизводимости научных работ: Психология» попытались повторить ряд психологических исследований. Внимание ученых привлекли эксперименты, направленные на раскрытие причинно-следственной связи, обусловленные выделением независимой переменной. Были проанализированы результаты повторения 100 экспериментов, описанных в статьях, опубликованных в трех наиболее цитируемых психологических журналах.
Оказалось, что репликация наблюдалась от одной трети до половины первоначальных результатов. В ходе проверки применялись исходные авторские разработки и материалы оригиналов. 97% повторяемых экспериментов содержали указание на статистическую значимость результатов. После повторных исследований было установлено, что только 36% из них имели статистически значимые результаты вопреки заявленным в статьях 97%, то есть при повторении экспериментов результаты были сходными с опубликованными только в чуть более трети случаев. Как отмечают авторы исследования, предполагалось, что невоспроизводимыми могут быть результаты около 80% всех психологических исследований, поскольку проверяемые данные были взяты из наиболее авторитетных журналов [3].
Попытаемся обозначить некоторые из возможных источников недостоверности результатов социально-психологических исследований. Специфика экспериментального социально-психологического исследования состоит в том, что существуют определенные трудности при соблюдении предъявляемых к эксперименту как методу научного исследования требований, в частности контроля зависимой и независимой переменных. В отличие от когнитивных исследований контролировать переменные при социально-психологическом экспериментировании труднее в силу скрытого характера их связи с целью и объектом исследования. Довольно часто такая связь носит конвенциональный характер, обусловленный научными традициями, стереотипами исследований.
Одним из существенных препятствий на пути строгого исследования и интерпретации результатов экспериментирования является предвзятость подтверждения (confirmation bias), ориентирование исследователя на доказательство собственной позиции, гипотезы. Предвзятость является когнитивным искажением и включает в себя три основных механизма. К первому из них следует отнести тенденциозный поиск информации, который связан с учетом фактов, подтверждающих исходный замысел исследователя. И. В.Гете в «Фаусте» это представил следующим образом: «...Узнал ученого ответ/ что не про нас, того и нет/ что не попало в наши руки/противно истинам науки» (перевод Б. Пастернака). Второй психологический механизм тенденциозности подтверждения - предвзятая интерпретация. Известен эффект Барнума, который иллюстрирует предвзятость как свойство психики человека. Практически каждую результативную сторону происходящего можно интерпретировать по-разному, особенно если существующее по этому
поводу мнение носит ригидный характер. Специфика подобной интерпретации заключается в ее относительной независимости от самой информации. Психологическим подтверждением этому служат, например, закономерности распространения слухов и сплетен. Третий аспект - предвзятость памяти: люди, стремящиеся доказать собственную точку зрения, будут вспоминать и использовать доказательства в свою пользу. В качестве примера можно привести исследование Снайдера и Кэнтор [4]. Было проведено три эксперимента по изучению использования исторических знаний для проверки гипотез о личностных качествах других людей. В первом и втором экспериментах участники читали отчет о событиях одной недели жизни женщины. Два дня спустя они использовали эту же информацию, чтобы проверить гипотезы о пригодности женщины для одной из двух работ: либо требующих проявлений экстраверсии работы продавца недвижимости, либо интроверсии - работы научного библиотекаря. При проверке гипотез участники эксперимента вначале сообщали обо всех ранее полученных данных, которые, по их мнению, имеют отношение к оценке пригодности женщины для рассматриваемой работы, а затем сообщали о своих оценках пригодности ее для данной работы. В ходе высказываний сообщались как подтверждающие, так и опровергающие гипотезы о пригодности, причем подтверждающих гипотезу аргументов было больше, чем опровергающих. Проверив гипотезы о пригодности для одной работы, участники решили, что она больше подходит для этой работы, чем для другой. Далее участники эксперимента сформулировали гипотезы для оценки пригодности к работе и определили порядок их проверки. Выявлено, что построение гипотез происходило с ориентацией на те стороны фактического материала, наличие которых подтвердило бы сформулированные ими же гипотезы. Проверка гипотез преимущественно сводилась к тенденциозному сбору доказательств.
Бейлом и др. [5] был проведен эксперимент, цель которого состояла в выявлении воздействия характера получаемой информации на политические взгляды. В ходе исследования сторонникам двух основных политических партий - республиканцев и демократов - давалась информация, в том числе и негативного содержания, о деятельности партий. Установлено, что информация о работе оппозиционной партии парадоксально влияет на политические взгляды сторонников: изначальные убеждения не становятся более слабыми, а усиливаются. Следует отметить, что среди республиканцев этот эффект носил более выраженный характер, чем среди демократов.
Предвзятая оценка качества исследований подтверждена Линдси, Богоссяном и Плакроуз [6], которые в течение года проводили социальный эксперимент: намеренно писали откровенно абсурдные научные статьи в различных областях социальных наук, чтобы доказать, что идеология существенно влияет на оценку научной ценности труда. Работы писались под вымышленными именами, проходили проверку и печатались в рецензируемых научных журналах. Всего было опубликовано или принято к печати 20 статей, в которых предлагалась какая-либо теория, осуждающая тот или иной «социальный конструкт» (например, гендерные роли). Тексты писались так, чтобы у читателя (и рецензента) возникли сомнения в качестве исследования. Как отмечают организаторы эксперимента, авторы подобных работ оказывали давление на других, принуждая поддерживать их взгляды, так как «человек, который ставит под вопрос любые исследования в области идентичности, привилегий и угнетения, рискует быть обвиненным в узколобости и предубежденности» [6].
Причина недостоверности может заключаться в применяемых при статистической обработке данных методах. К данной группе факторов недостоверности относятся проблемы применения параметрической статистики взамен непараметрической, претензии к факторному и кластерному анализам. В. Джонсон предположил, что возможная причина недостаточной воспроизводимости научных исследований состоит в проведении проверок на статистическую значимость при неоправданно высоком ее уровне. По оценкам В. Джонсона, до четверти работ по психологии, использовавших самый распространенный критерий достоверности (Р), могут содержать ложные выводы. Наиболее часто при статистической обработке результатов исследования реализуется либо вероятностный, либо байесовский подход, но стандартного способа сопоставить их результаты до сих пор нет. Оба названных подхода к проверке гипотез часто приводят к результатам, которые кажутся несовместимыми. В. Джонсон причину этого видит в том, что обе парадигмы проверки гипотез основаны на вычислении различных вероятностей: Р-значения и критерия значимости, то есть на вычислении вероятности наблюдения статистики более экстремальной, чем фактически наблюдаемая тестовая статистика, тогда как байесовские факторы представляют относительную вероятность, приписываемую наблюдаемым данным по каждой из конкурирующих гипотез. Байесовское сравнение более естественно, поскольку оно напрямую связано
с апостериорной вероятностью того, что каждая гипотеза верна. Однако определение фактора Байеса требует уточнения как нулевой гипотезы, так и альтернативной. Во многих случаях отсутствует объективный механизм определения альтернативной гипотезы, а включается элемент субъективности. Последнее ограничивает применение байесовского подхода к статистической обработке результатов, несмотря на его содержательные преимущества [7].
Важным фактором воспроизводимости результатов является качество теории, на основе которой проводится социально-психологическое исследование. Назовем некоторые направления разработки метатеорий. Согласно теориям научного реализма продуктом исследования является знание феноменов, не зависимых от разума, причем такое знание возможно и в тех случаях, когда соответствующие явления не наблюдаются [8]. Такие теории связаны с доверием к тому, что ненаблюдаемые аспекты действительно существуют и теория позволяет предсказать их реальность.
Напротив, в соответствии с теорией конструктивного эмпиризма [9] научные теории должны быть эмпирически адекватными и верными, если все, что они позволяют раскрыть в изучаемом, согласуется с эмпирическими наблюдениями.
Независимо от подхода к построению метатеории одним из основных аспектов доверия к исследованию является ответ на вопрос о механизмах исследуемого социально-психологического явления. Именно понимание механизма превращает скрытое от наблюдения в открытое, доступное для понимания. Согласно Мэкемеру [10] для того чтобы научное объяснение считалось удовлетворительным, необходимо описать механизм, то есть длящийся процесс, и отразить регулярные изменения в изучаемом явлении при возникновении соответствующих условий. Признак регулярности означает сходство непрерывного функционирования в одних и тех же условиях. Следует заметить, что регулярность по отношению к описанию механизмов социально-психологических явлений относительна. Причиной этого служит множественность влияющих на ход процесса факторов. Анализ показал, что полное описание психологических механизмов социально-психологических явлений чаще всего отсутствует в отчетах о проведенных экспериментах, что снижает уровень доверия к достоверности исследования.
Один из ведущих принципов психологии - принцип причинной обусловленности психических явлений, принцип детерминизма.
С. Хокинг назвал научный детерминизм базовой предпосылкой науки. Достоверность социально-психологического исследования возрастает, если его автор раскрывает детерминирующие факторы и указывает на них.
Существуют различные виды детерминизма, которые находят отражение в интерпретации полученных при исследовании данных. С. А. Левицкий выделяет несколько видов детерминизма [11]. К первому из них он относит материалистический детерминизм, согласно логике которого психические процессы должны считаться исключительным следствием материальных процессов. Следует заметить, что проявления этого вида детерминизма при интерпретации данных экспериментов в имплицитном или эксплицитном виде особенно заметны в последние десятилетия. Стимулом к этому послужила разработка новейших методов исследования материального субстрата психики - головного мозга и более совершенных инструментальных методов психофизиологии.
Применение ФМРТ, ПЭТ, других видов регистрации нейронной активности, высокий уровень детализации нейрокартирования, совместная работа психологов и специалистов в нейрофизиологии, медицине, нейрокибернетике и других областях научного знания, исследующих работу головного мозга, предоставили широкие возможности для раскрытия механизмов психических явлений. Строго говоря, материалистический детерминизм исключает психологические причины наблюдаемых процессов. В современной науке, по мнению С. А. Левицкого, наибольшее распространение получила форма эффективного материализма, согласно которому «...психика есть пассивное следствие материальных процессов, причем процессов "высокоорганизованной" материи» [11, с. 22]. Необходимо заметить, что согласно многочисленным экспериментам с не-инвазивным и инвазивным воздействиями на головной мозг нейрофизиологические процессы оказывают существенное влияние на психику, однако трудно назвать их окончательно определяющими происходящее в психике. Подтверждением этому могут, например, служить факты саморазрушающего поведения. Другим видом детерминизма по С. А. Левицкому является психический детерминизм, связанный с мотивацион-ной сферой субъекта (воля определяется мотивами). По утверждению К. Жоэля, воли без мотивов не существует, не существует свободной воли, именно в этом заключается детерминизм [12]. Проявление психологического детерминизма при проведении исследования может заключаться, например, в определении характера мотивации к участию в эксперименте. Есть различие в моти-
вации в результате согласия на основе интереса, в той ли иной мере вынужденного согласия и согласия на участие за плату. Можно утверждать, что полученные в результате эксперимента данные в каждом из названных случаев не сравнимы, поскольку различен характер психологического детерминизма. Особенно ярко это проявляется в отношении участия за плату, мотивация в этом случае связана с ограничением решаемой задачи, стимулирование имеет либо целиком внешний, либо смешанный характер.
В последнее время стало распространенным проведение онлайн-исследований в сети Интернет. Это позволяет сравнительно быстро набрать значительный по объему статистический материал, однако лишает исследователя возможности наблюдения, раскрытия личностных мо-тивационных факторов, «усредняет» материал, обезличивает его.
Еще одним из выделенных С. А. Левицким видов детерминизма является логический. Известно утверждение Э. Гуссерля, согласно которому законы логики универсальны и действительны для всех, людей, зверей, богов. Одной из логических проблем в данном случае является выделение предмета и объекта исследования. Определение границ предметной области и, главное, объекта исследования позволяет локализовать исследование в пределах научного знания и, что важно для достоверности результата, создать необходимые условия для сравнения данного исследования с аналогичным или реплицирующим его.
Предметная область науки носит интегральный характер и иерархизирована, поэтому выделение предмета исследования предполагает конкретизацию предметной области в связи с целью и задачами. Автор исследования в социальной психологии сталкивается с объектами разного уровня и необходимостью отграничения именно того объекта исследования, который и послужит основой для построения дизайна эксперимента. А. И. Ракитов [13] при анализе объективного предмета знания разграничил объективный предмет знания и объект орудийно-предметной деятельности. Для выделения объективного предмета знания необходимы его фиксация в знаковой форме, а также указание на состав действий по его выделению (у А. И. Ракитова - операции) из объекта предыдущего уровня. Соблюдение первого из требований связано с терминологической точностью применяемого автором понятийного аппарата, второго - с установлением связи цели исследования и его объекта.
Попытаемся проиллюстрировать сказанное выше. Гейб и др. [14] обозначили в качестве
объекта исследования эффект плацебо, который изначально проявляется по отношению к больным, переживающим или в недавнем прошлом страдавшим по причине болезни. Эффект плацебо органически связан с внутренней картиной болезни. Согласно методике эксперимента Гейба и др. испытуемые следили за движущимися зелеными точками на экране монитора. Ранее им говорили, что наблюдаемое способствует снижению эмоциональной напряженности, что и контролировалось как зависимая переменная эксперимента. В качестве испытуемых привлекались здоровые люди, не принимавшие лекарств длительное время. Принятые авторами меры по дистанцированию от болезненного состояния фактически означают изменение объекта исследования в сравнении с заявленным: понятие «плацебо» лишь условно применимо в данном случае и моделирование ситуации болезни, если оно и проведено, то без учета соответствующего цели исследования модельного отношения. На наш взгляд, в данном случае логичной была бы связь объекта исследования с внушаемостью как социально-психологической характеристикой личности, тем более что авторами выявлено следующее: при доброжелательном отношении экспериментатора к испытуемым эмоциональное напряжение действительно снижалось, при отсутствии такового напряжение оставалось прежним.
В качестве еще одного примера исследования, приводящего к снижению достоверности результатов, можно привести эксперименты Бау-са и др. [15], относящиеся к области социальной перцепции. Одной из целей исследования послужило выявление взаимосвязи акустических свойств высказывания и возникших лично стных впечатлений о говорившем. Испытуемые оценивали личность говорящего по параметрам агрессивности, привлекательности, компетентности, уверенности, влиятельности, дружелюбности, надежности и сердечности, анализировались и акустические характеристики стимула. С целью статистического анализа использовался метод главных компонент. Было установлено, что дружелюбность и влиятельность можно определить по одному сказанному слову, акустические характеристики голоса играют существенную роль при формировании социальных впечатлений. Как отметили авторы исследования, полученные результаты свидетельствуют о том, что социальное восприятие голоса содержит определенные элементы, инвариантные между культурами (языками), в то время как другие модулируются культурным (языковым) фоном
слушателя. Если учесть заявленную цель, то авторов интересовали личностные впечатления, сложившиеся на основе восприятия одного звучавшего слова. Известно, что личностные впечатления как результат социальной перцепции носит индивидуальный характер. В то же время испытуемым авторы исследования для оценки впечатления предлагали одинаковый для всех перечень свойств личности, ее модель, сформированную на основе «большой пятерки». Полученные выводы касаются не столько личностных впечатлений, сколько возможностей избранной модели личности. Нам не удалось найти в статье данных о соответствии возникшего у испытуемых впечатления реальным характеристиками говорившего, а также данных о мотивации испытуемых, конкретной теории личности, послужившей основой для оценки индивидуальных впечатлений.
Приведенные материалы указывают на сложность решения проблемы повышения достоверности результатов социально-психологического исследования и в то же время указывают на возможную перспективу в решении этой задачи.
Список литературы
1. Reicher St., Haslam S. A. Rethinking the psychology of tyranny : The BBC prison study // British Journal of Social Psychology. 2006. Vol. 45. P. 1-40.
2. Blum B. The most famous psychology study of all time was a sham. Why can't we escape the Stanford Prison Experiment? URL: https://medium.com/s/trustissues/ the-lifespan-of-a-lie-d869212b1f62 (дата обращения: 25.11.2018).
3. Estimating the reproducibility of psychological science Open Science Collaboration // Science. 2015. Vol. 349, iss. 6251. DOI: 10.1126/science.aac4716
4. Snyder M., Cantor N. Testing hypotheses about other people : The use of historical knowledge // Journal of Experimental Social Psychology. 1979. Vol. 15, iss. 4. P. 330-342.
5. Bail Ch., Argyle L., Brown T., Bumpus J., Chen H., Hunzaker M. B., Lee J., Mann M., Merhout F., Volfov-skyA. Exposure to Opposing Views can Increase Political Polarization : Evidence from a Large-Scale Field Experiment on Social Media. URL: https://osf.io/preprints/ socarxiv/4ygux/2018 (дата обращения: 25.11.2018).
6. Academic Grievance Studies and the Corruption of Scholarship. URL: https://areomagazine.com/2018/10/02/ academic-grievance-studies-and-the-corruption-of-cholarship; https://www.bbc.com/russian/features-45751968 (дата обращения: 25.11.2018).
7. Johnson Valen E. Revised standards for statistical evidence // Proceedings of the National Academy of Sciences. 2013. Vol. 110, № 48. P. 19313-19317.
8. Kitcher. P., Salmon. W. Scientific explanation. Minneapolis : University of Minnesota Press, 1989. 543 р.
9. Fraassen van B. С. The Scientific Image. N.Y. : Oxford University Press, 1980. 248 р.
10. Machamer P., Darden. L., Craver. C. Thinking about mechanisms // Philosophy of Science. 2000. Vol. 67. P. 1-25.
11. Левицкий С. А. Трагедия свободы. М., 1995. 512 с.
12. JoëlK. Der freie Wille : eine Entwicklung in Gesprächen. 1908, München : Bruckmann, 756 p.
13. РакитовА. И. Курс лекций по логике науки. М., 1971. 176 с.
14. Gaab J., Kossowsky J., Ehlert Ul., Locher C. Effects and Components of Placebos with a Psychological Treatment Rationale - Three Randomized-Controlled Studies // Scientific Reports. 2019. Vol. 9. URL: https:// doi.org/10.1038/s41598-018-37945-1 (дата обращения: 25.11.2018).
15. Baus Cr., McAleer Ph., Marcoux K., Belin P., Costa A. Forming social impressions from voices in native and foreign languages // Scientific Reports. 2019. Vol. 9. Article number: 414. URL: https://doi.org/10.1038/ s41598-018-36518-6 (дата обращения: 25.11.2018).
Образец для цитирования:
Пантелеев А. Ф. Проблема достоверности результатов социально-психологического исследования // Изв. Сарат. ун-та. Нов. сер. Сер. Философия. Психология. Педагогика. 2019. Т. 19, вып. 2. С. 176-182. Б01: https://doi.org/10.18500/1819-7671-2019-19-2-176-182
The Significance Problem of Social-Psychological Research Results
A. F. Panteleev
Alexander F. Panteleev, https://orcid.org/0000-0003-4357-4998, Saratov State University, 83 Astrakhanskaya St., Saratov 410012, Russia, afp45@mail.ru
One of the topical problems of social psychology is the significance of the research results. After experiments are retried using published techniques, more than a half of these experiments have no confirmation. The verification of the Zimbardo "prison" experiment
is one of the most famous examples. Flimsy evidence calls into doubt the predictive function of science and creates difficulties for the practical application of results. The article discusses some sources of flimsy evidence, such as problems of certainty of the theory underlying the study, selection of the object of the study, non-compliance with the experiment, confirmation bias. The influence of the social set patterns leads to a decrease in the level of objectivity of the reliability of study significance when materials are published. A possible source of uncertainty is the inadequate use of mathematical statistics during research data processing. The difficulties of disclosing the social-psychological research of the phenomenon under consideration reduce the accuracy. Another aspect is the problem of the principle of determinism observance.
The emphasis on neurophysiological arguments often provides unjustified advantages to materialistic determinism over psychological and logical ones. Some of the aspects are illustrated with references to specific studies in which a decrease in confidence may occur. Keywords: social psychology, significance of research, subject of inquiry, psychological determinism.
References
1. Reicher St., Haslam S. A. Rethinking the psychology of tyranny: The BBC prison study. British Journal of Social Psychology, 2006, vol. 45, pp. 1-40.
2. Blum B. The most famous psychology study of all time was a sham. Why can't we escape the Stanford Prison Experiment? Available at: https://medium.com/s/trustis-sues/the-lifespan-of-a-lie-d869212b1f62 (accessed 25 November 2018).
3. Estimating the reproducibility of psychological science Open Science Collaboration. Science, 2015, vol. 349, iss. 6251. DOI: 10.1126/science.aac4716
4. Snyder M., Cantor N. Testing hypotheses about other people: The use of historical knowledge. Journal of Experimental Social Psychology, 1979, vol. 15, iss. 4, рp. 330-342.
5. Bail Ch., Argyle L., Brown T., Bumpus J., Chen H., Hun-zaker M.B., Lee J., Mann M., Merhout F., Volfovsky A. Exposure to Opposing Views can Increase Political Polarization: Evidence from a Large-Scale Field Experiment on Social Media. Available at: https://osf.io/preprints/ socarxiv/4ygux/2018 (accessed 25 November 2018).
6. Academic Grievance Studies and the Corruption of Scholarship. Available at: https://areomagazine.
com/2018/10/02/academic-grievance-studies-and-the-corruption-of-scholarship; https://www.bbc.com/ russian/features-45751968 (accessed 25 November 2018).
7. Johnson Valen E. Revised standards for statistical evidence. Proceedings of the National Academy of Sciences, 2013, vol. 110, no. 48, pp. 19313-19317.
8. Kitcher P., Salmon W. Scientific explanation. Minneapolis, University of Minnesota Press, 1989. 543 рр.
9. Fraassen van B. C The Scientific Image. New York, Oxford University Press, 1980. 248 р.
10. Machamer P., Darden L., Craver C. Thinking about mechanisms. Philosophy of Science, 2000, vol. 67, pp. 1-25.
11. Leviczkij S. A. Tragediya svobody [Tragedy of Freedom]. Moscow, 1995. 512 р. (in Russian).
12. Joel K. Der freie Wille: eine Entwicklung in Gesprächen. München, Bruckmann, 1908. 756 S.
13. Rakitov A. I. Kurs lekcij po logike nauki [A course of lectures on the logic of science]. Moscow, 1971. 176 p. (in Russian).
14. Gaab J., Kossowsky J., Ehlert Ul., Locher C., Effects and Components of Placebos with a Psychological Treatment Rationale - Three Randomized-Controlled Studies. Scientific Reports, 2019, vol. 9. Available at: https://doi.org/10.1038/s41598-018-37945-1 (accessed 25 November 2018).
15. Baus Cr., McAleer Ph., Marcoux K., Belin P., Costa A. Forming social impressions from voices in native and foreign languages. Scientific Reports, 2019, vol. 9, article no. 414. Available at: https://doi.org/10.1038/s41598-018-36518-6 (accessed 25 November 2018).
Cite this article as:
Panteleev A. F. The Significance Problem of Social-Psychological Research Results. Izv. Saratov Univ. (N. S.), Ser. Philosophy. Psychology. Pedagogy, 2019, vol. 19, iss. 2, pp. 176-182. DOI: https://doi.org/10.18500/1819-7671-2019-19-2-176-182
