CC BY-NC-ND
126
Д. Е. Серебренников, Ю. В. Кузьмина
Полевые эксперименты и модель причинно-следственного вывода Дональда Рубина: обзор
iii
актуальных исследовании
СЕРЕБРЕННИКОВ Дмитрий
Евгеньевич — магистр социологии, младший научный сотрудник Института проблем правоприменения при Европейском университете в Санкт-Петербурге. Адрес: Россия, 191187, Санкт-Петербург, ул. Гагаринская, д. 6/1, литера А.
Email: serebrennikov. dmtr@eu.spb.ru
Различные виды экспериментов всё чаще используются в социальных науках для получения причинно-следственного вывода. Среди разновидностей этого метода особенно можно выделить полевые эксперименты. Взрывной рост их числа наблюдается в последние годы, прежде всего в экономике и политической науке. Постепенно полевые эксперименты начинают распространяться и в других дисциплинах. Одна из важнейших причин этого — популяризация так называемой модели причинно-следственного вывода Дональда Рубина, которая позволяет связать экспериментальные методы со статистикой и прочими математическими методами. В русскоязычном академическом поле можно наблюдать некоторый недостаток текстов, описывающих, как полевые эксперименты связаны с этой моделью в причинно-следственном выводе, в то время как подобный исследовательский дизайн позволяет сфокусироваться именно на поиске причинности различных социальных феноменов. В этой статье представлен критический обзор как концептуальной модели причинного-следственного вывода, так и существующих исследований, выполненных в дизайне полевых экспериментов именно в модели Рубина. Первая часть работы охватывает основные парадигмы причинно-следственного вывода и показывает, как из одной из них (подход потенциальных исходов и контрфактуального вывода) логически возникает модель Рубина. Далее описываются основные вехи истории проведения полевых экспериментов до модели Рубина. После этого приводится описание модели и сегодняшних дебатов о достоинствах, недостатках и особенностях дизайна полевого эксперимента. В завершение на нескольких примерах мы разбираем ряд известных полевых экспериментов для иллюстрации работы описываемого метода.
Ключевые слова: причинно-следственный вывод; парадигма возможных исходов; Дональд Рубин; эксперимент; полевой эксперимент; причинность.
1 Этой статьи не было бы без курса Бориса Соколова по статистическому причинно-следственному выводу, прочитанного в Европейском университете в Санкт-Петербурге. Мы также благодарны Б. Соколову за ценные комментарии. Кроме того, мы хотим выразить благодарность Михаилу Соколову за его лекции по каузальности в социальной теории, Надежде Соколовой за продуктивные обсуждения и анонимному рецензенту, чьи замечания помогли нам переработать текст в лучшую сторону.
КУЗЬМИНА Юлия Викторовна —
магистр социологии, аспирантка факультета политических наук, Европейский университет в Санкт-Петербурге. Адрес: Россия, 191187, Санкт-Петербург, ул. Гагаринская, д. 6/1, литера А.
Email: ykuzmina@ eu.spb.ru
Введение
В 2019 г. Нобелевская премия по экономике2 была присуждена Абхиджи-ту Банерджи, Эстер Дюфло и Майклу Кремеру, трём исследователям из Гарвардского университета и Массачусетского технологического института, за «экспериментальный подход к борьбе с глобальной бедностью»3. Эту награду можно рассматривать как институциональное признание экспериментального метода в качестве одного из важнейших способов установления причинно-следственных связей в экономической науке, где он начал бурно развиваться в 1990-х гг. после ряда известных работ, использующих данный подход.
При этом сами полевые эксперименты в практической плоскости проводятся с 1920-х гг., а эксперименты в социальных науках появляются ещё во второй половине XIX века. Психологами и социальными психологами также была детально разработаны методология проведения экспериментов и различные экспериментальные планы [Кэмпбелл 1980]. Чем можно объяснить всплеск популярности такого типа анализа именно в последние десятилетия?
Несмотря на разработанный инструментарий, до начала 1970-х гг. в теории проведения эксперимента не было общепризнанной рамки, которая могла бы связать результаты со статистикой и остальными математизированными областями знания. Такой связкой стала так называемая модель Дональда Рубина [Holland 1986], или, как её ещё называют, модель Неймана—Рубина [Sekhon 2008]), разработанная на основании парадигмы потенциальных исходов. Изначально появившись в области статистики и эпидемиологии, модель установления причинно-следственной связи между явлениями быстро стала распространяться в экономике, а затем в политической науке и социологии [Winship, Morgan 1999: 659].
На русском языке уже представлено несколько обзорных работ, посвя-щённых использованию экспериментального метода в социологии [Де-вятко 2009; Малошонок, Девятко 2013]. Однако в русскоязычной научной литературе существует недостаток обзорных текстов о том, как полевые эксперименты связаны с моделью потенциальных исходов в причинно-следственном выводе. Иллюстрации этой связи и посвящена данная статья.
Изначально Д. Рубин понимал под экспериментом исследование с равновероятным, то есть рандомизированным, разбиением испытуемых на две (или более) группы, на одну из которых оказывается воздействие определённого фактора, а на другую — нет [Rubin 1974: 689]. К настоящему времени существует более подробное определение, при котором так называемый рандо-мизированный4 контролируемый эксперимент (РКЭ) является синонимом эксперимента вообще [Imbens, Rubin 2015: 40-50]. РКЭ — это механизм
Её официальное название — Премия Шведского государственного банка по экономическим наукам памяти Альфреда Нобеля.
Press Release: The Prize in Economic Sciences 2019. NobelPrize.org. Nobel Prize Outreach. Mon. (см.: https://www.nobelprize.org/prizes/economic-sciences/2019/press-release/).
В дальнейшем при переводе терминов на русский язык будут использоваться общепринятые понятия. Но если конвенциональная традиция перевода для каких-то терминов
2
3
случайного индивидуализированного назначения воздействия на испытуемого, который является вероятностным и контролируется исследователем. РКЭ проводится для подтверждения или опровержения какой-либо каузальной гипотезы [Hernán, Robins 2019: 13].
В социальных науках исторически существуют два вида экспериментов — лабораторные и полевые. Лабораторный (или истинный) эксперимент нацелен на проверку теоретической каузальной гипотезы и осуществляется в условиях максимального контроля над уровнем воздействия независимой переменной и очищения этого воздействия от посторонних влияний, оказываемых внешними переменными. Полевой эксперимент проводится не в лабораторных, а в естественных условиях [Девятко 2009], для него характерен более слабый контроль внешних условий со стороны испытателя. Таким образом, эффект воздействия на интересующий экспериментатора объект будет оцениваться в привычной для испытуемого среде [Wood 2007].
Стоит все же сказать, что граница между полевыми и лабораторными экспериментами далеко не всегда бывает чёткой. К примеру, в опросном эксперименте, при котором измеряется то, как формулировка вопроса и его контекст влияют на ответ, дизайн исследования, в сущности, можно назвать лабораторным экспериментом. Точно так же как проведение исследования с дизайном лабораторного эксперимента над школьниками не в лаборатории, а в настоящей школе даёт нам повод сказать, что на самом деле это полевой эксперимент [Gerber, Green 2012].
В дальнейшем речь будет идти только о полевом эксперименте. Согласно исследованию Делья Баль-дассарри и Марии Абскаль, в настоящее время полевые эксперименты становятся крайне распространёнными в экономической науке (см. рис. 1). Так, количество статей с использованием этого метода в «Quarterly Journal of Economics», одном из ведущих экономических журналов, достигает почти 14%. Подъём интереса к этому подходу наблюдается и в русскоязычном академическом поле в работах представителей экономической науки, где чаще всего он используется в контексте изучения бедности [Воробьёв, Кравченко, Майборода 2019; Ениколопов 2020].
* journal /qje
- aer .
- ч/ ajps /apsr .
- / /7 ajs -asr
- ^ ^ S У
1990 1995 2000 2005 2010 2015
Источник: [Baldassarri, Abascal 2017: 45].
Условные обозначения: AER — American Economic Review; AJPS — American Journal of Political Science; APSR — American Political Science Review; AJS—American Journal of Sociology; ASR—American Sociological Review; QJE — Quarterly Journal of Economics.
Рис. 1. Частота опубликованных статей, использующих метод полевого эксперимента
не сложилась, авторы будут давать перевод с опорой на существующие русскоязычные источники [Петухов 2005] и приводить изначальные понятия на языках оригинала в скобках.
Полевые эксперименты набирают популярность и в других областях знания. В политической науке количество статей с этим методом в двух ведущих журналах дисциплины — «American Journal of Political Science» и «American Political Science Review» — приближается к 5%. Чуть менее они популярны в социологии: в двух самых известных журналах этой науки — «American Journal of Sociology» и «American Sociological Review» — в последние годы они представлены в 1-2% статей. Однако сам тренд на всё большее использование экспериментов виден и здесь, особенно в «American Journal of Sociology» [Baldassarri, Abascal 2017]. В российском социологическом поле также существуют некоторые обзорные тексты по использованию экспериментов в той или иной области исследований (см., например: [Малошонок, Девятко 2013; Белянин et al. 2014]). В случае социологии сторонники экспериментального метода настаивают, что одна из важнейших проблем дисциплины в том, что авторы скрупулёзных описательных исследований зачастую делают причинно-следственные выводы, однако для выведения причинности событий нужны другие техники (и эксперимент — одна из самых популярных из них). Эксперимент позволяет сделать социологические исследования более ориентированными на поиск причинности [Barringer, Eliason, Leahey 2013].
Важно отметить, что настоящий обзор рассматривает сильные и слабые места, а также последние достижения метода полевого эксперимента применительно к модели Рубина и парадигме потенциальных исходов. Заинтересованным в методологии проведения полевых экспериментов мы предлагаем обратиться к учебнику Дональда Кэмпбэлла [Кэмпбэлл 1980], а тем, кто желает ближе ознакомиться с парадигмой потенциальных исходов, — к труду Гуидо Имбенса и Дональда Рубина [Imbens, Rubin 2015].
Теоретизирование в логике потенциальных исходов и экспериментального подхода невозможно без понимания специфического типа причинно-следственного вывода, который стоит за этой концепцией. Этому будет посвящена первая часть статьи. Далее мы кратко опишем основные вехи истории проведения полевых экспериментов до появления модели Рубина. После этого проведём описание модели Рубина и сегодняшних дебатов о достоинствах, недостатках и особенностях дизайна полевого эксперимента.
В завершение проиллюстрируем работу метода на ряде примеров и остановимся на работе Дэвида Брукмана и Джошуа Калла в журнале «Science» об изменении отношения к трансгендерным персонам [Broockman, Kalla 2016]. Двумя годами раньше статья на ту же тему и в том же журнале была опубликована Мишелем Лакуром и Дональдом Грином [LaCour, Green 2014]. Её авторы пытались оценить эффект агитационного разговора, оказываемый на формирование отношения к закону о легализации однополых браков избирателем в зависимости от гендерной идентификации агитатора. Лакур и Грин пришли к выводу о крайне высокой эффективности такой агитации, пусть и по-разному сохраняющей своё воздействие в зависимости от даты разговора и гендера агитатора. Однако Гэрри Макги убедительно показал, как тактика разговора агитатора с респондентом оказывалась успешной только в случае активной рекламной кампании и привлечения к ней телевизионных звёзд, о чём умолчали авторы эксперимента [McGee 2015]. Последовали и другие работы, критикующие Лакура и Грина [Broockman, Kalla, Aronow 2015]. Статья Лакура и Грина была отозвана из журнала, а сами исследования такого рода стали восприниматься с долей скепсиса. Брукман и Калла стремились провести «идеальный» полевой эксперимент с учётом всех правил и контролей, чтобы восстановить изрядно подпорченную репутацию подобных работ.
Специфика причинности в экспериментальном методе и парадигма потенциальных исходов
Вслед за Сандрой Баррингер и её соавторами [Barringer Barringer, Eliason, Leahey 2013] мы можем объединить все способы причинно-следственного вывода в три большие традиции5:
5 В социологии также существует богатая традиция изучения причинности как социального явления, которое само должно быть объяснено; см., например: [Rawls 1996].
— теория регулярной причинности (constant conjunction and regularity accounts);
— техника корреляционного вывода и анализа пути (correlational and path analytic techniques);
— парадигма потенциальных исходов и контрфактуального вывода (potential outcomes and counterfactual frameworks).
В той или иной степени все они восходят к определению причинности Д. Юмом, внутренние противоречия в котором и раскололи дальнейшие традиции. Итак, Юм писал: «<...> Объект, за которым следует другой, и где за всеми объектами, подобными первому, следуют объекты, подобные второму. Или, другими словами, где, если бы первого объекта не было, второго тоже никогда бы не существовало»6 [Hume 1999: 145].
Исходя из этого, первая традиция постулирует, что событие является причиной другого из-за регулярной (повторяющейся) связи одного события с другим. Эта концепция дала для многих работ основания, обосновывающие причинность как повторяемость. Обычно такое понимание каузальности приписывают Д. С. Mиллю, однако его понимание регулярности также включало контрфактуальный вывод.
Развитие идей регулярной причинности и наработок Mилля в настоящее время связано с двумя концепциями: (1) с так называемым качественным сравнительным анализом (qualitative comparative analysis) [Ragin 1987]; (2) с теорией вероятностной причинности, согласно которой Карл Пирсон утверждал, что повторяемость событий в будущем — это вопрос веры, выраженный в доверии к показателю вероятности его наступления исходя из наших предыдущих знаний [Barringer, Eliason, Leahey 2013: 11]. Исследователь полагает, что при прочих равных условиях причина повышает вероятность наступления определённого следствия [Hitchcock 1997].
Ключевой проблемой такого подхода можно назвать сильную зависимость от опыта или теории при объяснении явления. Кроме того, зачастую сами повторяющиеся регулярности невозможно объяснить таким образом (как пример — смена дня и ночи) [Marini, Singer 1988].
Второй тип причинности — техника корреляционного вывода, анализа пути и использование структурных уравнений (structural equation models)1 для причинно-следственного вывода. Эта традиция, с одной стороны, является развитием корреляционного анализа, который был популяризирован в социологии ещё Эмилем Дюркгеймом [Дюркгейм 1995: 139]; а с другой — это расширение регулярной теории причинности благодаря тезису о необходимости учёта множественных причин и следствий в анализе. В этой логике причинность явлений может быть установлена за счёт корреляций друг с другом множественных событий, концептуализируемых как причины, и множественных событий, концептуализируемых как следствия. Результаты такого анализа обычно представляют на так называемой диаграмме пути8.
В настоящее время структурное моделирование базируется на развитии многих методов многомерного анализа, а именно на множественной линейной регрессии, дисперсионном и факторном анализе [M^
В оригинале: «We may define a cause to be an object followed by another, and where all the objects, similar to the first, are followed by objects similar to the second. Or, in other words, where, if the first object had not been, the second never had existed».
См. подробнее о методе структурных уравнений в социологии: [Bielby, Hauser 1977].
См. подробнее о методе использования диаграммы пути: [Bollen 1989].
тина 2008]. К преимуществам анализа путей и структурных уравнений относят возможность оценки скрытых (или латентных) переменных, а также возможность произвести причинно-следственный вывод без активного экспериментального вмешательства во внешний мир. Однако в последние десятилетия ввиду популяризации полевых экспериментов происходит попытка соединить анализ с помощью структурных уравнений и парадигмы потенциальных исходов, являющейся третьей традицией причинно-следственного вывода (например, в [Pearl 2009]).
Потенциальные исходы — это возможные исходы явления X при воздействии на него Y или отсутствии воздействия Y. Но что делать, если в реальности мы можем наблюдать только один исход? Решением становится идея о контрфактуальности9, гипотетической ситуации «если бы», в которой мы наблюдали бы исход воздействия Y и исход отсутствия воздействия Y одновременно.
Теория контрфактуальности (counterfactual theory)10 отталкивается от гипотезы, что единственный способ узнать, является ли X причиной Y — смоделировать два «мира», в одном из которых X воздействовало на Y, а в другом нет. Более формально, контрфактуальными являются отношения типа «X был причиной Y» тогда, когда «произошло и Х, и Y, и при этом событие Y не возникло бы, если бы событие X не было» [Lewis 1974: 560]. Кроме того, для исследователя это означает, что причина — то, что можно сконструировать и проконтролировать, как она влияет на испытуемых с помощью оценки различных полученных следствий.
Совокупно с вероятностной интерпретацией причинности (о ней шла речь выше) такое понимание причинности лежит в основе парадигмы потенциальных исходов (potential outcomes and counterfactual frameworks), постулирующей, что для высказывания «событие Tявляется причиной Y» исследователю необходимо смоделировать ситуации, при которых T может происходить и не происходить, что влечёт (или не влечёт) изменения в Y.
В рамках этой парадигмы выделяют три основных подхода [Barringer, Eliason, Leahey 2013]:
— Дональда Рубина (основан на экспериментальной оценке);
— Джеймса Хекмана (эконометрический подход);
— Джошуа Ангриста (оценка через инструментальные переменные).
Подход к оценке причинности, разработанный Дональдом Рубиным и его соавторами, был одной из ключевых теоретических основ, обеспечивших взрывной рост полевых экспериментов в социальных науках к концу ХХ века. Далее проиллюстрируем основной путь этого метода и новации, произведённые Рубиным.
История полевых экспериментов и модель Рубина
Если, ориентируясь на появление модели Рубина, сказать, что полевые эксперименты в социальных науках впервые возникли только во второй половине ХХ века, то это будет грубым заблуждением. Важно отметить, что полевой эксперимент как метод зародился намного раньше, чем его стали использовать
9 В настоящее время ряд авторов используют термины «потенциальные исходы» и «контрфактуальность» как взаимозаменяемые [Rubin 2005], но исторически их различие имеет важную роль для причинно-следственного вывода (см. ниже).
10 В литературе нет конвенционального перевода. В основном используются термины «контрфактуальность» и «контрфактичность». Мы использовали первый из них.
в социальных науках. Изначально его применяли для оценки каких-либо управленческих решений, например в исследованиях эффективности образования попытки провести эксперимент начинаются уже в середине XIX века [Сивак 2011].
Первые эксперименты за пределами технических дисциплин стали использовать психологи. Один из основоположников экспериментальной психологии Вильгельм Вундт ещё в 1880-х гг. проводил свои первые эксперименты в созданной им лаборатории в Лейпциге [Mandler 2011]. В то же время по другую сторону Атлантики Чарльз Пирс писал о преимуществах экспериментального вывода благодаря процедуре рандомизации при назначении воздействия [Peirce, Jasrow 1884].
Однако ранние эксперименты были преимущественно лабораторными, то есть проводились с полным контролем всех факторов окружения для испытуемого. К концу XIX — началу ХХ века появились первые полевые эксперименты в социальной психологии. К одним из самых известных относится изучение социальной фасилитации Норманом Триплеттом [Triplett 1898], который исследовал, как наличие соперника на велогонках связано с увеличением скорости, достигаемой участниками к финишу. Ту же логику позже Н. Триплетт воспроизвёл уже в лабораторных условиях, анализируя, насколько быстрее дети выполняют свои задачи в одиночку и вдвоём. Ещё одним получившим признание исследованием в начале ХХ века была работа Макса Рингельмана, в которой он, сравнивая группы людей, перетягивающих канат, обнаружил, что чем большее число людей участвуют в процессе, тем меньше продуктивность каждого из них по отдельности [Ringelmann 1913].
Среди первых полевых экспериментов в социальных науках — работа Гарольда Госнелла о том, насколько информирование о выборах увеличивает явку избирателей [Gosnell 1926]. Каноническим примером ранних и масштабных полевых экспериментов можно считать Хоторнские эксперименты 19201930-х гг. в США под руководством Элтона Мэйо [Mayo 2004]. В качестве их результатов выдвигался тезис о том, что социально-психологический климат влияет на производительность труда; кроме того, причастность испытуемых к эксперименту также стимулировала их работать активнее. Хоторнские эксперименты являются объектом обоснованной критики, как минимум, потому, что в исследовании отсутствовала контрольная группа, в которой условия труда на производстве оставались бы неизменными.
В это же время важные шаги для выстраивания чёткой методологии полевых экспериментов делались Томасом Фишером, Ежи Нейманом и их коллегами [Eden, Fisher 1927; Neyman, Iwaszkiewicz 1935]. Что любопытно, термин «поле» в этих работах мог пониматься буквально, так как объектом изучения было сельское хозяйство.
В своих первых статьях о планировании полевых экспериментов в сельском хозяйстве Т. Фишер описал процедуру рандомизации наблюдений и, что более важно, продемонстрировал, как её можно применять в практических экспериментах [Fisher 1926]. Позже в своём учебнике он продемонстрировал, что при правильной рандомизации исследователь может предсказать значение статистики средних у любой потенциальной переменной, понять благодаря этому уровень значимости полученных данных и ответить на вопрос, насколько нетипичным является полученное в результате эксперимента отклонение [Rubin 2005]. Любопытно, что Фишер, внеся большой вклад в теорию вероятности и методологию проведения полевых экспериментов, почти не связывал их друг с другом. Кроме того, он не связывал эксперименты с общей теорией причинности.
Этот пробел был заполнен в работах Ежи Неймана того же времени (см. подробнее: [Kempthorne 1976: 497]). Нейман придумал нотацию, с помощью которой связал эксперимент и контрфактуальный вывод, задав общефилософскую легитимность этому методу. В отличие от Фишера, Нейман в основном был
теоретиком и проводил гипотетические сельскохозяйственные эксперименты, в которых ставил задачу повысить потенциальную урожайность от моделируемых участков земли. Он доказал, что разница в наблюдаемых средних значениях между двумя группами (экспериментальной и контрольной) и есть несмещённая (то есть усреднённая для всех возможных рандомизаций) оценка среднего причинного эффекта для всех наблюдений [Neyman 1923].
Нейман ввёл в оборот термин «потенциальные исходы» и стал отличать их от контрфактуальности. В его логике это не были синонимичными концептами. Сделать контрфактуальный вывод можно на основе ненаблюдаемых или моделируемых событий, но информация о потенциальных исходах — результат свершившегося воздействия на представителей одной из групп испытуемых.
Несмотря на большую значимость, наработки Неймана не были развиты и не являлись популярными вплоть до работ Рубина 1970-х гг. [Rubin 1974]. Его основным вкладом можно назвать реактуализацию идей Неймана и объединение других разрозненных концепций в стройную модель, которая могла быть применена далеко за пределами биомедицинских и практических экспериментальных исследований. Благодаря использованию нотации из байесовской статистики, он также смог выстроить связь между ней, экспериментальными исследованиями и парадигмой возможных исходов.
Опишем логику работы потенциальных исходов в этой нотации. Под ними понимаются гипотетические значения, которые отражают изменения в исследуемом объекте (переменная Y) для одного и того же наблюдения (i) при наличии или отсутствии воздействия (воздействующая переменная T — англ. treatment):
YT=1 и YT=0-
i i
Для того чтобы определить индивидуальный эффект воздействия — эффект, который оказывает T на отдельного испытуемого Y необходимо в идеальных условиях одного и того же индивида поместить в две параллельные реальности, где в одной из них на него будет оказано воздействие переменной T, а в другой — нет. Но в случае одной реальности, в которой проводится эксперимент, задача исследователя — смоделировать потенциальные результаты испытуемого во всех возможных состояниях (получает воздействие и (или) не получает воздействие) [Winship, Morgan 1999].
Если в результате воздействия T изменяется значение Y, то это позволяет нам говорить о наличии каузальной связи:
YT=0 ф yt=1. ii
В действительности исследователю приходится действовать в границах одной реальности: мы можем наблюдать потенциальные результаты по отдельности, но не одновременно, что Пол Холланд назвал фундаментальной проблемой причинно-следственного вывода [Holland 1986]. Следствие этого — невозможность оценки эффекта воздействия на индивидуальном уровне. В таком случае рассчитывается агрегированный причинный эффект на групповом уровне, то есть усреднённый эффект воздействия на популяцию (average treatment effect) и усреднённый эффект воздействия на группу испытуемых (average treatment effect on treated). Ключевая идея заключается в сравнении двух групп, на одну из которых оказано воздействие, другая же не подвергается какому-либо вмешательству11. О наличии каузальной связи можно говорить, если средние E для двух групп отличаются:
11 Для оценки усреднённого эффекта воздействия необходимо, чтобы контрольная и экспериментальная группы были репрезентативны всей популяции. Если же испытуемые представляют лишь часть популяции, исследователи говорят о локальном усреднённом эффекте взаимодействия (local average treatment effect — LATE).
E [ZT=0] ф E [ZT=1].
Байесовская статистика была нужна в модели, поскольку, несмотря на все существующие допущения12 при проведении исследования, мы наблюдаем только половину всех реально возможных потенциальных результатов, и, чтобы делать вывод о всей их совокупности, необходимо создавать их прогностическое распределение. Важно отметить, что на практике создание такого распределения обычно не является большой трудностью, поскольку при успешной рандомизации оценка наблюдаемых данных (с точки зрения модели) не будет отличаться от того, что мы не наблюдаем [Rubin 1978].
Таким образом, рандомизация при назначении воздействия и определении испытуемого в ту или иную группу является ключевым элементом проведения эксперимента. Формально она обеспечивает механизм для получения вероятностных свойств оценок без дополнительных предположений о структуре данных, нивелируя систематические смещения и порождая контролируемое количество случайных ошибок. Кроме того, Дональд Рубин выделяет следующие её преимущества [Rubin 1974]:
— средняя разница между группой воздействия и контрольной группой будет давать нам «несмещённую» оценку воздействия для эксперимента с двумя группами;
— при соблюдении заданных моделью допущений благодаря рандомизации можно сделать точные вероятностные утверждения о том, насколько необычной является полученная средняя разница между двумя группами.
Что это за допущения? Для иллюстрации обратимся к примеру, который приводят Мигель Эрнан и Джеймс Робинс [Hernán, Robins 2019]. Представим, что Зевс получил трансплантацию сердца и умер спустя пять дней, в то время как если бы он не получил трансплантацию сердца, то через пять дней он продолжил бы жить. Представим также, что Гера тоже получила трансплантацию сердца, но через пять дней она не умерла; при этом если бы она не получила трансплантацию сердца, то через пять дней она все равно была бы жива. В этом примере мы наблюдаем индивидуальный эффект воздействия: для Зевса он есть (YzT=0 ф YzT=1), а для Геры нет. Для того чтобы оценить эффект воздействия пересадки сердца не только на уровне индивидов, но на уровне всей популяции, необходим рандомизированный эксперимент, когда одна группа испытуемых получит трансплантацию, а другая — нет. Для такого эксперимента необходимо обеспечить соответствие следующим допущениям: во-первых, очевидно, что такой (не самый этичный) эксперимент необходимо проводить для индивидов с максимально похожими показателями здоровья среди тех, кто получит, и тех, кто не получит трансплантацию (unit homogeneity). Во-вторых, мы предполагаем, что все испытуемые в экспериментальной группе получили сердца в качестве транс-плантов одинакового «качества», а в контрольной никто не получил трансплант — это допущение об однотипности индивидуальных воздействий (uniformity). В-третьих, необходимо допущение о конси-стентности (consistency) или о том, что мы верно замерили результат воздействия трансплантации.
Важным также является допущение об отсутствии смешения воздействий: результат испытуемого из первой группы после трансплантации сердца не должен зависеть от результатов других пациентов. Часто к этому добавляют необходимость обеспечить отсутствие взаимодействия между исследуемыми индивидами (например, что испытуемые не будут обмениваться местами в палатах для тех, кто получит и не получит трансплантацию), то есть назначение воздействия для одного испытуемого не повлияет на результаты воздействия других испытуемых. Совокупно это называется «допущение о стабильности эффекта воздействия на объект» (stable unit treatment value assumption — SUTVA) [Rubin 1980] (перевод предложен в работе: [Ениколопов 2009]). Зачастую некоторые допущения являются непроверяемыми, однако все равно требуют внимания и рефлексии исследователя [Hernán, Robins 2019].
12 О них см. ниже.
Чтобы сделать вывод о том, что Т оказывает каузальный эффект на Y, необходимо также учесть возможное существование внешних переменных (конфаундеров)13, которые оказывают воздействие и на Т, и на Y. Например, если мы изучаем, какой эффект курение (Т) оказывает на смертность (7), необходимо учитывать и внешнюю переменную «пол» (X), которая воздействует как на курение (мужчины курят чаще), так и на смертность (мужчины умирают раньше), что схематично представлено на рисунке 2.
Рис. 2. Пример каузальной модели
Однако в реальном мире за каждым явлением стоит целый комплекс причин. Эксперимент должен быть моделированием ситуации воздействия какой-то определённой причины (или причин), сконструированной исследователем для испытуемых. Только благодаря этому мы можем вычленить их эффект из совокупности других причин. Следствием этого является принцип: «No causation without manipulation» («Без манипуляции нельзя установить причинность») [Holland 1986: 959]. Для «идеального эксперимента» по такой модели необходимость манипуляции является одной из основ экспериментального метода, которой, однако, зачастую пренебрегают исследователи. По мнению Холланда, выводить причинный эффект пола или любой другой неманипулируемой характеристики из модели Рубина невозможно до тех пор, пока не будет создан механизм, с помощью которого мы смогли бы вмешаться и сделать случайное распределение этой характеристики между испытуемыми.
Особенности дизайна полевых экспериментов при использовании модели Рубина
Существует множество вариантов построения экспериментального плана — например, однофактор-ные (оценка эффекта одной бинарной независимой переменной), многоуровневые (оценка эффекта переменной с двумя уровнями и более), факторные (оценка эффекта нескольких независимых переменных) планы [Девятко 2009]. Полевые эксперименты в социальных науках, выполненные в модели парадигмы потенциальных исходов, чаще всего выстраиваются в формате однофакторного плана, когда оценивается воздействие одной независимой переменной T.
Как было отмечено в начале этой статьи, одной из особенностей полевых экспериментов является меньшее количество контроля со стороны экспериментатора при проведении исследования. С точки зрения дизайна эксперимента это порождает угрозу валидности полученных в результате данных. Выделяют внутреннюю и внешнюю валидности. Эксперимент обладает внутренней валидностью в том случае, если при повторных замерах (на других группах) он позволяет получить тот же эффект T на Y, что и ранее; внешняя валидность обеспечивается за счёт того, что контрольная и экспериментальная группы должны быть не только максимально похожи между собой по индивидуальным характеристикам, но и представительны для всей популяции [Готтсданкер 1982]. Полевой эксперимент по своей сути далёк от «идеального эксперимента», и зачастую временные и финансовые ограничения не позволяют производить предварительное тестирование для контрольных и экспериментальных групп. Таким образом, внутренняя валидность — уязвимое место исследований, выполненных в рамках полевого эксперимента.
Совокупно у полевых экспериментов, как и у любого другого метода, можно выделить ряд достоинств и недостатков. К практическим достоинствам относят следующие [Gerber Green, Kaplan 2014]:
13 См. более подробный обзор в учебных пособиях по причинно-следственному выводу в социальных науках (например: [Morgan 2013]) или в учебнике самого Дональда Рубина и его соавторов: [Imbens, Rubin 2015].
— при прочих равных, внешняя валидность полевых экспериментов превосходит валидность лабораторных экспериментов и других исследований;
— эксперимент проходит в среде, естественной для испытуемого, а значит, условия кажутся ему привычными. Таким образом, действия испытуемого не ограничены лабораторными условиями;
— выход за пределы лаборатории открывает возможность для проведения более масштабных исследований, например, испытуемыми могут быть целые организации или (при достаточном финансировании) населённые пункты;
— с теоретических позиций в пользу полевых экспериментов говорит их высокая внешняя валид-ность. Если мы проводим эксперимент «в реальном мире», то и выводы мы делаем о тех процессах, которые происходят именно в нём. Однако это не является само собой разумеющимся. До сих пор идут споры об их реплицируемости (как, к слову, и с лабораторным экспериментом).
Однако полевые эксперименты обладают и существенными ограничениями, учитывать которые необходимо при подготовке исследования:
— эксперимент не является «серебряной пулей» каузальности; метод имеет большое количество ограничений. Зачастую практики метода утверждают, что благодаря эксперименту можно сделать независимый от исследователя причинно-следственный вывод и получить легитимность на высказывание о том, что мир устроен определённым образом. Основное возражение критиков таково: причинность находится в голове, а не в данных [Deaton 2020: 19], ведь сам дизайн эксперимента обычно строится для подтверждения той или иной гипотезы исследователя;
— преимущества внешней валидности полевого эксперимента могут нивелироваться его невысокой внутренней валидностью;
— полевой эксперимент зачастую не даёт понимания, что на самом деле послужило причиной изучаемого явления, поскольку невозможно проконтролировать, что на испытуемого было оказано только то воздействие, которого хотел экспериментатор. Эту проблему именуют «чёрным ящиком причинности» (black box causality). В качестве возможного решения исследователи предлагают комбинировать полевые и лабораторные эксперименты [Ditlmann, Paluck 2015];
— ещё одним недостатком проведения эксперимента в реальных условиях является так называемая проблема «побочного эффекта» и (или) «негативной экстерналии» (spillover effect), то есть нарушение допущения о независимости индивидов друг от друга в силу различных появившихся экстерналий (как положительных, так и отрицательных). В таком случае воздействие, оказанное на испытуемых в экспериментальной группе, может влиять на испытуемых в контрольной группе, например, когда первые начинают обсуждать свой опыт со вторыми14;
— рандомизация гарантирует отсутствие смещений и нахождение истинного эффекта в экспериментальной группе только в случае гипотетической модели. На практике зачастую даже соблюдение всех требований и предположений не уберегает исследователя от ложного вывода, примеры чему есть не только в социальных науках, но и в более технических дисциплинах, например в медицине [Deaton 2020]. Это становится особенно опасно в случае политических
14 Возможное решение этой сложности — распределить воздействие географически и по времени [ЭШтапп, Ра1иск 2015].
решений, принятых на основе данных экспериментов. Зачастую ко времени принятия решения все условия, при которых проводился эксперимент, могли полностью измениться. Критики также указывают, что многие полевые эксперименты, включая наиболее известные их них (за работы по которым, в частности, исследователи удостаивались Нобелевской премии), не использовали или не соблюдали рандомизацию [Deaton, Cartwright 2018];
— соблюдение всех требований в случае полевых экспериментов способна оборачивается его нулевой экстраполяцией на новые контексты. По этой же причине их ценность в практическом контексте может быть поставлена под сомнение [Deaton, Cartwright 2018]. Благодаря этому центральная риторика преимуществ полевых экспериментов о том, что этот метод способен установить истинную причинность явлений может быть просто ошибочной, поскольку устанавливает её ad hoc15 для каждой экспериментальной ситуации [Deaton 2020]. Совокупно с предыдущими пунктами это оборачивается кризисом воспроизводимости уже проведённых исследований (более подробного о кризисе воспроизводимости в социальных науках см.: [Де-вятко 2018]);
— кроме того, полевые эксперименты зачастую несут в себе большие этические проблемы. Например, эксперименты почти всегда ставятся богатыми индивидами над бедными. Могут ли эксперименты, которые проводятся в настоящее время в Африке или в Индии, проводиться в США или Западной Европе? Значительная часть из них — вряд ли. Кроме того, эксперименты нередко служат инструментом в политике автократов-диктаторов для получения финансовой помощи от международных институций [Deaton 2020].
Примеры известных исследований, выполненных в дизайне полевого эксперимента
Полевые эксперименты проводятся в самых разных областях — исследовании образования, полиции, эффективности государства, эффектов политической мобилизации на выборах и многих других [Gerber, Green, Kaplan 2014]. Кроме того, в настоящее время развивается ряд новых направлений исследований такого рода, например — комбинирование качественной методологии и полевых экспериментов. Качественные методы используются для выявления процессов изменения различных характеристик объекта, что позволяет преодолеть проблему «черного ящика», то есть установить возможные переменные-медиаторы, стоящие на пути между главной воздействующей и зависимой переменными. Качественная методология в данном случае включает широкий спектр методов — от интервью с участниками эксперимента до экспериментальной этнографии [Sherman, Strang 2004; Paluck 2010]. Такого рода исследования делают и российские авторы [Lazarev 2019].
Ещё одно направление — совмещение полевых экспериментов с анализом социальных сетей, которое позволяет справиться с методологической проблемой побочного эффекта. Такой подход позволяет учитывать, что индивиды — часть множества различных сетей, а значит, совмещение методов позволяет увидеть, как эффект воздействия распространяется через различные сети.
Популярной областью также становятся сравнительные или контекстуальные полевые эксперименты, в которых предполагается репликация одного и того же эксперимента в разных контекстах. Репликации позволяют протестировать устойчивость (робастность) результата, обеспечить внутреннюю ва-лидность и увеличить точность оценки эффекта воздействия [Ditlmann, Paluck 2015].
15 Специально (лат.).
Классическим примером полевого эксперимента в экономике — дисциплине, в которой наблюдается взрывной рост использования этого метода (см. рис. 1), — является работа уже упоминавшихся нобе-лиатов Э. Дюфло и М. Крамера, выполненная в соавторстве с Дж. Робинсоном.
В статье «Nudging Farmers to Use Fertilizer: Theory and Experimental Evidence from Kenya» («Подталкивание фермеров к использованию удобрений: теория и экспериментальные данные из Кении») описываются результаты серии масштабных полевых экспериментов, цель которых — понять стимулы бедных фермеров покупать удобрения и использовать их во время урожая в точно положенный срок [Duflo, Kremer, Robinson 2011]. В сотрудничестве с неправительственной Международной организацией поддержки детей (International Child Support) в Кении авторы разработали серию программ для фермеров, предоставление им скидок на удобрения. Исследователи оценили ряд моделей, учитывающих различные программы, в которых акцент делался на то или иное понимание основных стимулов поведения фермеров. В результате модель, связанная с небольшими, но постоянно повторяющимися в определённое время скидками для фермеров дала лучший результат, который стимулировал фермеров к более продуктивному использованию имеющихся у них ресурсов.
Зачастую полевые эксперименты в социальных науках посвящены проблемам дискриминации. При этом большее внимание уделяется исследованиям дискриминации в отношении женщин и гомосек-суалов, и значительно реже исследователей интересуют проблемы других групп, подверженных дискриминации по гендерным признакам. Именно эту область анализируют Брукман и Калла в статье «Durably Reducing Transphobia: A Field Experiment on Door-to-Door Canvassing» («Долговременное снижение трансфобии: полевой эксперимент по поквартирной агитации»), посвящённой изменению отношения избирателей к трансгендерам [Broockman, Kalla 2016]. Помимо вопросов принятия обоснованных политических решений, авторов интересует теоретическая проблема: как долго сохраняется воздействие рекламного или пропагандистского стимула и как оно сказывается на отношении индивида к определённому вопросу.
Фабулу статьи составили события вокруг принятия в 2014 г. Комиссией16 округа Майами-Дейд (штат Калифорния, США) постановления, защищающего транссексуалов от дискриминации в отношении жилья, работы и общественных помещений. Однако статус этого постановления был шатким, а вопрос по поводу отношения к транссексуалам в обществе оставался болезненным, в результате чего добровольцы и сотрудники ЛГБТ-центра в Лос-Анджелесе и ЛГБТ-организации в Южной Флориде «SAVE» стали посещать дома жителей округа, чтобы побеседовать с избирателями Майами-Дейд о предрассудках в отношении к транссексуалам.
Брукман и Калла попытались определить эффект воздействия этих агитаций на испытуемых (average treatment effect on treated) с помощью внутрисубъектного однофакторного эксперимента с предварительным тестированием и сравнением экспериментальной и контрольной групп. Измерение эффекта проводилось с помощью опроса. Был создан пул избирателей Майами-Дейд (68 378 зарегистрированных избирателей) через их регистрацию по электронной почте в якобы не связанном с искомой темой ЛГБТ онлайн-опросе, который позиционировался как первый в длинной серии опросов. Затем среди зарегистрированных была сделана выборка респондентов (1825 избирателей). Из них отобрали две группы: на экспериментальную группу оказывалось воздействие (913 избирателей); на контрольную не оказывалось (912 избирателей). Случайное назначение воздействия всегда проводилось на уровне домохозяйства (1295 домохозяйств), чтобы исключить вероятность того, что избиратели из разных групп будут жить вместе.
16 Муниципальный представительный орган нижнего уровня.
Для начала избирателям по электронной почте предлагалось пройти опрос, в котором, помимо прочего, были заложены и вопросы, касающиеся отношения к трансгендерам. Далее к группе воздействия приходил предвыборный агитатор, который являлся трансгендером, в то время как со второй группой-плацебо работали агитаторы-нетрансгендеры. Агитаторы беседовали с испытуемыми на различные темы и показывали им идентичный предвыборный материал, где в качестве одного из многих пунктов обсуждалась необходимость толерантного отношения к ЛГБТ-индивидам. Авторы исследования отдельно проговаривают, что не регламентировали момент общения агитаторов, чтобы добиться большей реалистичности эксперимента и сделать его условия менее похожими на лабораторные17.
После экспериментального воздействия начинался второй этап эксперимента — опрос с элементами тестирования различных гипотез. Группа интервьюеров приходила к испытуемым последовательно через три дня (429 испытуемых избирателей), три недели (399 испытуемых избирателей), шесть недель (401 испытуемый избиратель) и три месяца (385 испытуемых избирателей), представляясь как интервьюеры, продолжающие изначальный онлайн-опрос, который среди прочего содержал блок вопросов, посвящённых теме отношения к ЛГБТ, а также к закону против дискриминации. Авторы эксперимента опасались, что респонденты могут связать эту череду опросов с происходящими у них в округе событиями, но, судя по отзывам полстеров, такого не происходило.
Далее, во время очередных волн опроса на испытуемых тестировались две гипотезы: (1) о неверном понимании самого термина «трансгендер» (испытуемый не понимает, что подразумевается под этим словом, и не может корректно прояснить своё отношение к такому индивиду) и (2) о сильном влиянии рекламы на отношение к изучаемому меньшинству. При тестировании первой гипотезы на определённом этапе опросов термин «трансгендер» был заменён на «транссексуал» и подробно раскрыт. При тестировании второй гипотезы незадолго до проведения опроса испытуемым была показана критическая реклама, эксплуатирующая антитрансгендерные стереотипы.
Результаты каждой волны опросов сравнивались с помощью парного ¿-теста по отношению к поддержке закона против дискриминации и по отношению к ЛГБТ, который во всех случаях дал больший результат в группе, подвергнутой воздействию. При измерении по отношению к индексу толерантности к трансгендерам сразу после воздействия он дал более чем в два раза отличающееся значение. Далее этот эффект выравнивался, но различия всё равно сохранялись. По уровню поддержки закона против дискриминации группа испытуемых и группа-плацебо первоначально не имели больших отличий, однако они появились при тестировании гипотез. После прояснения понятия «трансгендер» представители контрольной группы стали относиться к ним хуже (изначальное значение примерно в 1,5 ед. снизилось до 1,2), притом что позиция группы воздействия осталась в среднем стабильной.
Проверка гипотезы о воздействии рекламы показала, что личное общение с агитатором в течение 10 минут более чем за 1,5 месяца до опроса даёт существенное изменение показателей поддержки закона. И в том и в другом случае значения сильно упали, но в группе воздействия они остановились на отметке 0,4, в то время как группа-плацебо имела значение примерно в 0,17. Примечательный факт, что спустя ещё шесть недель значения в обоих случаях вернулись почти на предыдущий уровень в момент уточнения термина.
В результате исследователям удалось показать: краткие личные контакты способны значительно изменить образ мышления какой-то группы в длительной перспективе (что до этого ставилось под сомнение), причём данный эффект не исчезает даже при влиянии агрессивной рекламы.
17 Такой подход имеет минусы, так как ставит под сомнение эквивалентность индивидуальных воздействий, которая подразумевается в качестве базовой аксиомы определения эффекта воздействия в терминах потенциальных исходов.
Заключение
Исследование причинности — непростая задача для социального исследователя: социальная реальность сложна, и множество внешних переменных-конфаундеров могут сделать объяснение обнаруженных эффектов затруднительным. Экспериментальные методы и модель потенциальных исходов позволяют максимально «очистить» интересующий нас эффект воздействия от разнообразных факторов среды.
В целом построение экспериментального дизайна и проведение эксперимента — задачи, сопряжённые со множеством методологических трудностей и ограничений. Необходимо построить исследовательский дизайн таким образом, чтобы учесть все факторы, искажающие причинно-следственную связь между интересующими нас явлениями. Несмотря на большую внешнюю валидность, такой дизайн сталкивается с проблемами внутренней валидности. Эти проблемы связаны с тем, что в полевом эксперименте обеспечить процедуру рандомизации значительно сложнее, чем в лабораторном. Исследователь, проводящий эксперимент в российском контексте, столкнётся также с необходимостью самостоятельного решения этических вопросов ввиду отсутствия комитетов по этике и институционально закреплённых практик утверждения исследовательских планов.
Тем не менее эксперимент представляет собой инструмент, позволяющий с большой точностью изучить интересующий нас феномен и количественно оценить эффекты различных воздействий. Экспериментальный дизайн, кроме того, может открыть новые «поля». Поиск причинных механизмов, как мы отмечали во введении, создаёт пространство для развития объяснительных моделей в других областях социальной теории.
Полевые эксперименты позволяют изучать интересующие нас эффекты воздействия в условиях, максимально приближенных к повседневности индивидов. В результате с каждым годом экспериментальные методы становятся популярнее и могут оказаться полезными как для академических, так и для прикладных исследований — оценки политических мер, изучения интернет-пространства и большого количества других областей и проблематик.
Литература
Белянин А. В. et al. 2014. Экспериментальные методы исследования коррупции в экономических и социологических науках. Экономическая социология. 15 (1): 61-88. URL: https://ecsoc.hse.ru/2014-15-1/111338340.html
Воробьёв В. А., Кравченко А. А., Майборода Т. Л. 2019. Экономические полевые эксперименты: новый подход к сокращению бедности. Белорусский экономический журнал. 4: 4-26.
Готтсданкер Р. 1982. Основы психологического эксперимента. Учеб. пособ. (пер. с англ.). М.: Изд-во Московского университета.
Девятко И. Ф. 2009. Методы социологического исследования. М.: КДУ.
Девятко И. Ф. 2018. Новые данные, новая статистика: от кризиса воспроизводимости к новым требованиям к анализу и представлению данных в социальных науках. Социологические исследования. 12: 30-38.
Дюркгейм Э. 1995. Социология. Её предмет, метод, предназначение. М.: Канон.
Ениколопов Р. С. 2020. Доказательная экономика развития: Нобелевская премия по экономике 2019 года. Вопросы экономики. 1: 5-17.
Ениколопов Р.2009. Оценивание эффекта воздействия. Квантиль. 6: 3-14.
Кэмпбелл Д. Т. 1980. Модели экспериментов в социальной психологии и прикладных исследованиях. Пер. с англ. Сост. и общ. ред. М. И. Бобневой. М.: Прогресс.
Малошонок Н. Г., Девятко И. Ф. 2013. Эксперимент как метод изучения эффективности практик и нововведений в высшем образовании. Высшее образование в России. 10: 141-151.
Митина О. В. 2008. Моделирование латентных изменений c помощью структурных уравнений. Экспериментальная психология. 1 (1): 131-148.
Петухов В. В. 2005. Словарь экспериментатора. В кн.: Готтсданкер Р. Основы психологического эксперимента. М.: Академия. URL: http://flogiston.ru/library/gottsdanker_dictionary
Сивак Е. В. 2011. История оценочных исследований в образовании в США: аналитический обзор. Социология: методология, методы, математическое моделирование (Социология: 4М). 33: 112-135.
Baldassarri D., Abascal M. 2017. Field Experiments Across the Social Sciences. Annual Review of Sociology. 43: 41-73.
Barringer S. N., Eliason S. R., Leahey E. 2013. A History of Causal Analysis in the Social Sciences. In: Morgan S. L. (ed.) Handbook of Causal Analysis for Social Research. Dordrecht: Springer; 9-26.
Bielby W. T., Hauser R. M. 1977. Structural Equation Models. Annual Review of Sociology. 3: 137-161.
Bollen K. A. 1989. Measurement Models: The Relation between Latent and Observed Variables. In: Bollen K. A. Structural Equations with Latent Variables. Hoboken, NJ: John Wiley & Sons; 179-225.
Broockman D., Kalla J. 2016. Durably Reducing Transphobia: A Field Experiment on Door-to-Door Canvassing. Science. 352 (6282): 220-224.
Broockman D., Kalla J., Aronow P. 2015. Irregularities inLaCour (2014). Working Paper. Stanford University. URL:https://dbroock.people.stanford.edu/sites/g/files/sbiybj2246/f/broockman_kalla_aronow_lg_ irregularities.pdf
Deaton A. 2020. Randomization in the Tropics Revisited: A Theme and Eleven Variations. National Bureau of Economic Research Working Paper. 27600.
Deaton A., Cartwright N. 2018. Understanding and Misunderstanding Randomized Controlled Trials. Social Science & Medicine. 210: 2-21.
Ditlmann R., Paluck E. L. 2015. Field Experiments. In: Wright J. D. (ed.) International Encyclopedia of the Social and Behavioral Sciences. 2nd ed. Vol 9. Oxford: Elsevier; 128-134.
Duflo E., Kremer M., Robinson J. 2011. Nudging Farmers to Use Fertilizer: Theory and Experimental Evidence from Kenya. American Economic Review. 101 (6): 2350-2390.
Экономннескаa соцнопогнa. T. 22. № 4. CeffraGpb 2021
www.ecsoc.hse.ru
Eden T., Fisher R. A. 1927. Studies in Crop Variation: IV. The Experimental Determination of the Value of Top Dressings with Cereals. The Journal of Agricultural Science. 17 (4): 548-562.
Fisher R. A. 1926. The Arrangement of Field Experiments. Journal of the Ministry of Agriculture. 33: 503513. URL: https://digital.library.adelaide.edu.aU/dspace/bitstream/2440/15191/1/48.pdf
Gerber A. S., Green D. P. 2012. Field Experiments: Design, Analysis, and Interpretation. New York: W. W. Norton & Company, Inc.
Gerber A. S., Green D. P., Kaplan E. H. 2014. The Illusion of Learning from Observational Research. In: Teele D. L. (ed.) Field Experiments and Their Critics. New Haven, CT: Yale University Press; 9-32.
Gosnell H. F. 1926. An Experiment in the Stimulation of Voting. American Political Science Review. 20 (4): 869-874.
Hernán M. A., Robins J. M. 2019. Graphical Representation of Causal Effects. In: Hernán M. A., Robins J. M. Causal Inference: What If. Ch. 6. Boca Raton, FL: Chapman & Hall/CRC; 69-82.
Hitchcock C. 1997. Probabilistic Causation. In: Stanford Encyclopedia of Philosophy. URL: https://plato. stanford.edu/entries/causation-probabilistic/
Holland P. W. 1986. Statistics and Causal Inference. Journal of the American Statistical Association. 81 (396): 945-960.
Hume D. 1999. An Enquiry Concerning Human Understanding. Oxford: Oxford University Press.
Imbens G. W., Rubin D. B. 2015. Causal Inference in Statistics, Social, and Biomedical Sciences. Cambridge, UK: Cambridge University Press.
Kempthorne O. 1976. Discussion of "On rereading RA Fisher" by Leonard J. Savage. Annals of Statistics. 4: 495-497.
LaCour M. J., Green D. P. 2014. When Contact Changes Minds: An Experiment on Transmission of Support for Gay Equality. Science. 346 (6215): 1366-1369.
Lazarev E. 2019. Laws in Conflict: Legacies of War, Gender, and Legal Pluralism in Chechnya. World Politics. 71 (4): 667-709.
Lewis D. 1974. Causation. The Journal of Philosophy. 70 (17): 556-567.
Mandler G. 2011. A History of Modern Experimental Psychology: From James and Wundt to Cognitive Science. Cambridge, MA: MIT Press.
Marini M., Singer B. 1988. Causality in the Social Sciences. Sociological Methodology. 18: 347-409.
Mayo E. 2004 (1933). The Human Problems of an Industrial Civilization. New-York: Routledge.
McGee H. 2015. Personal Route to Reach Public Central to Yes Campaign. Irish Times. 14 May. URL: www. irishtimes.com/news/politics/personal-route-to-reach-public-central-to-yes-campaign-1.2211282
Neyman J. S. 1923. On the Application of Probability Theory to Agricultural Experiments. Essay on Principles. Annals of Agricultural Sciences. 10: 1-51.
Neyman J., Iwaszkiewicz K. 1935. Statistical Problems in Agricultural Experimentation. Supplement to the Journal of the Royal Statistical Society. 2 (2): 107-180.
Paluck L. 2010. The Promising Integration of Qualitative Methods and Field Experiments. The Annals of the American Academy of Political and Social Science. 628 (1): 59-71.
Pearl J. 2009. Causal Inference in Statistics: An Overview. Statistics Surveys. 3: 96-146.
Peirce C. S., Jastrow J. 1884. On Small Differences of Sensation. Proceedings of the National Academy of Sciences. 3: 75-83
Ragin C. C. 1987. The Comparative Method: Moving Beyond Qualitative and Quantitative Strategies. Berkeley: University of California Press.
Rawls A. W. 1996. Durkheim's Epistemology: The Neglected Argument. American Journal of Sociology. 102 (2): 430-482.
Ringelmann M. 1913. Recherches sur les moteurs animés: Travail de l'homme. Annales de l'InsitutNational Agronomique. 12: 1-40.
Rubin D. B. 1974. Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology. 66 (5): 688-701.
Rubin D. B. 1978. Bayesian Inference for Causal Effects: The Role of Randomization. The Annals of Statistics. 6 (1): 34-58.
Rubin D. B. 1980. Randomization Analysis of Experimental Data: The Fisher Randomization Test Comment. Journal of the American Statistical Association. 75 (371): 591-593.
Rubin D. B. 2005. Causal Inference Using Potential Outcomes: Design, Modeling, Decisions. Journal of the American Statistical Association. 100 (469): 322-331.
Sekhon J. S. 2008. The Neyman—Rubin Model of Causal Inference and Estimation Via Matching Methods. In: Box-Steffensmeier J., Brady H., Collier D. (eds) The Oxford Handbook of Political Methodology. Vol. 2. Oxford: Oxford University Press; 1-32.
Sherman L. W., Strang H. 2004. Experimental Ethnography: The Marriage of Qualitative and Quantitative Research. The Annals of the American Academy of Political and Social Science. 595 (1): 204-222.
Triplett N. 1898. The Dynamogenic Factors in Pacemaking and Competition. The American Journal of Psychology. 9 (4): 507-533.
Winship C., Morgan S. L. 1999. The Estimation of Causal Effects from Observational Data. Annual Review of Sociology. 25 (1): 659-706.
Wood E. J. 2007. Field Research. In: Boix C., Stokes S. (eds) The Oxford Handbook of Comparative Politics. Oxford: Oxford University Press; 123-147.
D. Serebrennikov, Yu. Kuzmina
Field Experiments and the Rubin Causal Model: Review of Approaches and Current Research
Abstract
Experiments of various kinds are increasingly being used in the social sciences to derive causal inference. Among the varieties of this method, field experiments are especially noteworthy. Explosive growth in their numbers has been observed in recent years, primarily in economics and political science. Gradually, field experimentation is starting to spread to other disciplines. One of the most important reasons for this is the popularization of the so-called Donald Rubin model of causal inference, which allows researchers to link experimental methods with statistics and other mathematical methods. In the Russian-speaking academic field, one can observe a lack of texts describing how field experiments are related to this model in causal inference, while such a research design allows us to focus specifically on the search for the causality of various social phenomena. This article provides a critical-bibliographic review of both the conceptual model of causation and the existing research carried out in the design of field experiments in the Rubin model. The first part of the paper provides a brief overview of the main paradigms of causation and how, from one of them (the approach of potential outcomes and counterfactual inference), the Rubin model logically arises. The following describes the milestones in the history of field experiments before the Rubin model. This is followed by a description of the model and today's debate about the advantages, limitations, and design features of the field experiment. Finally, with a few examples, we analyze several well-known field experiments to illustrate the operation of the described method.
Keywords: causal inference; potential outcomes approach; Donald Rubin; experiment; field experiment; causality.
Acknowledgments
This article would not have existed without Boris Sokolov's course on Causal Inference Analysis, given at the European University in St. Petersburg. We are also grateful to B. Sokolov for valuable comments. In addition, we would like to express our gratitude to Mikhail Sokolov for his lectures on causality in social theory, Nadezhda Sokolova for productive discussions, and an anonymous reviewer, whose comments helped us redesign the text for the better.
References
Baldassarri D., Abascal M. (2017) Field Experiments across the Social Sciences. Annual Review of Sociology, vol. 43, pp. 41-73.
Barringer S. N., Eliason S. R., Leahey E. (2013) A History of Causal Analysis in the social Sciences. Handbook of Causal Analysis for Social Research (ed. S. L. Morgan), Dordrecht: Springer, pp. 9-26.
SEREBRENNIKOV, Dmitriy —
junior researcher, The Institute for the Rule of Law at the European University at St. Petersburg, MA in Sociology. Address: 6/M Gagarinskaya str., St. Petersburg, 191187, Russian Federation.
Email: serebrennikov.dmtr@ eu.spb.ru
KUZMINA, Yulia — PhD student in political science at European University at St. Petersburg. Address: 6/^ Gagarinskaya str., St. Petersburg, 191187, Russian Federation.
Email: ykuzmina@eu.spb.ru
Belyanin A. V., Bobkova N. V., Khenrik E., Kosals L. Ya. (2014) Eksperimental'nyye metody issledovaniya korruptsii v ekonomicheskikh i sotsiologicheskikh naukakh [Experimental Methods for Researching Corruption in Economic and Sociological Sciences]. Journal of Economic Sociology = Ekonomicheskaya Sotsiologiya, vol. 15, no 1, pp. 61-88. Available at: https://ecsoc.hse.ru/2014-15-1/111338340.html (accessed 23 August 2021) (in Russian).
Bielby W. T., Hauser R. M. (1977) Structural Equation Models. Annual Review of Sociology, vol. 3, pp. 137161.
Bollen K. A. (1989) Measurement Models: The Relation between Latent and Observed Variables. Structural Equations with Latent Variables, Hoboken, NJ, John Wiley & Sons, pp. 179-225.
Broockman D., Kalla J. (2016) Durably Reducing Transphobia: A Field Experiment on Door-to-Door Canvassing. Science, vol. 352, no 6282, pp. 220-224.
Broockman D., Kalla J., Aronow, P. (2015) Irregularities in LaCour (2014). Working Paper. Stanford University. Available at: https://dbroock.people.stanford.edu/sites/g/files/sbiybj2246/f/broockman_kalla_ aronow_lg_irregularities.pdf (accessed 23 August 2021).
Campbell D. (1980) Modeli eksperimentov v sotsial'noy psikhologii iprikladnykh issledovaniyakh [Experimental Models in Social Psychology and Applied Research], Moscow: Progress (in Russian).
Deaton A. (2020) Randomization in the Tropics Revisited: A Theme and Eleven Variations. National Bureau of Economic Research Working Paper, no 27600.
Deaton A., Cartwright N. (2018) Understanding and Misunderstanding Randomized Controlled Trials. Social Science & Medicine, vol. 210, pp. 2-21.
Devyatko I. F. (2009) Metody sotsiologicheskogo issledovaniya [Methods of Sociological Research], Moscow: KDU (in Russian).
Devyatko I. F. (2018) Novyye dannyye, novaya statistika: ot krizisa vosproizvodimosti k novym trebovani-yam k analizu i predstavleniyu dannykh v sotsial'nykh naukakh [New Data, New Statistics: From the Crisis of Reproducibility to New Demands for the Analysis and Presentation of Data in the Social Sciences]. Sociological Studies = Sotsiologicheskie Issledovaniya, no 12, pp. 30-38 (in Russian).
Ditlmann R., Paluck E. L. (2015) Field Experiments. International Encyclopedia of the Social and Behavioral Sciences (ed. J. D. Wright), 2nd ed., vol. 9, Oxford: Elsevier, pp. 128-134.
Duflo E., Kremer M., Robinson J. (2011) Nudging Farmers to Use Fertilizer: Theory and Experimental Evidence from Kenya. American Economic Review, vol. 101, no 6, pp. 2350-2390.
Durkheim E. (1995) Sotsiologiya. Yeye predmet, metod, prednaznacheniye [Sociology, Its Subject, Method, Purpose], Moscow: Kanon (in Russian).
Eden T., Fisher R. A. (1927) Studies in Crop Variation: IV. The Experimental Determination of the Value of Top Dressings with Cereals. The Journal of Agricultural Science, vol. 17, no 4, pp. 548-562.
Fisher R. A. (1926) The Arrangement of Field Experiments. Journal of the Ministry of Agriculture, vol. 33, pp. 503-513. Available at: https://digital.library.adelaide.edu.au/dspace/bitstream/2440/15191/1/48.pdf (accessed 4 September 2021).
Gerber A. S., Green D. P. (2012) Field Experiments: Design, Analysis, and Interpretation, New York: W. W. Norton & Company, Inc.
Gerber A. S., Green D. P., Kaplan E. H. (2014) The Illusion of Learning from Observational Research. Field Experiments and Their Critics (ed. D. L. Teele), New Haven, CT: Yale University Press, pp. 9-32.
Gosnell H. F. (1926) An Experiment in the Stimulation of Voting. American Political Science Review, vol. 20, no 4, pp. 869-874.
Gottsdanker R. (1982) Osnovy psikhologicheskogo eksperimenta [Experimenting in Psychology], Moscow: MSU Publishing House (in Russian).
Hernán M. A., Robins J. M. (2019) Graphical Representation of Causal Effects. Causal Inference: What If, Ch. 6, Boca Raton, FL: Chapman & Hall/CRC, pp. 69-82.
Hitchcock C. (1997) Probabilistic Causation. Stanford Encyclopedia of Philosophy. Available at: https://plato. stanford.edu/entries/causation-probabilistic/ (accessed 24 August 2021).
Holland P. W. (1986) Statistics and Causal Inference. Journal of the American Statistical Association, vol. 81, no 396, pp. 945-960.
Hume D. (1999) An Enquiry Concerning Human Understanding, Oxford: Oxford University Press.
Imbens G. W., Rubin D. B. (2015) Causal Inference in Statistics, Social and Biomedical Sciences, Cambridge, UK: Cambridge University Press.
Kempthorne O. (1976) Discussion of "On rereading RA Fisher" by Leonard J. Savage. Annals of Statistics, vol. 4, pp. 495-497.
LaCour M. J., Green D. P. (2014) When Contact Changes Minds: An Experiment on Transmission of Support for Gay Equality. Science, vol. 346, no 6215, pp. 1366-1369.
Lazarev E. (2019) Laws in Conflict: Legacies of War, Gender, and Legal Pluralism in Chechnya. World Politics, vol. 71, no 4, pp. 667-709.
Lewis D. (1974) Causation. The Journal of Philosophy, vol. 70, no 17, pp. 556-567.
Maloshonok N. G., Devyatko I. F. (2013) Eksperiment kak metod izucheniya effektivnosti praktik i novov-vedeniy v vysshem obrazovanii [Experiment as a Method for Studying the Effectiveness of Practices and Innovations in Higher Education]. Higher Education in Russia =Vyssheye obrazovaniye v Rossii, no 10, pp. 141-151 (in Russian).
Mandler G. (2011) A History of Modern Experimental Psychology: From James and Wundt to Cognitive Science, Cambridge, MA: MIT Press.
Marini M., Singer B. (1988) Causality in the Social Sciences. Sociological Methodology, vol. 18, pp. 347-409.
Mayo E. (2004 [1933]) The Human Problems of an Industrial Civilization, New York: Routledge.
McGee H. (2015). Personal Route to Reach Public Central to Yes Campaign. Irish Times. 14 May. Availiable at: www.irishtimes.com/news/politics/personal-route-to-reach-public-central-to-yes-campaign-1.2211282 (accessed 23 August 2021).
Mitina O. V. (2008) Modelirovaniye latentnykh izmeneniy s pomoshch'yu strukturnykh uravneniy [Modeling Latent Changes Using Structural Equations]. Experimental Phycology = Eksperimental'naya psikhologi-ya, vol. 1, no 1, pp. 131-148 (in Russian).
Neyman J. S. (1923) On the Application of Probability Theory to Agricultural Experiments. Essay on Principles. Annals of Agricultural Sciences, vol. 10, pp. 1-51.
Neyman J., Iwaszkiewicz K. (1935) Statistical Problems in Agricultural Experimentation. Supplement to the Journal of the Royal Statistical Society, vol. 2, no 2, pp. 107-180.
Paluck L. (2010) The Promising Integration of Qualitative Methods and Field Experiments. The Annals of the American Academy of Political and Social Science, vol. 628, no 1, pp. 59-71.
Pearl J. (2009) Causal Inference in Statistics: An Overview. Statistics Surveys, vol. 3, pp. 96-146.
Peirce C. S., Jastrow J. (1884) On Small Differences of Sensation. Proceedings of the National Academy of Sciences, no 3, pp. 75-83.
Petukhov V. V. (2005) Slovar' eksperimentatora [Dictionary of the Experimenter] Osnovy psikhologicheskogo eksperimenta [Experimenting in Psychology] (R. Gottsdanker), Moscow: Academia. Availiable at: http:// flogiston.ru/library/gottsdanker_dictionary (in Russian).
Ragin C. C. (1987) The Comparative Method: Moving Beyond Qualitative and Quantitative Strategies, Berkeley: University of California Press
Rawls A. W. (1996) Durkheim's Epistemology: The Neglected Argument. American Journal of Sociology, vol. 102, no 2, pp. 430-482.
Ringelmann M. (1913) Recherches sur les moteurs animés: Travail de l'homme. Annales de l'InsitutNational Agronomique, vol. 12, pp. 1-40.
Rubin D. B. (1974) Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology, vol. 66, no 5, pp. 688-701.
Rubin D. B. (1978) Bayesian Inference for Causal Effects: The Role of Randomization. The Annals of Statistics, vol. 6 no 1, pp. 34-58.
Rubin D. B. (1980) Randomization Analysis of Experimental Data: The Fisher Randomization Test Comment. Journal of the American Statistical Association, vol. 75, no 371, pp. 591-593.
Rubin D. B. (2005) Causal Inference Using Potential Outcomes: Design, Modeling, Decisions. Journal of the American Statistical Association, vol. 100, no 469, pp. 322-331.
Sekhon J. S. (2008) The Neyman—Rubin Model of Causal Inference and Estimation Via Matching Methods. The Oxford Handbook of Political Methodology, vol. 2 (eds. J. Box-Steffensmeier, H. Brady, D. Collier), Oxford: Oxford University Press, pp. 1-32.
Sherman L. W., Strang H. (2004) Experimental Ethnography: The Marriage of Qualitative and Quantitative Research. The Annals of the American Academy of Political and Social Science, vol. 595, no 1, pp. 204222.
Sivak Ye. V. (2011) Istoriya otsenochnykh issledovaniy v obrazovanii v SSHA: analiticheskiy obzor. Sotsi-ologiya: metodologiya, metody, matematicheskoye modelirovaniye [The History of Assessment Research in Education in the United States: An Analytical Review]. Sociology: methodology, methods, mathematical modeling. (Sotsiologiya: 4M) = Sociologija: metodologija, metody, matematicheskoe modelirovanie (Sociologija: 4M), no 33, pp. 112-135 (in Russian).
Triplett N. (1898) The Dynamogenic Factors in Pacemaking and Competition. The American Journal of Psychology, vol. 9, no 4, pp. 507-533.
Vorob'yev V. A., Kravchenko A. A., Mayboroda T. L. (2019) Ekonomicheskiye polevyye eksperimenty: novyy podkhod k sokrashcheniyu bednosti [Economic Field Experiments: A New Approach to Poverty Reduction], Belarusian Economic Journal = Belorusskiy ekonomicheskiy zhurnal, no 4, pp. 4-26 (in Russian).
Winship C., Morgan S. L. (1999) The Estimation of Causal Effects from Observational Data. Annual Review of Sociology, vol. 25, no 1, pp. 659-706.
Wood E. J. (2007) Field Research. The Oxford Handbook of Comparative Politics (ed. Boix C., Stokes S.), Oxford: Oxford University Press, pp. 123-147.
Yenikolopov R. (2009) Otsenivaniye effekta vozdeystviya [Evaluation of the Effect of Exposure]. Quantile = Kvantil', no 6, pp. 3-14 (in Russian).
Yenikolopov R. (2020) Dokazatel'naya ekonomika razvitiya: Nobelevskaya premiya po ekonomike 2019 goda [Evidence-Based Development Economics: 2019 Nobel Prize in Economics. Economics]. Voprosy ekonomiki, no 1, pp. 5-17 (in Russian).
Received: November 30, 2020
Citation: Serebrennikov D., Kuzmina Y. (2021) Polevye eksperimenty i model' prichinno-sledstvennogo
vyvoda Donal'da Rubina: obzor aktual'nykh issledovaniy [Field Experiments and the Rubin Causal Model:
Review of Approaches and Current Research]. Journal of Economic Sociology = Ekonomicheskaya sotsi-
ologiya, vol. 22, no 4, pp. 117-139. doi: 10.17323/1726-3247-2021-4-117-139 (in Russian).
