CC BY
0ЭКОНОМИЧЕСКАЯ ТЕОРИЯ
УДК 330.88 JEL B29
https://doi.org/10.21122/2309-6667-2024-19-79-85
НЕКОТОРЫЕ АСПЕКТЫ РАНДОМИЗИРОВАННЫХ
КОНТРОЛИРУЕМЫХ ИССЛЕДОВАНИЙ (RANDOMIZED CONTROLLED TRIALS - RCT): ПОПЫТКИ ТЕОРЕТИЧЕСКОГО ОСМЫСЛЕНИЯ
Л. И. Дроздович
кандидат экономических наук, доцент, доцент кафедры «Экономика и право» Белорусский национальный технический университет г. Минск, Республика Беларусь В. А. Лесницкая v.lesnickaya@mail.ru студент кафедры «Экономика и право» Белорусский национальный технический университет г. Минск, Республика Беларусь Мэн Цзялян
студент кафедры «Экономика и право» Белорусский национальный технический университет г. Минск, Республика Беларусь
Статья посвящена исследованию некоторых аспектов метода рандомизированных контролируемых исследований. Установлено, что исследования рандомистов иинтуитивно понятны большому количеству человек, в то время как для более детальных, фундаментальных исследований требуются специальные научные знания. Так как исследователи в рамках метода RCT исключают необходимость обращаться к теории на подготовительной стадии проведения исследования, а руководствуются результатами, это лишает возможности сделать предварительные выводы-гипотезы на основе теоретического анализа данных и получать положительную внешнюю валидность на основе применения различных методов, а не выделяя отдельный метод как единственно верный.
Ключевые слова: рандомисты, рандомизированные контролируемые исследования, новая экономика развития, RCT-исследование, информация, экономическая система.
Цитирование: Дроздович, Л. И. Некоторые аспекты рандомизированных контролируемых исследований (Randomized controlled trials - RCT): попытки теоретического осмысления / Л. И. Дроздович, В. А. Лесницкая, Мэн Цзялян // Экономическая наука сегодня : сб. науч. ст. / БНТУ. - Минск, 2024. - Вып. 19. - С. 79-85. https://doi.org/10.21122/2309-6667-2024-19-79-85
Введение. В начале XX в. широкое распространение среди экономических методов оценки эффективности программ борьбы с бедностью в развивающихся странах получил метод рандомизированных контролируемых исследований (Randomized controlled trials - RCT). Рандомистами, как назвал их британо-американский экономист А. Дитон, метод RCT признан «золотым стандартом». Иными словами, RCT возводят на самый верх в иерархии исследовательских методов в экономике. Инструменты, которыми руководствуются рандомисты в процессе исследований имеют суще-
ственные недостатки. Их рассмотрение представляется актуальным с точки зрения выявления недостатков и перспектив данного метода и возможности его применения в условиях Республики Беларусь.
Результаты и их обсуждение. Метод RCT или Randomized controlled trials предполагает получение данных исключительно эмпирически при помощи «рандомизации». При этом исследователи почти или полностью не проводят предварительного анализа теоретических данных. Р. И. Капелюшников пишет: «Утверждается, что для того, чтобы сделать из рандомизированного эксперимента достоверный каузальный вывод, не требуется никаких предварительных теоретических знаний. Это позволяет обходить одно из главных возражений против использования эконометрических методов анализа, состоящее в том, что они вынуждены опираться на неправдоподобные экономические модели, далекие от реальности»1. Рандомисты убеждены, что подобно тому, как существует доказательная (evidence-based) медицина, точно так же должна существовать и доказательная (evidence-based) экономика, олицетворение которой они видят в рандомизированных контролируемых исследованиях.
«Экономика RCT», также называемая «новая экономика развития» с 70-х гг. XX в. стала набирать популярность2. Дж. Хекман, один из ярких представителей данного направления, в работе «Пересмотр практики рандомизации и оценки социальной политики» [1] описывает появление RCT через описание двух волн, называя их «Great Awakening» - «Великое пробуждение»: «Я называю обе волны "Великим пробуждением", в честь двух религиозных возрождений, которые сформировали протестантские церкви в Северной Америке в XVIII и XIX вв. и в знак признания их стремления к методологической чистоте» [1, p. 308]. В этих словах прослеживается его стремление возвести метод рандомизации на пьедестал, вера в утверждение экономистов, что данный метод является лидирующим среди других по получению наиболее достоверных данных для анализа и практического их использования в будущем.
В качестве предпосылки для появления первой волны рандомизированных контролируемых исследований Дж. Хекман выделяет оценку программ отрицательного подоходного налога (Negative Income Tax - NIT). Ее описание он дает сжато, выделяя экспериментальность и несовершенность первой волны. Согласно К. Доновану, «в 1970-х гг. правительство США провело крупномасштабные проекты по оценке отрицательного подоходного налога и медицинского страхования. Однако, хотя эти оценки были полезными, проекты, как правило, были дорогостоящими и единовременными, предназначенными для измерения воздействия единой стратегии» [2, p. 14]. Таким образом, одной из причин провала первой волны рандомизированных контролируемых исследований стала высокая стоимость проектов, результаты которых практически не применимы в других, не экспериментальных экономических процессах.
Вторая волна RCT приходится на начало XXI в. и длится по сегодняшний день. С 2019 г. ежегодно публикуется порядка 350 работ, где излагаются и анализируются результаты таких экспериментов [3]. Веб-сайт одного из главных рандомистских центров - Лаборатории борьбы с бедностью им. Абдул-Латифа Джамиля (J-PAL), созданной в 2003 г. при Массачусетском технологическом институте, - содержит информацию о более чем 1000 RCT, проведенных в более чем 80 странах [4].
Р. И. Капелюшников выделяет следующую характеристику RCT-исследований: «Рандомизация создает ситуацию, при которой все прочие факторы <...> в равной мере воздействуют на обе сравниваемые группы, так что любое появившееся между ними различие можно с уверенностью приписать нашему вмешательству. <...> Благода-
1 Капелюшников, Р. И. «Рандомисты»: новая экономика развития / Р. И. Капелюшников. - М. : НИУ ВШЭ, 2022. - 60 с. - (Препринт / Нац. исслед. ун-т «Высшая школа экономики»; WP3/2022/07). - С. 12-13.
2 Там же.
ря ЯСТ можно делать выводы о причинно-следственных связях, ничего не зная об этих искажающих факторах»1. Основной посыл рандомистов заключается в том, чтобы использовать закон больших чисел и получать средний эффект воздействия, не прибегая к сложным техническим процедурам. При этом при обращении ко внешней валидности - возможной широте использования полученных данных - она оказывается достаточно мала, так как в работах ЯСТ не исследуются факторы, воздействующие на социальную систему. «Как правило, ЯСТ ограничиваются оценкой краткосрочных эффектов вмешательства, игнорируя долгосрочные. <...> Это приводит к тому, что рандомисты достаточно часто фиксируют внимание не на конечных, а на промежуточных результатах вмешательства»2. Примером является эксперимент рандомистов в Кении по влиянию дегельминтизации на успеваемость школьников [5]. Эксперимент показал, что дегельминтизация улучшает здоровье учащихся и снижает частоту пропусков ими школьных занятий (на 7,5 %), хотя при этом никак не отражается на их академических результатах. Однако, когда группа авторитетных эпидемиологов провела повторный анализ, они выявили множество неточностей и нестыковок [6]. После устранения обнаруженных ошибок оценка общего влияния дегельминтизации на частоту пропусков школ снизилась вдвое по сравнению с заявленной изначально.
Данный пример и отказ рандомистов учитывать влияние прочих факторов на систему отсылает к известной задаче трех тел: три одинаковые точки в одинаковых начальных маршрутах никогда не повторят траекторию, что наглядно демонстрирует сильную зависимость от начальных условий. Эффект от деятельности исследователей, который смог проявиться в ходе эксперимента на одной территории и в одних условиях не может быть идентично получен на другой территории, так как даже небольшие различия в условиях в самом начале разрастаются до совершенно непохожих друг на друга результатов, что еще раз показывает низкую внешнюю валидность метода ЯСТ.
Важным при рассмотрении широкого распространения ЯСТ-исследований является исторический контекст. Методы «старой» экономики и «новой» экономики развития строятся на разных по природе и качеству эмпирических данных. «Старая» экономика развития чаще всего оперировала агрегированными показателями, бравшимися в готовом виде из различных международных баз данных, причем из-за плохой организации статистики в развивающихся странах эти данные часто оказывались сомнительного качеств [7]. «Новая» экономика развития строится на использовании новых, не существовавших ранее индивидуальных данных, которые она получает сама из первых рук по ходу проводимых ею экспериментов. «Сегодня экономика развития предстает как история успеха, как олицетворение несомненного и впечатляющего прогресса научного знания»3. В развивающихся странах статистические данные зачастую носят недостоверный характер, некоторые данные нет возможности собрать и обработать ввиду отсутствия тех или иных условий организации. В связи с этим принципы «новой экономики», базирующейся на исследованиях в рамках микросреды, дают информацию на базе собранных данных здесь и сейчас, в момент проведения исследований и выявления результатов. Это обусловило привлекательность и предпочтительность ЯСТ перед другими экономическими методами исследования.
Другим фактором распространения идеи, идеологии или ценности того или иного феномена является склонность человека объяснять причины решений экономических агентов, исходя из их личных качеств, а не из оценки внешних обстоятельств, их определяющих. Также имеют место когнитивные ловушки - устойчивые повторяющиеся схемы поведения, восприятия и мышления, мешающие человеку адекватно вос-
1 Капелюшников, Р. И. «Рандомисты»: новая экономика развития / Р. И. Капелюшников. - М. : НИУ ВШЭ, 2022. - 60 с. - (Препринт / Нац. исслед. ун-т «Высшая школа экономики»; ^Г3/2022/07). - С. 21 с.
2 Там же. - С. 28.
3 Там же. - С. 10.
принимать реальность и обрабатывать информацию. Человек делает выводы, исходя не из фактов, а из своих представлений о них. Так, в случае с исследованием по дегельминтизации среди школьников в Кении, синтез полученной информации привел к ее ложному восприятию. При этом важно разделять два уровня субъектов, потребляющих информацию в данных исследованиях: собственно исследователи, а также общество - люди, не имеющие доступ к фундаментальным трудам, а делающие выводы на основе предоставленных исследователями данных. Вследствие того, что цели, мотивы RCT и их результаты не отсылают к теории, так как теория, по их мнению, плохой советчик при проведении экспериментов: она только запутывает дело, мешая успешной борьбе с бедностью [8]. Как замечает Р. И. Капелюшников, «политикам и широкой публике идея о том, что практические рекомендации можно вырабатывать полностью "атеоретически" (не опираясь ни на какие теории или модели), должна казаться чрезвычайно привлекательной»1. В силу своей простоты метод RCT имеет иллюзию «беспредпосылочности», то есть теории рандомистов не требуют постановки множества условий. «Не удивительно, что люди склонны доверять таким оценкам больше, чем оценкам, которые сопровождаются длинным списком условий, оговорок и допущений»2. Кажущаяся простота экспериментов, их нацеленность на конкретную группу людей здесь и сейчас создает ощущение стабильности и надежности. Это психологически сильнее фундаментальных научных исследований, нацеленных на изучение и оптимизацию процессов в экономике, улучшение благосостояния внутри экономической системы на макроуровне. Результаты фундаментальных исследований зачастую видны спустя длительное время, в то время как метод RCT рассчитан на получение сравнительно быстрых результатов, чем также обосновывается популярность данного метода.
Третий фактор - новизна RCT-исследований. Научная «новизна» привлекает больше, чем развитие идеи предыдущих идей. Кроме того, «только оригинальный эксперимент способен обеспечить публикацию в топовом научном журнале и ее последующее активное цитирование»3. Так исследование получает новый научный статус, распространяется в обществе, где действительная их научность на основе фундаментальных исследований (а вернее, их отсутствии) опускается, достоверность информации принимается за априорную величину, не требующую проверки. В связи с этим доверие к такому исследованию растет, как и популярность использованного в них метода. «Старые» исследования и методы, не демонстрирующие быстрых видимых результатов, в отличие от RCT, могут признаваться не эффективными, и предпочтения отдаются методам RCT.
В общем виде популярность метода RCT состоит в том, что исследователи смогли предложить конкурентоспособную модель оценки борьбы с бедностью, иллюзорно упорядочивающую другие научные методы и результаты после экспериментов. Как верно замечает С. А. Кристиневич, «в конкуренции за право быть таким образцом побеждает фактор, способный не только предложить конкурентоспособную идеологию, но и эффективную технологию ее продвижения» [9, с. 47]. Тем самым метод RCT, исследователи, его использующие, стали влиятельными акторами; аттрактором - точкой, притягивающее общественное внимание, одновременно отрезающее вид на другие элементы системы методологических подходов и взглядов. Убедительность в результатах придает главный и основной инструмент, которым пользуются рандомисты -математика. Цифры, преобразованные и предоставленные в отчете, могут быть убеди-
1 Капелюшников, Р. И. «Рандомисты»: новая экономика развития / Р. И. Капелюшников. - М. : НИУ ВШЭ, 2022. - 60 с. - (Препринт / Нац. исслед. ун-т «Высшая школа экономики»; ^Г3/2022/07). - С. 14.
2 Там же. - С. 50.
3 Там же. - С. 34.
тельнее, чем постановка научных теорий и предположений в ходе фундаментальных исследований. Потому эксперименты, в том числе приведенный пример исследований по дегельминтизации в Кении, демонстрирующие положительные результаты сразу после эксперимента, привлекают внимание общества и увеличивают доверие к результатам, несмотря на то, что в долгосрочной перспективе эффект от них снижается. В момент получения данных об успехе исследований происходит положительное подкрепление «теорем» рандомистов на основе опыта и полученной из их результатов информации. Расшифровка данной информации и получение из нее научных знаний происходит неравномерно каждым отдельным субъектом: индивидом или группой. Знания не есть то же самое, что и информация - это усвоенная индивидом или группой часть информации, подвергнувшаяся обработке опытом и уже существующими знаниями тех, кто эту информацию получил. Таким образом, результаты исследований есть информация, которую исследователь подвергает обработке в силу своих знаний и опыта.
Выводы. Возникает вопрос: возможно ли применение метода ЯСТ за пределами развивающихся стран, стран Африки, где он активно применяется и популяризируется экономистами, в иных условиях, - к примеру, в Республике Беларусь. Для этого необходимо сделать оговорку о состоянии современной экономической науки в Республике Беларусь. В исследовании «Экономическая наука Беларуси: путь к самоидентификации» [10] П. С. Лемещенко и И. А. Лаврухина отмечают следующую особенность развития современной науки: «Начался постепенный пересмотр прежних традиционных взглядов на развитие экономических процессов, а также представлений о предмете, категориях и содержании экономической науки. <...> Это проявилось в предметно-методологической неопределенности, нарушении алгоритма исследования, размытости выводов, а также в преобладающем использовании интуитивно-описательного метода» [10, с. 37]. В этой связи стало заметно проявление неопределенности в категориальном определении и понимании фундаментальных понятий. Также, как замечает С. Ю. Солодовников: «еще одной серьезной проблемой, непосредственно влияющей на гносеологический кризис белорусской экономической науки, является парадигмальный кризис всей экономической науки» [11, с. 185]. Таким образом, в научных исследованиях, связанных с необходимостью понимания контекста, анализа большого количества поступающей информации важную роль приобретает феномен информационного оружия. «Информационное оружие как общественно-функциональная инновация подвергает воздействию определенные группы социальных субъектов с целью навязывания им нужного манипулятору социально-экономического поведения» [11, с. 188]. В таких условиях внедрение нового, еще структурно не сформировавшегося научного экономического метода исследования в Республике Беларусь повлечет неоправданный риск становления метода RCT как средства манипуляции в белорусской экономической системе общества. Так как степень того, насколько гносеологически верно или не верно будут восприняты принципы метода рандомизируемых контролируемых исследований, будет зависеть от транслируемой из внешней среды информации: зарубежных источников, трактовки результатов рандомизируемых исследований как за рубежом, так и отечественными исследователями. Если исследования метода ЯСТ минуют научные фундаментальные исследования белорусскими учеными и получат распространение в обществе, схожее с тем, какую популярность они обрели в США, высоки риски и угрозы национальной безопасности.
Список использованных источников
1. Heckman, J. J. Epilogue: Randomization and Social Policy Evaluation Revisited / J. J. Heckman; ed.: F. Bedecarrats, I. Guerin, F. Roubaud // Randomized Control Trials in the Field of Development. - Oxford : Oxford Univ. Press, 2020. - P. 304-330. https://doi.org/10.1093/oso/9780198865360.003.0014
2. Donovan, K. P. The rise of the randomistas : On the experimental turn in international aid / K. P. Donovan // Economy and Society. - 2018. - Vol. 47, № 1. - P. 1-32.
3. Ravallion, M. Should the Randomistas (Continue to) Rule / M. Ravallion; F. Bedecarrats, I. Guerin, F. Roubaud (eds.) // Randomized Control Trials in the Field of Development. - Oxford : Oxford Univ. Press, 2020 - P. 47-78. https://doi.org/10.3386/w27554
4. de Cler, A. P. The Rise and Fall of a Gold Standard The Case of Randomized Controlled Trials within the Experimentation for Youth Fund / A. P. de Cler. - Paris : Scienc-esPo. School of Public Affairs, 2021. - 58 p.
5. Miguel, E. Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities / E. Miguel, M. Kremer // Econometrica. - 2004. - Vol. 72, № 1. -P. 159-217.
6. Re-analysis of Health and Educational Impacts of a School-Based Deworming Programme in Western Kenya: A Pure Replication / M. A. Aiken [et al.] // International Journal of Epidemiology. - 2015. - Vol. 44, № 5. - P. 1572-1580.
7. Jerven, M. Africa: Why Economists Get It Wrong (African Arguments) / M. Jer-ven. - L. : ZedBooks, 2015. - 176 p.
8. Banerjee, A. How Poverty Ends. The Many Paths to Progress - and Why They Might Not Continue / A. Banerjee, E. Duflo // Foreign Affairs. - 2020. - Vol. 99, № 1. -P. 22-29.
9. Кристиневич, С. А. Информационная безопасность в глобальном политико-экономическом пространстве: механизмы манипулятивного воздействия и системы когнитивной защиты / С. А. Кристиневич // Экономическая наука сегодня : сб. науч. ст. / БНТУ. - Минск, 2020. - Вып. 12. - С. 46-56.
10. Лемещенко, П. С. Экономическая наука Беларуси: путь к самоидентификации / П. С. Лемещенко, И. А. Лаврухина // Вестник Ивановского государственного университета. Серия Экономика. - 2013. - № 1. - С. 31-40.
11. Солодовников, С. Ю. Парадигмальный кризис белорусской экономической науки: цифровизация и проблемы подготовки кадров в сфере обеспечения национальной безопасности / С. Ю. Солодовников // Экономическая наука сегодня: сб. науч. ст. / БНТУ. - Минск, 2019 - Вып. 10. - С. 182-194.
_Статья поступила в редакцию 24 декабря 2023 года
SOME ASPECTS OF RANDOMIZED CONTROLLED RESEARCH
(RANDOMIZED CONTROLLED TRIALS RCT): ATTEMPTS
AT THEORETICAL COMPREHENSION
L. I. Drozdovich
PhD in Economics, Associate professor, Associate Professor of the Department ''Economics and Law'' Belarusian National Technical University Minsk, Republic of Belarus V. A. Lesnickaya Student of the Department ''Economics and Law'' Belarusian National Technical University Minsk, Republic of Belarus
Meng Jialiang
Student of the Department ''Economics and Law'' Belarusian National Technical University Minsk, Republic of Belarus
The article is devoted to the study of some aspects of the method of randomized controlled research. According to the results of the study, it is found that research of randomis-tas are intuitively understood by a large number of people, while for more detailed, fundamental research requires special scientific knowledge. Since researchers in the RCT method exclude the need to refer to the theory at the sub-preparatory stage of research and are guided by the results, this prevents the possibility of making preliminary hypotheses based on theoretical analysis for data and obtain positive external validity through the application of various methods, rather than highlighting a separate method as the only true.
Keywords: randomistas, randomized controlled trials, new development economy, RCT-research, information, economic system.
References
1. Heckman, J. J. (2020) Epilogue: Randomization and Social Policy Evaluation Revisited. In: Randomized Control Trials in the Field of Development: A Critical Perspective, eds: F. Bedecarrats, I. Guerin, F. Roubaud. Oxford, Oxford University Press. pp. 304-330. Available from: https://doi.org/10.1093/oso/9780198865360.003.0014
2. Donovan, K. P. (2018) The rise of the randomistas : On the experimental turn in international aid. Economy and Society. 47 (1), 1-32.
3. Ravallion, M. (2020) Should the Randomistas (Continue to) Rule. In: Randomized Control Trials in the Field of Development. F. Be-decarrats, I. Guerin, F. Roubaud (eds.). Oxford, Oxford University Press. Pp. 47-78. Available from: https://doi.org/10.3386/w27554
4. de Cler, A. P. (2021) The Rise and Fall of a Gold Standard The Case of Randomized Controlled Trials within the Experimentation for Youth Fund. Paris, SciencesPo. School of Public Affairs.
5. Miguel, E., Kremer, M. (2004) Worms Identifying Impacts on Education and Health in the Presence of Treatment Externalities. Econometrica. 72 (1), 159-217.
6. Aiken, A. M. [et al.] (2015) Re-analysis of Health and Educational Impacts of a School-Based Deworming Programme in Western Kenya: A Pure Replication. International Journal of Epidemiology. 44 (5), 1572-1580.
7. Jerven, M. (2015) Africa: Why Economists Get It Wrong (African Arguments). London, ZedBooks.
8. Banerjee, A., Duflo, E. (2020) How Poverty Ends. The Many Paths to Progress -and Why They Might not Continue. Foreign Affairs. 99 (1), 22-29.
9. Kristinevich, S. A. (2020) Information security in the global political and economic space: mechanisms of manipulative influence and systems of cognitive protection. Ekonomicheskaja nauka segodnja, (12), 46-56. (In Russian).
10. Lemachenko, P. S., Lavrukhina, I. A. (2013) Economic science of Belarus: the way to self-identification. Vestnik Ivanovskogo gosudarstvennogo universiteta. Serija Jekonomika. (1), 31-40. (In Russian).
11. Solodovnikov, S. Yu. (2019) Paradigmatic crisis of Belarusian economic science: digitalization and training problems in the sphere of national security. Ekonomicheskaja nauka segodnja. (10), 182-194. (In Russian).
