CC BY
24
МЕТОДЫ И МЕТОДОЛОГИЯ
DOI: 10.14515/monitoring.2017.5.03 Правильная ссылка на статью:
Чернозуб О. Л. К вопросу о локализации источников эрозии валидности современных электоральных исследований // Мониторинг общественного мнения : Экономические и социальные перемены. 2017. № 5. С. 31—48. DOI: 10.14515/monitoring.2017.5.03. For citation:
Chernozub O. L. Detection of validity-related faults in the modern electoral studies. Monitoring of Public Opinion: Economic and Social Changes. 2017. № 5. P. 31—48. DOI: 10.14515/ monitoring.2017.5.03.
О. Л. Чернозуб
К ВОПРОСУ О ЛОКАЛИЗАЦИИ ИСТОЧНИКОВ ЭРОЗИИ ВАЛИДНОСТИ СОВРЕМЕННЫХ ЭЛЕКТОРАЛЬНЫХ ИССЛЕДОВАНИЙ
К ВОПРОСУ О ЛОКАЛИЗАЦИИ ИСТОЧНИКОВ ЭРОЗИИ ВАЛИДНОСТИ СОВРЕМЕННЫХ ЭЛЕКТОРАЛЬНЫХ ИССЛЕДОВАНИЙ
ЧЕРНОЗУБ Олег Леонидович—руководитель Отдела мониторинговых исследований, Всероссийский центр изучения общественного мнения (ВЦИОМ), Москва, Россия.
E-MAIL: chernozub_o@wciom.com ORCID: 0000-0001-5689-8719
Аннотация. В последнее время на фоне ряда резонансных ошибок предвыборных прогнозов обострилось внимание к проблемам электорального прогнозирования вообще и к проблемам качества данных, получаемых в интересах этого прогнозирования путем проведения опросов избирателей, в частности. Как показала практика индустриальных расследований имевших место ошибок, внимание профессионального и научного сообщества обращено прежде всего на проблемы
DETECTION OF VALIDITY-RELATED FAULTS IN THE MODERN ELECTORAL STUDIES
Oleg l. CHERNOZUB1 — Head of Monitoring Studies
E-MAIL: chernozub_o@wciom.com ORCID: 0000-0001-5689-8719
1 Russian Public Opinion Research Center (VCIOM), Moscow, Russia
Abstract. Amidst a number of high-profile errors in election forecasts, the problems of election forecasting and quality of data obtained from voters have recently attracted much attention. As the investigation of polling errors suggests, professional and academic communities are mainly focused on the accuracy of measurement, whereas the validity problems are generally underestimated.
The present study is the first attempt to systematically describe the sources of
точности измерении, в то время как проблемы их валидности в целом недооцениваются.
В статье предпринята попытка впервые дать системное описание источников эрозии валидности данных предвыборных опросов, осуществленная на основе реконструкции их теорети-ческои основы и анализа возникающих разрывов фундаментального (несовершенство самой теоретической модели), методологического (неполное или неточное использование модели на практике) и методического (несоответствие инструментов измерения требованиям модели) свойства. Выполненный анализ позволяет сформулировать своего рода «техническое задание» по сокращению этих разрывов и наметить первоочередные направления совершенствования сложившейся практики электоральных исследований.
erosion of validity of pre-election survey estimates. The description is based on theoretical framework and the analysis of fundamental (imperfection of the theoretical model itself), methodological (incomplete and incorrect practical use of the model) and methodical (mismatch between the measurement tools and the model requirements) faults. The author's analysis helps to define a «task» aimed to reduce the faults and to draw up the key directions for improvement to be made in election polling.
Ключевые слова: электоральные исследования, электоральное прогнозирование, валидность данных, предвыборные опросы
Keywords: electoral studies, electoral forecasting, data validity, pre-election surveys
Прогноз результатов выборов: актуальность и проблемы реализации
В последние 50—60 лет практика в большей или меньшей степени конкурентных выборов и, соответственно, практика прогнозирования их результатов стали рутинными процедурами в большинстве стран мира. В подавляющем большинстве случаев для прогнозов используются результаты опросов избирателей, которые таким образом стали важнейшим фактором политического планирования. Практически по всему миру, в том числе и в России, регулярно публикуются всевозможные рейтинги, отражающие уровень популярности политиков и политических сил и претендующие на оценку шансов этих сил заручиться поддержкой избирателей на выборах. Несмотря на то что в последнее время среди полстеров становится хорошим тоном отрицать свои претензии на прогноз результатов выборов, именно прогноз и есть единственно ценное, чего ждут и что хотят увидеть непосредственные потребители данных «рейтингов».
Для политической партии или отдельного политического деятеля именно результаты выборов являются естественным «вознаграждением» за те решения, которые он принимает и проводит в жизнь в ходе своей политической деятельности. Никакие рейтинги, не указывающие на его шансы получить голоса избирателей, ему не нужны. Ровно по той же причине они неинтересны и СМИ, и обществу в лице общественных организаций, различных групп интересов и т. п. Поэтому набирающая силу, насколько можно судить по последним выборным кампаниям в Европе, США и у нас в России, тенденция профессионалов опросов общественного мнения отмежевываться от этой ключевой, по сути, цели их деятельности глубоко ошибочна. Тем более что причина такого поведения, к сожалению, лежит на поверхности: в последние годы участились случаи ошибочных прогнозов результатов голосования, выполненных на основе опросов общественного мнения. Вот список только тех случаев, которые получили наиболее громкую огласку и широко обсуждались как в общественно-политических кругах, так и в профессиональной среде 1.
Наиболее резонансные ошибки в прогнозе результатов голосования
— Молдавия — выборы парламента 2014;
— Британия — выборы парламента 2015;
— Израиль — выборы кнессета 2015;
— Греция — референдум 2015;
— Польша — выборы президента 2015;
— Белоруссия — выборы президента 2015;
— Британия — референдум о выходе из ЕС, 2016;
— США — выборы президента 2016;
— Британия — выборы парламента 2017.
По результатам некоторых из этих случаев были проведены довольно обстоятельные расследования 2, обобщенные результаты которых можно представить следующим образом: достоверно установить причины расхождения между результатами прогнозов, выполненных на основе данных опросов избирателей, и результатов голосования, не представляется возможным. Тем не менее авторы расследования указали на четыре группы причин, которые потенциально могут объяснять появление таких расхождений.
Ошибки в конструировании и реализации выборки: остаются неохваченными избиратели, проживающие за пределами избирательного округа, но голосующие
1 Пресс-секретарь Барака Обамы Джош Эрнест: «Почти каждый опрос общественного мнения о предпочтениях американских избирателей перед выборами президента 8 ноября оказался ошибочным». См. Белый дом признал ошибочность опросов о победе Клинтон [Электронный ресурс] // BBC: Русская служба новостей. 2016. 10 ноября. URL: http://www.bbc.com/russian/news-37931882 (дата обращения: 14.10.2017). Влиятельный исследовательский центр сообщал на своем сайте: «Результаты президентских выборов во вторник оказались сюрпризом почти для каждого... Как опросы могли настолько сильно ошибаться?» См. Mercer A., Deane C., McGeeney K. (2016) Why 2016 Election Polls Missed their Mark? [Электронный ресурс]. Pew Research Center. URL: http://www.pewresearch.org/fact-tank/2016/11/09/why-2016-election-polls-missed-their-mark/ (дата обращения: 14.10.2017). См. также: Whiteley P (2016) Four Reasons Why the Polls Got the U. S. Election Result so Wrong [Электронный ресурс]. Newsweek. Nov. 14. URL: http://www.newsweek.com/polls-2016-us-elections-trump-potus-hillary-clinton-520291 (дата обращения: 14.10.2017).
2 Результаты расследования по итогам парламентских выборов 2015 г. в Великобритании см.: Sturgis P., et al. (2016) Report of the Inquiry into the 2015 British General Election Opinion Polls. London: Market Research Society and British Polling Council. Результаты расследования по итогам президентских выборов 2016 г. в США см.: [Kennedy et al., 2016].
удаленно. Или, наоборот, опрашиваются лица, проживающие на территории округа, но не являющиеся избирателями.
Проблемы достижимости: сторонники одного из кандидатов представляют аудиторию, традиционно имеющую более высокий/низкий коэффициент отказов от участия в исследовании.
Проблема «последующего сдвига»: на момент проведения опроса избиратели имеют одно мнение, а позже меняют его. В качестве частного случая данной проблемы может рассматриваться так называемый недостаток интроспекции: если респондент не слишком вовлечен в политический процесс, он может и не разобраться в том, к какому кандидату на самом деле склоняются его симпатии, и совершенно искренне ответить неправильно.
Проблема умышленного умолчания: респонденты сознательно лгут, отвечая на вопросы анкеты, а на избирательных участках голосуют в соответствии со своими действительными предпочтениями 3.
Рассмотрев все эти группы причин, нетрудно прийти к выводу, что две из них, а именно проблемы выборки и достижимости респондентов, методические; они могут быть разрешены за счет уточнения выборок и более жесткого контроля их реализации. Две другие группы проблем являются по своей сути методологическими и ставят на повестку дня вопрос о том, что исследователи добывают заведомо невалидную информацию (даже в тех случаях, если действует презумпция доброй воли и добросовестности респондента).
Именно по вопросам методологических оснований предвыборных исследований современная индустрия опросов общественного мнения склонна, как кажется, занять капитулянтскую позицию: «Мы не можем проверить, говорит ли нам респондент правду о своем выборе, и мы не можем гарантировать, что он не изменит свой выбор в промежуток времени между моментом опроса и моментом выбора. Раз так, мы не можем отвечать за расхождения между результатами исследования и результатами голосования» 4.
Представляется, что это совершенно бесперспективная позиция, заводящая всю индустрию предвыборных опросов в глухой тупик. Дело в том, что никакая политическая система не может себе позволить проводить выборы и референдумы непрерывно. В этих условиях опросы избирателей по самому широкому кругу вопросов, представляющих общественно значимый интерес, уже давно стали ориентиром, позволяющим на повседневной основе оценивать влияние тех или иных действий, предпринимаемых политическими силами, на их электоральные перспективы. Если связь рейтингов и голосования рвется, исчезает сама практическая ценность подобных рейтингов. Что толку принимать во внимание
3 См. Sturgis P, et al. (2016) Report of the Inquiry into the 2015 British General Election Opinion Polls. London: Market Research Society and British Polling Council. См. также [Kennedy et al., 2016].
4 Данная позиция выглядит весьма уязвимой не только с политических позиций взаимодействия индустрии и общества, но и с чисто научных. Респондент не может быть виновным в том, что сообщает исследователю не то, что последний от него ожидает. Если исследователь безосновательно исходит из презумпции «компетентности и добросовестности» респондента, то это проблема исследователя, а не респондента. Иными словами, если исследователь использует негодный стимул, а потом объявляет, что результаты стимулирования не показывают и, более того, даже и не могут показывать то, что от них ожидается,—это проблема методологии исследования, а не организации политического процесса.
рейтинги популярности, если результаты выборов могут оказаться прямо противоположными? Совершенно очевидно, что подобная постановка вопроса не только наносит ущерб индустрии опросов общественного мнения, но и имеет обширные общественно-политические последствия: она лишает агентов политической деятельности необходимых ориентиров.
Потребность в достоверной информации об электоральных перспективах различных политических сил остается весьма высокой, что на фоне кризисных явлений в области применения конвенциональных (основанных на опросах избирателей) методов выражается в активных попытках смежных отраслей предложить более надежную альтернативу.
К подобным «альтернативным» методам электорального прогнозирования могут быть отнесены:
— прогнозные рынки [Arrow et al., 2008; Atanasov et al., 2015] 5,
— опросы об ожиданиях [Rothschild, Wolfers, 2011; Graefe, 2014],
— контент-анализ социальных сетей [Tumasjan et al., 2010],
— экономические модели [Tufte, 1978].
Существование всех этих методов, как и ожидаемое появление еще более новых, говорит о том, что конвенциональная модель прогнозирования в том виде, в каком она существует на данный момент, в полной мере не соответствует общественному запросу. Если это так, профессиональному сообществу было бы крайне желательно вместо самоустранения от проблемы попытаться ее осмыслить и, возможно, даже найти то или иное ее решение.
Реконструкция исходных предпосылок конвенциональной модели
Предвыборные опросы настолько прочно вошли в нашу жизнь, что заложенные в них теоретические конструкции часто не вполне очевидны даже тем профессионалам, которые долгие годы успешно занимается их практическим применением. Поэтому реконструкция, то есть выявление и явное обозначение исходных предпосылок и методов оперирования ими, представляется вполне актуальной задачей.
На уровне обыденного сознания сложившаяся практика предвыборных исследований, основанная на прямых вопросах типа «за кого вы будете голосовать?», представляется самоочевидной. Действительно, если мы хотим узнать, как предполагает голосовать человек, что может быть естественнее, чем подойти и прямо спросить его об этом? Данная парадигма в целом не вызывает возражений ни со стороны исследователей, ни со стороны политических деятелей, что находит свое выражение в повсеместном применении модели «likelihood to vote — vote intention» («вероятность участия в голосовании — намерение проголосовать за конкретного кандидата»). Данная модель сводится в конечном счете к двум вопросам, которые хотя и имеют большое количество редакций, содержательно сводятся к следующему:
5 Определенный опыт в этом вопросе накоплен и во ВЦИОМ, см., напр.: Пресс-выпуск № 3124 [Электронный ресурс] // ВЦИОМ. 10.06.2016. URL: https://wciom.ru/index.php?id=236&uid=115729 (дата обращения: 14.10.2017); Пресс-выпуск № 3171 [Электронный ресурс] // ВЦИОМ. 09.08.2016. URL: https://wciom.ru/index.php?id=236&uid=115809 (дата обращения: 14.10.2017); Рынок электоральных предпочтений работает на оппозицию [Электронный ресурс] // Коммерсант.™. 2016.08.19. URL: https://www.kommersant.ru/doc/3066938 (дата обращения: 14.10.2017).
Likelihood to vote: «Намереваетесь ли Вы принять участие в голосовании?»
Vote intention: «Какую из возможных альтернатив при голосовании Вы намерены выбрать»? 6
Соответственно, сам по себе прогноз результатов выборов предстает как оценка (часто с дополнительными поправочными коэффициентами) вероятности голосования данного респондента за конкретного кандидата, скорректированная на вероятность его появления на избирательном участке. Выводы, полученные таким образом для выборочной совокупности в меру ее репрезентативности, в дальнейшем генерализируются на всю совокупность избирателей.
Принимая во внимание сказанное выше, нетрудно заметить, что в анализе достоверности электорального прогноза профессиональное сообщество занимается прежде всего проблематикой ограничений генерализации и фактически уклоняется, во всяком случае пока, от предметного обсуждения соответствия между данными о намерениях респондентов, которые мы получили, используя имеющийся инструментарий, и их «истинными» намерениями. Иными словами, в рамках классификации возможных методологических проблем «random sampling, reliability, validity and ethical issues» [Zeller, 2000: 2343] по не вполне понятным причинам фокус внимания оказался сосредоточен почти исключительно на первом и отчасти на втором компоненте, а два других практически не рассматриваются. И если с исключением из числа возможных факторов точности электоральных измерений проблем исследовательской этики можно согласиться, то подобное же исключение в отношении проблем валидности выглядит необоснованным. Эта необоснованность становится совершенно очевидной, если обратить внимание на тот факт, что значительная группа проблем, на которые указывают, в частности, авторы упомянутых индустриальных расследований, напрямую связана с фундаментальной основой модели «likelihood to vote—vote intention» как таковой — методом «self-reporting».
Если проанализировать перечень потенциальных ошибок электорального прогноза, составленный авторами расследований, то легко обнаружить, что все проблемы, не связанные с выборкой, давно известны и, более того, являются имманентными недостатками метода самоотчета, изначально проблематизи-рующими валидность полученных данных [Austin et al., 1998; Balakrishnan, 1999; Wilcox, 2005; Fan et al., 2006]:
1. Честность ответов. Респонденты могут быть неоткровенны в своих ответах, руководствуясь массой внешних побудительных мотивов, например, стремлением лучше выглядеть в глазах интервьюера.
2. Способность к рефлексии («проблема интроспекции»). Не все респонденты способны разобраться в своих намерениях и понять, что они на самом деле хотят и, соответственно, что они в связи с этим собираются делать.
3. Инструментальные проблемы:
— Понимание. Респонденты по-разному могут понимать содержание вопроса. Исследователь не может быть полностью уверен в том, как в данном кон-
6 Широкий спектр вариантов формулировки представлен в базе дынных проекта ANES, см.: URL: http://www. electionstudies.org/.
кретном случае понят вопрос, и, соответственно, на какой вопрос отвечает респондент.
— Интерпретация шкал. Что для одного респондента может означать «твердое да», для другого — «нетвердое нет».
— Инструментальное смещение. Респонденты могут иметь склонность при прочих равных выбирать «да» или стоящие в начале шкалы альтернативы, или, напротив, в конце шкалы, или иметь склонность избегать экстремальных значений.
В методическом плане вся эта проблематика может быть убедительно проинтерпретирована с точки зрения классификации «ситуаций валидности» К. Эрикссона и Х. Саймона, которая предусматривает три типа возможных ситуаций [Ericsson, Simon, 1980; Ericsson, Simon, 1993]:
1. Респондент сообщает информацию, уже содержащуюся в его памяти в готовом и вербализованном виде. По сути, ему требуется просто припомнить то, что он уже знает и уже произносил ранее: мысленно или вслух. Примером может служить вопрос: «В каком году вы родились?»
2. Респондент сообщает информацию, которую уже знает, но которая еще не вербализована. Вербализация происходит в момент ответа на вопрос (в момент «формулирования» ответа). Пример: «Когда состоятся ближайшие выборы губернатора нашей области?» Респондент может иметь вполне определенное понимание по существу вопроса, однако ответ может быть сформулирован многовариантно: «10 сентября», «в ближайшее воскресение», «на этих выходных» и т. д.
3. Респондент не обладает требуемой информацией и создает ее непосредственно под воздействием стимула (вопроса анкеты). Типичный пример: «Если Вы пойдете на выборы, за кого Вы скорее всего проголосуете?»
Как установили К. Эрикссон и Х. Саймон, риски искажения информации растут по мере перехода от первой ситуации ко второй и далее к третьей. Первая ситуация практически исключает подобные риски, во второй возникают риски потери информации или создания артефактов на этапе вербализации. Например, ответ «через неделю» при опросе в понедельник может быть сочтен ошибочным по формальным основаниям, хотя респондент имел в виду как раз ближайшее воскресенье, что является правильным ответом. Наконец, третья ситуация наиболее проблемная. Чтобы «создать» и уже после этого вербализовать ответ на вопрос анкеты, респондент должен в явном или неявном виде провести некоторую аналитическую работу. Данный процесс непрозрачен не только для исследователя, но зачастую и для самого респондента, поэтому критическое отношение к результату (ответу на вопрос анкеты) оказывается крайне затрудненным со стороны респондента и практически невозможным со стороны исследователя. Это явление легко обнаруживается при сопоставлении с ситуациями 1 и 2: респондент легко поправится, если обнаружит, что назвал не тот год своего рождения и легко уточнит, что «через неделю» — это именно ближайшее воскресение. Ситуация 3 выглядит совсем по-другому: ни респондент, ни тем более исследователь практически не в состоянии не только исправить, но даже и диагностировать ошибку в ответе, если она была допущена.
В контексте обсуждаемой проблематики уже одно это выдвигает задачу критического осмысления ограничений метода самоотчета в целях прогнозирования электорального поведения и определения в явном виде границ его использования.
Однако помимо описанной выше группы проблем имеется и другая, не менее важная. При ближайшем рассмотрении обнаруживается, что результаты предвыборного опроса фиксируют даже не самоотчет о фактическом поведении, а самоотчет о намерениях относительно будущего поведения.
Методологической основой, в принципе позволяющей «перебросить мостик» от намерений к поведению является, «теория обоснованного действия» (ТОД, theory of reasoned action), сформулированная в своем изначальном варианте Мартином Фишбейном и Айзеком Айзеном, как принято считать, в 1967 г. [Fishbein, Ajzen, 1975]. ТОД утверждала, что действие опирается на социальную установку (аттитюд) и, выявив установку по отношению к объекту, исследователь может судить о том, какое действие по отношению к нему можно ожидать. Исходным допущением модели, как писали авторы, было утверждение: «установка предшествует действию» [Ajzen, Fishbein, 1980].
Вместе с тем, уже в 1969 г. Алан Викер опубликовал свое грандиозное исследование вторичных данных, сопровожденное придирчивым обзором существовавших на тот момент теоретических построений. Вся совокупность обобщенных им результатов показывала, что связь между установкой и действием, кажущаяся естественной и даже очевидной на концептуальном уровне, на уровне эмпирическом выглядит намного более слабой, если не сказать исчезающе малой. Как не без ехидства отмечал А. Викер, «утверждают, что связь между вербальным и фактическим поведением обнаружена, однако исследователи и редакторы считают подобные результаты «тривиальными» и «недостойными публикации». Если такие данные действительно существуют, их просто необходимо опубликовать, чтобы исправить впечатление от сделанного выше обзора, свидетельствующего, что случайный характер связи установка-поведение является более распространенным феноменом» [Wicker, 1969: 65]. В целом же, как писал А. Викер, «исследования показывают гораздо большую вероятность того, что установка не влияет, или очень слабо влияет на поведение, чем то, что отношение тесно связано с действием... Только изредка, не более 10 % вариации поведения может объясняться влиянием установки» [Ibid.].
В конечном итоге к 1980-м годам накопился достаточный эмпирический материал 7, позволивший А. Айзену уточнить некоторые важные положения [Ajzen, 1985]. Исходная модель была модифицирована и получила название theory of planned behavior, теория запланированного (или планируемого) поведения (ТЗП), что в явном виде вывело за пределы ее интерпретационной модели «спонтанное», «незапланированное» поведение. ТЗП претендует на описание только «осознанного», рационально-мотивированного поведения, преследующего достижение позитивных целей.
В своем завершенном виде ТОД/ТЗП утверждает, что фактическое поведение, если абстрагироваться от возможных объективных препятствий на пути реализа-
7 Обширный обзор практики применения модели ТОД см.: [Sheppard et al., 1988].
ции намерений, в конечном счете определяется намерениями человека. В свою очередь, сами эти намерения формируются под воздействием трех базовых факторов:
— поведенческие ожидания — оценка степени желательности ожидаемого результата действия,
— нормативные ожидания — оценка одобрения действия со стороны значимого окружения,
— ожидания контроля—оценка того, насколько выбор зависит от свободной воли респондента, и уверенность в том, что человек «поступает правильно» ^еп, 2002].
Поведенческие ожидания
Нормативные ожидания
I
Намерения
I
Действия
Рисунок 1. Схема человеческого действия по ТОД/ТЗП
Ожидания контроля
Чем выше оценка степени желательности ожидаемых последствий, чем выше одобрение со стороны окружающих и чем полнее вера в то, что планируемое действие является результатом свободного выбора, и в то, что «я действую правильно», тем выше уровень мотивации на его совершение и выше вероятность того, что оно будет совершено.
В общем и целом модель ТОД/ТЗП представляет собой модель «экономического поведения», которая подразумевает «максимизацию полезности» как целевую функцию поведения человека. Соответственно, избиратель формирует свои «намерения» сообразно с тем, как он понимает выгодность для него того или иного возможного исхода выборов.
Из приведенных данных видно, что если допустить, что выборы свободные, а голосующие осознанно преследуют рациональные цели, то по своим фундаментальным ограничениям модель ТОД/ТЗП выглядит вполне применимой к целям описания и прогнозирования избирательного поведения.
Однако если рассматривать процесс подготовки к голосованию и сам процесс голосования не абстрактно, а во всей конкретности, то станет видно, что использование ТЗП в практике предвыборных опросов обладает рядом критических ограничений, которые в подавляющем большинстве случаев либо недооцениваются, либо вообще игнорируются.
1. ТОД/ТЗП подразумевает, что мотивы и последствия действий вполне осознаются человеком. На самом деле в каждом конкретном случае формально рационального поведения это не очевидно, даже если и сам респондент, и тем более исследователь, считают, что это так. В контексте выборов понятно, что далеко не каждый избиратель по основаниям своего образования, вовлеченности в политику, политической зрелости и т. п. способен разобраться не то чтобы в последствиях своих действий, но и в своих собственных социальных и политических интересах. Таким
образом, проблематизируется важнейшая предпосылка ТОД/ТЗП — рациональный характер процесса выработки «намерений» в отношении планируемых действий по достижению в явном виде осознаваемых целей. Более того, абсолютизируя рациональные факторы формирования «намерений», ТОД/ТЗП не учитывает эмоции даже как фактор принятия рациональных решений. Вместе с тем существуют достаточно убедительные исследования, указывающие на прямое влияние эмоционального состояния на когнитивный процесс ^а!вте!-Мапог, et а1., 2011; Ригтап, ег а1., 2010].
2. ТОД/ТЗП абстрагируется от времени, необходимого на принятие решения. На практике проведения исследований время на принятие решения составляет минуты, или даже секунды, в условиях, когда объективно на реальный процесс оценки и выбора альтернатив его может требоваться намного больше. Помимо этого, участники исследования «безответственны» в том смысле, что никак не отвечают за свой выбор. По сути, процесс формулирования респондентом оценки в ходе исследования есть крайне упрощенная модель реального процесса формирования поведенческого намерения. И если, с учетом всех прочих ограничений, модель ТОД/ТЗП может быть признана адекватной для описания реального процесса, допущение достаточности соответствия этому «реальному» процессу «модельного» процесса, фактически исследуемого в режиме «самоотчета», требует самостоятельного обоснования.
3. Наконец, ТОД/ТЗП имеет важное неявное допущение. Оно заключается в том, что изначально постулируется потребность респондента в совершении выбора, что в каждом конкретном случае неочевидно. На самом же деле респондент может не иметь вообще никакой потребности в осуществлении «выбора», который исследователь фактически принуждает его сделать. Поэтому остается открытым вопрос: насколько реальный процесс оценки альтернатив и реального выбора будет соответствовать тому процессу, который «смоделировали» респондент и исследователь в ходе опроса. Например, по модели ТОД/ТЗП человек может высоко оценивать полезность для себя занятий спортом, но годами откладывать практическую реализацию этого намерения. Причина: у него нет потребности совершить выбор в пользу здорового образа жизни, преимущества которого, тем не менее, для него вполне очевидны.
Более свежие данные находим в статье Т. Роджерса и М. Айда с характерным названием «Зачем беспокоить, спрашивая?». На большом эмпирическом материале, скомбинировав данные ответов на вопрос о том, пойдет ли респондент голосовать, и результаты голосования (в некоторых штатах США пофамильные данные о явке на избирательный участок открыты), авторы пришли к выводу о том, что ответы респондентов в ходе опросов и их реальное поведение имеют между собой довольно большие различия. В обобщенном виде представленные ими данные выглядят следующим образом:
Таблица 1. Намерения (ответы) респондентов и их электоральное поведение
Actually vote? Total N
Yes No
Self-Reported Likelihood to Vote Almost C ertain 87% 13% 9,272
Probably 74% 26% 1,004
50-50 67% 33% 417
Will not vote 55% 45% 201
[Don't know] 76% 24% 131
Total 84.1% 15.9% 11,025
Источник: [Rogers, Aida, 2012: 12]
Как видно из представленных данных, 13 % из тех, кто заявил, что «почти наверняка» пойдет голосовать, не пришли на избирательные участки, в то время как 55 % тех, кто сказал, что не пойдет голосовать, на самом деле пошли.
Одновременно авторы установили, что наилучшим предиктором явки на выборы является предшествующая электоральная активность избирателя. Поскольку сами избиратели наверняка знают, ходили они на предыдущие выборы или нет, то теоретически они могли бы довольно точно предсказывать свое поведение на будущих. Однако они не делают этого: или не хотят, или, вероятнее всего, не могут построить в своей голове той прогностической модели, которую в состоянии построить в своей лаборатории исследователь.
Указанные несоответствия модели измерения предмету измерения приводят к тому, что, де-факто оставаясь единственным на данный момент теоретическим основанием предвыборных опросов, в своем полном и законченном виде данная модель в реальной практике не используется. А что используется?
Источники эрозии валидности и возможные направления развития
Фактическая модель измерений, лежащих в основе прогнозирования результатов голосования существенно отличается от своего «академического» прообраза и в графическом виде может быть представлена следующим образом.
Факторы намерений (фактические)
Намерения фактические
Поведение
(голосование)
фактическое
Факторы намерений (модельные)
i
Искажения модели ситуации выбора
1
Намерения jJ. модельные опроса)
(в ходе
likelihood to vote -vote intention
I
«Поправки»
Прогноз поведения (голосования)
Рисунок 2. Теоретическая и фактическая модели измерений на основе ТОД/ТЗП
Ключевым элементом «фактической» модели является связка вопросов «likelihood to vote—vote intention». Она, как вынужден допускать любой использующий ее исследователь, с той или иной мерой полноты и точности отражает «намерения» избирателя в отношении голосования. На самом деле, как уже отмечалось выше, модель «likelihood to vote — vote intention» показывает не «фактические»,
а «модельные» намерения, которые складываются у респондента не в рамках реального процесса выбора, а в ходе «игры», задаваемой правилами опроса как измерительной процедуры. Можно предполагать, что они каким-то образом связаны с фактическими намерениями и в какой-то степени их отражают, однако между фактическими намерениями (отвлечемся от их собственной выраженности и устойчивости) и тем, что окажется в анкете опроса по итогам применения шкал «likelihood to vote—vote intention», образуется дистанция неконтролируемого размера.
Наличие этого разрыва, а на самом деле — зияющего провала,—де-факто признается всеми причастными к электоральному прогнозированию. Любой из них подтвердит, что было бы абсолютным безумием рассматривать результаты опроса (пусть и по полностью репрезентативной выборке) 8 как непосредственный прогноз результатов голосования. Чтобы сузить, насколько возможно, этот разрыв, применяются разнообразные поправки и корректирующие коэффициенты, что отражено в нашей схеме блоком «Поправки». Происхождение этих поправок и теоретическое обоснование их применения на практике редко бывают прозрачными. Вполне очевидно также, что использование дополнительных корректировок само по себе является молчаливым признанием ограниченности используемой де-факто модели.
В чем заключается эта ограниченность и как можно локализовать факторы, обеспечивающие ее возникновение как таковое?
На рис. 3 представлена схема фактической модели измерений ТОД/ТЗП с указанием мест разрывов по линии «предмет изучения — теоретическая модель—применение модели (операционализация) — измерение». Сами по себе эти разрывы описаны выше, и предлагаемая схема призвана обобщить сказанное в более системном и удобном для восприятия виде.
8 Легко представить себе ситуацию, когда проблему ошибки выборки как фактора точности прогноза удалось изолировать. Например, опросив сто человек и посмотрев, как проголосовала эта конкретная группа. Даже для подобного случая, когда ограничений генерализации нет как таковых, проблема прогноза голосования данной группы сохранит свою актуальность.
Абсолютизация рационального механизма формирования намерений, отсутствие в модели эмоциональной составляющей.
Факторы намерений (фактические) «1 Факторы намерений ' (модельные)
Рисунок 3. Источники эрозии валидности
Как видно из представленной схемы, в формировании результирующего разрыва между предметом изучения и результатами измерения (при допущении нейтральности ограничений генерализации) 9 участвуют три независимых фактора.
1. Фундаментальный уровень (несовершенство теоретической модели). В качестве теоретической основы измерения предвыборные опросы используют модель ТОД/ТЗП, которая имеет явное неустранимое ограничение: заведомый отказ от учета эмоциональных факторов формирования намерений. В рассматриваемой предметной области данный отказ неприемлем, так как имеется большой спектр научно обоснованных данных о прямом воздей-
9 Как уже отмечалось, данный разрыв проявит себя даже для описания поведения самой выборки, то есть в условиях, когда искажения, привносимые ограничениями «репрезентативности», будут равны нулю. Например, при сплошном опросе.
ствии эмоциональных факторов на политический выбор [Gomez, et al., 2007; Waismel-Manor, et al., 2011; Putman, et al., 2010; Winkielman, Knutson, 2007].
2. Методологический уровень (несовершенство практики применения теоретической модели). Модель ТОД/ТЗП применяется для описания не реальной, а гипотетической, по сути, «игровой» ситуации выбора, где искусственно стимулируется потребность в осуществлении электорального выбора; даже приблизительно не моделируется процесс самого этого выбора; респондент по условиям «игры» полностью освобожден от ответственности за результаты своего выбора.
3. Методический уровень (несовершенство техники измерения). Проблемы этого уровня связаны преимущественно с использованием в качестве основного метода самоотчета, который изначально имеет целый спектр существенных недостатков. Положение усугубляется тем, что методом самоотчета описываются не фактические действия, а намерения респондентов, что, в свою очередь, формирует наиболее проблемную, третью категорию
ситуаций валидности К. Эрикссона и Х. Саймона.
***
Рассмотрение недостатков фактически использующейся модели прогнозирования результатов голосования на основе опросов избирателей приводит к следующим выводам.
1. Исходная теоретическая модель TRA/TPB с необходимостью должна быть дополнена фактором, который в предварительном порядке можно было бы назвать «эмоциональной компонентой», подразумевая под этим всю совокупность неосознаваемых факторов, в том числе и рациональных. Последнее — на том основании, что неосознанные рациональные факторы «видимым образом» проявляются как «эмоции».
2. Целесообразно исключить этап «модельного выбора», который, вероятно, может быть заменен прямой регистрацией состояния факторов формирования «намерений» с тем, чтобы заинтересованный исследователь, а не безответственный респондент, который может не обладать ни потребностью в этом, ни временем для этого, «реконструировал» фактические намерения избирателя в отношении голосования.
3. Необходимо устранить совсем, или хотя бы снизить искажения, вызванные применением метода «самоотчета» за счет сужения сферы его использования. Наиболее очевидным направлением в этой части возможных улучшений является исключение использования метода «самоотчета» для ситуаций валидности типа 3 по классификации К. Эрикссона и Х. Саймона.
Подводя итоги, можно заключить, что сложившаяся практика прогнозирования электоральных результатов, хотя де-факто и опирается, за неимением другой, на теоретическую модель ТОД/ТЗП, на практике использует ее фрагментарно, не рефлексируя в полной мере возникающие несоответствия и разрывы.
Это положение, однако, будет выглядеть совершенно естественным, если принять во внимание тот факт, что практика предвыборных опросов и построенных на них прогнозов стихийно сложилась задолго до первых теоретических построе-
ний в этой области и длительное время оставалась по сути интуитивной. Данное обстоятельство во многом объясняет очень слабое внимание со стороны как практиков электорального прогнозирования, так и научного сообщества к вопросу теоретического обоснования того, чем они, собственно, занимаются, на что уже неоднократно указывалось (см., напр.: [Kou, Sobel, 2004; Lewis-Beck, 2005: 148]). К проблеме неточности прогнозирования профессиональное и научное сообщества обращаются по мере появления новых фактов резонансных ошибок. При этом в рамках стихийно же сложившейся практики внимание концентрируется на проблемах точности измерений, в то время как проблема их валидности продолжает оставаться на исчезающе далекой периферии внимания.
Результатом такого невнимания закономерно оказывается отсутствие целенаправленной «инвентаризации» и систематического описания дисфункций фактической модели, соотнесения ее с теоретическим «прототипом», выявления расхождений между ними и построения целостной картины источников искажений, возникающих между фактически измеряемыми данными и тем, что они призваны отображать. Иными словами — источников эрозии валидности получаемых данных.
Список литературы (References)
Ajzen I. (1985) From Intentions to Actions: A Theory of Planned Behavior. In: Kuhl J., Beckmann J. (Eds.) Action Control: From Cognition to Behavior. Berlin; Heidelberg; New York: Springer-Verlag. P. 11—39.
Ajzen I. (2002) Perceived Behavioral Control, Self-Efficacy, Locus of Control, and the Theory of Planned Behavior. Journal of Applied Social Psychology. Vol. 32. P. 665—683. DOI: 10.1111/j.1559—1816.2002.tb00236.x.
Ajzen I., Fishbein M. (1980) Understanding Attitudes and Predicting Social Behavior. Englewood Cliffs, NJ: Prentice-Hall.
Arrow K., Forsythe R., Gorham M., et al. (2008) The Promise of Prediction Markets. Science. Vol. 320. P. 877—878. DOI: 10.1126/science.1157679.
Atanasov P., et al. (2015) Distilling the Wisdom of Crowds: Prediction Markets Versus Prediction Polls. Academy of Management Proceedings. DOI: 10.5465/ AMBPP.2015.15192abstract.
Austin E. J., Gibson G. J., Deary I. J., McGregor M.J., Dent J. B. (1998) Individual Response Spread in Self-Report Scales: Personality Correlations and Consequences. Personality and Individual Differences. Vol. 24. P. 421—438. DOI: 10.1016/S 0191—8869(97)00175-X.
Balakrishnan J. D. (1999) Decision Processes in Discrimination: Fundamental Misrepresentations of Signal Detection Theory. Journal of Experimental Psychology: Human Perception & Performance. Vol. 25. P. 1189—1206.
Ericsson K., Simon H. (1993) Protocol Analysis: Verbal Reports as Data. Boston: MIT Press.
Ericsson K. A., Simon H. A. (1980) Verbal Reports as Data. Psychological Review. Vol. 87. P. 215—251.
Fan X., Miller B. C., Park K., Winward B. W., Christensen M., Grotevant H. D., et al. (2006) An Exploratory Study about Inaccuracy and Invalidity in Adolescent Self-Report Surveys. Field Methods. Vol. 18. P. 223—244. DOI: 10.1177/152822X06289161.
Fishbein M., Ajzen I. (1975) Belief, Attitude, Intention, and Behavior: An Introduction to Theory and Research. Reading, MA: Addison-Wesley.
Gomez B. T., Hansford T. G., Kraus G. A. (2007) The Republicans Should Pray for Rain: Weather, Turnout, and Voting in U. S. Presidential Elections. Journal of Politics. Vol. 69. No. 3. P. 649—663.
Graefe A. Accuracy of Vote Expectation Surveys in Forecasting Elections. Public Opinion Quarterly. 2014. Vol. 78. P. 204—232. DOI: 10.1093/poq/nfu008.
Kennedy C., et al. (2016) An Evaluation of 2016 Election Polls in the United States. URL: https://www.aapor.org/getattachment/Education-Resources/Reports/AAP0R-2016-Election-Polling-Report.pdf.aspx (accessed: 18.10.2017).
Kou S. G., Sobel M. E. (2004) Forecasting the Vote: A Theoretical Comparison of Election Markets and Public Opinion Polls. Political Analysis. Vol. 12. P. 277—295. DOI: 10.1093/pan/mph019.
Lewis-Beck M.S. (2005) Election forecasting: Principles and practices. The British Journal of Politics & International Relations. Vol. 7. Iss. 2. P. 145—164. DOI: 10.1111/j.1467—856X.2005.00178.x.
Putman P., Antypa N., Chrysovergi P., Van der Does A. J.W. (2010) Exogenous Cortisol Acutely Influences Motivated Decision Making in Healthy Young Men. Psychopharmacology. Vol. 208. P. 257—263. DOI: 10.1007/s00213—009—1725-y.
Rogers T., Aida M. (2012) Why Bother Asking? The Limited Value of Self-Reported Vote Intention. Harvard Kennedy School of Government. Faculty Research Working Paper Series. URL: http://EconPapers.repec.org/RePEc: hrv: hksfac:7779639 (accessed: 18.10.2017).
Rothschild D., Wolfers J. (2011) Forecasting Elections: Voter Intentions versus Expectations. SSRN. URL: http://stat.columbia.edu/~gelman/surveys.course/ RothschildWolfers2011.pdf (accessed: 18.10.2017).
Sheppard B. H., Hartwick J., Warshaw P. R. (1988) The Theory of Reasoned Action: A Meta-Analysis of Past Research with Recommendations for Modifications and Future Research. Journal of Consumer Research. Vol. 15. P. 325—343. DOI: 10.1086/209170.
Tufte E. (1978) Political Control of the Economy. Princeton: Princeton University Press.
Tumasjan A., Sprenger T. O., Sandner P. G., Welpe I. M. (2010) Predicting Elections with Twitter: What 140 Characters Reveal about Political Sentiment. Proceedings of the 4th International AAAI Conference on Weblogs and Social Media. Menlo Park, Ca.: AAAI Press. P. 178—185.
Waismel-Manor I., Ifergane G., Cohen H. (2011) When Endocrinology and Democracy Collide: Emotions, Cortisol and Voting at National Elections. European Neuropsychopharmacology. Vol. 21. No. 11. P. 789—795. DOI: 10.1016/j. euroneuro.2011.03.003.
Wicker A. W. (1969) Attitudes versus Actions: The Relationship of Verbal and Overt Behavioral Responses to Attitude Objects. Journal of Social Issues. Vol. XXV. No. 4.
Wilcox R. R. (2005) Introduction to Robust Estimation and Hypothesis Testing. San Diego, CA: Academic Press.
Winkielman P., Knutson B. (2007) Affective Influence on Judgments and Decisions: Moving Towards Core Mechanisms. Review of General Psychology. Vol. 11. No. 2. P. 179—192.
Zeller R. A. (2000) Reliability. Encyclopedia of Sociology. 2nd ed. Ed. by E. F. Borgatta, Rh. Montgomery. N.Y. etc.: Macmillan Reference USA. Vol. 4. P. 2343—2356.
