CC BY
595
Н. Ф. Кудрявцева
«ОПРОС, КОТОРЫЙ ИЗМЕНИЛ ОПРОСЫ»
Крупномасштабный почтовый опрос престижного американского журнала «The Literary Digest», проведенный во время предвыборной кампании 1936 года, занимает важное место в истории эмпирической социологии. Неверный прогноз журнала, имевшего прочную репутацию в области исследования общественного мнения, в значительной мере определил будущее выборочных опросов, продемонстрировав как несостоятельность методики «соломенных опросов», так и тот факт, что размер выборки не является гарантией правильного результата. Хотя мнения социологов о причине неверного прогноза «The Literary Digest» расходятся, эмпирический анализ материалов исследования Джорджа Гэллапа об участии избирателей в опросе журнала подтверждает гипотезу об искажении параметров выборки вследствие совокупности некорректной процедуры отбора респондентов и низкого процента возврата анкет.
Ключевые слова: почтовый опрос, выборочный опрос, «соломенные опросы», электоральное зондирование, репрезентативная выборка, процедура отбора респондентов, параметры выборки, уровень активности опрашиваемой группы.
N. Koudryavtseva
THE POLL THAT CHANGED POLLING
The huge and inclusive mail survey run by the "Literary Digest", a prestigious American magazine, during the campaign of 1936 holds an important place in the history of survey research. The false prediction of the magazine which had a reputation for having correctly forecast the winner in five presidential elections helped to booster the need for scientific sampling procedures instead of "straw polling". It also proved that the sheer size of a sample is no guarantee of an accurate outcome. The hypotheses as to why the poll failed are competing, but the results of the empirical research based on the data from a 1937 Gallup survey which asked about participation in the "The Literary Digest" poll support the conclusion that the magazine's highly biased initial sample and low response rate jointly produced the incorrect estimate of the vote.
Keywords: survey, random sampling, polling, straw polls, response rate, biased sample, overrepresentation, underestimated share, sampling error, nonresponse bias.
В конце предвыборной кампании 1936 года в США влиятельный еженедельный журнал «The Literary Digest», тираж которого составлял почти два миллиона копий, опубликовал результаты беспрецедентного по масштабу почтового опроса. Исследование должно было определить, кого хотят видеть американцы своим президентом: Франклина Д. Рузвельта, кандидата от демократической партии, баллотировавшегося на второй срок, или Элфа Лэндона, кандидата республиканской партии (в президентских
выборах 1936 года принимали участие еще три кандидата, изначально имевших мало шансов на победу). Итоги электорального опроса не оставляли никаких сомнений: безоговорочную победу на предстоящих выборах одерживал республиканец Лэндон, за которого собирались голосовать 55% респондентов. Рузвельта поддержали участники опроса в количестве только 41%.
Результат выборов стал полной неожиданностью для «The Literary Digest»: действовавший президент Ф. Д. Рузвельт
получил 61% голосов избирателей, в то время как его соперник — 37%. Сам опрос вошел в историю социологии как печальный пример полного провала крупномасштабного почтового опроса, а этот ошибочный прогноз считается главной причиной закрытия журнала. Последствия оказались катастрофическими: газеты и журналы как в Соединенных Штатах, так и во всем мире публиковали бесконечные памфлеты и карикатуры, высмеивающие «точность» прогнозов «The Literary Digest». Журнал потерял не только престиж, но и основную часть своих подписчиков. [10, с. 84-85] Серьезные финансовые затруднения вынудили владельцев провести слияние с несколькими аналогичными журналами. Эти меры оказались недостаточными, и в 1938 году «The Literary Digest» был приобретен издательством «Time Magazine».
Практически каждая работа, посвященная методам проведения социологических опросов или президентским выборам в США, содержит ссылку на это исследование и объясняет причины, которые помешали «The Literary Digest» правильно прогнозировать результаты. Обсуждение причин самой крупной ошибки за всю историю опросов, начавшееся более семидесяти лет назад, все еще продолжается. Тем не менее, один вывод можно сделать с уверенностью: опрос «The Literary Digest» в 1936 году занимает достаточно важное место в истории эмпирической социологии. Неверный прогноз журнала в значительной мере определил будущее опросов общественного мнения, продемонстрировав необходимость использования научных методов в социологических исследованиях.
Предвыборный опрос 1936 года был не первым исследованием «The Literary Digest». Журнал уже почти четверть века практиковал опросы общественного мнения в различных областях [14, с. 49-
50]. Технология этих опросов, известных как «соломенные опросы», была исключительно простой. Термин «соломенный опрос» содержит аллюзию на простейший способ определения направления ветра. Направление «политического ветра» определяли подсчетом поднятых рук или карточек с ответами. Начиная с XIX века, многие газеты в США использовали «соломенные опросы» для исследования общественных настроений. Особенной популярностью у журналистов пользовался опрос пассажиров на пароходах и в поездах. [9, с. 39]. Редакция рассылала бланки подписки на журнал, на обратной стороне которых был напечатан вопрос. Получатель мог отправить такую открытку в журнал бесплатно. В итоге «The Digest» получал как ответы на заданный вопрос, так и новых подписчиков.
Начиная с 1916 года, журнал проводил опросы во время всех предвыборных кампаний. Впервые предвыборный опрос был проведен газетой «The Harrisburg Pennsylvanian» в 1824 году. Результаты опроса показали, что избиратели отдают предпочтение Эндрю Джексону. Несмотря на то, что Джексон действительно получил большинство голосов на первичных выборах, президентом США стал Дж. К. Адамс, одержавший победу на голосовании выборщиков в Конгрессе [9, с. 39]. Хотя к началу XX века электоральные опросы газет стали обычной практикой, охват респондентов, как правило, ограничивался одним округом. В 1916 году «The Literary Digest» стал первым журналом, который провел национальный опрос [1, с. 45]. Прогноз журнала оказался верным: действовавший президент В. Вильсон был переизбран на второй срок.
Президентские выборы 1920-1932 годов подтвердили состоятельность опросов «The Digest». Журнал рассылал и подсчитывал миллионы бюллетеней и всегда правильно прогнозировал победи-
теля. Результаты опросов получали широкое обсуждение в национальной прессе и вызывали большой интерес читателей. Политики внимательно следили за прогнозами журнала, так как в течение многих лет прогнозы были не только правильными, но и достаточно точно предсказывали распределение голосов [9, с. 39]. Триумфом «The Digest» стал электоральный опрос 1932 года: журнал предсказал победу Рузвельта с ошибкой в один процент по отношению к действительному результату.
Опрос 1936 года стал самым крупномасштабным проектом за всю историю электоральных опросов. Для составления списка респондентов были использованы телефонные книги и регистрационные списки владельцев автомобилей каждого территориального округа во всех сорока восьми штатах [16, с. 127].
Двадцать второго августа редакция с ликованием объявила: «"The Digest" начинает предвыборное голосование!» Редакционная статья сообщала: «Не обращая внимание на предвыборную суматоху и крики о самой жаркой политической гонке за последние двадцать лет, более 1000 квалифицированных сотрудников приступили к привычной работе... «The Digest» еще раз обратился к более чем 10 000 000 избирателям — к каждому четвертому, включая каждый округ США, — с просьбой определить исход ноябрьских выборов в октябре...» [3, с. 248]. В некоторых районах полнота охвата была просто поразительной: в Чикаго анкеты были отправлены каждому третьему зарегистрированному избирателю, в штате Пенсильвания — каждому второму в Скрентоне и каждому — в Эл-лентауне [13, с. 7-8].
Опрос журнала не вызывал сомнения ни у избирателей, ни у политиков: «Во время кампании 1936 года газета "New York Gerald Tribune", например, посвящала столько же строк опросу "The Di-
gest", сколько и результатам Института изучения общественного мнения, исследования которого она оплачивала. Газеты Херста помещали результаты своего собственного опроса (газета финансировала опрос Арчибальда Кроссли) на последних страницах, а на первых полосах цитировали ... "The Digest" [11, с. 156]. Журнал с удовольствием приводил высказывание Джеймса А. Фарли, председателя Национального комитета Демократической партии, который, говоря об исследованиях "The Literary Digest", подчеркивал беспристрастность и корректность проведения опроса [12, с. 5]
Но находились и скептики. Известные социологи были далеко не в восторге от методов «The Digest». В 1932 году профессор социологии из Колумбийского университета Клод Э. Робинсон опубликовал исследование, посвященное выборочным опросам общественного мнения. В этой работе были определены восемь источников потенциальных ошибок, включая нерепрезентативный отбор и низкий уровень активности опрашиваемой группы [14, с. 77-102]. Профессиональные исследователи общественного мнения Джордж Гэллап, Арчибальд Кроссли и Элмо Поппер также считали метод «соломенных опросов» несостоятельным и проводили независимые исследования, основанные на более корректных процедурах отбора респондентов. За всю историю президентских выборов в США профессиональные исследователи общественного мнения впервые проводили измерение электоральных установок.
Более того, Дж. Гэллап, основавший в 1935 году Институт изучения общественного мнения, за шесть недель до начала опроса выступил со скандальным заявлением: журнал предскажет победу Лэндона с результатом 56:44, но прогноз окажется полностью неверным из-за неправильного отбора респондентов.
Возмущенный редактор «The Digest» У. Фанк опубликовал в «The New York Times» открытое письмо, в котором напомнил, что прогнозы журнала оправдывались в «100% случаев» [1, с. 55].
Редакция журнала не сомневалась в успехе: «Прекрасно отлаженный механизм «The Digest» с точностью, гарантируемой тридцатилетним опытом, стремительно движется вперед, чтобы свести предположения к твердому факту. ...Когда последние цифры будут суммированы и проверены, страна узнает с достоверностью в один процент выбор сорока миллионов» [3, с. 248].
Начиная с шестого сентября, журнал каждую неделю знакомил своих читателей со сведенными в таблицы результатами и за три дня до выборов опубликовал окончательные итоги опроса. Общее количество возвращенных анкет превысило 2,3 миллиона. Ссылаясь на впечатляющий результат — несмотря на то, что фактический уровень активности респондентов составил менее 25%, — редакция журнала назвала опрос 1936 года «самым репрезентативным соломенным опросом за всю историю — самым компетентным, учитывая двадцатипятилетний опыт совершенствования, — самым надежным, учитывая репутацию наших прогнозов — прогнозов, которые всегда оказывались безошибочными» [12, с. 6].
Тридцать первого октября редакционная статья в журнале вышла под броским заголовком «Лэндон, 1 293 669; Рузвельт, 972 897». Окончательные данные, которые, по утверждению редакции, «не являются ни взвешенными, ни скорректированными, ни интерпретированными» [12, с. 5], бесспорно демонстрировали, что избиратели отдают предпочтение кандидату республиканской партии.
Как известно, результатом беспрецедентного по масштабу проекта стал неверный прогноз: третьего ноября победу
на выборах с большим преимуществом одержал действовавший президент Ф. Д. Рузвельт.
Сразу после выборов прозвучали комментарии социологов и профессиональных исследователей общественного мнения. Социальные психологи из университета Принстон (штат Мичиган), Хэдли Кэнтрил и Даниэль Кац, считали неверный прогноз следствием некорректной процедуры отбора респондентов [11, с. 167-168]. Арчибальд Кроссли указывал также на слишком низкий процент возвращенных анкет [5, с. 27].
Самой распространенной точкой зрения на причину неудачи опроса «The Digest» уже более семидесяти лет остается мнение о некорректной процедуре составления выборки. Респонденты были отобраны, главным образом, из обширной картотеки журнала, которую владельцы создали с целью привлечения новых подписчиков [1, с. 44]. Как телефон, так и автомобиль в тридцатых годах прошлого века являлись определенным показателем уровня дохода. Таким образом, необъективно большую долю в выборке представляли состоятельные американцы. Учитывая, что во время выборов 1936 года существовала тесная взаимосвязь между размером доходов и партийными предпочтениями, результат можно было прогнозировать еще до начала опроса [6, с. 5]. В то же время процедура исключала значительную часть электората — бедняков, которые предположительно обеспечили победу Рузвельта: многие сторонники президента не участвовали в опросе только потому, что не имели автомобиля и телефона. Сторонниками такого объяснения являются, в частности, Арчибальд Кроссли, Гарольд Госнелл, Линдсей Роджерс, Льюис Бин, Фредерик Айрон, Теодор Андерсон, Момс Зелдиш, Герберт Вейс-берг, Брюс Боуэн, Джордж Эдвардс и Стивен Вейн.
В 1936 году редакция «The Literary Digest», пытаясь понять, почему неоднократно проверенные методы оказались столь неэффективными, не согласилась с тем, что при отборе респондентов они систематично исключали бедные слои населения: «Во-первых, не "неимущие" переизбрали мистера Рузвельта. В том, что они внесли свой вклад в его ошеломляющую победу на выборах, нет никаких сомнений. Но фактом остается то, что большинство фермеров, врачей, владельцев бакалейных и скобяных лавок также голосовали за Президента. ... К тому же — мы получили ответы и от этих, так называемых, "неимущих слоев"» [13, с. 7].
Редакция видела определенную проблему в недостаточном количестве возвращенных анкет, но не находила объяснения низкому уровню активности участников, особенно сторонников Демократической партии: «Мы удивлялись тогда, как удивлялись и раньше, и удивляемся до сих пор, почему республиканцы сотрудничают с нами активнее, чем демократы, в том, что мы всегда рассматривали как выполнение общественного долга. Неужели республиканцы живут ближе к почтовым ящикам?» [13, с. 8].
Мнение о низкой активности участников опроса как основном факторе, исказившем параметры выборочной совокупности, также имеет своих сторонников. По утверждению статистика Мориса Брисона, отбор респондентов был проведен достаточно корректно: в 1936 году, как автомобили, так и телефоны получили такое широкое распространение в Соединенных Штатах, что метод отбора, использованный журналом, должен был обеспечить правильный прогноз [4, с. 184-185]. Главная причина ошибки заключается в том, что «мнение 23% адресатов, принявших участие в опросе, значительно отличалось от мнения 77%,
не вернувших анкету в журнал. Более того, большая часть избирателей, чувствовавших себя достаточно уверенно, чтобы заполнить анкету, поддерживала Лэндона. Это привело к значительному искажению выборки, на основе которой журнал делал свой прогноз» [10, с. 85]. С этим мнением согласны Нельсон Полс-би и Аарон Вилдавски.
Через несколько лет после проведения опроса Чарльз Смит и Джордж Гэллап предложили еще одно объяснение неверному прогнозу [15, с. 395-404; 7, с. 6162]. Они утверждали, что искажение параметров явилось следствием совокупности двух факторов: некорректного отбора и низкого процента возврата анкет. Изначальная ошибка в выборке, ставшая причиной завышенной доли республиканцев, увеличилась благодаря тому, что образованные и обеспеченные избиратели, склонные поддерживать Лэндона, с большей вероятностью заполнили и вернули анкеты. Такую точку зрения разделяют многие исследователи в области эмпирической социологии: Ренсис Лай-керт, Норманн Пауэл, Филипс Шивли, Дэвид Фридман, Роберт Пизани, Роберт Эриксон, Тедин Кент, Бернард Хеннеси, Эрл Бабби.
В 1988 году политолог из университета Айовы Реверилл Сквайер опубликовал результаты эмпирического исследования, которые, в определенной степени, подтверждают эту гипотезу [16, с. 125133]. Он провел анализ материалов опроса, проведенного Джорджем Гэллапом 19-24 мая 1937 года (материалы были предоставлены Американским институтом изучения общественного мнения). Результаты этого опроса, оставаясь наиболее достоверным источником информации, позволяют установить соотношение ошибки, обусловленной некорректностью выборки, и ошибки, связанной с отсутствием данных, в исследовании «The Literary Digest».
Респондентам предлагали ответить на следующие вопросы: получали ли Вы анкету журнала «The Literary Digest» во время предвыборной кампании прошлой осенью? Вернули ли Вы анкету? Изменили ли Вы свое мнение о кандидате за время между заполнением анкеты и выборами? За кого Вы голосовали на выборах 1936 года? Наряду со стандартными демографическими вопросами респондентов просили также указать, имеют ли они автомобиль или телефон.
Многие показатели в этом опросе оказались явно завышенными. Во-первых, процедура отбора респондентов имела существенные недостатки [2, с. 139]. К тому же, хорошо известна тенденция респондентов ошибочно полагать, что они голосовали за уже победившего кандидата, и это могло увеличить процент проголосовавших за Рузвельта в опросе Гэллапа. Более того, чрезмерно большим — более 50% — оказался и процент возврата анкет, что также в определенной степени объясняет расхождение результатов. «Так или иначе, если бы анкеты вернули все, кто так утверждает, это, скорее всего, значительно увеличило бы результат президента. Маловероятно, что сторонники Рузвельта стали бы утверждать, что вернули анкету, отметив кандидата республиканской партии» [16, с. 129-131].
Согласно результатам Гэллапа, анкету журнала не получил 71% респондентов, проголосовавших за Рузвельта, и 27% респондентов, голосовавших за Лэндона. Эти данные подтверждают, что подавляющее большинство тех, кто поддерживал президента, оказались исключенными из опроса вследствие невалидной процедуры отбора, что, в свою очередь, и явилось главной причиной ошибочного прогноза.
Из тех, кто участвовал в опросе Гэл-лапа, за Рузвельта проголосовали 55% респондентов, имеющих автомобиль и телефон; 68% — только автомобиль;
69% — только телефон; и 79% — не имеющих ни автомобиля, ни телефона. На основании этих показателей Сквайер делает заключение: «Хотя владельцы автомобилей и телефонов были менее склонны голосовать за президента, чем те, кто не имел ни того, ни другого, в целом они также поддерживали его. Еще важнее то, что 55% респондентов, получивших анкету «The Literary Digest», на выборах голосовали за Рузвельта» [16, с. 129-130]. Следовательно, несмотря на то, что доля сторонников Рузвельта была значительно выше среди избирателей, не участвовавших в опросе, чем среди тех, кто получил анкету, журнал смог бы правильно предсказать победу президента, если бы все анкеты были возвращены.
Среди респондентов, возвративших анкеты, — с учетом тех, кто изменил свое мнение перед выборами, — за Рузвельта голосовали 48%, за Лэндона — 51%. Хотя в опросе Гэллапа доля избирателей, поддерживающих республиканского кандидата, оказалась меньше, чем у «The Literary Digest», общий результат был тот же. Для тех, кто не вернул анкеты, результаты составили 69% и 30% соответственно, что свидетельствует о большей активности сторонников республиканской партии. Данные опроса позволяют заключить, что низкий уровень активности респондентов существенно исказил параметры выборочной совокупности.
Таким образом, эмпирическое исследование подтверждает гипотезу, согласно которой крайне ошибочный прогноз журнала «The Literary Digest» явился следствием совокупности некорректной процедуры отбора респондентов и низкого процента возврата анкет. По оценке Сквайера, в результате нерепрезентативной выборки искажение параметров составило примерно 11%, и еще 7% можно отнести за счет невозвращенных анкет [16, с. 131].
Безусловно, редакция «The Literary Digest» имела все основания считать, что прогноз 1936 года окажется верным, поскольку все предыдущие прогнозы журнала оправдывались. «The Digest» с блестящим результатом предсказал победу Рузвельта на президентских выборах 1932 года, что еще больше укрепило уверенность в надежности исследований журнала. Тем не менее, успех этого опроса в значительной степени объясняется экономической и политической ситуацией, сложившейся в стране к 1932 году.
Глобальный экономический кризис 1929-1933 годов предоставил демократической партии возможность одержать победу на выборах 1932 года. Республиканец Герберт Гувер, ставший президентом в 1928 году, считал Великую депрессию временным явлением и не видел необходимости в том, чтобы правительство оказывало помощь пострадавшим от кризиса американцам. В частности, Гувер категорически возражал против назначения пособий по безработице. На внеочередной сессии Конгресса в декабре 1931 года он заявил, что пособие превратится в «благотворительность», и государство будет «содержать тех, кто не хочет работать» [17, с. 202]. Подобные высказывания, уровень безработицы, достигший 24%, и неэффективная антикризисная программа, ограничившаяся несколькими реформами, касающимися финансовых институтов, подорвали репутацию республиканского правительства в глазах электората [9, с. 104]. Преобладающее большинство избирателей, включая тех, кто традиционно поддерживал на выборах республиканцев, в 1932 году намеревались голосовать за Рузвельта.
За четыре года, прошедшие после выборов, ситуация в стране изменились, и политические установки избирателей не
были в такой степени однородными. В рамках реформ, получивших название «Новый курс», президент Рузвельт планировал значительное увеличение налогообложения, которое, главным образом, касалось налогоплательщиков с высоким и средним доходом [17, с. 212]. Состоятельные избиратели, недовольные экономической политикой президента, поддерживали на выборах 1936 года кандидата республиканской партии. Как известно, именно эти группы преобладали в выборке журнала.
Почтовый опрос «The Literary Digest» 1936 года, безусловно, сыграл свою роль в развитии эмпирической социологии. Печальный опыт журнала убедительно продемонстрировал, что только размер выборки не является гарантией правильного результата и что качество выборки значительно важнее, чем ее абсолютный размер [6, с. 5]. Исследования Гэллапа, Поппера и Кроссли — несравнимые по масштабу с опросом «The Digest» (выборочный опрос Гэллапа включает только 3000 респондентов) — с достаточной точностью предсказав результаты президентских выборов 1936 года, «подписали смертный приговор методике «соломенных опросов» [16, с. 128]. Анализируя ситуацию в области эмпирических исследований в первой половине ХХ века, Джордж Гэллап отмечал, что неверный прогноз «The Literary Digest» способствовал «усилению необходимости в научных процедурах» отбора респондентов [8, с. 24]. Одновременно опрос журнала стал поучительным примером того, как высокий процент невозвращенных анкет может исказить параметры выборочной совокупности. Низкая активность респондентов является потенциальной проблемой, которую специалистам по изучению общественного мнения необходимо учитывать при анализе социологического опроса.
СПИСОК ЛИТЕРАТУРЫ
1. Докторов Б. З. Первопроходцы мира мнений: от Гэллапа до Грушина. Институт Фонда «Общественное мнение». М., 2005.
2. Babbie Earl R. The Practice of Social Research. Wardsworth, Belmont CA, 1986. 476 с.
3. Boller P. F. Presidential Campaigns: From George Washington to George W. Bush. Oxford University Press US, 2004. 479 с.
4. Bryson M. C. The Literary Digest Poll: Making of a Statistical Myth // The American Statistician. № 30. 1976. 2 с.
5. Crossley A. M. Public Opinion Polls in 1936 // Public Opinion Quarterly by The American Association for Public Opinion Research. 1937. Vol. 1. 12 с.
6. Forthofer R. N. Biostatistics: A Guide to Design, Analysis, and Discovery. Academic Press, 2007. 502 с.
7. Gallop G. A Guide to Public Opinion Polls. Princeton University Press, Princeton, 1944. 104 с.
8. Gallop G. The Changing Climate for Public Opinion Research // Public Opinion Quarterly. 1957. Vol. 21. № 30. 5 с.
9. Geer J. G. Public Opinion and Polling аround the World: A Historical Encyclopedia. ABC-CLIO, 2004. 897 с.
10. Hollander М., Proschan F. The Statistical Exorcist: Dispelling Statistics Anxiety. CRC Press, 1984. 247 с.
11. Katz D., Cantril H. Public Opinion Polls // Sociometry: Research in Social Psychology. 1937. Vol. 1. № A. by American Sociological Association, Washington. 25 с.
12. Literary Digest: Landon, 1,293,669; Roosevelt, 972,897. 31 October, 1936.
13. Literary Digest: What Went Wrong with the Polls? 14 November, 1936.
14. Robinson C. E., Chaddock R. E. Straw Votes: a Study of Political Prediction. Columbia University Press, 1932. 210 с.
15. Smith Charles W., Jr. Public Opinion in a Democracy: A Study in American Politics. Prentice-Hall, New York, 1939. 598 с.
16. Squire P. Why the 1936 Literary Digest Poll Failed // Public Opinion Quarterly. Vol. 52. The University of Chicago Press, 1988. 9 с.
17. Sundquist J. L. Dynamics of the Party System: Alignment and Realignment of Political Parties in the United States. Brookings Institution Press, 1983. 466 с.
