CC BY
141
УДК 303.622 Бабич Николай Сергеевич
кандидат социологических наук,
научный сотрудник Института социологии РАН
Батыков Иван Владимирович
кандидат социологических наук, заведующий лабораторией социологической экспертизы Института социологии РАН
ДОСТОВЕРНОСТЬ СОЦИОЛОГИЧЕСКИХ ОПРОСОВ ПОТРЕБИТЕЛЕЙ: ПРОБЛЕМА ПОЛУЧЕНИЯ РЕТРОСПЕКТИВНОЙ ИНФОРМАЦИИ
Babich Nikolay Sergeevich
PhD in Social Science, Research associate, Institute of Sociology, Russian Academy of Sciences
Batykov Ivan Vladimirovich
PhD in Social Science, Chief of the Sociological Examination Laboratory, Institute of Sociology, Russian Academy of Sciences
THE ACCURACY OF OPINION POLLS OF CONSUMERS: ISSUE OF RETROSPECTIVE DATA OBTAINING
Аннотация:
В статье предлагается анализ проблемы достоверности ретроспективной информации, получаемой в социологических опросах потребителей. Определены понятия «телескопирование» и «обратное телескопирование». Суть этих явлений заключается в смещении в воспоминаниях респондентов датировок событий прошлого. Раскрыто содержание выражения «систематическая ошибка публикаций». Авторами приведены пять тезисов в пользу высокой надежности ретроспективных данных. Высокий уровень достоверности этих данных также подтвержден результатами эмпирического исследования.
Ключевые слова:
ретроспективная информация, опрос потребителей, надежность, достоверность, память, методика социологических опросов, телескопирова-ние, обратное телескопирование, систематическая ошибка публикаций.
Summary:
This article deals with the problem of accuracy of retrospective data obtained in the course of opinion polls of consumers. The paper defines the concepts of "telescoping" and "reverse telescoping"; the essence of these phenomena is the shift of dating of past events in the memories of the respondents. The content of the "accuracy error of publications" expression is discussed. The authors adduce five theses in favor of the high reliability of the retrospective data. The high level of reliability of these data is also confirmed by the results of the empirical research.
Keywords:
retrospective information, consumer survey, reliability, accuracy, memory, methods of sociological surveys, telescoping, reverse telescoping, accuracy error of publications.
Постановка задачи
Попытки получить информацию о прошлом составляют необходимую часть большинства социологических исследований. Респондентам задают вопросы о том, когда они окончили школу, пошли работать, сколько времени состоят в браке, какого возраста у них дети и множество других аналогичных вопросов в десятках и сотнях вариаций формулировок. Между тем современные публикации в области социологической методологии, как правило, выражают весьма настороженное отношение к точности воспоминаний и особенно датировок, получаемых в массовых опросах. Так, в известной монографии С. Садмена, Н. Бредберна и Н. Шварца «Как люди отвечают на вопросы» глава, посвященная датировке событий, завершается рекомендацией «не доверять ответам о прошлых событиях, когда от респондентов требуется вспомнить конкретные даты» [1, с. 201]. И для возникновения столь скептического отношения к качеству ретроспективных данных в массовых опросах есть некоторые основания.
Механизмы памяти еще далеко не полностью изучены, но достигнутый уровень знаний уже позволяет с определенной уверенностью говорить о том, что порождение воспоминаний представляет собой не только извлечение сохраненной информации, но и конструирование образов прошлого на основе доступных данных. В знаменитом эксперименте Э. Лофтус [2] испытуемым (150 студентам) показали видеокассету с автодорожным происшествием. Половину испытуемых после просмотра кинофрагмента спрашивали: «С какой скоростью ехала машина по сельской дороге, когда она проезжала мимо сарая?». Другой половине тот же вопрос задавали в форме «С какой скоростью ехала машина по сельской дороге?». На самом деле никакого сарая на экране не было. Тем не менее спустя неделю его наличие подтвердили 17,3 % лиц из первой группы и 2,7 % из второй. Аналогичным способом исследователям удавалось создавать ложную память о самых разных объектах, например о разбитом в результате аварии стекле [3] или дорожных знаках [4].
Сравнительно интенсивные исследования ошибок датировки в массовых опросах начались в 1964 г., когда Д. Нетер и Д. Ваксберг, анализируя данные о потребительских расходах, обнаружили смещение, которое получило название «телескопирования» (telescoping) [5]. Оно состоит в том, что дата события (такого, как покупка товара) в памяти респондентов может представляться более близкой во времени к настоящему моменту, по сравнению с реальностью. В результате этого может возникать, например, переоценка объемов потребления некоторых товаров. Существование такого эффекта получило подтверждение в ряде исследований [6; 7]. Более того, были обнаружены случаи и противоположного смещения - «обратного телескопирования» (backward telescoping), которое заключается уже в чрезмерном удалении событий во времени [8]. Вероятно, достаточно распространены и другие ошибки датировки, например, вызываемые приближением оцениваемых сроков к календарным периодам, таким как неделя, месяц, год, или к «круглым» числам, таким как 10 дней [9].
Результатом всех перечисленных эффектов может являться сколь угодно низкое качество ретроспективных данных. Однако практически важным является вопрос о том, насколько часто это качество действительно является низким и насколько часто - вполне удовлетворительным. В статье представлен предварительный общий ответ на означенный вопрос. Для этого сначала мы опишем некоторые общие аргументы в пользу надежности ретроспективных данных, а затем рассмотрим результаты эмпирического исследования, свидетельствующего о неоправданности гиперкритицизма в этой области.
Аргументы в пользу ретроспективных данных
Утверждение о достаточно высокой надежности ретроспективных данных может базироваться на пяти общих тезисах. Первый из них состоит в том, что уровень знаний, достигнутый в течение более одного столетия исследований, позволяет с уверенностью утверждать о нелинейной зависимости памяти от времени. Это означает, что отдаленность события от настоящего момента - это важный, но далеко не единственный фактор его запоминания. Люди часто хорошо помнят ключевые даты своей биографии и то, что происходило с ними в эти дни, даже несмотря на то, что затем, в последующие годы происходило накопление других впечатлений, переживаний. Переживания, сопровождающие то или иное событие, - это важное условие его перехода из оперативной, кратковременной памяти в долговременную. Второе важное условие - повторяемость события или действия. В этом случае даже бытовые впечатления, незначимые на первый взгляд, могут долго присутствовать в памяти человека, актуализироваться в ответ на какой-либо внешний раздражитель.
В качестве второго аргумента выступает следующий общеизвестный факт: люди постоянно и успешно применяют ретроспективные данные в своей повседневной деятельности. Информация о том, кто с кем в каких отношениях состоит в течение какого времени, кто и что сделал в прошлом, в том числе много лет назад, - это важный инструмент социального действия. Конечно, его функционирование не идеально, как и все, что связано с человеческими возможностями. Но если бы в запоминании людьми событий прошлого существовали серьезные неустранимые проблемы, они отражались бы в повседневной деятельности. Критические для существования социальных систем проблемы, однозначно связанные с недостатками человеческой памяти, очевидно, отсутствуют, что косвенно свидетельствует в пользу надежности ретроспективных данных.
Следствием описанного положения вещей является третий тезис, состоящий в том, что использование ретроспективных вопросов - это обычная практика социологических исследований. По нашим приблизительным подсчетам, крупнейший в России архив опросных данных СОФИСТ (http://sophist.hse.ru/) содержит ответы более чем на 1 900 вопросов, заданных в ретроспективной форме («В каком году...», «Вспомните, когда...» и т. п.). Всего архив содержит около 600 исследований ведущих социологических центров России. Таким образом, на одно исследование в среднем приходится не менее 3 вопросов о прошлом. Это означает, что радикальные сомнения в достоверности ретроспективных данных были бы одновременно сомнениями в состоятельности практически всей эмпирической социальной науки.
Четвертый аргумент заключается в возможности достаточно высокой надежности опросных данных на уровне статистического обобщения, даже при условии наличия индивидуальных ошибок. Для этого требуется, чтобы последние не имели систематического характера, то есть распределялись случайно и разнонаправленно. Например, если один респондент в массовом опросе потребителей оказывается склонен завышать срок своего знакомства с торговой маркой, а другой - занижать, то при усреднении ответов большого числа людей получаются данные, близкие к реальности. Некоторые исследования памяти показывают, что такой вариант вполне возможен [10; 11], а значит, явления «телескопирования» и «обратного телескопирования» могут быть скорее исключениями, чем правилами.
Из общих соображений ясно, что ответы на вопросы об очень далеком прошлом скорее всего представят данные более низкой надежности. Следовательно, для обоснования правомерности статистического обобщения ретроспективных вопросов необходимо определить границу их применимости, уточнить, что можно считать уже «очень далеким прошлым». Для этого можно использовать, например, информацию о том, как со временем увеличивается абсолютная ошибка датировки. Экспериментальные исследования показывают, что этот прирост может составлять величину порядка одного дня на
каждую прошедшую со времени события неделю [12; 13]. Таким образом, для того чтобы средняя ошибка датировки достигла величины одного года, необходим срок в шесть-семь лет. Но если возрастающие ошибки имеют разное направление, их сумма по-прежнему будет достаточно близка к нулю, и среднее значение датировок, сделанных многими респондентами, будет отражать реальность.
Наконец, в качестве пятого аргумента можно апеллировать к самой логике проведения социологического опроса. Ошибки памяти могут порождаться различными механизмами: психофизиологическими особенностями респондента, спецификой его занятий, недавно полученной информацией и т. д. Известно, к примеру, что пожилые люди зачастую лучше помнят события далекого прошлого, чем то, что произошло в их жизни накануне. Огромную роль в сохранении памяти о событии играет его значимость для конкретного человека, его влияние на дальнейшую биографию, а также сумма эмоциональных переживаний, связанных с ним. Однако все механизмы, зависящие от индивидуальной жизненной ситуации, варьируются от респондента к респонденту. Поэтому их влияние в основном можно рассматривать как статистический «шум», ухудшающий качество данных, но не приводящий к систематическим погрешностям.
К одинаковым для всех респондентов потенциальным причинам ошибок относятся: ситуация опроса (в основном определяемая типом опроса, структурой выборки и инструкциями интервьюеру), а также содержание анкеты. Стабильно воздействуя на ответы о прошлом, эти два фактора способны порождать смещение результатов опроса и приводить к неверным выводам и интерпретациям. Так, в упомянутом эксперименте Э. Лофтус 2,7 % респондентов «вспомнили» несуществующий сарай. Вполне вероятно, что их воспоминание было сконструировано на основе заданного вопроса о том, был ли на пленке сарай. Анкета формирует информационную среду респондента на короткое время, пока идет интервью [14]. Поэтому вполне естественно, что информация, содержащаяся в вопросах, может быть использована сознанием человека для конструирования воспоминаний. Но это же обстоятельство означает, что правильно подобранные вопросы могут помочь в повышении качества ответов. Так называемая процедура «ключевых событий» [15], повышающая качество ретроспективных данных, есть не что иное, как создание благоприятной среды для истинной реконструкции прошлого.
Почему же, несмотря на все приведенные соображения, в методической литературе распространено весьма скептическое отношение к надежности ретроспективных данных? Возможно, мы имеем дело с так называемой «систематической ошибкой публикаций» (publication bias) - склонностью представителей научного сообщества обнародовать прежде всего результаты, лежащие в русле определенной тенденции, например итоги экспериментов, в которых гипотеза автора была подтверждена. Публикации в области точности воспоминаний могут быть подвержены такого рода смещению по меньшей мере по двум причинам. Во-первых, естественным с точки зрения этики и практической рациональности для исследователей в области социальной методологии является намерение предостеречь социологов о возможных опасностях чрезмерного доверия к данным. Излишне оптимистичный взгляд на точность результатов социологических опросов представляется гораздо более рискованным, чем взгляд излишне осторожный. Во-вторых, в социальных и гуманитарных науках высоко ценятся данные, разоблачающие заблуждения «здравого смысла», для которого очень часто бывает свойственна переоценка стабильности личностных свойств и связности поведения человека [16]. Поэтому результаты, демонстрирующие слабость и противоречия человеческой памяти, могут восприниматься как более интересные и заслуживающие публикации. В обоих случаях отчеты об опросах, в которых респонденты продемонстрировали высокую точность воспоминаний, будут представляться вниманию научного сообщества с существенно меньшей вероятностью, чем отчеты об ошибках и смещениях, вызванных несовершенством памяти.
Дизайн эмпирического исследования
Окончательным опытным подкреплением приведенных теоретических аргументов может быть только широкомасштабный метаанализ результатов массовых опросов, учитывающий возможную систематическую ошибку методических публикаций. Однако общая правомерность оптимистического взгляда на получение ретроспективной информации может быть показана и на отдельных примерах, если они представляют собой «экстремальные» случаи. Для того чтобы придать приводимым аргументам больший вес, мы рассмотрим социологическое исследование ретроспективной датировки незначительных и давних событий. Известно, что ошибки в определении дат увеличиваются по мере их удаления во времени [17] и тривиальные, регулярно повторяющиеся события запоминаются и датируются хуже [18]. В качестве подходящей под эти критерии темы были выбраны воспоминания респондентов о времени знакомства с марками товаров массового потребления. Такого рода знакомство, несомненно, в подавляющем большинстве случаев является тривиальным событием, не привлекающим значительного внимания людей и поэтому, скорее всего, запоминающимся сравнительно плохо. Широкая известность марок товаров массового потребления, как правило, является следствием интенсивной рекламы, которая затрагивает большие массы людей. Поэтому можно относительно уверенно говорить о том, что знакомство со старыми марками, занимающими лидирующие позиции на своих рынках, у большинства респондентов произошло достаточно давно. Таким образом, избранный пример является весьма подходящим для исследования качества датировок давних незначительных событий.
Точность ответов респондентов в опросе должна быть низкой, сравнительно с большинством других тем, и ее можно будет использовать как некий «экстремальный» случай.
Массовый опрос, данные которого мы будем рассматривать, проводился с 11 по 25 июня 2012 г. в рамках мониторинга известности торговых марок, в настоящее время осуществляемого лабораторией социологической экспертизы Института социологии РАН. Выборка исследования составила 1 500 человек, распределенных по шести городам Российской Федерации следующим образом: Москва и Санкт-Петербург - по 500 человек, Ростов-на-Дону, Казань, Екатеринбург, Омск -по 125 человек. В качестве метода сбора данных использовались формализованные интервью по месту жительства, проводившиеся по одному в каждом домохозяйстве, отобранном с помощью случайного маршрутного метода. Отбор респондентов внутри домохозяйства осуществлялся по методу ближайшего прошедшего дня рождения с предварительным разъяснением респондентам его важности и сути (для снижения коммуникационных барьеров). Приведенное распределение респондентов по населенным пунктам обеспечивает репрезентативность только в отношении очень узкого круга показателей, связанных собственно с мониторингом, проводимым Лабораторией социологической экспертизы (в большинстве случаев теоретическая ошибка выборки может составлять порядка 5 % с доверительной вероятностью 95 %). Однако задачи нашего исследования не требуют использования репрезентативной в национальном масштабе выборки, так как анализ будет строиться на описании конкретного случая, хотя и представляющего собой результаты массового опроса. Такого рода случаи могут использоваться для подтверждения или опровержения теоретических положений, хотя и с известными оговорками относительно внешней валидности.
Вопросник исследования содержал ряд закрытых вопросов одинаковой конструкции: «Если Вам знакомо это обозначение как использующееся для пищевых продуктов, вспомните, пожалуйста, в каком году Вы впервые с ним столкнулись?». Варианты ответа включали в себя годы с 1991 по 2012, а также «раньше 1991 года», «не знакомо» и «знакомо, но не помню, когда столкнулся (лась)». Этот вопрос был задан в отношении 20 отечественных марок пищевых продуктов, появившихся на рынке после 1991 г. Поскольку время появления каждой из них известно, данные опроса позволяют вычислить долю заведомо неверных ответов, приходящихся на годы до вывода марки на рынок, - показатель, который можно, хотя и с существенными оговорками, использовать для оценки качества датировок.
Обсуждение результатов и основные выводы
Ошибки в датировке знакомства с торговыми марками, вычисленные как процентная доля респондентов, давших заведомо неверный ответ, среди всех, знакомых с торговой маркой, приведены в таблице 1. Анализ представленных в ней данных позволяет сделать ряд важных выводов.
Таблица 1 - Ошибки, допущенные респондентами в датировке знакомства
с торговыми марками
Марка Год появления Срок существования до опроса (лет) Доля потребителей, указавших дату знакомства ранее года появления (в % от знающих марку)
и7 1994 18 1,3
Принцесса Нури 1994 18 1,4
Скит 1995 17 1,2
Балтимор 1995 17 1,7
Макфа 1996 16 1,1
Шок 1996 16 3,1
Олейна 1997 15 3,2
Санта Бремор 1998 14 1,4
Причуда 1998 14 2,6
Чудо-йогурт 1998 14 2,8
Лисма 1998 14 4,8
Русский Хит 1999 13 1,8
Коркунов 1999 13 2,6
Старый Мельник 1999 13 3,9
Фрутоняня 2000 12 1,3
Вкуснотеево 2000 12 1,4
Веселый Молочник 2000 12 2,5
СладКо 2001 11 3,9
Сам Самыч 2001 11 5,3
Махеевъ 2001 11 3,4
Во-первых, обращает на себя внимание сравнительно низкая доля заведомо неверных ответов. Как было сказано выше, теоретическая ошибка выборки исследования может составлять порядка 5 % с доверительной вероятностью 95 %. Это означает, что истинное значение доли признака будет отличаться от выборочного более чем на 5 % не чаще чем в одном случае из двадцати.
Именно такую картину можно видеть в таблице (единственная из 20 наблюдений ошибка, превышающая 5 %, относится к марке «Сам Самыч»), хотя это определенно результат совпадения, а не действия принципов выборочного метода. Исходя из этого, делаем вывод: доля заведомо неверных ретроспективных датировок в данном случае сопоставима с ошибкой выборки.
Во-вторых, изменения ошибок, по-видимому, имеют определенную направленность. Коэффициент корреляции Пирсона между сроком существования марки до опроса и долей заведомо ошибающихся потребителей достигает величины -0,5 (значим на уровне 0,02). Он позволяет сделать вывод о наличии некоторого линейного тренда, и описать его, хоть и достаточно приблизительно. Уравнение регрессии будет иметь вид
заведомая ошибка = -0,28 х срок существования + 6,4.
То есть заведомая ошибка сокращается чуть более чем на 1 % за каждые четыре года существования торговой марки.
Наиболее вероятным объяснением этому является небольшой эффект типа «обратного теле-скопирования», который немного удлиняет в восприятии респондентов знакомство с более молодыми марками. Однако вполне вероятно также и то, что длительно присутствующие на рынке товары лучше знакомы потребителю, и потому информация о них в среднем получается более точной.
Как видно из приведенного выше эмпирического примера, даже в случае с торговыми марками, знакомство с которыми можно рассматривать как давнее сравнительно незначительное событие, наблюдается ряд эффектов, свидетельствующих об их присутствии в долговременной памяти. Вероятно, регулярное употребление какого-либо продукта постепенно выводит его в ранг устойчивых объектов повседневной жизни, которые могут прочно удерживаться в памяти на протяжении десятилетий.
Таким образом, можно считать вполне оправданной постановку вопроса о правомерности гиперкритицизма в отношении получаемой в массовых опросах ретроспективной информации. Во-первых, существуют достаточно весомые теоретические аргументы в пользу ее достоверности. Во-вторых, как мы продемонстрировали на эмпирическом примере, ее точность, по крайней мере в некоторых аспектах, может быть достаточно высокой, и даже увеличивающейся со временем. Наиболее плодотворно дальнейшие исследования по теме повышения качества данных в этой области, по-видимому, могут вестись в направлении выяснения общей распространенности и масштаба ошибок ретроспективной информации, а также разработки инструментов создания дополнительных контекстов, способствующих повышению ее точности.
Ссылки:
1. Садмен С., Брэдбери Н., Шварц Н. Как люди отвечают на вопросы. М., 2003.
2. Loftus E.F. Leading questions and the eyewitness report // Cognitive Psychology. 1975. № 4. P. 560-572.
3. Loftus E.F. & Palmer J.C. Reconstruction of automobile destruction // Journal of Verbal Learning and Verbal Behavior. 1974. № 5. P. 585-589.
4. Loftus E.F., Miller D.G., Burns H.J. Semantic integration of verbal information into a visual memory // Journal of Experimental Psychology: Human Learning and Memory. 1978. № 1. P. 19-31.
5. Neter J., Waksberg J. A study of response errors in expenditures data from household interviews // Journal of the American Statistical Association. 1964. № 305. P. 18-55.
6. Sudman S., Bradburn N.M. Effects of Time and Memory Factors on Response in Surveys // Journal of the American Statistical Association. 1973. № 344. P. 805-815.
7. Thompson C.P., Skowronski J.J., Lee D.J. Telescoping in dating naturally occurring events // Memory & Cognition. 1988. № 5. P. 461-468.
8. Ferguson R.P., Martin P. Long-term temporal estimation in humans // Perception & psychophysics. 1983. № 6. P. 585-592.
9. Huttenlocher J., Hedges L.V., Bradburn N.M. Reports of elapsed time: bounding and rounding processes in estimation // Journal of Experimental Psychology: Learning, Memory, and Cognition. 1990. № 2. P. 196-213.
10. Rubin D.C., Baddeley A.D. Telescoping is not time compression: A model of dating autobiographical events // Memory & Cognition. 1989. № 6. P. 653-661.
11. Larsen S.F., Thompson C.P., Hansen T. Time in autobiographical memory // Remembering our past: Studies in autobiographical memory / ed. by D.C. Rubin. New York, 1996. P. 129-156.
12. Thompson C. Memory for unique personal events: The roommate study // Memory & Cognition. 1982. № 4. P. 324-332.
13. Long-term performance in autobiographical event dating: Patterns of accuracy and error across a two-and-a-half year time span / J.J. Skowronski, A.L. Betz, C.P. Thompson, S.F. Larsen // Acquisition and long-term retention of knowledge and skills: The durability and specificity of cognitive procedures / ed. by A.L. Healy & L.B. Bourne. Newbury Park, 1995. P. 206-233.
14. Бабич Н.С., Власова-Ягодина А.А. Асимметрия в ответах на анкетные вопросы: проверка информационной гипотезы // Гуманитарные и социальные науки. 2014. № 1. С. 148-155.
15. Loftus E.F., Marburger W. Since the eruption of Mt. St. Helens, has anyone beaten you up? Improving the accuracy of retrospective reports with landmark events // Memory & Cognition. 1983. № 2. P. 114-120.
16. Росс Л., Нисбетт Р. Человек и ситуация: уроки социальной психологии. М., 2000.
17. Baddeley A.D., Lewis V., Nimmo-Smith I. When did you last...? // Practical aspects of memory / ed. by M.M. Gruneberg, P.E. Morris & R.N. Sykes. New York, 1978. P. 77-83.
18. Brewer W.F. Memory for randomly sampled autobiographical events // Remembering reconsidered: Ecological and traditional approaches to the study of memory / ed. by U. Neisser & E. Winograd. Cambridge, 1988. P. 21-90.
