CC BY
103
ТЕОРИЯ, МЕТОДОЛОГИЯ, МЕТОДЫ
DOI: 10.14515/monitoring.2014.1.01 УДК 303.621.32(470+571):323/324(477.75)
Д.М. Рогозин
НАСКОЛЬКО КОРРЕКТЕН ТЕЛЕФОННЫЙ ОПРОС О КРЫМЕ: АПОСТЕРИОРНЫЙ АНАЛИЗ ОШИБОК ИЗМЕРЕНИЯ1
НАСКОЛЬКО КОРРЕКТЕН ТЕЛЕФОННЫЙ ОПРОС О КРЫМЕ: АПОСТЕРИОРНЫЙ АНАЛИЗ ОШИБОК ИЗМЕРЕНИЯ
ON THE ACCURACY OF THE TELEPHONE SURVEY ABOUT CRIMEA: A POSTERIORI ERROR ANALYSIS
РОГОЗИН Дмитрий Михайлович — заведующий лабораторией методологии федеративных исследований ИНСАП РАНХиГС. E-mail: nizgor@gmail. com.
ROGOZIN Dmitrii Mikhailovich - Head of Laboratory for Federative Research Methodology, Russian Presidential Academy for National Economy and Public Administration. E-mail: nizgor@gmail.com.
Аннотация. 14-16 марта 2014 г. Фонд «Общественное мнение» и Всероссийский центр изучения общественного мнения провели масштабный телефонный опрос об отношении россиян к присоединению Крыма. Вслед за публикацией результатов, указывающих на беспрецедентную поддержку президентского решения, в адрес кампаний были высказаны упреки в ангажированности и методической некорректности, допущенных в ходе опроса. Цель статьи — выделить и оценить на эмпирическом материале возможные ошибки измерения, в первую очередь отражающие работу интервьюеров.
Из массива данных исследования Фонда «Общественное мнение» случайным образом сгенерирована выборка в 608 интервью, которые затем прослушивались и кодировались на предмет допущенных интервьюером ошибок. Кроме количественных оценок, анализировались транскрипты аудиозаписей. Установлено, что проведенный опрос отличается высоким уровнем качества измерения. Значимые нарушения опросной технологии
Abstract. Between March 14 and 16 (2014) the Public Opinion Foundation and the Russian Public Opinion Research Center conducted a large-scale telephone survey devoted to the attitudes of Russians towards the accession of Crimea. After the publication of results representing an unprecedented support for the presidential decision a number of accusations of political preconception and methodological incorrectness were addressed to both companies. The key objective of the article is to reveal possible errors reflecting the work of the interviewers. A random sample of 608 interviews conducted by the Public Opinion Foundation was generated for the data array; the interviews were further listened and analyzed. Audio transcripts were also checked up.
The study revealed that the survey was the highest quality. Significant deficiencies were witnessed only in 5 % of interviews, and they do not affect the answers even though fixed; the final distributions of answers with or without errors do not differ much.
Difficulties concerning the questions during the
1 Идея статьи сформировалась после оживленного обсуждения опроса в группе Мануфактура «Соцпох» (https://www.facebook.com/groups/socpokh), которое затем было перенесено в более закрытый очный формат Методического цеха — инициативной группы, включающей специалистов Фонда «Общественное мнение», лаборатории методологии федеративных исследований ИНСАП РАНХиГС, АНО »Социальная валидация» и слушателей Шанинки. Автор признателен президенту Фонда «Общественное мнение» А.А. Ослону за раскрытие методологических особенностей опроса и предоставление полной информации о проведенном исследовании, ведущему специалисту фонда Т.Э. Османову за предоставленные материалы, оперативные и полные ответы на все вопросы, касающиеся процедур и методических решений, принятых как в ходе исследования, так и последующей обработки данных.
возможны не более чем в 5% интервью, но даже при их исправлении ответы не будут смещены, поскольку итоговые распределения в группах с нарушениями и без нарушений практически не различаются. Затруднения с ответами, подбор аргументов к тому или иному вопросу вписываются в порядок обыденного разговора. Дополнительные вопросы и уточнения к ответу не нарушают общую логику беседы, что в первую очередь объясняется компактным и тематически строго определенным опросом. Новые технологии учета данных и масштабность исследования позволили решить две чрезвычайно значимые методические задачи. Во-первых, оценить ошибки измерения и рассчитать риск, который наносят недобросовестные интервьюеры. Во-вторых, построить рейтинг call-центров, основанный на результатах работы, а не на отчетной документации. Первое решение вносит вклад в формирование общей теории ошибок, второе — поможет исследовательским коллективам, впервые выходящим на рынок полевых работ, выбрать наиболее надежных и добросовестных партнеров.
interview fit well into the everyday conversation. Additional questions and clarifications on answers do not go against the logic of the conversation due to compact survey with a clearly defined thematic structure.
New technologies of data recording and the scale of the survey helped solving two basic methodological problems: firstly, to assess errors and risks that may be caused by unconscientious interviewers; secondly, to rate call centers based on the results of the work but not on the reporting documentation. The first conclusion contributes to the general theory of error; the second one may be useful for choosing the most reliable partners for those research teams that have just entered the market of field studies.
Ключевые слова: телефонный опрос, аудиозапись, автоматизированный телефонный опрос, ACATI, апостериорный анализ, анализ разговора, вежливость, звонковый центр, call-центр, контроль качества, инструментарий, ошибки измерения, ошибки регистрации, систематические ошибки, эффект интервьюера, ФОМ, ВЦИОМ, Крым, мегаопрос.
Keywords: telephone survey, audio recording, atomized telephone survey, ACATI, a posteriori analysis, conversation analysis, politeness, call centre, quality control, tools, measurement error, registration error, systematic errors, interviewer's influence, POF, VCIOM, Crimea, mega poll.
На фоне глобальных международных событий последних месяцев (Олимпиада в Сочи, украинский Майдан, присоединение Крыма) Фонд «Общественное мнение» и ВЦИОМ по заказу Некоммерческого фонда «Институт социально-экономических и политических исследований» (Фонд ИСЭПИ) провели масштабный социальный опрос об отношении россиян к присоединению Крыма. По размаху и особенностям исполнения можно говорить о беспрецедентном событии в индустрии российских массовых опросов. Во-первых, всего за 3 дня, с 14 по 16 марта включительно, опрошены 48 590 респондентов. Еще ни разу не удавалось за столь короткий срок реализовать общероссийскую выборку с возможностью репрезентировать все субъекты федерации. Во-вторых, ФОМ и ВЦИОМ проводили опрос на разных выборках. У ФОМа в некоторых регионах реализована стратифицированная случайная выборка, в остальных опрос проводился по базе потенциальных респондентов, формирующейся уже много лет2. У ВЦИОМа — выборка, квотная по полу, возрасту,
2 Практически во всех исследованиях Фонда «Общественное мнение» интервьюеры интересуются возможностью продолжить общение с респондентом в других опросах и в случае согласия берут контактные данные. Несколько лет назад автор принимал участие в тестировании процедуры составления базы потенциальных респондентов, которое показало готовность людей к продолжению общения в случае установления доверительных отношений, корректной и вежливой формы ведения интервью.
5 _
населенному пункту и образованию. Поскольку по другим условиям различий нет, реализован глобальный экспериментальный план по сравнению случайной и неслучайных выборок. Казус заключается в фактическом совпадении результатов. Объяснение этого факта может дать работу методистам на несколько лет. В-третьих, полстеры отказались от привычного омнибусного формата анкеты и задавали всего 4 содержательных вопроса (табл. 1) и 4 социально-демографических (пол, возраст, образование, тип населенного пункта).
Таблица 1 Линейные распределения содержательных вопросов, % от опрошенных
Варианты ответа Вопрос 1: «Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму?» Вопрос 2: «Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму, даже если это осложнит отношения с другими странами?» Вопрос 3: «Вы согласны или не согласны с мнением, что Крым — это Россия?» Вопрос 4: «Вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации?»
Да 94 83 86 91
Нет 3 7 9 5
З/О 3 10 5 4
Впервые в масштабном проекте опрашиваемых не изводили бесконечными повторами и натужными формулировками, а предлагали высказаться в рамках одной темы. Вопросы с лаконичными дихотомическими закрытиями (да, нет, затрудняюсь ответить) не требовали расширенных пояснений и дополнительных интерпретаций со стороны интервьюера, их ясность и актуальность осознавалась большинством отвечающих. В-четвертых, к опросу было привлечены множество российских звонковых центров (только с ФОМ работали 10 региональных организаций). Проводя интервью в схожих условиях, они были де-факто вовлечены в глобальный экспериментальный план, в котором о качестве решаемых ими коммуникативных задач можно судить не по отчетности или высказанному мнению, а по результату работы. Наконец, в-пятых, опрос проведен на единой информационной платформе, что позволило не только быстро сгенерировать матрицу содержательных данных, но и зарегистрировать сопутствующие переменные. Прежде всего остались записи всех соединений ФОМа, которые представляют уникальный материал для изучения общественного мнения.
Опрос не остался незамеченным ни со стороны властей, ни прессы, ни обществоведов, ни интеллектуалов, не чуждых эмпирическим проектам. Нам интересна реакция последних. Любопытно, что ни один из перечисленных выше доводов не был ими озвучен. Напротив, опрос был заклеймен «сервильностью и ангажированностью», потаканием властям и нескрываемой враждебной интересам общества пропагандой [1, 4]. Критики «крымского мегаопроса» в первую очередь обратили внимание на чрезмерно высокий уровень поддержки населением действий российской власти, зафиксированный исследователями. Обвинения возросли в связи с упоминанием В. Путиным полученных распределений и обоснование решения о присоединении Крыма в том числе данными опроса, что в таком виде не наблюдалось, пожалуй, за все сроки нахождения его у власти. Опрос вызвал волну контраргументов и сопутствующих исследований (проводимых якобы независимыми коллективами), как правило, без какого-либо указания на методическую основу сбора и агрегирования данных. Давно стало привычным лишь указание на проведение опроса как такового с последующим подробным изложением полученных линейных распределений.
6 _
Свое местное исследование провели также петербургские социологи и политологи. Так, Центр эмпирических политических исследований факультета политологии СПбГУ провел телефонный опрос жителей Северной столицы по поводу ситуации на Украине. Оказывается, украинскими событиями очень интересуются... [2].
Нет ничего странного или необычного в неприятии интеллектуальной средой решений власть предержащих. Протестное, критическое отношение к власти — неотъемлемая черта интеллигенции, можно сказать, маркер идентичности современного интеллектуала. Неслучайно вопрос об отношении к власти российские интеллектуалы, как правило, встречают смехом [5], задать его может либо наивный, либо намеренно провоцирующий, подталкивающий к дискуссии собеседник. Несогласие позволяет выстраивать отношение, создает среду конструктивного противостояния. Странно и даже чудно другое. Первым же аргументом для обоснования критической позиции назывался непрофессионализм полстерских компаний, недопустимое нарушение основ опросного мастерства, применение опросных технологий для иных, пропагандистских задач:
Приведенные данные свидетельствуют о заведомо непрофессиональном и сервильном (одно другим подкрепляется!) характере проведенного двумя ведущими в России полстерскими организациями (фирмами по изучению общественного мнения) якобы социологического, масштабного опроса в середине марта 2014 [1].
Опрос ВЦИОМа и ФОМа следует воспринимать как квазиальтернативу общероссийскому референдуму по Крыму. Это не опрос — в нем не выясняется разнообразие мнений и аргументаций, не изучаются (по крайней мере в опубликованном) условия и сценарии поддержки того или иного решения. Такой опрос очень подходит для легитимации уже принятого решения, для оценки, насколько удачна легитимирующая риторика. Меня на эту мысль наводит вопросная схема, притом, что сами формулировки не содержат грубых ошибок (за исключением вопроса о защите русских и представителей других национальностей). Вместе с тем сама вопросная схема как раз не соответствует логике «изучения» как вопрошания, а своей «невнимательностью» к нюансам как раз напоминает референдум о судьбе СССР. Так что получается в своем роде кентавр — отличный (серьезно) дизайн сбора данных, осуществленный в жанре исследования, при исходной задаче из области агитпропа [3].
Примечательно, что высказывая подобные суждения, социологи не утруждали себя необходимостью взглянуть на методические результаты (к слову, открытые по запросу для анализа), обратиться к исходным данным. Для них линейные распределения и факт воспризнания властью результатов опроса, не совпадающих с собственными ожиданиями, послужили достаточными основаниями для вынесения методических суждений. Весьма показателен набор сомнительных априорных аргументов, высказанных А.Н. Алексеевым.
А. Азбучной истиной эмпирической социологии (технологии массовых опросов, демоскопии) является то, что иногда называют равновесностью шкал. Разумеется, нельзя ожидать, чтобы ответы на вопрос распределились абсолютно равномерно между левой и правой частями (зонами) шкалы ответов. Но качественный вопрос (в социологической методике, а не мимикрирующей под него политико-пропагандистской акции) предполагает более или менее НОРМАЛЬНОЕ распределение ответов (приближение к гауссовой кривой). Если же этого нет, то вопрос не имеет «дифференцирующей силы», а стало быть, и спрашивать было незачем. (Все равно, что спрашивать, сколько будет дважды два: 4, 5 или 6.)
Б. В данном случае средняя часть шкалы (условно отождествляемая с «затруднением с ответом»; хотя, строго говоря, ее следовало бы обозначить иначе) заполнена ответами на ничтожное количество процентов. Зато на 90 и более процентов тянет архикатегоричный
7 _
ответ «Да, должна» (имеется в виду Россия) или «Да, согласен» (с предложенным мнением). Грамотная опросная методика предполагает элементарное различение пунктов шкалы по степени уверенности или по степени определенности ответа (например, «определенно да», «пожалуй, да», «безусловно, да», «скорее да, чем нет» и т. п.). В таком случае можно было бы получить хотя бы подобие нормального распределения.
В. В принципе, вопросы использованной анкеты (гайда) предусматривали согласие/несогласие с определенными идеолого-пропагандистскими клише, массированно внедряемыми в массовое сознание в последнее время. Отказ от солидаризации с этими клише предполагает манифестацию известной нелояльности, естественной для активистов гражданского общества, участников оппозиционных митингов и т.п., но не рядовых обывателей, каковыми является большинство респондентов массового опроса. (Напомним, что опрос был телефонный, т.е. без гарантии анонимности.)
Г. Обращает на себя внимание, что авторы исследования даже в кратком пресс-выпуске приводят дифференцированные данные по каждому субъекту РФ. Они (эти данные), понятно, различаются мало, но их презентация создает видимость научной добросовестности и детализации анализа [1].
Наряду с недопустимыми оборотами об «азбучной истине эмпирической социологии» и «грамотной опросной методике» автор конструирует очень странный опросный букварь, в котором равновесность шкал определяется нормальностью получаемых распределений, затруднение с ответом приравнивается к серединному значению шкалы (вроде, ни да, ни нет), а наиболее устойчивым дихотомическим закрытиям и вовсе отказывается в легитимности, поскольку необходимо «элементарное различение пунктов шкалы», мотивируемое необходимостью достижения нормального распределения в ответах. В одной из дискуссий, развернувшейся в закрытой группе Facebook, Мануфактуре «Соцпох»3, Андрей Боголепов подытожил: «В общем, дискутировать можно много о чем. Но социологии российской после этого уже не отмыться. Никогда». Можно ли всерьез воспринимать такой вывод? Есть ли у него какие-либо основания, кроме политических и гражданских убеждений автора?
Как известно, методика не терпит априорных долженствований, поэтому позвольте обратиться к данным, чтобы заменить политические спекуляции и личные мнения, подчас сокрытые под наукообразной стилистикой, разбором экспериментальных материалов. Насколько обоснованы претензии социологов и обществоведов к качеству опросного инструмента? Надежны или не надежны полученные данные? Велики ли ошибки измерения в исследовании? Насколько корректно реализованы процедуры интервьюирования?
Теоретическая рамка
В подходе, развиваемом представителями Мичиганской методологической школы, совокупная ошибка исследования делится на две больших части: ошибки опросного инструмента и ошибки репрезентации [9, 11]. Первые имеют отношение к коммуникативной ситуации, восприятию и регистрации мнений опрашиваемых, вторые — к организации отбора, неточностям построения выборочного дизайна и нерелевантному с точки зрения выборочных требований поведению отобранных людей (рис. 1).
3 Дискуссия инициирована Тимуром Османовым 17 марта 2014 <https://www.facebook.com/ groups/socpokh/permalink/626945784044524/?stream_ref=2> См. также: <https://www.facebook.com /groups/socpokh/permalink/629929143746188/?stream_ref=2> Дата обращения: 31.03.2014.
8 _
Системати ч еск и е ош и (жи опросного инструмента
Различия между оценками, даваемыми респондентами и используемыми в
анализеданных ОШИБКИ РЕГИСТРАЦИИ
Различия между идеальным измерением и наблюдаемыми замерами ОШИБКИ ИЗМЕРЕНИЯ
Различия между параметрами целевой группы и основы выборки
ОШИБКИ ПОКРЫТИЯ
Различия между концептуальным и операциональным определением
Различия между параметрами основы выборки и оценками спроектированной выборки ОШИБКИ ВЫБОРКИ
ОШИБКИ ОПЕРАЦИОНАЛИЗАЦИИ
Различия между оценками спроектированной и реализованной выборки ОШИБКИ НЕОТВЕТОВ
Систематические ошибки выборки
Рисунок 1 — Типология ошибок массового опроса
Особенности реализации обсуждаемого опроса дают богатую информацию для понимания обоих типов ошибок. Однако здесь мы остановимся лишь на систематических ошибках измерения и разберем подробно, насколько обоснованы претензии к опросному инструменту, высказанные вслед за публикацией результатов «крымского» опроса. Прежде всего нас интересуют ошибки, связанные с различием между высказанным ответом и отмеченным интервьюером закрытием. Через экспликацию особенностей таких различий можно говорить как об ошибках измерения, так и о регистрации и даже недочетах в операционализации.
Диагностическая процедура
Из ФОМовской части выборки случайным образом отобрано более 600 аудиозаписей полностью взятых интервью4. Затем полученный массив был разделен между 7 кодировщиками, которые прослушивали и кодировали записи по следующим переменным: (1) проблемы со связью, (2) отсутствие информированного согласия, (3) ошибки регистрации, (4) невежливость и (5) грубые ошибки интервьюера. Кодирование результатов коммуникации по аудиозаписям стало широко применяться как в личных, так и в телефонных интервью с введением средств автоматического включения записи разговора. Разнообразные коды, описывающие особенности взаимодействия между интервьюером и респондентом, позволяют интерпретировать полученные распределения, отталкиваясь от реалий состоявшихся разговоров, что признается большинством современных методистов одним из наиболее релевантных способов обнаружения и анализа ошибок измерения [6, 8, 11]. Представленные выше коды в большей степени отражают поведение интервьюера, его решения о регистрации того или иного ответа. Это позволило быстро и компактно провести кодирование большого массива интервью, отвечая на вопрос о надежности опросного инструмента по отношению к разным группам респондентов и различным коммуникативным ситуациям.
4 Обработка данных проходила в рамках контроля качества полевых работ, регулярно предпринимаемом Фондом «Общественное мнение». Из-за отсутствия бюджета на дополнительное кодирование данных ВЦИОМа решено ограничиться лишь одной частью массива данных.
Несколько аудиозаписей кодировались двумя кодировщиками, затем результаты обсуждались и корректировались. В ходе подобной проверки надежности апостериорного кодирования не выявлены значительные расхождения в интерпретации, поэтому оставшаяся часть массива не перепроверялась.
Первоначально предполагалось ведение дихотомических кодов: 1 — наличие и 0 — отсутствие регистрируемого признака. Однако кодировщики отклонились от этого задания и начали применять дифференцированные коды, пытаясь оценить уровень отклонений. Так, кроме указанных 0 и 1, в таблицу были внесены значения 0,2 и 0,5. Предполагалось, что таким образом можно точнее отразить особенности коммуникации. На уровне обработки все переменные вновь были перекодированы в первоначальные коды. Мы придерживаемся наиболее консервативного взгляда, согласно которому любое проявление признака считается ошибкой. Во-первых, это позволяет более однозначно идентифицировать ситуацию, не пытаться согласовать нюансы и интерпретации степени проявления признака. Во-вторых, в массиве обнаружено слишком мало ошибок, чтобы заниматься их дифференциацией.
Кроме количественных данных, получаемых в результате кодировки, отдельно рассматривались аудиозаписи интервью. Тем самым реализован смешанный подход к анализу данных, согласно которому необходимо сочетать количественные оценки и качественные интерпретации в любом исследовательском проекте.
Типичные фреймы разговора
Подавляющее большинство интервью, более 70%, проведены в доброжелательной непринужденной манере. В среднем интервью занимало 2 минуты (дисперсия 1 мин). За это время интервьюер успевает предупредить о теме разговора, задать 4 содержательных вопроса, уточнить один или два ответа, спросить 3 социально-демографических вопроса и вежливо завершить разговор. За словами интервьюеров слышен поддерживающий ответы смех, в целом разговор можно охарактеризовать как соучаствующий. Интервью, как правило, сбалансированы по развернутости реплик интервьюера и респондента. Последний обычно не отвечает однозначно на все без исключения вопросы, но и не пускается в долгие рассуждения. В случае необходимости интервьюер довольно подробно объясняет смысл вопроса, уточняет прозвучавший ответ. Это создает равную, раскрепощенную коммуникативную ситуацию, над которой не довлеет необходимость быстрого прохождения большой анкеты.
Разговор с женщиной пенсионного возраста вполне отражает общую атмосферу коммуникации (фрагмент 1). Выдерживая паузу (0:21) и неохотно соглашаясь на разговор (0:27), отвечая на доброжелательный тон интервьюера, она включается в обсуждение. Наибольшее затруднение вызывает второй вопрос, что в том числе связано со стратегией минимизации речевых средств, которую применил интервьюер, сократив вопрос до вводного предложения (0:41).
Фрагмент 1
Женщина, 64 года, среднее специальное образование, станица Солдатская,
Республика Кабардино-Балкария (продолжительность интервью 2:05 мин)
0:00 И: (телефонный звонок)
0:07 Р: Да?
ю _
0:08 И: Здравствуйте. Меня зовут Елена. Я представляю Фонд «Общественное мнение». Мы сегодня проводим опрос, касающийся ситуации вокруг Крыма. Сможете принять участие? Ответить на несколько вопросов. Это займет всего одну минуту времени. 0:21 Р: (молчание) 0:26 И: Согласны? 0:27 Р: Ну, согласна.
0:28 И: Вы проживаете в Кабардино-Балкарской Республике? 0:30 Р: Да.
0:32 И: А вы как считаете, Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму? 0:38 Р: Думаю, да.
0:41 И: Даже если это осложнит отношения с другими странами? 0:44 Р: Боже упаси. 0:45 И: То есть нет?
0:46 Р: Боже упаси. Боже упаси. Нет. Я хочу, чтобы были хорошие отношения со всеми странами, в том числе...
0:55 И: А нет, если Россия будет защищать русских в Крыму и представителей других национальностей, ну то есть жителей Крыма, а осложнится отношение с другими странами, Россия должна все-таки защищать интересы Крыма или нет? 1:07 Р: (пауза) Господи, ну как сложно все-таки. Как мы можем их не защищать, если это наши люди?
1:16 И: Ну поняла я вас, то есть поставим то, что да. А вы согласны или не согласны с мнением, что Крым — это Россия? 1:21 Р: Да, это Россия.
1:24 И: А вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации? 1:30 Р: Обязательно. <...>
Поскольку собеседница явно отклонилась от опросного задания, интервьюер была вынуждена полностью повторить анкетный вопрос (0:55). Заметим, что обмен репликами не выходит за рамки обыденного разговора. Формат стандартизированного интервью не мешает респонденту аргументировать свою точку зрения, приводить доводы (1:07), которые позволяют интервьюеру оценивать адекватность ответа и уточнять ответ (1:16).
Вместе с тем нельзя не обратить внимания на сложность формулировки второго вопроса (0:55) для респондента. Интервьюеры, сохраняя разговорный стиль, зачастую пропускают первую часть вопроса (0:41). В свою очередь, респонденты не могут однозначно определиться в наиболее весомых аргументах: необходимости сохранения мира и доброжелательных отношений (0:46) и защиты интересов «наших людей» (1:07). Вопрос как бы подталкивает к принятию решения людей, вовсе не склонных к рассмотрению таких альтернатив.
Во втором фрагменте женщина не приводит никаких аргументов. Она лишь часто вздыхает и держит паузы. Дольше всего она остановилась на третьем вопросе о том, является ли Крым Россией (0:49), несколько снизив однозначность согласия «согласна, скорее всего». Фрагмент 2
Женщина, 51 год, среднее техническое образование, Абакан, Республика Хакасия
(продолжительность интервью 1:20 мин)
0:00 И: (телефонный звонок) 0:12 Р: Алле.
0:13 И: Алло, здравствуйте. 0:14 Р: Здравствуйте.
0:15 И: Меня зовут Анна, и я представляю Фонд «Общественное мнение». Мы просим вас принять участие в небольшом опросе, который займет буквально минуту, про Крым. Можете уделить мне время? 0:24 Р: (вздыхает) Спрашивайте.
0:28 И: Скажите, пожалуйста, вы живете в Республике Хакасия? 0:31 Р: Да.
0:32 И: А Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих сейчас в Крыму? 0:37 Р: (пауза) Я считаю, да.
0:40 И: Даже если это осложнит отношение с другими странами? 0:46 Р: (пауза) Да.
0:47 И: А вы согласны или не согласны с мнением, что Крым — это Россия? 0:49 Р: (вздыхает, пауза) Согласна, скорей всего.
0:54 И: А вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Федерации? 0:59 Р: Да. <...>
1:16 И: Отлично. И это мой последний вопрос. Спасибо вам большое за участие. Всего Вам доброго. До свидания. 1:19 Р: (пауза) До свидания.
Для нас это интервью важно в качестве примера корректного доброжелательного поведения интервьюера. Она не торопит респондента с ответами, выдерживает паузы, дает возможность собеседнику разговаривать в приемлемом для него темпе, хотя не снижает темп собственной речи, тем самым не увеличивая продолжительность интервью. Обратим внимание на предельно вежливое прощание (1:16). Интервьюер не просто поблагодарила за участие, но и пожелала «всего доброго» и, попрощавшись, дождалась ответной реплики собеседницы (1:19), тем самым корректно завершив разговор.
В третьем фрагменте интервьюер сильно отклоняется от стандартизации. После отрицательного ответа респондента (0:49) на вопрос является ли Крым Россией, следующая формулировка сразу включает отрицательный ответ: «то есть вы не согласны с присоединением...» (0:54). Максимально приблизив стилистку вопроса к разговорной форме, интервьюер тем самым поставил под угрозу валидность измерения, поскольку исходя из записи уже невозможно оценить, насколько изменение формулировки сказалось на мнении респондента.
Фрагмент 3
Мужчина, 40 лет, среднее образование, село Владимирской области
(продолжительность интервью 1:17 мин)
12 _
0:00 И: (телефонный звонок) 0:10 Р: Да.
0:11 И: Алле, здравствуйте. 0:12 Р: Здравствуйте.
0:13 И: Вас беспокоит Фонд «Общественное мнение». Мы проводим социологический опрос по вопросу Крыма. Полминутки можете мне уделить? 0:19 Р: Да, пожалуйста.
0:20 И: Спасибо за согласие, скажите, вы проживаете во Владимирской области? 0:24 Р: Да.
0:25 И: А как вы считаете, Россия должна защищать русских, представителей других национальностей, проживающих в Крыму? 0:31 Р: (пауза 4 секунды) Да, должна бы. Да. 0:37 И: Даже если это осложнит отношение с другими странами? 0:40 Р: (пауза) Да, конечно, мы должны помогать всем. Такое мнение мое. Согласен. 0:48 И: Согласны ли вы с мнением, что Крым — это Россия? 0:49 Р: Крым? Крым, Крым, Крым (задумчиво) Да нет, это не Россия. 0:54 И: То есть вы не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации? 0:59 Р: (пауза 4 секунды) Нет. 1:04 И: Не согласны, да? 1:06 Р: Не согласен, конечно. <...>
Такого рода шероховатости весьма распространены в стандартизированных интервью. Занятие пуристской позиции о недопустимости подобных отклонений от опросного задания не предотвращает подобных сбоев, поскольку они инициируются самой практикой устной речи. Тем удивительнее выглядят призывы некоторых коллег обращать внимание исключительно на записанные вопросы, полностью игнорируя способы их произнесения и восприятия.
В четвертом фрагменте интервьюер полностью придерживается стандартизации. Несколько затянутое введение (0:21) и точное произнесение второго вопроса со всеми повторами, создают некоторую неравновесность разговора (0:46), смещают его в сторону интервьюера. Но заданный в самом начале подход к точному следованию анкеты спасает адекватность коммуникативной ситуации в последнем, четвертом, вопросе. Когда женщина отклоняется от вопроса, вводит дополнительное условие, помогающее ей ответить согласием (1:10), интервьюер предельно корректно указывает, что у нее лишь два варианта и просит определиться с одним из них (1:13). Пауза и вздох перед ответом указывают на необходимость принять решение (1:17), согласиться с предлагаемыми правилами ответа. Интервьюер, видя замешательство, переспрашивает, тем самым еще раз подтверждая ответ (1:21).
Фрагмент 4
Женщина, 32 года, высшее образование, поселок Вологодской области
(продолжительность интервью 1:49 мин)
0:00 И: (телефонный звонок) 0:18 Р: Але.
0:19 И: Алло, здравствуйте.
13 _
0:20 Р: Здравствуйте.
0:21 И: Разрешите представиться. Я интервьюер Фонда «Общественное мнение». Мы просим вас принять участие в нашем экспресс-опросе. Ответить на несколько вопросов, касающихся ситуации вокруг Крыма. Заранее благодарна за сотрудничество. Вы согласны? 0:31 Р: Угу, да.
0:32 И: Спасибо большое за согласие. Скажите, пожалуйста, вы проживаете в Вологодской области? 0:36 Р: Да.
0:37 И: Угу. А Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму? 0:44 Р: Я думаю, что... должна.
0:46 И: Угу. А Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму, даже если это осложнит отношение с другими странами? 0:53 Р: Я думаю, должна.
0:55 И: Угу. А вы согласны или не согласны с мнением, что Крым — это Россия? 1:00 Р: Я — нет.
1:02 И: Угу. Скажите, пожалуйста, вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации? 1:10 Р: (вздыхает) Ну, если это будет воля крымчан, тогда, пожалуй, да. 1:13 И: Скажите, пожалуйста, есть варианты ответа «да, согласен», «нет, не согласна». 1:17 Р: (вздыхает, пауза) Ну, да согласна. 1:21 И: Скорее да, все-таки, да. 1:23 Р: Угу. <...>
Сомнения, приведение дополнительных аргументов, неготовность части респондентов (как правило, с высшим образованием и проживающих в крупных мегаполисах) однозначно отвечать на поставленные вопросы, указывает на редукцию сложного решения до простой формулировки, однако это вовсе не говорит о ее ложности или ошибочности. Решение все же принимается, и происходит это без какой-либо подтасовки новых интерпретаций или излишнего давления интервьюера. В большинстве случаев этого даже не требуется, поскольку респонденты уверенно и без каких-либо промедлений и запинок называют один из предложенных вариантов.
Вместе с тем нельзя не отметить, что второй и третий вопросы воспринимаются гораздо хуже первого и четвертого (табл. 1). Во втором вопросе перегруженность коммуникативной ситуации частично снижает интервьюер, когда он пропускает первую часть вопроса, сразу начиная с вводимого условия: «даже если это осложнит отношения с другими странами?» (фрагмент 1, 0:41; фрагмент 2, 0:40; фрагмент 3, 0:37). Но предлагая одно из условий, нельзя искусственно считать равными все остальные факторы. Отвечая на гипотетические вопросы, человек склонен опираться на общие суждения, выделять наиболее значимые для него элементы сообщения. Очевидно, что «осложнение отношений с другими странами» может восприниматься как куда менее значимое последствие, чем, например, риск силовых решений, беспорядки и произвол. Поэтому попытка сузить вопрос, обнаружить группу более лояльных граждан не сработала. Несмотря на то что количество положительных
14 _
ответов уменьшилось, это было достигнуто за счет роста затруднившихся с ответом, а также возможными сбоями в регистрации данных.
Третий вопрос о том, является ли Крым Россией, и вовсе звучит несколько странно. Хотя он не вызывает неприятия у большинства опрошенных в ситуации реактивных ответов, любая попытка задуматься, что стоит за вопросом, приводит к сбоям (фрагмент 6, 1:27). Излишняя метафоричность, заложенная в конструкцию вопроса, на фоне складывающейся на момент исследования социально-политической ситуации, снижает эвристический потенциал такой переменной. Вопрос служит скорее буфером для перехода к следующему — о присоединении Крыма, более конкретному и однозначному в интерпретациях, нежели несет в себе какую-либо смысловую нагрузку.
Неоднородность по качеству исполнения формулировок указывает на отсутствие пилотажа перед запуском большого опроса. Но общий дизайн анкеты выстроен изящно, что приближает интервью не просто к обычному телефонному разговору, но создает своеобразную динамику, задает ритм. Не слышно ни раздражения, ни удивления на подобные вопросы. Актуальность их осознается респондентами, а интервьюеры не воспринимаются как часть некоторой пропагандистской машины. Если бы до запуска опроса удалось снять небольшие шероховатости формулировок, то все обвинения и вовсе были беспочвенны. Исследователи общественного мнения уже давно забыли, что в успешной коммуникации необходимы мелодика и ритмика, подчиняющие отдельные вопросы единому замыслу, а обмен репликами опосредован не только информационным заданием, но и обладает своеобразной динамической структурой. Разработанная анкета может служить хорошим началом возрождения традиции красивых решений, выполненных на компактном, не размазанном в нескончаемом переборе однотипных формулировок, наборе вопросов.
Распределение ошибок
Из всех регистрируемых признаков чаще всего встречается недостаточно вежливое и корректное поведение интервьюера. Речь идет не только о грубом или неэтичном ведении диалога, но и о мелких, возможно, незначительных промахах в интервьюировании, которые особенно заметны незнакомому человеку. Далее с большим отрывом следуют ошибки регистрации, или неточности в выборе закрытия. Грубые ошибки интервьюера, напрямую грозящие валидности измеряемых характеристик, составляют только третью группу (табл. 2).
Таблица 2 Показатели контроля измерения
Переменная контроля Частота %
Проблемы со связью 13 2
Нет информированного согласия 13 2
Ошибки регистрации 55 9
Невежливость 110 18
Грубые ошибки интервьюера 28 5
В целом, опрос проведен весьма качественно. Интервьюеры, как правило, допускают лишь одну ошибку, что не должно повлечь значительных смещений в ответах (рис. 2).
80 73,4
18,9
одна две три пять
Количество ошибок в одном интервью
Рисунок 2 — Плотность ошибок, допущенных в одном интервью, % от включенных в выборку
Проблемы со связью и невежливое поведение интервьюера обычно не сопровождаются другими ошибками, в то время как ошибки регистрации и грубые ошибки интервьюера идут в паре (табл. 3), что прежде всего связано с особенностями кодирования.
Таблица 3 Встречаемость ошибок измерения, % по столбцу
Сумма ошибок в одном интервью* Проблемы со связью Нет информ. согласия Ошибки регистрации Невежливость Грубые ошибки интервьюера
частота % частота % частота % частота % частота %
1 11 52 5 38 18 33 81 74 0 0
2 5 24 4 31 24 44 15 14 18 64
3 3 14 2 15 11 20 12 11 8 29
5 2 10 2 15 2 4 2 2 2 7
Итого 21 100 13 100 55 100 110 100 28 100
* В закодированном массиве ни разу не встретилась ситуация наличия четырех ошибок в одном интервью.
В отличие от других переменных «грубые ошибки интервьюера» регистрировались в последнюю очередь, исходя из примечаний и комментариев, оставленных к кодам. Как правило, они связывались с явными ошибками регистрации, когда интервьюер отмечал закрытие, которое полностью не соответствовало ответу респондента, или начинал навязывать собеседнику свое мнение (фрагмент 5).
Фрагмент 5
Женщина, 45 лет, высшее образование, Великий Новгород, Новгородская область
(продолжительность интервью 2:21 мин)
<...>
0:30 И: Россия должна или не должна защищать интересы русских и представителей
других национальностей, проживающих в Крыму?
0:38 Р: Русских, да, должна.
16 _
0:40 И: Всех, всех, всех, представителей других национальностей. Всех! 0:50 Р: О-ой.
0:51 И: Россия должна или не должна защищать интересы русских и (далее выделяет интонационно, на последнем слове переходит на чтение по слогам) представителей других на-ци-ональностей, проживающих в Крыму, даже если это осложнит отношения с другими странами?
1:01 Р: Ой, не знаю. Вот даже затрудняюсь, затрудняюсь ответить.
1:02 И: Вы должны ответить мне. В компьютере лист не перевернется. Да или нет. Ну,
сколько можно нам на другие страны-то смотреть?! Елки-палки!
1:15 Р: Ну, нет, значит, нет, и все.
1:17 И: Конечно, ну, они нам будут диктовать что-то. Вы согласны или не согласны с мнением, что Крым — это Россия? 1:24 Р: Да (громко), Крым — это Россия!
1:27 И: М-м-м. Вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации? 1:34 Р: Согласна. <...>
На высказанное респондентом затруднение (1:01), интервьюер, сославшись на невозможность другого исхода, стал требовать однозначный ответ, тут же обозначая, с его точки зрения, правильную позицию: «Сколько можно на другие страны смотреть?» (1:02). Эффективность абсолютно не допустимого для интервью приема отразилась на тональности дальнейших ответов. Громко, с вызовом высказанная позиция: «Да, Крым — это Россия» (1:24), интонационно встраивается в заданную интервьюером тональность.
Как правило, грубые нарушения сопровождаются сбоями в восприятии вопросов. Когда респонденты затрудняются дать точные и однозначные ответы, непрофессиональные интервьюеры начинают импровизировать, менять формулировки, тем самым искажая первоначальные вопросы. Так, на затруднения мужчины высказать согласие или несогласие с присоединением Крыма, интервьюер трансформирует предполагаемое согласие с принимаемым решением в личное желание: «вы хотели бы» (фрагмент 6, 2:02).
Фрагмент 6
Мужчина, 39 лет, среднее общее образование, поселок Звонари, Иркутская область
(продолжительность интервью 2:52 мин)
<...>
1:24 И: Вы согласны или не согласны, что Крым — это Россия? 1:27 Р: (пауза) Ну, раньше он был Россией. 1:34 И: Ну, вот у меня ответы: да, нет. 1:35 Р: (пауза) Ну, скорее, ну. наверно, да.
1:41 И: Да, значит да, хорошо. Вот скажите еще, вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации? 1:50 Р: (пауза) Ух, не знаю, что сказать-то. 1:55 И: Ну, хорошо, затрудняюсь отве... 1:57 Р: Ну, вот, если они хотят...
2:02 И: Ну, вот ваше мнение, вот вы хотели бы, чтобы его присоединили к России? 2:08 Р: Ну, наверное, да.
17 _
2:10 И: Значит «да» поставим, хорошо.
<...>
Подобные ошибки недопустимы в стандартизированных интервью, поэтому снижение риска возникновения столь сильных эффектов интервьюера — основная задача методиста. Ниже мы покажем, что по большей части причина кроется в ненадлежащей организации полевых работ, поскольку единственной переменной, связанной с ошибками в опросе, выступает (са11-центр). Другими словами, ранжирование полевых организаций по качеству работы и отказ от наименее подготовленных, могут существенным образом улучшить качество измерения.
Стандартизация требований к качеству измерения
Воспользуемся деревьями классификации для обнаружения наиболее часто встречаемых комбинаций ошибок. Последовательно будем задавать в качестве зависимой переменной одно из зафиксированных контролером затруднений, независимыми будем считать оставшиеся 4 затруднения. Ошибки регистрации чаще всего сопровождаются невежливым поведением интервьюера. Если не зафиксированы нарушения вежливости со стороны интервьюера, ошибки регистрации наблюдаются в 7% наблюдений, в противном случае — в 17% (метод СНАЮ, оценка=0,09; стд. ошибка=0,012). Соответственно невежливое поведение чаще всего сопровождается ошибками регистрации: наличие ошибок регистрации наблюдается в 35% невежливого поведения интервьюера, отсутствие — в 17% (метод СНАЮ, оценка=0,181; стд. ошибка=0,016). Начиная опрос, интервьюер чаще пропускает вводные фразы и не информирует респондента о параметрах опроса в том случае, когда в целом ведет себя невежливо в коммуникации. Отсутствие информированного согласия при одновременном невежливом поведении зафиксировано в 7% наблюдений, при отсутствии такового — в 1% (метод СНАЮ, оценка=0,021; стд. ошибка=0,006). Грубые ошибки в подавляющем большинстве случаев определяются неправильным кодированием интервьюером ответов, подталкиванием к выбору тех или иных альтернатив. В системе принятых для контроля кодов это определяется ошибками регистрации (метод СНАЮ, оценка=0,046; стд. ошибка=0,009). Из-за слишком малых групп и, соответственно, большой случайной ошибки мы не можем распространять полученные зависимости на всю совокупность проведенных интервью. Однако выделение подобных взаимосвязей не лишено смысла, поскольку в рамках дескриптивных статистических описаний позволяет формулировать суждения о контрольном массиве.
Можно описать некоторый порядок ошибочности измерения (своеобразный аналог шкалы Богардуса), структурированный по степени критичности регистрируемых затруднений и сбоев. Первый наиболее критичный уровень ошибок соответствует коду «грубые ошибки интервьюера». На втором уровне могут встречаться ошибки регистрации (оператор «или»). Наконец, на третьем уровне должно быть зафиксировано хотя бы одно из регистрируемых затруднений. В результате мы получаем 3 уровня контроля опросного инструмента. Первый уровень — узкий, когда ошибками признаются лишь грубейшие нарушения; второй — средний: кроме грубых нарушений, возможны и незначительные отклонения в регистрации признаков; третий — широкий, когда не выдержаны регистрируемые контролерами требования к стандартизированному интервью, т.е. наблюдается хотя бы одно из фиксируемых затруднений (рис. 3).
18 _
Рисунок 3 — Три уровня контроля ошибок измерения
Выделение трех уровней контроля ошибок измерения позволяет вводить элементы стандартизации в анализ качества опросного инструмента. Строго говоря, ошибка фиксируется лишь на узком уровне, когда мы точно знаем, что интервьюер неправильно построил коммуникацию. На среднем уровне в обнаруженные ошибки регистрации могут попадать неточные и неоднозначные ответы, которые отражают не столько фабрикацию данных, сколько непрофессиональность, неподготовленность интервьюера к разговору, возможно, наличие, какого-то сбоя в ходе трансформации услышанного ответа в записанный. Придерживаясь наиболее жесткого уровня контроля качества, исследователь вправе предположить, что невежливое поведение, отсутствие у респондента полной информации, проблемы со связью могут повлиять на искажение ответов, даже если формально мы это не регистрируем. Наиболее надежные данные должны быть получены в ситуации взаимопонимания, которая гарантируется лишь выполнением базовых требований ведения разговора (хорошая слышимость, осведомленность в контексте и вежливое отношение друг к другу). Сопоставление распределений в содержательных ответах по трем сформированным группам может дать информацию для оценки надежности ответов по отношению к коммуникативной ситуации. Если распределения не изменяются значимым образом, значит мнения настолько устойчивы, что коммуникативные сбои и ошибки измерения не могут их сместить в ту или иную сторону. В противном случае нам следует принимать решение либо о сокращении выборки до приемлемого уровня, либо о внесении поправочных коэффициентов, увеличивающих совокупную ошибку опроса. Другими словами, оценка ошибок измерения позволяет нам точнее описывать вариативность измеренного признака, тем самым снижая спекулятивный потенциал точных значений, которые конструируются в ходе серии когнитивных и коммуникативных трансформаций.
Риск систематических смещений
Нарушения правил и норм стандартизированного интервью в анализируемом опросе весьма редки (рис. 3). Лишь 5% проведенных интервью (узкий уровень контроля) могут содержать действительный риск смещений. Поскольку таких ошибок немного, мы будем придерживаться более строгих требований к интервью, чем это принято для рутинных массовых опросов. Рассмотрим влияние нарушений нормальной коммуникативной ситуации на распределение содержательных вопросов в рамках средних и жестких требований к
19 _
контролю качества. Построим таблицы сопряженности по четырем содержательным вопросам и сконструированным переменным, отражающим уровни контроля. Переменная средний уровень контроля (СуК) принимает значение 1, если в коммуникации наблюдается хотя бы одно из двух нарушений: грубые ошибки интервьюера и ошибки регистрации. В противном случае переменной присваивается значение 0. Переменная широкий уровень контроля (ШуК) принимает значение 1, если кроме обозначенных переменных могут быть зафиксированы еще 3 отклонения: невежливость, отсутствие информированного согласия и плохая связь.
Ни по одной из таблиц сопряженности не зарегистрирована связь между уровнем контроля и содержательными распределениями ответов (низкий уровень значимости по статистике Х2), т.е. ответы, предлагаемые без нарушений процедуры и с нарушениями практически не различаются. Поэтому рассмотрим возможность смещений на более детальном уровне ответов. Это позволяет сделать скорректированные остатки по каждой ячейке таблицы или разницы между наблюдаемым и ожидаемым значениями, разделенные на оценку стандартной ошибки. Скорректированные остатки отражаются в единицах стандартных отклонений от среднего значения, что позволяет говорить о направлении смещения и его величине. Если скорректированный остаток превышает величину трех стандартных отклонений, можно утверждать о неслучайной природе наблюдаемых различий.
В таблице 4 представлены по одному столбцу из таблиц сопряженности, отражающие скорректированные остатки в группах с наблюдаемыми нарушениями. Отрицательное значение показателя указывает на то, что значение признака оказалось ниже среднего по всему массиву, положительное — выше.
Таблица 4 Скорректированные остатки по обнаруженным смещениям в группах с широким (ШуК) и средним (СуК) уровнем контроля, данные столбца с наличием ошибок измерения (N=56 для СуК, N=162 для ШуК) в таблицах сопряженности, построенных по содержательным и методическим переменным
Варианты ответа Вопрос 1: «Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму?» Вопрос 2: «Россия должна или не должна защищать интересы русских и представителей других национальностей, проживающих в Крыму, даже если это осложнит отношения с другими странами?» Вопрос 3: «Вы согласны или не согласны с мнением, что Крым — это Россия?» Вопрос 4: «Вы согласны или не согласны с присоединением Крыма к нашей стране в качестве субъекта Российской Федерации?»
ШуК СуК ШуК СуК ШуК СуК ШуК СуК
Да -0,8 -0,8 -0,6 -1,6 -1,7 -2,2 -2,2 -2,5
Нет 0,8 0,2 0,7 0,2 0,3 1,0 1,0 3,2
З/О 0,2 1,0 0,1 1,7 2,1 2,0 2,0 0,4
Х2 0,719 1,053 0,479 3,206 4,554 5,380 4,999 10,523
Р< 0,698 0,591 0,787 0,201 0,103 0,068 0,082 0,005
Первое, на что требуется обратить внимание, это направление смещений в ответах. Во всех без исключения вопросах при наличии сбоев в коммуникации наблюдается занижение положительных ответов при росте отрицательных или затруднений с ответами. Другими словами, если убрать из массива ответы, сопровождаемые коммуникативными сбоями во время опроса, распределения положительных ответов незначительно возрастут.
Второе наблюдение: по ответам на содержательные вопросы группа интервью, к которой отнесены все 5 недочетов (широкий контроль), более похожа на группу 20 _
беспроблемных интервью, нежели те, где фиксировались только грубые ошибки (узкий контроль) или добавлялись ошибки регистрации (средний контроль). Это указывает на корректность конструирования шкалы контроля. Действительно, грубые нарушения, допущенные интервьюером, и ошибки регистрации с большей вероятностью приводят к отклонениям в содержательных вопросах, нежели невежливое поведение, отсутствие информированного согласия или помехи в каналах связи.
Третье: различия между группами с нарушением и без нарушения коммуникативного порядка возрастают по мере предъявления новых вопросов. Это указывает на влияние контекстуальных эффектов, усиливающих смещения для каждого последующего вопроса. Особенно выделяется последний содержательный вопрос в анкете об отношении к присоединению Крыма к Российской Федерации. Уже на уровне вопроса можно предположить, что различия между двумя группами среднего уровня контроля (Х2=10,523; р<0,005) неслучайны, но наиболее значимое различие приходится на отрицательный ответ, по которому скорректированный остаток превышает 3 стандартизированных отклонения (табл. 3). В группе, где отсутствуют нарушения, регистрируемые в соответствии со средним уровнем контроля, не согласны с присоединением Крыма 3% ответивших; в группе, с нарушениями — 12%. Соответственно, согласны с присоединением при отсутствии ошибок измерения 91% ответивших, при наличии — 80%. Доля ошибок в общей выборке настолько мала, что распределение безошибочных интервью совпало с распределением по всей выборке.
Негативное восприятие проведенного опроса со стороны обществоведов в конечном итоге связано с чрезмерно высоким уровнем поддержки решений внешней политики руководства страны. Неоднократно высказывались мнения о завышенных оценках, полученных в результате формирующих мнения вопросов, смещающих распределение в сторону положительных ответов. Вместе с тем сбои в коммуникации, зафиксированные в ходе апостериорного кодирования аудиозаписей, сопровождаются занижением положительных ответов. Учитывая невысокий уровень значимости полученных распределений, все же можно утверждать, что батарея положительных ответов отражает настроения россиян, высказанные в контексте стандартизированного интервью.
Эффект интервьюера
Анализ работы интервьюеров в исследовании, проведенном всего за 3 дня, невозможен, поскольку даже самые производительные интервьюеры взяли небольшое количество интервью. Однако косвенно эффект интервьюера проявляется через звонковый центр (са11-центр), отвечающий за найм, обучение и контроль работы интервьюеров. Все ошибки, регистрируемые в апостериорном анализе массива, связаны с работой интервьюера. Поэтому неудивительно, что единственная переменная, с которой наблюдается сильная корреляция всех содержательных признаков опроса, это звонковый центр (Х2=55,177; df=8 р<0,000). Столь масштабный опрос, проведенный в предельно короткие сроки, дает уникальную возможность оценить работу звонковых центров, поставленных в равные условия и выполняющих идентичную задачу. Ни один из рейтингов, который строится по статистическим или опросным технологиям, не может соперничать с чистотой замера в естественной рабочей среде.
Девять компаний, включенных в апостериорный анализ, распадаются на 3 группы. В первую (узел 1, рис. 4) входят компании, интервьюеры которых допустили минимальное количество ошибок. Следуя жесткому уровню контроля, когда учитываются все регистрируемые переменные, мы обнаружили всего 20% интервью, в которых была допущена 21 _
хотя бы одна ошибка. Причем только в этой группе значимым является и эффект респондента, который мы вслед за К. Макгонагл фиксируем через рассмотрение социально-демографических показателей последнего [10, р. 79]. Наибольшую сложность интервьюеры испытывали в общении с сельскими жителями — количество ошибок выросло на треть, до 30% от всех интервью с ними.
Рисунок 4 — Дерево классификации ошибок измерения
Во второй группе (узел 2, рис. 4) находятся компании, во-первых, допустившие большее количество ошибок (34% от всех интервью содержат хотя бы один недочет); во-вторых, некорректное поведение никак не связано с социально-демографическими характеристиками. Формально такая ситуация должна указывать на обратное, поскольку классический вариант стандартизации предполагает ровное отношение со всеми респондентами, направленное на нивелирование каких-либо различий. Однако многочисленные экспериментальные планы показывают, что поведение респондента (поскольку последнее замерять достаточно трудоемко, обычно речь идет о социально-демографических характеристиках) вносит значительный вклад в формирование ошибок выборки [10]. Отсутствие какой-либо дифференциации среди разных групп населения косвенно говорит о том, что в компаниях даже в благоприятных ситуациях допускаются ошибки. В этом смысле вторая группа, в которой видна разница в качестве измерения между сельским и городским населением, может выступать своеобразной метрикой для оценки
22 _
качества работы интервьюера. Наконец, в третьей группе (узел 3, рис. 4), в которую попала одна компания, количество некачественных интервью доминирует — в 61% интервью замечено хотя бы одно отклонение от приемлемых форм разговора.
Таблица 5 Рейтинг звонковых центров по качеству работы интервьюеров*
Звонковый центр Адрес Год образования Доля взятых интервью в опросе, % Рейтинг качества работ
Центр маркетинговых исследований «ИнфоСкан» НОВОСИБИРСК, Красный Проспект, 184, офис 408, 409 2001 3 1
Институт общественного мнения «Квалитас» ВОРОНЕЖ, пр-т Революции, 44-14 1989 9
Маркетинговый центр «Контекст» ТОМСК, пр. Кирова 51а стр.5, офис 803 2000 7
Аналитический центр «Линкор» ЯРОСЛАВЛЬ, Октября проспект, д. 56, офис 307 1992 9
Центр социологических и маркетинговых исследований «Форис» АРХАНГЕЛЬСК, пр. Ломоносова, 58, корп. 1, офис 2 1992 4
ООО «Аврора» САМАРА ул. Авроры, дом 110, корп. 1, офис 308 1999 8 2
Центр социологических и маркетинговых исследований «Аналитик» ВОЛГОГРАД, ул. Богунская, д. 8, офис 301, 302, 321 2001 3
Фонд социальных исследований (ФСИ) САМАРА, ул. Красноармейская 70 1993 4
Рекламно-маркетинговый центр «Русская реклама» ТАМБОВ, ул. Николая Вирты, 2а, офис. 14 2003 1 3
*Анализировались звонковые центры, работающие с Фондом «Общественное мнение»; внутри выделенных групп центры расположены по алфавиту.
Построенный рейтинг звонковых центров по качеству их непосредственной работы позволяет потенциальным заказчикам заранее оценивать риски от привлечения тех или иных партнеров (табл. 5). Если в первой группе звонковых центров требуется проведение тренингов, направленных на повышение квалификации, во второй — на формирование профессиональных навыков интервьюирования, то третья группа не соответствует стандартам качества телефонных опросов, и входящий в нее Рекламно-маркетинговый центр «Русская реклама» надлежит исключить из пула потенциальных партнеров, проводящих телефонные опросы, как минимум, до серьезной реорганизации процедур интервьюирования в этом звонковом центре.
В российской практике не принято раскрывать информацию о партнерах, участвующих в проведении опроса. Однако, согласно международным стандартам минимального раскрытия информации о социальном исследовании, следует приводить список всех организационных участников [7], что позволяет уйти от вменения ответственности одному оператору и в случае обнаружение фабрикаций данных восстановить круг лиц, замешанных в этом. Если раскрытие информации о респондентах может нанести прямой вред людям, участвующим в опросах, то сокрытие информации об участниках измерительных процедур уже наносит вред обществу, у представителей которого отсутствует полная информация об организациях, несущих ответственность за качество публичных данных.
23 _
Заключение
Проведенное методическое исследование поднимает новый, невостребованный российскими обществоведами пласт информации о процедурах, техниках и приемах исследования. Обе опросные компании заявили о своей готовности раскрыть всю полевую документацию по запросу заинтересованных лиц, однако к ним не поступило ни одной заявки. Российские социологи уже давно свыклись с ролью политических журналистов. Отстранившись от методических вопросов, они заявляют об ошибках и недочетах, подкрепляя свои доводы лишь нормативными представлениями о методе, которые, в свою очередь, весьма далеки от современных реалий опросной технологии. Становится возможной критика, приравнивающая опросную индустрию к политическому жесту, отказывающая целой отрасли в профессиональном развитии, поскольку последнее теряет всякий смысл. Если сторонний наблюдатель, исходя лишь из линейных распределений и формулировок вопросов, выносит суждение о качестве опросного инструмента, о какой технологичности измерения может идти речь? В борьбе за правду и политические свободы российские социологи, подрывают методические основания своего же ремесла. Демонстрируя публике набор назидательных, надфактологических сентенций, они легитимируют производство публичного дискурса, не отягощенного технологическими описаниями. Легкость, с которой формулируются критические замечания и выносятся обличительные суждения, заслуживает отдельного рассмотрения. Однако сейчас важно продемонстрировать иной способ построения аргументации, основанный на разборе опросной методологии.
В статье рассмотрена лишь незначительная часть возможных смещений, связанная с ошибками измерения, причиной которых большей частью выступает интервьюер. Позвольте сформулировать несколько методических выводов, построенных на анализе дополнительного материала, как правило, не нужного и не востребованного со стороны наиболее активных критиков.
Во-первых, проведенный за рекордные сроки опрос отличается высоким уровнем качества измерения. Всего в 5% интервью возможны значимые нарушения опросной технологии, но даже при их исправлении ответы не будут смещены, поскольку итоговые распределения в группах с нарушениями и без нарушений практически не различаются. Затруднения с ответами, подбор аргументов к тому или иному вопросу вписываются в порядок обыденного разговора. Дополнительные вопросы и уточнения ответа не нарушают общую логику беседы, что в первую очередь объясняется компактным и тематически жестко определенным опросом. Результаты методического исследования позволяют поставить под сомнение осмысленность омнибусных технологий, находящих свое оправдание в иллюзорной универсальности и в столь же обманчивой эффективности.
Во-вторых, из четырех формулировок содержательных вопросов две нельзя признать удачными. Введение дополнительного условия о защите интересов (вопрос 2) и метафоризация политической принадлежности (вопрос 3) создают риск неоднозначного восприятия вопросных заданий, инициирующих различные стратегии ответа. Однако помарки в формулировках сглаживаются контекстом, создаваемым локальностью и целевой определенностью обращения к респонденту. Большинство участников коммуникации не чувствуют неловкости от задаваемых вопросов, воспринимают их как естественное развитие заявленной в начале темы.
В-третьих, новые технологии учета данных и масштабность проведенного исследования позволили решить две чрезвычайно значимые методические задачи. Во-первых, оценить ошибки измерения и рассчитать риск, который наносят недобросовестные интервьюеры; во-
24 _
вторых, построить рейтинг звонковых центров, основанный на результатах работы, а не отчетной документации. Первое решение вносит вклад в формирование общей теории ошибок, второе — поможет вновь выходящим на рынок полевых работ исследовательским коллективам выбрать наиболее надежных и добросовестных партнеров.
В-четвертых, одномерные распределения и краткие описания выборки не достаточны для вынесения суждений о качестве проведенных исследований. Игнорирование столь незамысловатого факта ставит впросак даже умудренных полевым опытом социологов. Продолжая метафору А. Боголепова, можно лишь пожелать опросной индустрии как можно дольше оставаться в грязи методических экспериментальных планов. Только тогда станет можно избежать бесконечных пересудов и спекуляций, основанных на домыслах, предрассудках и личных устремлениях авторов, забывших о профессиональной этике, обязывающей не отрывать аргументацию от эмпирических наблюдений.
Литература
1 Алексеев А.Н. «Крымский вопрос» как предмет «социологического обслуживания» и социологического исследования // Cogita!ru : обществ. новости Северо-Запада : [веб-сайт]. 2014. 25 марта. URL: http://www.cogita.ru/a.n.-alekseev/andrei-alekseev-1/krymskii-vopros-kak-predmet-sociologicheskogo-obsluzhivaniya-i-sociologicheskogo-issledovaniya.
2 Каждый третий петербуржец — против участия военных в крымских событиях // Вести76 : [веб-сайт]. 2014. 17 марта. URL: http://vesti76.ru/?p=36929.
3 Климов И.А. Опрос вциома и фома следует воспринимать как квазиальтернативу общероссийскому референдуму в Крыму... : [запись в фейсбуке 17 марта 2014]. URL:
https://www.facebook.com/klimov.ivan/posts/692290034157066?stream_ref=10.
4 Милов В. Про «90% поддержки действий Путина в Крыму» // Демократический выбор : [блог]. 2014. 22 марта. URL: http://demvybor.livejournal.com/636480.html.
5 Турчик А. В. Конверсационный анализ смеха в речевом взаимодействии: случай конструирования оценок власти // Социологический журнал. 2010. № 1. С. 21-37.
6 Cannell C. F., Oksenberg, L. Observation of behavior in telephone interviews // Telephone survey methodology / ed. By R. M. Groves, P. P. Biemer, L. E. Lyberg [et al.]. New York : Wiley, 1988. P. 475-495.
7 Disclosure standards : Section III of the AAPOR Code of professional ethics & practice (May 2010) specifies : standards for minimal disclosure // American Association for Public Opinion Research : [веб-сайт]. URL: http://www.aapor.org/Disclosure_Standards1.htm.
8 Hicks W. D. Using CARI tools to understand measurement error // Public Opinion Quarterly. 2012. Vol. 74, Nr 5. P. 985-1003.
9 Lavrakas P. J. Presidential address : applying a total error perspective for improving research quality in the social, behavioral, and marketing sciences // Public Opinion Quarterly. 2013. Vol. 77, Nr 3. P. 831-850.
10 McGonagle K.A. Survey breakoffs in a computer-assisted telephone interview // Survey research methods. NIH Public Access. 2013. Vol. 7, Nr 2. P. 79.
11 Survey methodology / Groves R. M., Fowler F. J. Jr., Couper M.P. [et al.]. 2-nd ed. New York : John Wiley & Sons, 2009.
25 _
