CC BY
34А.Ю. МЯГКОВ
ТЕХНИКА «РАНДОМИЗИРОВАННОГО ОТВЕТА»: ОПЫТ ПОЛЕВОГО ТЕСТИРОВАНИЯ
Постановка проблемы
За три с половиной десятилетия, прошедшие с момента изобретения RRT (randomized response technique), западные социологи провели большое количество исследований, посвященных анализу этого метода. По данным Р. Оруина и Р. Боруха, с конца 1960-х до начала 1980-х годов только в США вышло более 80 журнальных статей, в которых сообщалось о новых версиях RRT и результатах их применения в различных областях науки и исследовательской практики [1, р. 562]. Несмотря на высокую популярность альтернативной методологии, приводимые в зарубежной литературе данные о ее эффективности весьма противоречивы и не дают пока веских оснований безоговорочно считать RRT надежным инструментом, способствующим резкому повышению искренности опрашиваемых. Например, Р. Борух и Дж. Сесил проанализировали достаточно обширный материал, полученный в разных культурных средах (США, европейские страны, Япония, Тайвань и др.), и пришли к выводу, что более половины всех эмпирических тестов показывают явное превосходство RRT над традиционными «прямыми» интервью с точки зрения стимулирования искренних ответов на сенситивные вопросы [2]. Между тем, по подсчетам П. Трэйси и Дж. Фокса, изучавших опыт экспериментального тестирования и полевого применения рандомизацион-ных моделей, успешными оказались лишь четыре из девяти известных им случаев практического использования RRT и один из четырех тестов на валидность [3, р. 17]. Кроме того, по свидетельству этих авторов, подавляющее большинство западных исследований ориентировано главным образом на сравнение RRT с техникой «прямого» интервью. Эксперименты, посвященные сравнительному анализу эффективности самих моделей рандомизации, крайне редки [4, р. 199].
В отечественной литературе имеются лишь единичные упоминания об интересующем нас методе. Приводимые описания весьма поверхностны и не систематичны [5-7]. Исследования, появившиеся в самое последнее время [8-10], также базируются исключительно на западном материале. В нашей стране эксперименты в области RRT,
Мягков Александр Юрьевич — кандидат философских наук, профессор, заведующий кафедрой социологии Ивановского государственного энергетического университета. Адрес: 153003 Иваново, ул. Рабфаковская, д. 34, корп. А., к. 340. Телефон: (0932) 38-57-69. Факс: (0932) 3857-01. Электронная почта: myagkov@rambler.ru
насколько нам известно, вообще не проводились, полностью отсутствует и практика сбора данных с использованием этой модели. В результате до сих пор не ясно, как «ведет себя» данный метод в российских массовых обследованиях.
МЕТОДОЛОГИЯ И МЕТОДЫ ИССЛЕДОВАНИЯ
В феврале-марте 2002 г. мы предприняли попытку полевого тестирования трех наиболее известных версий RRT: модели С. Уорнера [11], техники «несвязанных вопросов» Р. Фолсома [12] и метода контаминации Р. Боруха [13; 14]1. В исследовании решались три основные взаимодополняющие задачи. Во-первых, необходимо было выяснить, действительно ли техника рандомизации обеспечивает более высокий уровень искренних ответов респондентов на деликатные вопросы по сравнению с обычным интервью. Во-вторых, мы хотели знать, как ведут себя различные модели RRT в условиях сенситивных опросов и какая из них наиболее эффективно обеспечивает искренность и анонимность. И наконец, в-третьих, нас интересовали субъективные оценки и предпочтения респондентов относительно указанных методов сбора данных.
Экспериментальный план. Выборка и процедуры. Эксперимент был организован по принципу «разветвленного опроса» (splitballot) и предполагал участие четырех одинаковых по численности и выравненных по структуре групп респондентов, в каждой из которых посредством разных процедур (включая традиционное интервью) было опрошено по 100 человек2. Данная экспериментальная модель была выбрана с целью сравнительного анализа ответов, полученных разными опросными методами. Корректность таких сравнений может быть обеспечена лишь при условии, если сравниваемые оценки получены в результате независимых измерений [15, р. 285].
Выборка во всех четырех секциях исследования носила экспериментальный характер: в равных пропорциях были представлены рабочие, работники торговли, безработные, студенты вузов, учащиеся техникумов, школ и профтехучилищ. Опросы во всех группах проводились одновременно. Закрепление респондентов за тем или иным методом производилось случайным путем. Методика проведения персональных интервью была традиционной и основывалась на принципах face-to-face коммуникации. Сбор данных при использовании техники рандомизации осуществлялся в строгом соответствии с предписанными правилами и процедурами, а также с учетом модельных характеристик каждой из трех тестируемых версий RRT.
1 Краткий очерк развития RRT и описание трех указанных моделей
можно найти в публикациях автора [8, 9, 10].
2 В исследовании, кроме автора, участвовали А.Н. Алексеичева и
С.В. Карелина.
Вопросники. В персональном интервью испытуемым предлагалось «в открытую» ответить на десять заданных вслух вопросов деликатного характера, касающихся стигматизированных форм поведения: случаев пребывания в медвытрезвителе, магазинных краж, наличия у респондентов судимостей, добрачного полового опыта, нелегальных доходов, фактов употребления наркотиков, супружеской измены, гомосексуальных контактов и др. Эти же вопросы использовались в качестве сенситивных и при тестировании моделей КИТ с той лишь разницей, что они были напечатаны на специальных карточках, предъявлялись респондентам для самостоятельного прочтения и вслух интервьюером не произносились. В случае с методом Р. Фолсома за каждым из сенситивных вопросов были закреплены по два нейтральных вопроса, тематически не связанных с основными и менявшихся в зависимости от подвыборки и условий эксперимента (приложение 1).
Средства рандомизации. Управление случайностью. При тестировании моделей С. Уорнера и Р. Фолсома в качестве рандомиза-тора, задававшего вероятность выпадения деликатного вопроса, использовалась обычная колода из 36 игральных карт. Согласно экспериментальному замыслу, нейтральные вопросы закреплялись за трефовой мастью, а сенситивные предъявлялись испытуемым при любом ином исходе событий. Таким образом, вероятность выпадения деликатного вопроса (р8) составляла в нашем исследовании 0,75, нейтрального (р п) — 0,25, что соответствует рекомендации
Б. Гринберга и его соавторов [16; 17].
В эксперименте, проводимом по методу контаминации, респондентам предъявлялись лишь сенситивные вопросы. Поэтому «ослу-чайниванию» подлежали ответы испытуемых. Для управления случайностью использовались два шестигранных кубика (игральные кости). Респондентов просили солгать, если при подбрасывании «костей» одновременно выпадут две единицы, равно как и две двойки, две тройки и т. д., и сказать правду — при выпадении любых других комбинаций чисел. Следовательно, вероятности появления так называемой «позитивной» и «негативной» лжи (по Р. Боруху) — р1 и р2 — составляли в каждом из этих случаев 1/12, то есть 0,083 соответственно. При проведении опросов интервьюеры подробно инструктировали респондентов о том, как правильно пользоваться рандомиза-тором и выбирать вопрос, на который им предстоит отвечать в том или ином случае. Инструкции для респондентов, соответствующие различным моделям КИТ, приведены в приложении 2.
Измерение сенситивных характеристик. Доли утвердительных ответов на вопросы о девиациях рассчитывались на основе формул (1), (2) и (3), предложенных в свое время авторами тестируемых моделей (приложение 3). Между тем, применение этих формул, как показал наш опыт, не исключает появления результатов, имеющих не-
сколько непривычную форму и не поддающихся рациональной интерпретации: одни из них оказываются больше единицы (и тем самым превышают 100%), другие — меньше ноля. При получении таких «аномальных» данных мы приводили их к нормальному виду на основе закона максимального правдоподобия. В тех случаях, когда расчетные показатели превышали единицу или имели отрицательный знак, они приравнивались к единице или нулю, соответственно. Остальные оценки, находящиеся в пределах от 0 до 1, интерпретировались в своих естественных значениях и переводились в проценты.
Интерпретационная стратегия. Эффективность моделей КИТ оценивалась на основе попарного сравнения долей утвердительных ответов, полученных от респондентов в каждом из статистических методов и в прямом интервью. Значимость различий определялась по ф*-критерию углового преобразования Фишера [18, с. 157-163, 330332]. При этом максимально эффективным мы считали тот метод, который обеспечивал наиболее высокий удельный вес ответов «да», то есть признаний в причастности к тем или иным формам девиантного поведения. Принимая такую модель интерпретации результатов, мы исходили из следующих соображений.
1. Поскольку все испытуемые закреплялись за тем или иным тестируемым методом случайным образом, то истинная доля лиц, обладающих сенситивной характеристикой, должна быть одинаковой в каждой группе, а интересующие нас различия (в случае их появления) могут считаться функцией используемой опросной стратегии.
2. Если респонденты, интервьюируемые посредством какого-либо конкретного метода, дадут большее число положительных ответов, чем опрошенные другим методом, то возможны три альтернативные интерпретации обнаруживаемых различий: а) испытуемые, принадлежащие к обеим тестовым группам, в равной мере лгут. В первой группе (где удельный вес ответов «да» выше) реальные масштабы девиаций завышены, а во второй (с пониженной долей признаний) — занижены, при этом истинное значение находится в интервале эмпирически наблюдаемых различий; б) чаще лгут представители первой группы, явно преувеличивая фактический уровень девиантности, а респонденты из второй группы дают более правдивые ответы; в) в группе с повышенным удельным весом утвердительных ответов люди отвечают честнее, в то время как в противоположной испытуемые более склонны скрывать факты социально не одобряемого поведения.
3. Принятие первой или второй альтернативы фактически означает согласие с тем, что люди, отвечающие утвердительно на вопросы относительно юридически преследуемых и нравственно осуждаемых видов поведения, склонны к самооговору, то есть добровольному признанию в совершении таких действий и поступков, которых они на самом деле не совершали. Однако это маловероятно, особенно ес-
ли учесть крайнюю стигматизированность и интимность большинства обсуждаемых в исследовании вопросов и тем. Факты сенситивного поведения значительно чаще умалчиваются или отрицаются респондентами [19, р. 173; 20, р. 195; 21, р. 230-231]. Следовательно, можно с большей долей уверенности утверждать, что если испытуемые лгут, то делают это, отрицая свою причастность к девиантным формам поведения.
Поэтому более вероятным следует считать третий вариант: группа с повышенным уровнем утвердительных ответов ведет себя искреннее, а метод, обеспечивающий наибольшую долю ответов «да», работает лучше остальных. Процентное превышение в удельном весе признаний можно, на наш взгляд, рассматривать в качестве эмпирического индикатора эффективности той или иной опросной стратегии.
Результаты и их интерпретация
Показатели эффективности RRT. Сравнение ответов, полученных с помощью разных стратегий интервьюирования, обнаружило в целом неоднозначную картину: лишь по одному из десяти тестированных нами вопросов (употребление наркотиков) все три статистических метода продемонстрировали явное превосходство над традиционным интервью. В остальных случаях результаты оказались менее убедительными (табл. 1).
Модели рандомизации, судя по полученным данным, существенно различаются по своему стимулирующему потенциалу в зависимости от обсуждаемых в исследовании вопросов.
Метод С. Уорнера оказался более успешным по сравнению с прямым интервью в трех случаях из десяти, при этом по двум вопросам (об употреблении наркотиков и добрачном сексуальном опыте) он обеспечил очень существенный прирост утвердительных ответов (р=0,000). В двух случаях (попадание в вытрезвитель и кражи в магазинах) обычное интервью дало явно лучшие результаты (р=0,000). По остальным пяти вопросам значимых различий между сравниваемыми методами не наблюдалось. Эффект, как видим, невелик, преимущества уорнеровской модели в целом мало ощутимы. Два факта, однако, весьма интересны. Во-первых, данный метод привел к значительному увеличению числа признаний респондентов в таком крайне интимном и деликатном вопросе, как наличие добрачного полового опыта (+36%). Все 100% испытуемых, опрошенных методом Уорнера, в отличие от 64%, участвовавших в прямом интервью, сочли возможным дать откровенные ответы. Кроме того, применение этой техники позволило существенно (на 14%) улучшить оценки масштабов потребления наркотиков.
Метод Р. Фолсома оправдал себя в четырех случаях, обеспечив приращение числа искренних ответов на такие вопросы, как пребывание в медвытрезвителе, магазинные кражи, наличие судимости,
употребление наркотических веществ. Однако во всех них достигнутое превышение статистически не значимо (р>0,1) и колеблется от 1 до 7%.
Таблица 1
Распределение утвердительных ответов на сенситивные вопросы в зависимости от метода сбора данных, %______________________
Метод сбора данных
Вопросы- переменные Прямое интер- Модель Уорнера Модель Фолсома Метод контаминации
вью, % % Разность % Разность % Разность
Попадание в медвытрезвитель 10,0 0,0 * -10,0 15,0 +5,0 0,0 * -10,0*
Кражи из магазина 17,0 0,0 -17,0 24,0 +7,0 16,0 -1,0
Нелегальные источники дохода 20,0 26,0 +6,0 8,0 -12,0* 22,0 +2,0
Наличие судимости 1,0 0,0 -1,0 2,0 +1,0 10,0 +9,0**
Употребление наркотиков 4,0 18,0 +14,0** 6,0 +2,0 16,0 +12,0**
Установка на употребление наркотиков 0,0 0,0 0,0 0,0 0,0 6,0 +6,0**
Ранний половой опыт 10,0 10,0 0,0 5,0 -5,0 30,0 +20,0**
Добрачный половой опыт 64,0 100,0 +36,0 42,0 -22,0 74,0 +10,0
Опыт гомосексуальных отношений 1,0 0,0 -1,0 1,0 0,0 0,0 -1,0
Супружеская измена 28,0 28,0 0,0 28,0 0,0 38,0 +10,0
*
Различия в пользу персонального интервью, значимые для р<0,05.
**
Различия в пользу КИТ, значимые для р<0,05.
По трем экспериментальным переменным данные, полученные посредством этой модели, оказались хуже, чем в персональном интервью (нелегальные источники доходов, ранний половой опыт и добрачные сексуальные отношения). Причем в двух случаях (первом и последнем) различия значимы, то есть статистическая модель явно
3 «Социологический журнал», № 4
проигрывает по сравнению с прямым опросом (0,000<р<0,005). По трем прочим переменным преимуществ у какого-либо из сравниваемых методов не наблюдается.
Метод контаминации продемонстрировал более высокую эффективность по сравнению с персональным интервью (с учетом процентных различий) в семи случаях из десяти тестированных. По четырем вопросам он существенно улучшил результаты (р=0,000), и еще в трех улучшение составило от 2 до 10%. В последних случаях прирост искренних ответов статистически незначим (р<0,1), но наблюдаемая тенденция внушает оптимистические ожидания. Лишь по одному вопросу (о факте попадания в медвытрезвитель) данный метод, похоже, потерпел явную неудачу (р=0,000), хотя нельзя полностью исключить бравирования девиантностью со стороны части респондентов, отвечавших в прямом интервью. По оставшимся двум темам процедура контаминации не улучшила качество ответов, но и не ухудшила его. Следует заметить, что по ряду вопросов, таких, как употребление наркотиков, супружеская неверность, сексуальные отношения, рост числа признаний, свидетельствующий о явной предпочтительности метода Р. Боруха, составил весьма внушительную величину: от 10 до 20%.
Сводные данные, представленные в табл. 2, свидетельствуют, что наилучшие показатели продемонстрировал метод контаминации: он увеличил число искренних признаний респондентов в 70% случаев. Модели Р. Фолсома и С. Уорнера менее эффективны (40% и 30%, соответственно). Однако и они, как видим, позволяют получить более достоверную информацию по сравнению с прямыми интервью, эффективность которых оценивается лишь на уровне 20%.
Таблица 2
Эффективность различных методов опроса, абс. числа и %
Методы Число вопросов, по которым достигнуто: Показатели
опроса улучшение ухудшение равенство эффективности,
результатов результатов результатов %
Модель С. Уорнера 3 2 5 30,0
Модель Р. Фолсома 4 3 3 40,0
Метод контаминации* 7 1 2 70,0
Обычное ** интервью 6 14 10 20,0
Сравнение с обычным персональным интервью по 10 вопросам-переменным.
Сравнение со всеми тремя статистическими методами по 30 вопросам-переменным.
Результаты исследования дают основание говорить о том, что мужчины больше доверяют альтернативным стратегиям интервьюирования, чем женщины. Они честнее сообщали о фактах социально неодобряемого поведения, когда опрос проводился с применением статистических процедур. Более высокий удельный вес утвердительных ответов по сравнению с персональным интервью в этой группе был получен в среднем по шести вопросам из десяти: методы Уорнера и контаминации обеспечили рост числа признаний в шести случаях каждый, а модель Фолсома — в семи. В женской аудитории результаты применения ИЯТ оказались значительно хуже. При использовании этих стратегий женщины дали более искренние ответы в среднем лишь по трем экспериментальным переменным, в то время как в персональном интервью — по четырем. При этом метод Уорнера способствовал самораскрытию респонденток лишь по двум переменным, метод Фолсома — всего по одной, метод контаминации — по семи. Средний показатель эффективности моделей ИЯТ, рассчитанный с учетом числа вопросов, по которым было достигнуто улучшение результатов, для мужчин составил 63,3% (персонального интервью — 30,0%), а для женщин — всего 33,3% (прямого интервью — 43,3%). Среди мужчин все три статистические модели привели к повышению качества ответов по таким вопросам, как наличие судимостей, реальное и потенциальное употребление наркотиков, супружеская измена. В группе женщин подобной консистентности не наблюдается ни по одной из тестированных переменных (табл. 3).
Данные исследования позволяют утверждать, что молодые респонденты воспринимают методы рандомизации с несколько большим доверием, чем представители старших возрастных групп. Уровень эффективности этих стратегий для испытуемых в возрасте 1-24 лет составляет в среднем 56,7% , старше 45 лет — лишь 50,0% (табл. 4).
Субъективные оценки и предпочтения респондентов. По
окончании основного эксперимента испытуемым задавались три вопроса по поводу того, как они воспринимают и оценивают различные опросные процедуры и какие из них предпочитают.
Вопрос: «Если бы у Вас был выбор, то каким образом Вы предпочли бы отвечать на вопросы социолога?», предлагался респондентам в неизменной формулировке во всех четырех экспериментальных группах. Нужно было выбрать одну из шкальных градаций, описывающих разные процедуры опроса: прямое интервью, при котором респондент озвучивает свой ответ, или альтернативный метод, исключающий для интервьюера возможность узнать мнения опрашиваемых. При проведении опроса в режиме ИЯТ второй пункт шкалы уточнялся применительно к тому методу, который использовался в данном конкретном случае. Кроме того, респонденты могли также
высказать и неопределенное, промежуточное мнение типа «мне все равно».
Таблица 3
Показатели эффективности различных методов опроса в разных гендерных группах респондентов, %
Методы опроса
Вопросы-переменные Личное интервью Модель С. Уорнера Модель Р. Фолсома Метод контаминации
Мужчины Женщины Мужчины Женщины Мужчины Женщины Мужчины Женщины
Попадание в медвытрезвитель 21,7 0,0 0,0 5,0 48,0 0,0 8,0 0,0
Кражи в магазинах 23,9 11,3 3,0 0,0 44,0 13,0 48,0 0,0
Нелегальные источники доходов 37,0 5,6 19,0 32,0 30,0 0,0 21,0 23,0
Наличие судимостей 2,2 0,0 3,0 0,0 14,0 0,0 12,0 8,0
Употребление наркотиков 4,3 3,7 44,0 0,0 18,0 1,0 26,0 8,0
Установка на употребление наркотиков 0,0 0,0 7,0 0,0 5,0 0,0 8,0 4,0
Ранний сексуальный опыт 17,4 3,7 19,0 1,0 15,0 0,0 21,0 37,0
Добрачные сексуальные отношения 73,9 55,6 97,0 100,0 55,0 33,0 70,0 77,0
Г омосексуальные контакты 0,0 1,9 0,0 0,0 3,0 0,0 0,0 0,0
Супружеская измена 26,1 29,6 32,0 25,0 47,0 20,0 43,0 34,0
Таблица 4
Число вопросов, свидетельствующих об эффективности методов рандомизации в различных возрастных группах респондентов,
абс. числа и %
Возрастные Методы рандомизации Показатели эф-
группы Модель Модель Метод конта- фективности
Уорнера Фолсома минации RRT, %
15-24 года 6 5 6 56,7
25-34 года 4 8 4 53,3
35-44 года 3 6 7 53,3
45 лет
и старше 3 4 8 50,0
Анализ полученных ответов показывает, что в большинстве своем испытуемые предпочитают отвечать на сенситивные вопросы не в условиях традиционного интервью, а при использовании альтернативного метода, когда их ответы остаются неизвестными интервьюеру. Такую позицию высказали представители всех четырех экспериментальных групп и в первую очередь респонденты, работавшие в режиме face-to-face (табл. 5).
Таблица 5
Предпочтения респондентов относительно процедуры опроса в зависимости от метода сбора данных, %____________________________
Предпочли Предпочли альтер-
Метод сбопя дян прямое интервью нативный метод________________Нет предпо-
Персональное ин- 24,2 75,8 0,0
тервью (N=99)
Модель С. Уорнера 34,0 38,0 28,0
(N=100)
Метод контамина- 24,0 61,0 15,0
ции (N=100)
Метод Р. Фолсома 14,0 36,0 50,0
(N=100)
В целом по массиву 24,1 52,7 23,3
(N=399)
Вместе с тем данные таблицы 5 свидетельствуют, что респонденты, опрошенные на основе моделей Уорнера и Фолсома, реже выбирают альтернативные методы, чем испытуемые из других групп, подсознательно реагируя тем самым на какие-то организационнометодические особенности этих моделей. В то же время метод Р. Боруха позитивно воспринимается большинством опрошенных.
Как показали постэкспериментальные интервью, все три тестированные нами техники рандомизации достаточно высоко оцениваются респондентами с точки зрения стимулирования субъективной анонимности. Эти разные методы получили в целом сопоставимые оценки (табл. 6).
Таблица 6
Распределение ответов на вопрос: «Уверены ли Вы в том, что данный метод гарантирует абсолютную анонимность Ваших ответов?» среди опрошенных посредством разных процедур, %_____________________________
Модель С. Уорнера Модель Р. Фолсома Метод контаминации
Да Нет Да Нет Да Нет
68,0 32,0 67,0 33,0 60,0 40,0
Вместе с тем следует признать, что примерно треть всех опрошенных не доверяют моделям КИТ, полагая, по-видимому, что у интервьюеров все же имеются скрытые возможности идентификации ответов респондентов.
И наконец, в третьем постэкспериментальном вопросе мы интересовались тем, испытывали ли опрашиваемые чувство тревоги и беспокойства в процессе коммуникации с интервьюером, работая в режиме тех или иных методов. Оказалось, что наиболее дискомфортным для себя люди считают метод контаминации (об ощущении тревоги здесь заявили 20% респондентов), а наиболее удобным — модель «несвязанных вопросов» Р. Фолсома, получившую лишь 4,0% отрицательных отзывов.
Сопоставление этих данных с ответами на предыдущий вопрос показывает, что тревога и беспокойство респондентов при использовании метода контаминации обусловлены не столько опасениями по поводу возможного нарушения конфиденциальности сообщаемых ими интимных сведений, сколько обстоятельствами чисто технического характера: необходимостью постоянно следить за тем, какой тип ответа (в зависимости от выпавшего жребия) следует давать, боязнью ошибиться в выборе соответствующего мнения, а также психологическим дискомфортом, возникающим в связи с вынужденной са-моинкриминацией.
Выводы
Методы КИТ действительно имеют преимущества перед традиционными интервью. Все три обследованные нами модели способствовали улучшению данных, характеризующих масштабы социальных девиаций, получили высокие субъективные оценки респондентов и значительно большее число предпочтений.
Наибольшую эффективность продемонстрировал метод контаминации: в целом по вопроснику он был успешнее обычных интервью в 70% всех сравнений. Эффективность модели Фолсома может быть
оценена в 40%, а версии Уорнера — примерно в 30%. Персональное интервью явно уступает статистическим процедурам: показатель эффективности данного метода составляет всего 20%. Иначе говоря, в среднем лишь в одном из пяти сравнений он смог обеспечить более достоверные оценки, чем КИТ.
Техники рандоминации, как показали эксперименты, более успешны в тех случаях, когда они применяются в мужских аудиториях, а также в опросах среди молодежи. Своя специфика имеется и в восприятии этих методов разными социально-профессиональными группами респондентов.
Вместе с тем следует признать, что идеальных результатов мы не получили. Преимущества КИТ оказались не столь внушительными, как первоначально ожидалось. Во-первых, статистические модели минимизируют, но отнюдь не устраняют ошибки сообщения. От 32 до 40% респондентов по-прежнему не верят, что их ответы останутся неизвестны интервьюеру и не будут преданы затем широкой огласке. Во-вторых, различия в ответах в пользу КИТ явно неустойчивы и проявляются не по всем задаваемым вопросам. По такой переменной, например, как употребление наркотиков, все три статистические модели продемонстрировали явное улучшение показателей искренности по сравнению с обычным интервью. При этом методы Уорнера и контаминации оказались наиболее эффективными, обеспечив значительное увеличение (на 12-14%) числа откровенных признаний. Что же касается других вопросов, то подобной консистентности уже не наблюдается. В-третьих, не все «нереактивные» техники в одинаковой мере успешны в стимулировании искренних ответов. Пожалуй, лишь метод контаминации дал обнадеживающие результаты, в то время как модели Уорнера и Фолсома кардинально не отличаются по интересующему нас показателю от традиционных персональных интервью. С другой стороны, есть основания полагать, что эффективность статистических моделей в целом заметно варьируется в зависимости от обсуждаемой в исследовании темы. Это вполне естественно и закономерно. Универсальных методов повышения анонимности, по-видимому, не существует. Если этот вывод подтвердится в будущих репликациях, то решения о выборе опросной процедуры должны приниматься с учетом тематической специфики проводимых исследований и полученных нами данных о дифференцированной релевантности статистических моделей изучаемой проблематике. Относительно невысокие показатели эффективности КИТ, наблюдаемые в проведенном эксперименте, объясняются, на наш взгляд, двумя причинами: недостаточными объемами сравниваемых выборок и спецификой применявшихся рандомизаторов. Исследование носило в известной мере пробный характер, поэтому и количество опрошенных в нем было незначительным (по 100 чел. в каждой экспериментальной секции). Между тем еще С. Уорнер указывал, что для эффек-
тивной работы предложенной им техники объем выборки должен составлять не менее 400 респондентов [11, р. 66]. Как показало исследование П. Трэйси и Дж. Фокса, при проведении 100 наблюдений потенциал КИТ только начинает раскрываться [4, р. 198]. Это позволяет надеяться, что с увеличением объемов выборок будут получены более надежные и впечатляющие результаты, свидетельствующие об эффективности данных техник.
С другой стороны, модели КИТ предъявляют повышенные требования к рандомизирующим устройствам. Рандомизаторы, как свидетельствуют эксперименты, не являются нейтральными в социокультурном отношении и функционально связаны с доверием респондентов и эффективностью методов в целом. В нашем исследовании в качестве источника и «генератора» случайных выборов в двух экспериментальных пробах с применением моделей Уорнера и Фолсома использовалась колода игральных карт. Такой вариант оказался не самым удачным. Возможно, что в каких-то культурах карты не воспринимаются людьми негативно, однако в России они однозначно ассоциируются с обманом и мошенничеством. Поэтому в дальнейшем их применение в социологических опросах нецелесообразно. Данный рандомизатор не способствует установлению доверительных отношений интервьюера с респондентами и формированию у последних установок на самораскрытие. Не исключено, что это обстоятельство негативно сказалось на достоверности ответов и в известной мере «смазало» истинные возможности методов. Вероятно, именно здесь кроется одна из причин меньшей эффективности указанных моделей по сравнению с методом контаминации, где использовались иные рандомизирующие процедуры.
При проведении исследований, базирующихся на КИТ, для рандомизации вопросов (и/или ответов) лучше применять нейтральные средства, не вызывающие у респондентов негативных ассоциаций, например, карточки разных цветов, разноцветные пластиковые шарики, обычную книгу, листая которую, испытуемый случайным образом выбирает номер страницы, денежную купюру, телефонный номер респондента или его друга [2]. В последних случаях рандомизирующей переменной для выбора вопроса будут выступать конечные цифры номеров телефонов, серий банкнот и т. д. [1, р. 563-567]. Поскольку они известны только респондентам и не сообщаются интервьюерам, то скорее всего не вызовут подозрений у опрашиваемых и будут обладать значительным потенциалом доверия. Респондент может выбрать тот или иной рандомизатор сам или воспользоваться предложением исследователя.
Наши выводы, касающиеся эффективности моделей КИТ, безусловно, не окончательны. Необходимы новые, дополнительные эксперименты, базирующиеся на достаточно больших выборках и учи-
тывающие отмеченные выше организационно-технические ограничения.
Приложение 1
Вопросы, задававшихся респондентам в исследовании эффективности КЯТ (март-апрель 2002 г., N = 400)
Сенситивные вопросы
1. Бывали ли в вашей жизни случаи, что вас доставляли в медвытрезвитель?
2. Приходилось ли вам когда-либо что-нибудь украсть в магазине?
3. У вас есть нелегальные источники дохода?
4. Вы были судимы?
5. Приходилось ли вам хоть раз в жизни пробовать наркотики?
6. Стали бы вы употреблять наркотики, если бы вам предложил их ваш друг?
7. Вы впервые вступили в половые отношения, когда вам еще не исполнилось 16 лет?
8. Приходилось ли вам вступать в интимные отношения до брака?
9. Приходилось ли вам вступать в сексуальные отношения с представителями вашего пола?
10. Вступали ли вы в интимные отношения с кем-нибудь, кроме супруга(и), уже состоя в браке?
Нейтральные вопросы для модели Р. Фолсома (подвыборка № 1)
1. Вы родились в июле?
2. У вас есть дети?
3. Число даты вашего рождения кратно двум?
4. Вы ездите на рыбалку?
5. Вы учили английский язык в школе?
6. Вы делаете утреннюю гимнастику?
7. День рождения вашей мамы осенью?
8. Вы ходите в магазин за продуктами каждый день?
9. Вы когда-нибудь были в Белоруссии?
10. Вы умеете играть на гитаре?
Нейтральные вопросы для модели Р. Фолсома (подвыборка № 2)
1. Вы смотрели телевизионную трансляцию открытия зимних Олимпийских игр в Солт-Лейк-Сити?
2. Вы живете в частном доме?
3. У вас есть собака?
4. Вы родились весной?
5. Вы любите разгадывать кроссворды?
Да / Нет
Да / Нет
Да / Нет Да / Нет Да / Нет
Да / Нет
Да / Нет
Да / Нет
Да / Нет
Да / Нет
6. Вы читали роман «Мастер и Маргарита» М. Булгакова?
7. Вы в детстве играли в футбол?
8. Вы сажаете на огороде кабачки?
9. Зима — Ваше любимое время года?
10. Вы учились в художественной школе?
Вопросы для постэкспериментальных интервью
1. Испытывали ли вы беспокойство, отвечая на вопросы?
2. Если бы у вас был выбор, то при каких условиях вы предпочли бы отвечать на вопросы социолога?
3. Уверены ли вы в том, что данный метод гарантирует абсолютную анонимность ваших ответов?
1) Да
2) Нет
1) В условиях обычного интервью
2) При отсутствии у социолога воз можности узнать ваши ответы
3) Мне все равно
1) Полностью уверен
2) Скорее уверен
3) Скорее не уверен
4) Не уверен совсем.
Приложение 2
Инструкции для проведения опросов с использованием различных моделей ЯЯТ
Обращение к респонденту
Здравствуйте, меня зовут________. Я студент(ка) кафедры социологии Ива-
новского государственного энергетического университета. Наша кафедра проводит социологическое исследование проблем, становящихся все более важными в нашем обществе. Просим вас ответить на вопросы анкеты и тем самым помочь исследованию.
инструкция для персонального интервью
Процедура интервьюирования очень проста. Я буду зачитывать вам вопросы и возможные ответы к ним, а вы будете выбирать те варианты ответов, которые наиболее точно отражают ваше мнение. В большинстве случаев это ответы «да» или «нет». Мне бы хотелось заранее предупредить вас, что некоторые вопросы могут показаться вам очень деликатными или даже личными, но это не должно настораживать вас. Я гарантирую, что о содержании нашего разговора никто никогда не узнает. Все, что вы скажете мне, я сохраню в тайне. Все собранные данные будут использоваться только в обобщенном виде в строго научных целях. Если вы не захотите отвечать на какой-нибудь вопрос, дайте мне знать, и я перейду к следующему. Отвечайте, пожалуйста, честно, так, как это есть или было на самом деле в вашей жизни. Это очень важно для достоверности нашего исследования.
Инструкция для метода С. Уорнера
Процедура опроса состоит в следующем. Я дам вам карточки с вопросами и колоду карт. Вы выбираете одну карту, не показывая мне ее масти. Если выпадут «крести», то отвечайте на вопрос «Б», если попадется карта любой другой масти — на вопрос «А». Вы должны отвечать только «да» или «нет», не говоря мне, на какой вопрос Вы отвечаете. И так на каждый вопрос. Заверяю вас, что способа, позволяющего определить, на какой вопрос вы отвечаете, нет. Все данные будут использоваться в обобщенном виде и исключительно в научных целях. Вы готовы отвечать на вопросы?
инструкция для метода контаминации
Процедура опроса состоит в следующем. Я буду задавать вам вопрос, а вы одновременно подбрасывайте вверх оба этих кубика, не показывая мне результат. Если на кубиках выпадут две единицы, две двойки или две тройки, вам нужно будет солгать, отвечая на вопрос, а при выпадении любых иных комбинаций чисел — сказать правду. Вы готовы отвечать на мои вопросы?
Инструкция для метода Р. Фолсома
Процедура опроса состоит в следующем. Я дам вам карточку с двумя вопросами («А» и «Б») и колоду карт. Вы выбираете из колоды одну карту, не показывая мне ее масти. Если вам выпадут «крести», то отвечайте на вопрос «Б», если попадется карта любой другой масти, — на вопрос «А». Вы должны отвечать только «да» или «нет», не говоря мне, на какой из двух вопросов вы отвечаете. После этого я задам вам еще один дополнительный вопрос. Вы готовы?
Приложение 3
Формулы для оценки масштабов девиантности
По методу С. Уорнера [11]:
Р-1+ Л
(1)
2 Р-1
П - оценочная доля лиц, обладающих сенситивной характеристикой;
Р — вероятность выпадения сенситивного вопроса;
Я - общая доля ответов «да», полученных в исследовании.
По методу Р. Фолсома [12]:
П _ Я - (1 -Р) Я , 1=1, 2 (2) ^ р
П. — оценочная доля лиц, обладающих сенситивной характеристикой;
ЯГ — доля положительных ответов на случайно выбранный (рандомизированный) вопрос в соответствующей подвыборке;
— доля положительных ответов на обязательный (директивный) вопрос в соответствующей подвыборке;
Р — вероятность ответа на сенситивный вопрос, выбранный с помощью рандомизирующего устройства.
По методу контаминации Р. Боруха [14]:
п = Я-Р1 = Я-1/12 (3)
s 1 -р1 -р2 56
ns — оценочная доля лиц, обладающих сенситивной характеристикой;
Я — доля положительных ответов на вопрос, полученных в исследовании;
Р1 — вероятность «позитивной лжи», то есть неправдивых ответов типа «да»;
Р2 — вероятность «негативной лжи», то есть неправдивых ответов типа «нет».
ЛИТЕРАТУРА
1. Orwin R.G., Boruch R.F. RRT meets RDD: Statistical Strategies for Assuring Response Privacy in Telephone Surveys // Public Opinion Quarterly. 1982. Vol. 46. No. 4. P. 560-571.
2. Boruch R.F., Cecil J.S. Assuring the Confidentiality of Social Research Data. Philadelphia: Univ. of Pennsylvania Press, 1979.
3. Fox J.A., Tracy P.E. Randomized Response: A Method for Sensitive Surveys. Beverly Hills (Calif.): SQASS, 1986.
4. Tracy P.E., Fox J.A. The Validity of Randomized Response for Sensitive Measurements // American Sociological Review. 1981. Vol. 46. No. 1. Р. 187-200.
5. Докторов Б.З. О надежности измерения в социологическом исследовании. Л.: Наука, 1979.
6. Девятко И.Ф. Методы социологического исследования: учебное пособие для вузов. Екатеринбург: Изд-во Урал. ун-та, 1998.
7. Паниотто В.И. Качество социологической информации: методы оценки и процедуры обеспечения. Киев: Наукова думка, 1986.
8. Мягков А.Ю. Статистические методы обеспечения анонимности ответов респондентов в маркетинговых исследованиях // Энергия: Науч.-практ. вест. 2000. № 1. С. 136-140.
9. Мягков А.Ю. Статистические стратегии сенситивных измерений // Социологические исследования. 2002. № 1. С. 111-121.
10. Мягков А.Ю. Социально-демографические переменные в социологическом исследовании: Проблемы достоверности самоотчетов респондентов. М.: Флинта, Наука, 2002.
11. Warner S.L. Randomized Response: A Survey Technique for Eliminating Evasive Answer Bias // Journal of the American Statistical Association. 1965. Vol. 60. No. 309. P. 63-69.
12. Folsom R.E., Greenberg B.G., Horvitz D.G., Abernathy J.R. The Two Alternate Questions Randomized Response Model for Human Surveys // Journal of the American Statistical Association. 1973. Vol. 68. No. 343. P. 525-530.
13. Boruch R. Relations Among Statistical Methods for Assuring Confidentiality of Social Research Data // Social Science Research. 1972. Vol. 1. No. 3. P. 403-414.
14. Berman J., McCombs H., Boruch R. Notes on the Contamination Method: Two Small Experiments Assuring Confidentiality of Responses // Sociological Methods and Research. 1977. Vol. 6. No. 1. P. 45-62.
15. Rodgers J.L., Billy J.O.G., Udry J.R. The Rescission of Behaviors: Inconsistent Responses in Adolescent Sexuality Data // Social Science Research. 1982. Vol. 11. No. 3. P. 280-296.
16. Greenberg B.G., Abul-Ela A.-LA., Simmons W.R., Horvitz D.G. The Unrelated Question Randomized Response Model Theoretical Framework // Journal of the American Statistical Association. 1969. Vol. 64. No. 327. P. 520-539.
17. Greenberg B.G., Kuebler R.R., Abernathy J.R.Jr., Horvitz D.G. Application of the Randomized Response Technique in Obtaining Quantitative Data // Journal of the American Statistical Association. 1971. Vol. 66. No. 334. P. 243-250.
18. Сидоренко Е.В. Методы математической обработки в психологии. СПб.: Речь, 2001.
19. Bradburn N.M., Sudman S. Improving Interview Method and Questionnaire Design. San Francisco: Jossey-Bass, 1979.
20. Billiet J., Loosveldt G. Improvement of the Quality of Responses to Factual Survey Questions by Interviewer Training // Public Opinion Quarterly. 1988. Vol. 52. No. 2. Р. 190-211.
21. Niemi I. Systematic Error in Behavioral Measurement: Comparing Results from Interview and Time Budget Studies // Social Indicators Research. 1993. Vol. 30. No. 2-3. P. 229-244.
