CC BY
107
281
МИР РОССИИ. 1999. N1-2
шг--■-
КАК ИЗУЧАТЬ СЕГОДНЯШНЮЮ РОССИЮ
МЕЖДУНАРОДНЫЕ СТАНДАРТЫ ОЦЕНКИ КАЧЕСТВА СОЦИОЛОГИЧЕСКИХ ОБСЛЕДОВАНИЙ*
М.С. Сваффорд, М.С. Косолапов, П.М. Козырева
На Западе индустрия социологических обследований процветает уже несколько десятилетий. В 90-е годы социологические обследования становятся популярными и в России, однако их качество — из-за недостаточности опыта российских практиков — является зачастую неудовлетворительным. В этой связи полезной — как для специалистов, так и широкого круга читателей — может оказаться предлагаемая Вашему вниманию статья: в ее первой части, публикуемой в этом номере, рассматриваются принятые в западной практике принципы и стандарты проведения социологических обследований. Во второй части, которая будет опубликована в следующем номере журнала, будут рассмотрены результаты Российского мониторинга экономического состояния и здоровья населения, проводимого в нашей стране с 1992 г. с учетом общепринятых в мировой практике стандартов.
В 90-х годах социологические обследования стали очень популярны в России. Газеты и телевидение постоянно обрушивают на нас их результаты и предлагают поверить, что данные, полученные на основе опроса небольшой части населения, действительно отражают российские реалии. Следует ли нам доверять этим данным?
Крупные телевизионные сети и крупнейшие газеты США, пытаясь обеспечить надежность приводимых данных, добровольно подписали соглашение, запрещающее сообщать о результатах национальных опросов, не убедившись в их соответствии высоким профессиональным стандартам. Если же они публикуют данные, не удовлетворяющие данным стандартам, они должны заранее четко предупредить своих читателей об этом. Правительство США еще более требовательно, чем средства массовой информации, поскольку финансовые потери от использования данных низкокачественных обследований при формировании государственной политики могут
* Данная статья может быть использована в качестве учебного материала к курсу «Методика и техника социолгических исследований».
282
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА ^^^^^^^^еждународныестандартыоценкикачествасоциологическихобследований^^^_^^^_
достигать сотен миллиардов долларов. Так, к примеру, на обследование для изучения потребления электроэнергии домохозяйствами каждого региона США, правительство страны с готовностью выделило несколько десятков тысяч долларов только на построение выборки и гораздо больше — собственно на проведение опроса.* Поскольку обследования, построенные по территориальному принципу (в отличие от тех, что построены по предприятиям) стали проводиться в России относительно недавно, до сих пор не вполне однозначны стандарты их качества. В данной статье мы рассмотрим эти стандарты, стараясь избегать сугубо технических терминов. Даже тем читателям, которые не собираются проводить собственных обследований, будет полезно познакомиться с этими стандартами, чтобы иметь возможность оценить качество данных, с которыми они сталкиваются на работе или в прессе. Подобная информация еще более важна для тех людей, кому по долгу службы может потребоваться выбрать из нескольких исследовательских организаций ту, которой можно поручить проведение обследования. В конце концов, понимание данных стандартов поможет тем, кто прочтет нашу следующую статью о Российском мониторинге экономического состояния и здоровья населения (РМЭЗ) — широкомасштабном опросе домохозяйств и индивидов Российской Федерации, проводимом с учетом этих стандартов с 1992 г.
Критерии оценки качества социологических обследований в России
Главное в социологическом опросе — сформировать надежную связь между респондентом и социологом. Можно представить эту связь как цепочку, имеющую как минимум шесть звеньев: выборка, вопросник, сбор данных, кодировка, ввод данных и чистка данных. Если хотя бы одно из этих звеньев слабо, цепочка может прерваться. Как известно, цепочка сильна настолько, насколько сильно ее самое слабое звено. Зачем нужен превосходный вопросник, если интервьюеры или не читают эти замечательные вопросы так, как они были написаны автором, или, что еще хуже, лишь делают вид, что проводят опрос, а на самом деле заполняют опросники сами или просят об этом своих знакомых? Зачем нужны высококлассные интервьюеры, если они пропускают при опросе тех, кого относительно сложно застать дома? А ведь такие люди отличаются от тех, кого легко застать дома, — хотя бы тем, что больше вероятность того, что они работают. Зачем нужны отличные выборка, вопросник и собственно сбор данных, если те, кто обеспечивает их ввод, набирают цифры, неточно отражающие ответы респондентов?
Конечно, даже если какие-то из этих шести связей и окажутся слабыми, исследователи все равно получат данные, которые можно обработать на компьютере, и смогут написать элегантные отчеты с впечатляющими графиками. Однако полученные при этом выводы не будут отражать имеющихся реалий. Иногда
* Порой и правительство допускает серьезные просчеты. Так, например, несколько лет назад правительство, основываясь на данных низкокачественного маркетингового исследования, истратило внушительную сумму на выпуск новых долларовых монет. В дальнейшем же выяснилось, что люди терпеть не могут крупные монеты и отказываются от них в магазинах, предпочитая традиционные легкие бумажные купюры. В конце концов правительство было вынуждено сдаться и изъять монеты из обращения.
283
МИР РОССИИ. 1999. N1-2
низкое качество опросов достаточно очевидно, например, в том случае, когда службы общественного мнения представляют ошибочные прогнозы результатов выборов. Низкое качество опросов очевидно и тогда, когда какие-то характеристики респондентов значительно отличаются от аналогичных данных переписи: например, согласно данным опроса, 29% обследованных взрослых имеют высшее образование, тогда как, согласно переписи, доля имеющих высшее образование взрослых меньше в два с лишним раза.
Однако чаще всего оценить валидность данных опроса очень сложно, так как опрос, по определению, используется для того, чтобы изучить что-то ранее неизвестное. Порой объективных стандартов для проверки точности исследования просто не существует. В такой ситуации единственным критерием, подтверждающим, что данные имеет смысл анализировать, является точное соблюдение процедур построения шести звеньев цепочки между респондентом и исследователем.
В этой связи за последние пятьдесят лет ведущие исследовательские организации мира, занимающиеся проведением опросов (такие, например, как Исследовательский Центр при Мичиганском университете или Центр NORC при Чикагском университете) разработали процедуры, уделяющие внимание каждой мелочи. Конечно, исследование, проводимое с соблюдением всех этих стандартов, дороже тех, что проводят многие центры изучения общественного мнения, снижающие стандарты из желания сэкономить или извлечь прибыль. Однако, когда речь идет о правительственной программе, оперирующей миллиардами рублей, или когда данные необходимы для обоснования серьезного научного исследования, экономия за счет использования данных ненадежного незадокументированного исследования является мнимой экономией. В долгосрочном плане ошибочные данные, полученные в ходе масштабного, но некачественного опроса, обойдутся дороже, чем небольшое число исследований, соответствующих высоким международным стандартам.
В данном случае мы не хотим сказать, что международные стандарты не допускают неких компромиссов, позволяющих оставаться в рамках бюджета. Даже исследовательские организации мирового уровня могут сознательно сократить затраты путем, например, опроса меньшего числа респондентов, чем стоило бы, или их опроса в меньшем количестве мест, чем нужно было бы, путем исключения районов с территориально рассредоточенным населением или исключения полезных открытых вопросов, кодировка которых обойдется недешево. Однако есть ряд стандартов, которые они соблюдают неукоснительно, а именно: построение обоснованной выборки, обеспечение хорошей подготовки интервьюеров, контроль их работы, позволяющий удостовериться, что они действительно выполнили данное им задание именно так, как это необходимо. Авторитетные исследовательские организации очень неохотно снижают собственные требования к исследованию, тогда как организации более низкого уровня, нередко управляемые теми, кто и не знал никогда, как проводятся первоклассные исследования, легко находят компромисс, отказываясь, например, от интенсивных систематических проверок, проводя подготовку интервьюеров за один день (а иногда и за пару часов), используя выборки, которые скорее удобны, чем точны, или пренебрегая написанием детальной документации по использованным ими процедурам.
Пока мы только в общих чертах рассматривали стандарты первоклассных опросов. Теперь рассмотрим их более подробно, уделяя больше внимания выбор-
284
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
^'ежд^^родныестандартыоценкикачестеасоццологическихобследоеани
кам и подготовке интервьюеров, коротко остановимся на разработке инструментария, кодировке, вводе данных и корректировке. Российский мониторинг экономического состояния и здоровья населения (РМЭЗ) был разработан в соответствии со всеми вышеупомянутыми стандартами, поэтому рассматривая последние, мы также рассмотрим и важнейшие аспекты проведения этого исследования (которое будет обсуждаться в нашей следующей статье).
Признаки хорошей выборки
Для рядовых граждан свойственно делать выводы об обществе, в котором они живут, на основе своих контактов с другими людьми, которых они встречают непосредственно, дома и на работе, или опосредованно, через средства массовой информации. Однако в действительности никто не контактирует с неким случайным срезом общества. Люди чувствуют себя наиболее комфортно среди себе подобных. Поэтому у людей с хорошим образованием подавляющее большинство среди знакомых будут составлять люди с хорошим образованием; у москвичей среди знакомых будет гораздо больше москвичей, чем жителей отдаленных сельских регионов; у верующих, как правило, среди знакомых больше верующих людей, чем у остальных граждан и т.д. Хотя телевидение увеличивает количество наших контактов, однако телевизионные интервью с рядовыми гражданами также не отражают реального разнообразия общества: ведущие стараются отобрать людей, помогающих поддержать их точку зрения или способных привлечь зрителей чем-то необычным.
Склонность людей выбирать себе подобных порой нейтрализуется социальной структурой. Работа может систематически заставлять нас общаться с большим количеством людей, не похожих на нас самих. Само понятие социальной структуры предполагает отсутствие случайностей в социальных отношениях. Врачи видят слишком много малолетних и стариков, налоговые инспекторы — непропорционально большое число высокооплачиваемых индивидов.
Социологи должны каким-то образом выйти за рамки представлений рядовых граждан об обществе, преодолеть сложившуюся схему, опирающуюся на бессистемный личный опыт. Их основной инструмент для достижения этого — построение выборки, гарантирующей охват всего спектра людей, интересных для конкретного исследования. Если построениие выборки проведено небрежно или непрофессионально, вполне можно не достичь данной цели.
Первым шагом при построении выборки является определение генеральной совокупности, параметры которой мы хотим описать: например, это может быть генеральная совокупность всех работающих, всех домохозяйств или всех предприятий страны. Из-за нехватки времени или средств мы редко проводим перепись, которая по определению стремится охватить 100% выделенной генеральной совокупности. Следовательно, нам приходится формировать выборочную совокупность (выборку). При этом мы надеемся, что статистика, основанная на выборочных данных, будет достаточно точно отражать те параметры, которые мы бы измерили, будь у нас возможность провести перепись. Мы, конечно, знаем, что почти всегда у нас будет присутствовать некоторая случайная ошибка. Почему же мы полагаем, что выборочная совокупность должным образом представляет генеральную?
Многие организации, проводящие социологические обследования, просто
285
МИР РОССИИ. 1999. N1-2
ограничиваются заявлениями о том, что их выборка репрезентативна. Даже худшие из этих организаций настаивают на репрезентативности своей выборки. Но если задать им вопрос, что имеется в виду под этой «репрезентативностью», они ответят, что это коммерческая тайна или выдадут краткое описание, которое столь неполно, что специалист по выборке просто не сможет его оценить. Забавно, но понятие «репрезентативный» в учебниках по построению выборок не используется. Это не технический термин из лексикона математической статистики. С точки зрения точных наук это слово бесполезно, потому что для разных людей оно означает разное. Под этим словом исследовательские организации могут, к примеру, подразумевать, что выборка содержит «типичных» индивидов (домохозяйства или города); что хотя бы несколько представителей всех относящихся к делу групп присутствуют в выборке — несколько пенсионеров, несколько молодых частных предпринимателей, несколько пожилых предпринимателей и т.п; или что демографические характеристики людей в выборке практически совпадают с данными переписей. Однако ни один из этих критериев не обеспечивает соответствия выборки профессиональным стандартам.
Каковы, в таком случае, критерии, подтверждающие, что выборка должным образом описывает интересующую нас генеральную совокупность? Проиллюстрируем пять основных критериев соответствия выборки профессиональным стандартам на примере утверждений о доходах домохозяйств. Начнем с наиболее очевидного и постараемся минимизировать обсуждение технических деталей.
1) Любая выборка должна обеспечивать расчет несмещенных оценок изучаемого явления. Если в реальности 25% домохозяйств, состоящих их двух человек, имеют доходы менее 900 рубл. в месяц, выборка не должна показывать, что таковых, например, 42% (что может произойти, если не опрашивались, например, работающие, которых труднее застать дома). Если оценки смещены, ответственные за принятие решений могут совершить серьезные ошибки при определении способов решения экономических проблем и распределении ограниченных финансовых ресурсов.
2) Любая выборка дою/сна обеспечивать расчет ошибок выборки (случайные ошибки, неточность выборки), сопровождающих любое выборочное обследование. Она должна позволять статистикам делать заявления подобные следующему: «Средний доход по изучаемой совокупности составил 1200 руб. в месяц и при доверительном интервале 95% варьирует в пределах ± 4% (т.е. + 48 руб. от 1152 руб. до 1248 руб. в месяц)». Значение «точности» подробнее рассматривается в следующем параграфе.
3) Любая выборка должна обеспечивать требуемый уровень точности за минимальную сумму денег, или же она должна добиваться максимально возможной точности в рамках имеющихся средств. Другими словами, если правительству необходимы данные по статистике доходов с точностью ±7%, специалисты по выборке должны иметь возможность определить, что одна модель (дизайн) выборки, обеспечивающая требуемый уровень точности, может стоить в два раза дороже другой, более эффективной и обеспечивающей тот же уровень точности. Большие по объему выборки не обязательно лучше! Например, при определенных обстоятельствах 800 домохозяйств, тщательно отобранных в 100 населенных пунктах страны, могут обеспечить примерно такой же уровень точности, что и 6400 домохозяйств, отобранных в 25 населенных пунктах. Затраты на добавление 75 населенных пунктов надо сравнить с затратами на добавление 5600 интервью с
286
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
__________Международные стандарты оценки качества социологических обследований_
тем, чтобы определить, какой из вариантов дешевле. Опытный специалист по выборкам, использующий подходящую методику их построения, может помочь оценить это до начала исследования, сэкономив таким образом заказчику или исследователю крупную сумму денег.
4) Построение выборки должно быть относительно быстрым и легким. После того, как создана исходная схема выборки (что происходит примерно раз в пять лет), хорошо организованному исследовательскому центру обычно требуются считанные дни для того, чтобы построить качественную выборку.
5) Любая выборка должна быть четко письменно задокументирована таким образом, чтобы эксперты могли оценить, насколько она соответствует трем вышеприведенным критериям. Документация должна содержать достаточно подробностей о каждом этапе отбора для того, чтобы любая стадия выборочной процедуры могла быть повторена в будущем. Она должна охватывать все стадии от отбора регионов или городов на первом этапе до дословного текста инструкций, которым следовали интервьюеры при отборе респондентов на последнем этапе. Для российской выборки такой документ в норме должен состоять как минимум из 25-50 страниц. Дополнительно — еще на 20-40 страницах — следует показать, насколько хорошо была реализована выборка.
Почему важно использовать вероятностную выборку. Как мы уже упоминали выше, специалисты, проводящие социологические обследования, обычно хотят измерить некие характеристики всего населения — например, долю совершеннолетних безработных на 31 марта или средний доход домохозяйств в июне, или разброс доходов домохозяйств (например, какой процент домохозяйств имел в июне доходы меньше тысячи или больше четырех тысяч рублей). Чтобы сэкономить время и деньги, они вместо сплошного обследования строят выборки в надежде, что статистические данные, полученные на их основе, будут приблизительно соответствовать параметрам всего населения. Они никогда не могут знать наверняка, в какой мере результаты выборочного обследования окажутся близкими к результатам, которые они бы получили, опросив все население. Однако, если они строят вероятностную выборку (определение смотри ниже), они могут рассчитать точность выборки и удовлетворить выдвинутым выше критериям.
Чтобы понять, что мы подразумеваем под «точностью», рассмотрим следующий гипотетический эксперимент. Предположим, что мы уже провели перепись всех 900000 домохозяйств конкретной области, и уже знаем, что средний месячный доход домохозяйств составляет 2400 руб. Поскольку мы знаем этот параметр, нам не нужно строить выборку. Однако, в качестве эксперимента, предположим, что мы в любом случае строим выборку, чтобы проверить, в какой мере ее результаты соответствуют результатам по генеральной совокупности в целом. Если выборочные результаты близки к данным по всей совокупности, в будущем мы сможем использовать эту выборку вместо того, чтобы платить за всю перепись.
Предположим, что мы построили выборку из 500 домохозяйств области и выяснили средний доход домохозяйства по данной выборке — 2600 руб. в месяц, т.е. на пару сотен рублей больше, чем по совокупности в целом (2400 руб.). Затем мы поместим эти 500 домохозяйств обратно в список 900000 домохозяйств и сделаем новую выборку из 500 домохозяйств. Предположим, что во второй раз средний доход оказался всего лишь 1700 руб., т.е. слишком низким. Далее продолжаем эксперимент в том же духе. Предположим, что третья выборка из 500 домо-
287
МИР РОССИИ. 1999. N1-2
хозяйств дала месячную среднюю равную 3900 руб. Наконец, предположим, что мы и дальше продолжим в том же духе, строя миллионы выборок по 500 домохозяйств, каждый раз рассчитывая средний месячный доход домохозяйства. По завершении этой процедуры мы изучаем выборочное распределение значений среднего дохода в миллионах этих выборок с тем, чтобы посмотреть, как часто выборки показывали результаты, близкие к популяционной средней 2400 руб., и как часто результаты выборок значительно отклонялись от правильного ответа. Предположим, что в этом гипотетическом эксперименте 95% выборок имели средний доход, варьирующийся в пределах от 1500 до 3300 руб. (2400±900). Грубо говоря, это то, что имеют в виду под 95%-ным доверительным интервалом.
Будете ли Вы уверенно себя чувствовать при подобной процедуре построения выборок? Скорее всего, нет. Очевидно, что процедура, использованная для построения выборок, приводила к результатам, значительно варьировавшимся от выборки к выборке. Если нам нужно построить лишь одну выборку с использованием этой процедуры, то в результате мы можем получить данные, существенно отличающиеся от реального параметра генеральной совокупности. Какой смысл использовать процедуру, которая может один раз показать 1500, а другой — 3900 руб.? Про такую выборку говорят, что у нес низкая точность, или, что то же самое, что у нее большая стандартная ошибка. Ясно, что мы бы предпочли выборочную процедуру, в которой при подобном эксперименте 95% средних попадут, скажем, между 2300 и 2500 руб. Тогда, если мы строим только одну выборку, у нас будет существенная уверенность в том, что данные выборки будут недалеки от правильного ответа — параметра генеральной совокупности — 2 400 руб.
К сожалению, мы никогда не сможем провести подобный эксперимент, чтобы определить стандартную ошибку (неточность) выборочной процедуры. Проведение исследований, основанных на двух или даже трех выборках, было бы слишком дорогостоящим и временеёмким, так что пусть кто-нибудь другой проводит эти миллионы исследований с тем, чтобы вычислить 95%-ный доверительный интервал. На помощь приходит математическая статистика. Если воспользоваться вероятностным принципом построения выборки, то на основе единственной выборочной совокупности можно оценить точность, значение которой мы бы получили, только построив миллионы выборок, как в рассмотренном выше гипотетическом эксперименте.
Любой читатель, прослушавший курс статистики, слышал о формуле стандартной ошибки среднего, используемой при подсчете 95%-ного доверительного интервала. Однако студентам редко объясняют, что эта формула применима только в простых случайных выборках, т.е. выборках, построенных на основе списка всех членов совокупности, и в которых все члены этой совокупности имеют равную вероятность быть выбранными в ходе единственного этапа (ступени). При построении выборки по стране в целом почти всегда используют несколько ступеней построения выборки: например, сперва случайным образом выбирают несколько районов, затем в выбранных районах отбираются несколько округов, после чего в выбранных округах отбирают домохозяйства, и, наконец, из каждого отобранного домохозяйства выбирают одного индивида. При многоступенчатой выборке стандартные формулы из учебников обычно недооценивают стандартную ошибку, возможно даже занижают ее раза в 3 или больше. Другими словами, они переоценивают точность. Специалисты по построению выборок, профессио-
288
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
__________Международные стандарты оценки качества социологических обследований_
нально этим занимающиеся, используют более сложные формулы для рассмотрения ситуации, подобной той, что упоминалась выше, когда 800 домохозяйств в 100 местоположениях могли обеспечить ту же точность, что и 6400 домохозяйств в 25 местоположениях. Однако, как мы говорили выше, это будет верно лишь в том случае, если выборка вероятностная.
Вероятностные выборки. Что такое «вероятностная выборка»? Это выборка, в которой соблюдены два условия: во-первых, все элементы генеральной совокупности имеют определенную вероятность попасть в выборку; во-вторых, вероятность выбора каждого элемента может быть рассчитана. (Когда вероятность может быть рассчитана, необязательно, чтобы все элементы имели равную вероятность быть выбранными. Другими словами, в выборке вы можете превысить долю людей определенной национальности или возраста, если вы можете рассчитать предел этих диспропорций.
К сожалению, очень немногие выборки индивидов, домохозяйств или предприятий в России удовлетворяют этим двум требованиям. Это относится даже к выборкам, построенным государственными организациями в прошлом. Соответственно, очень небольшое число российских выборок отвечает пяти выше перечисленным критериям. В этом случае мало оснований для уверенности в том, что результаты действительно отражают реальность. Мощь математической статистики не может быть полноправно использована для расчета точности или доверительных интервалов. Невозможно минимизировать издержки при заданном уровне точности.
Приведенное выше определение «вероятностной выборки» довольно абстрактно. Давайте немного оживим его, рассмотрев двенадцать выборочных процедур, которые не удовлетворяют одному или обоим условиям:
- Любая выборка, в которой участники сами себя выбирают (так называемая выборка «добровольцев»), например, отвечая на просьбу газеты или звоня по одному из телефонных номеров на телеэкране, если одобряют предложение, и по другому — если не согласны с ним. Многие другие члены генеральной совокупности не имели возможности поучаствовать, так что первое условие нарушено. Даже среди тех, кто читает или смотрит телевизор, скорее всего ответят те, кто действительно неравнодушен к теме обсуждения. Мы не можем просчитать вероятность того, что они ответят, поэтому второе условие также нарушено.
- Любая выборка, в которой интервьюеру дается свобода выбора респондента. Подобная ошибка просто недопустима: она нарушает второе условие и вводит неизмеримое искажение, так как интервьюеры в некоторой степени, возможно, бессознательно, стремятся отобрать тех людей, с которыми, по их предположению, им будет удобно провести интервью. Независимый наблюдатель должен иметь возможность подтвердить, что интервьюер имел дело только с теми респондентами, что были отобраны согласно строгим правилам, находящимся вне контроля интервьюера.
- Методы снежного кома, в которых некоторые люди, участвовавшие в опросе, предлагают других, которые могли бы стать его участниками. Вновь оба условия вероятностной выборки нарушены. Нет способа подсчитать вероятность того, что данный человек окажется в выборке.
- Уличные экспресс-интервью, в которых интервьюерам надо опрашивать прохожих, готовых поучаствовать в опросе, до тех пор, пока они не заполнят определенные квоты по конкретным категориям людей. Этот способ вновь нарушает оба
289
МИР РОССИИ. 1999. N1-2
условия: люди, не находящиеся на улице, лишаются возможности быть выбранными, а люди, находящиеся на улице, различаются степенью своей готовности принять участие в опросе в зависимости от того, насколько они, например, заняты или самоуверенны.
- Телефонные опросы в районах, где многие жители не имеют телефонов. Нарушено первое условие. Второе условие также может быть нарушено, даже если телефоны есть у большинства (см. ниже).
- Выборки, исходящие из удобства исследователей, т.е. такие, в которых компании, занимающиеся опросами общественного мнения, работают в городах, где у них есть хорошие друзья и связи, или там, куда относительно удобно добраться. Оба условия вероятностной выборки нарушены, поскольку жители тех городов, которые компании считают неудобными, не имеют возможности попасть в выборку, и мы не можем подсчитать вероятность того, что исследовательский центр сочтет некоторые районы неудобными.
- Выборки, основанные на «типичных» городах или домохозяйствах. Единицы, которые, с точки зрения опрашивающей организации, не являются «типичными», не могут быть выбраны, и мы не можем просчитать вероятность того, что организаторы исследования сочтут города и людей, их населяющих, типичными. Более того, цель социологии — не просто измерение средних; часто гораздо более важно измерить разброс, а для этого нужно, чтобы не только наиболее типичные, но все виды населенных пунктов и людей, имели возможность попасть в выборку.
- Выборки, в которых замена используется для «корректировки» выборки с тем, чтобы ответить за тех, кто не был опрошен или недостаточно представлен в выборке по тем или иным причинам. Мы не можем просчитать вероятность того, что кого-то не включили, а кого-то заменили. Более того, стратегия, лежащая в основе подобной замены, основана на ошибочном мнении. Предполагается, что индивид с определенными демографическими характеристиками может играть в обществе ту же роль, что и другой индивид с аналогичными демографическими характеристиками, которого не смогли найти или который отказался принять участие в исследовании. Однако демографические характеристики объясняют менее 25% вариации большинства явлений, подобных доходу. Неизмеряемые признаки (такие, например, как честолюбие), которые по определению не могут быть использованы для того, чтобы провести замену, объясняют вариацию гораздо лучше, чем измеряемые демографические признаки. Поскольку замена на основе этих неизмеряемых, но наиболее важных признаков невозможна, важно обеспечить опрос максимально возможного числа изначальных респондентов, не используя замену. Конечно, невозможно опросить все 100%, поэтому даже самые профессиональные выборки могут быть смещены, и такое смещение должно быть изучено. Однако специалисты по выборкам не считают, что замена решит проблему, так как, поступая таким образом, мы нарушаем условия расчета точности, и также получаем ложное чувство надежности. Более того, свободное использования замены увеличивает вероятность того, что интервьюеры не станут достаточно усердствовать, пытаясь уговорить настоящих респондентов принять участие в исследовании, особенно, когда им платят за проведенные интервью, а не за время, потраченное ими на повторное обращение к респондентам.
- Выборки, построенные на основе неправильных единиц отбора. Предполо-
10 — 725
290
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
^Международныестандартыоценкикачествасоциологическихобследовани
жим, что построена отличная выборка для домохозяйств, и каждое домохозяйство имеет равную вероятность быть выбранным. Однако, предположим, что исследователи хотят получить выборку индивидов, так что один индивид из каждого домохозяйства выбирается случайным образом. Одинокий человек (например, пожилая женщина) имеет 100%-ную вероятность быть опрошенным в отобранном домохозяйстве; напротив, молодой человек, живущий с двумя родителями в выбранном домохозяйстве, будет отобран с вероятностью 33,3%. Если у исследовательской организации нет данных о том, сколько подходящих индивидов проживает в каждом домохозяйстве (или по данному номеру телефона, если проводится телефонный опрос), невозможно рассчитать с какой вероятностью был выбран респондент, т.е. нарушено второе условие.
- Выборки, основанные на устаревших списках. Незарегистрированные граждане не могут быть выбранными по устаревшим или неполным спискам, в которых они даже не упомянуты. Эти люди неким неизмеримым образом отличаются от тех, кто зарегистрирован как проживающий в данном населенном пункте.
- Большинство выборок, основанных на маршрутных методах, в которых интервьюер начинает в определенной точке и продолжает двигаться от одного дома к другому согласно некоему правилу. Улицы и здания различаются по размерам, но в России эта разница редко принимается в расчет при построении выборки. Следовательно, невозможно подсчитать вероятность того, что индивиды попадут в выборку. Этот метод особенно неудачен, если интервьюеры не могут вновь вернуться, чтобы найти тех, кого не было дома, когда они пытались установить контакт в первый раз. Если интервьюерам позволено продолжать маршрут и переходить к следующим домам на своем пути до тех пор, пока не будет набрано достаточное количество респондентов, — используется некая форма замены. (Некоторые менее критичные замечания по данному методу представлены ниже.)
- Квотные выборки, в которых интервьюерам нужно опросить определенное количество людей с определенным набором демографических характеристик. Предположим, например, что интервьюер получил задание опросить не более 5 женщин со средним образованием старше 65 лет. Такой подход нарушает первое условие, так как женщины из той же возрастной группы, но не имеющие среднего образования, не могут попасть в выборку. Нарушено и второе условие, так как обычно невозможно подсчитать вероятность попадания в выборку данного респондента, что может разрушить оценки вариации выборки. Эта процедура особенно нежелательна и бесчестна, когда исследовательская организация уверяет весь мир в том, что не использует квотную выборку, а на деле раздает квоты интервьюерам, чтобы любым способом преодолеть значительное различие между характеристиками своих респондентов и характеристиками населения в целом, отраженными в данных переписей. Мы подчеркиваем, что соответствие выборочных характеристик и тех, что измерены в ходе переписи населения, не обязательно отражает высокое качество выборки. Если для достижения этого соответствия использовались искусственные, не основанные на принципе случайного отбора процедуры, выборка не способна удовлетворять условиям вероятностной выборки.
291
МИР РОССИИ. 1999. N1-2
•к к к
К сожалению, хотя Россия заслужено славится своими специалистами в области математики и статистики, многие полагают, что она отстает в реальной практике построения выборок для больших территорий. В период с 30-х и до конца 80-х годов в Советском Союзе было разрешено только несколько обследований, проведенных по всесоюзной выборке, так что у практиков было мало возможностей экспериментировать, и у них не было необходимости включаться в профессиональный диалог специалистов по выборкам всего мира. Вместо этого им часто приходилось использовать выборки предприятий. Это было связано, во-первых, с позицией властей по проведению социологических исследований, и, во-вторых, с тем, что единственная категория заказчиков — партийные и государственные органы — интересовались данными в отраслевом разрезе. Изредка удавалось построить выборку для одного города, и для той ситуации и тех условий, в которых они работали, это было действительно важным вкладом в развитие выборочных исследований. С начала 90-х годов, когда возникла необходимость выдавать результаты быстро и дешево, большинство исследовательских организаций пошло по пути использования выборок, не удовлетворяющих на всех своих этапах требованиям для вероятностных выборок. Таким образом, для уверенности в том, что эти обследования не являются смещенными, мало оснований; точность не может быть правильно рассчитана; невозможно провести расчеты, позволяющие сравнить различные схемы построения выборки с тем, чтобы выбрать наиболее дешевый из обеспечивающих заданный уровень точности.
Конечно, во всех странах, где проводятся социологические обследования, можно найти исследовательские центры с дурной репутацией. Более того, некоторые уважаемые западные фирмы, занимающиеся маркетинговыми исследованиями, по-прежнему полагаются на очень тщательно организованные маршрутные или квотные методы в тех редких случаях, когда они не могут воспользоваться настоящими вероятностными выборками по телефонным номерам. (В республиках бывшего Советского Союза мы знаем как минимум одну вполне приемлемую маршрутную процедуру, которая учитывает различный размер зданий и домохозяйств). Однако авторитетные маркетинговые агентства на Западе имеют в своем распоряжении недорогие и детальные данные переписей практически по каждому кварталу в стране. Более того, они осуществляют обязательный строгий контроль с тем, чтобы убедиться, что интервьюеры действительно следовали правилам отбора респондентов. Они также обычно представляют расчеты, показывающие, что их данные приблизительно соответствуют несмещенной выборке.
До сих пор мы подробно рассматривали распространенные выборочные процедуры, ослабляющие цепочку между респондентом и социологом. Мы не описали метода построения хорошей вероятностной выборки. Пространный пример реальной выборки мы приведем в следующей нашей статье об обследовании РМЭЗ. Однако, сейчас мы предлагаем рассмотреть очень простой пример, демонстрирующий возможность выполнения двух условий вероятностной выборки, сформулированных в начале данного раздела. Предположим, что мы составляем список всех районов Российской Федерации и должны выбрать из них 100 случайным образом. Далее предположим, что для каждого из этих 100 отобранных районов нам нужно составить список всех избирательных участков и отобрать из них 20
10*
292
М.С. СВАФФОРД, М.С. КОСОЛАПОЕ, П.М. КОЗЫРЕВА ^^^^^^^^еж^^1родныестандартыоценкикачествасоциологическихобследований^^^_^^^_
случайным образом. К этому моменту мы отобрали 2000 избирательных участков. Наконец, предположим, что нам надо составить хороший список всех избирателей в каждом из этих 2000 избирательных участков и отобрать случайным образом по 25 избирателей в каждом из них. Так мы получим вероятностную выборку из 50000 избирателей. Ее можно считать вероятностной, так как каждый избиратель страны имел вероятность быть отобранным и (предположим, что данные о количестве избирателей общедоступны) можно рассчитать вероятность выбора каждого.
Кстати, важно понять, что вероятностная выборка — необходимое, но не достаточное условие построения первоклассной выборки. А если мы случайным образом отобрали только один район на первом этапе, один участок в этом районе на втором этапе и четырех человек из этого участка на третьем этапе? Мы получим вероятностную выборку из четырех человек, которая однако будет — в связи с огромной стандартной ошибкой — бесполезной. Что касается вероятностной выборки, описанной в предыдущем абзаце, она действительно даст очень точные результаты для всей страны. Однако на самом деле специалисты по построению выборок будут считать ее дилетантской. Они видоизменят ее таким образом, чтобы получить даже большую точность при опросе 50000 избирателей или чтобы получить ту же точность, но при опросе меньшего количества людей. Однако детали подобного подхода выходят за рамки данной статьи.
Построение опросника
Так как данная статья не является учебником по социологическим обследованиям, мы не собираемся рассматривать все аспекты разработки вопросника. Однако нам хотелось бы осветить некоторые менее очевидные стандарты, о которых часто забывают при разработке вопросников для face-to-face интервью в России.
Первое требование: вопросы должны быть написаны так ясно, чтобы практически любой респондент мог ответить на них без каких-либо объяснений или комментариев со стороны интервьюера. Если интервьюеры должны что-либо разъяснять, то различия в их разъяснениях могут испортить результаты. Давно известно, что изменение даже одного слова в вопросе может кардинально повлиять на ответы. Когда исследователи анализируют данные, им нужно анализировать разницу между респондентами, а не случайную разницу в словах, которые респонденты слышали во время интервью. Важно, чтобы каждый респондент получал бы один и тот же стимул, а это требует, чтобы вопросы были без длинных формулировок или сложных слов, которые могут запутать некоторых респондентов.
Следовательно, нужно, чтобы вопросы были написаны в точности так, как их должны зачитывать интервьюеры. Например, если мы хотим получить список всех членов домохозяйства, нельзя просто написать заголовок «СПИСОК ЧЛЕНОВ ДОМОХОЗЯЙСТВА», оставив устную формулировку вопроса на усмотрение интервьюера. Последний может по невниманию заменить слова «члены домохозяйства» на «члены семьи», а ведь разница между этими двумя понятиями весьма существенна: члены семьи по определению связаны по крови или браку; члены домохозяйства — не обязательно. Чтобы избежать
293
МИР РОССИИ. 1999. N1-2
подобного рода ошибок, мы должны сказать интервьюеру, какие точно слова ему следует произнести: «Теперь я собираюсь спросить Вас о членах Вашего домохозяйства. Под «домохозяйством» я понимаю всех людей, проживающих вместе с Вами и разделяющих с Вами свои расходы. Назовите мне, пожалуйста, их имена и отчества, начиная со старших».
Принцип, что все респонденты должны получать один и тот тот же исходный стимул, создает специфические трудности в тех исследованиях, где требуется перевод вопросника. Используем пример из нашего опыта и рассмотрим перевод одного из вопросников для изучения общественного мнения с русского на один из осетинских диалектов. Понятно, что осетинский вопросник должен быть переведен обратно на русский язык независимыми переводчиками на первом этапе проверки качества перевода. Как это всегда бывает в случае честного обратного перевода, возможные несостыковки можно выявить при сравнении двух русских версий. Затем каждая такая несостыковка должна быть разрешена с помощью двуязычных экспертов. Если в вопросе, сформулированном по-русски, использован разговорный язык, осетинский вопросник должен быть в такой же степени разговорным при выражении той же мысли. Каждый нюанс русского варианта должен быть схвачен в осетинском. В противном случае русские (наряду с осетинцами, которые предпочитают быть опрошенными по-русски) и осетинцы, предпочитающие осетинский вариант вопросника, получат разные стимулы; любая разница в полученных данных может быть скорее вызвана различиями в вопросниках, чем реальными различиями. В рассматриваемом нами случае оказалось, что осетинский вопросник был написан более литературным языком, и его пришлось полностью переделать. Только через пару месяцев удалось получить вопросник удовлетворительного качества.
Упомянем еще одно требование: вопросник должен быть составлен таким образом, чтобы быть удобным для интервьюеров и респондентов, а не максимизировать удобство или экономить место для исследователей. Сложные таблицы, с помощью которых можно элегантно разместить большое количество информации на небольшом пространстве, могут затруднить работу интервьюеров и запутать их, увеличивая тем самым количество ошибок. Аналогично, очень маленькие вопросники могут быть столь сложными для прочтения, что интервьюеры не смогут непринужденно вести себя, и тем самым будут держать респондентов в напряжении; вопросники с очень маленьким форматом могут привести к тому, что интервьюеры будут ненамеренно пропускать слова, потому что им неудобно их читать. Это, в свою очередь, также исказит результаты.
Поскольку беспечности и неточностям нет места в науке, вопросники должны быть составлены таким образом, чтобы минимизировать разного рода ошибки. Рассмотрим сложности, возникающие при установлении профессий респондентов — важной задачи многих социологических обследований благосостояния граждан. За десятилетия ведущие социологические центры во всем мире, изучающие профессии, пришли к твердому убеждению: для того, чтобы правильно и точно закодировать профессии всех работающих респондентов, всегда нужно задавать четыре-пять вопросов: Кем вы работаете? Название профессии, по которой вы фактически работаете? Чем вы, в основном, заняты на рабочем месте? Где вы работаете? Чем занимается эта организация? Помимо того, чтобы должным образом закодировать профессии согласно стандартам Международной Организации Труда (МОТ), они долж-
294
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
ны выяснить, сколько людей работает в подчинении у респондента и каков их уровень образования.
Конечно, иногда ответ лишь на один из этих пяти вопросов позволит обеспечить нормальную кодировку профессии. Легко закодировать, например, «водитель, занимающийся частным извозом». Однако, как знают те, кто действительно кодировал десятки тысяч профессий, часто ответы на первый из выше перечисленных вопросов неясны или вводят в заблуждение, и мы никогда заранее не знаем, какие комбинации ответов на пять вопросов обеспечат точную кодировку. Невозможно закодировать профессии «менеджера» или «инженера» без дополнительной информации. Некоторые, называющие себя менеджерами, управляют заводами, а некоторые — киоском. Некоторые инженеры на самом деле выполняют работу обычных рабочих. Говоря о своей профессии, некоторые люди называют специальность, по которой они получили образование, а не ту специальность, по которой они реально работают. Согласно МОТ, преподаватели ПТУ должны кодироваться иначе, чем преподаватели средних школ. Медсестры со специальным образованием кодируются по-другому, чем те, кто его не получил.
Вопросы о том, чем занят работник, и что производит его предприятие, выявляют случаи, в которых названия не совпадают с реальностью. Пример из советских времен — так называемые «подснежники» (например, заводские художники, для которых не было места в штатном расписании, зачислялись на инженерные должности. Только вопрос о том, чем он обычно занимается на работе, мог выявить этот факт).
Образование —другая переменная, которую измерить сложнее, чем можно было бы подумать. Ведь в число респондентов входят люди, ходившие в школу 70 лет назад, и люди, учившиеся в разных странах, так что они представляют удивительное многообразие образовательных систем и периодов обучения. Нам хотелось бы, чтобы можно было ограничиться одним простым вопросом об уровне образования, и, по общему мнению, это может быть действительно удовлетворительным решением, когда образование не является значимой переменной. Однако, поступив таким образом, мы порождаем ошибку, которая может быть неприемлима в исследованиях, серьезно рассматривающих вопрос об образовании. Как показало наше исследование, если за кажущимся простым вопросом об уровне образования следуют вопросы об особенностях образования, полученного респондентами, то выясняется, что некоторые из тех, кто говорит, что имеет среднее специальное образование, называют такие специальности профессионально-технического образования как слесарь и должны быть закодированы как получившие профессионально-техническое образование. Аналогично, некоторые из тех, кто говорит, что имеет «незаконченное высшее образование», учились в вузе всего один год, а это, согласно определению Госкомстата, не подпадает под подобную формулировку.
Важно, чтобы вопросник отражал реальность такой, какой ее видят респонденты, а не такой, какой ее видят исследователи. Плохие вопросники порой заставляют респондентов отвечать в тех категориях, которые в их ситуации лишены смысла. Например, менеджера могут спросить, является ли его завод государственной собственностью или уже приватизирован, тогда как этот завод на самом деле изначально был основан как частный, т.е. не вписывается ни в одну из этих категорий. Также порой государство может владеть компанией с юридическим
295
МИР РОССИИ. 1999. N1-2
статусом частной. Вопросник должен включать все возможности. Респонденты обычно теряют интерес к вопросникам, отражающим невежество исследователей, и в любом случае такой вопросник приводит к ошибочным результатам.
Чтобы избежать подобных проблем, исследователям часто до написания вопросника проводят углубленные интервью или фокус-группы. Когда готов первый черновой вариант вопросника, нужно провести пилотажные исследования с тем, чтобы опробовать новый вопросник в различных ситуациях с несколькими респондентами. В ходе пилотажного исследования респондентов нужно иногда спрашивать, что они имели в виду, давая определенный ответ, для того, чтобы убедиться, что их способ мышления совпал с тем, что предполагали исследователи. Очевидно, что интервьюеры, проводящие пилотажный опрос, должны быть достаточно опытными для того, чтобы детально объяснить все происходившее в ходе пилотажного исследования авторам анкеты, обеспечив тем самым хорошую обратную связь. Фокус-группа, состоящая из этих интервьюеров, может стимулировать гораздо лучшую обратную связь, чем разговор с каждым из них по отдельности. Если пилотажное исследование проводится серьезно, а не просто ради того, чтобы удовлетворить клиентов, должно быть отпущено достаточно времени для анализа его результатов, введения изменений и повторного проведения пилотажного исследования в случае необходимости.
Процесс сбора данных (полевой этап)
Полевая работа охватывает все этапы от печати окончательного варианта вопросника до доставки заполненных анкет обратно в исследовательский центр. Поскольку мы не пытаемся здесь предложить развернутый учебник по всем аспектам проведения социологического обследования, мы остановимся только на двух существенных моментах, которые кажутся легкими или даже скучными, но которым на деле часто уделяют мало внимания: подготовка интервьюеров и контроль.
Подготовка интервьюеров. Все организации, занимающиеся изучением общественного мнения, уверяют нас как в том, что их выборки репрезентативны, так и в том, что их интервьюеры проходят специальную подготовку. Однако довольно часто у этих организаций нет стандартного написанного курса и нет письменных или устных экзаменов, а подготовка интервьюеров сводится к тому, что в течение дня просматривается конкретная анкета, по которой они должны начать работать чем быстрее, тем лучше. Иногда обучение проводит администратор, который и сам не является специалистом по проведению интервью. Напротив, в крупных исследовательских центрах, занимающихся проведением социологических обследований, общая подготовка по принципам интервьюирования длится несколько дней, и проводится людьми, хорошо знающими работу интервьюера. Достаточно большое количество интервьюеров отсеивается в ходе подготовки, когда становятся очевидными их неспособность строго следовать инструкциям или отсутствие способностей к тому, чтобы заставить респондента свободно себя чувствовать в их присутствии. (Других увольняют после нескольких первых полевых интервью.) Почему столько шума насчет подготовки?
О важности серьезной подготовки интервьюеров свидетельствует следующий забавный случай. В 1992 г. мы пригласили в Москву пятьдесят супервайзеров (людей, отвечающих за работу с интервьюерами на местах) со всего бывшего
296
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
^^^^^^^^еждународныестандартыоценкикачестеасоциологическихобследоеаний^^^_^^^_
Советского Союза для того, чтобы продемонстрировать, как надо с надлежащим качеством подготовить десять новых интервьюеров в течении нескольких дней. На первом этапе обучавшиеся слушали двухчасовую лекцию о принципах хорошего интервьюирования. Лекция касалась таких тем, как дословное воспроизведение текста вопроса без каких-либо комментариев, изучение возможностей получить от респондентов более полные ответы, не оказывая на них при этом давления. Лекция сопровождалась аудио- и видеозаписями с примерами.
Однако, учиться интервьюировать — то же, что учиться плавать. Простое прослушивание лекций о том, как это делать, недостаточно для того, чтобы этому научиться. Нужно попробовать под присмотром опытного инструктора, который сможет заметить ошибки и отработает с вами их постепенное преодоление. Так что после лекции интервьюеры шли в специально отведенные комнаты, где опытный преподаватель проходил с ними через еще одиннадцать этапов подготовки (детально описанных ниже) в течение следующих трех дней. Пятьдесят супервайзеров наблюдали за этой подготовкой с помощью скрытых камер в соседней аудитории.
На одном из этапов подготовки инструктор выполнял роль респондента, а сидящие вокруг стола обучающиеся по очереди опрашивали его, зачитывая закрытые вопросы с фиксированными вариантами ответов. В процессе обучения «респондент» задает иногда вопросы — порой такие же сложные как те, что получаешь от реальных респондентов. Обучающийся, получивший такой вопрос, задает, если нужно, уточняющие вопросы, после чего все десять участников заполняют вопросник, как будто они слышали ответ от респондента, которого сами опрашивали. Приблизительно каждые пятнадцать минут преподаватель останавливает процедуру и сравнивает ответы, записанные десятью обучающимися. Так как все они слышали совершенно идентичные ответы, можно предположить, что все десять обвели одни и те же варианты в своих анкетах. К удивлению супервайзеров, наблюдающих процесс подготовки по телевизору, обучающиеся часто записывают разные ответы и даже затевают жаркие споры о том, чей вариант правилен.
Например, один вопрос звучал следующим образом: «Сколько человек работает на предприятии, где Вы работаете?». Предлагались следующие варианты: 1; 2-10; 11-50; 51-100; 101-500; 501-1000; >1000 и затрудняюсь ответить. Изображавший респондента преподаватель дал следующий ответ: «Не знаю. Может быть сто. Похоже, что их число растет. Сейчас все так меняется.» Некоторые обучающиеся обвели вариант затрудняюсь ответить, потому что он сказал «Я не знаю» и не был уверен относительно точного числа работающих; некоторые обвели вариант «51-100», а некоторые — «101-500», потому что он заметил, что это число возможно увеличивается.
Этот пример показывает все катастрофические последствия неадекватной подготовки интервьюеров. Социологи хотят изучить различия между респондентами, а не различия в том, как интервьюеры задают вопросы или записывают ответы. Единственным шансом добиться этого является их серьезная подготовка.
Тот факт, что некоторые люди уже работали в качестве интервьюеров, не означает того, что им не нужна подготовка. Конечно, порой опыт помогает; однако, зачастую, как показывает практика, так называемые опытные интервьюеры на самом деле не имеют должной подготовки и нарушают многие основные правила. Если, что бывает крайне редко, они готовы заново изучить общие принци-
297
МИР РОССИИ. 1999. N1-2
пы, они будут полезны для исследования, в противном случае из них получатся очень плохие интервьюеры. Плохие привычки исправить сложно.
Интервьюеры должны стремиться стать «пустым сосудом»: они должны быть открыты всему, что захочет в них влить респондент и должны донести полученное обратно в исследовательский центр, не расплескав ни капли. Среди худших интервьюеров можно назвать социологов, которые, в силу своего понимания принципов социологии, считают своим долгом «помочь» респонденту сказать что-нибудь полезное. Поступая таким образом, они вносят различия в исходный стимул, о чем говорилось в предыдущем разделе. Плохими интервьюерами могут быть и учителя: привыкнув всю свою жизнь оценивать учеников, они и респондентам могут показывать свое одобрение или неодобрение. Некоторые респонденты могут несколько изменить свои ответы, чтобы избежать морального неодобрения интервьюеров.
Ниже мы приводим один из вариантов программы подготовки начинающих интервьюеров. Несколько этапов (включая, как минимум, 1, 2, 8 и 10) необязательно включать в программу для опытных интервьюеров, уже хорошо зарекомендовавших себя.
1) Лекция об общих принципах face-to face интервью.
2) Знакомство с новыми интервьюерами, выяснение их опыта или реакции на лекцию. Подготовка не должна проходить в приказном порядке; если она «формальна», интервьюеры,часто нарушают правила именно поэтому. Вместо этого, обучение должно убедить интервьюеров в мудрости правил. Установление личных контактов — прекрасный способ сформировать у интервьюеров желание не разочаровать вас. Это упражнение также позволяет обучающимся привыкнуть выступать перед своей группой, что важно на дальнейших стадиях обучения.
3) Попросите интервьюеров прочесть всю анкету заранее, затем самостоятельно ее заполнить. Они должны вслух прочесть все части, которые должен услышать респондент, и отметить все, что было непонятно. После этого они должны самостоятельно заполнить вопросник, как будто сами являются респондентами. При этом они должны делать заметки о всех проблемах, неясностях, которые приходят им в голову во время заполнения. Если хотите собрать анкеты, заранее их об этом предупредите.
4) Покажите интервьюерам видеозапись хорошего интервью, проведенного по анкете, с которой им предстоит работать, сделайте комментарий, иллюстрирующий идеи вводной лекции. Для начинающих интервьюеров важно видеть положительные примеры с тем, чтобы знать, к чему стремиться. Наглядные материалы стоят тысяч слов. Для опытных интервьюеров наблюдение за интервью — хороший способ познакомиться с новым вопросником, с которым им предстоит работать. Можно также попросить присутствующих заполнить анкету, пока они слушают запись.
5) Познакомьте их с письменными инструкциями по заполнению анкеты. Хорошие обследования обычно включают в себя различные письменные инструкции относительно анкеты: например, как исправлять ответы (корректировать или вычеркивать), как показать, что были заданы уточняющие открытые вопросы и т.п. Они также включают письменные инструкции, объясняющие, как поступать с некоторыми сложными пунктами вопросника. Например, что делать, если респондент спрашивает, как определять число детей — включая родных и
298
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
приемных, или только родных; или насколько детально должна быть описана работа респондента; или считать ли респондента, находящегося в декретном отпуске, работающим или нет.
7) Изобразите из себя респондента, а обучающиеся по очереди будут зачитывать вопросы, как они это делали бы на настоящем интервью. Это особенно важная часть обшей подготовки, обычно требующая как минимум четырех часов работы с небольшой группой интервьюеров. В ходе реальных интервью респонденты часто дают неполные, не относящиеся к делу или неопределенные ответы. Интервьюеры должны потренироваться задавать уточняющие вопросы, используя техники, перечисленные во вводной лекции, т.е. не нарушающие основные правила.
8) Пусть интервьюеры потренируются интервьюировать в группах по три человека. Интервьюеры разбиваются на группы по трое. Один изображает интервьюера, другой — респондента, третий — наблюдателя, который смотрит, хорошо ли работает интервьюер. Преподаватель и, возможно, несколько других опытных интервьюеров ходят между группами и также наблюдают. Время от времени преподаватель прерывает процесс с тем, чтобы провести небольшое обсуждение. Затем члены каждой тройки меняются ролями так, чтобы по завершении упражнения каждый попробовал бы все три роли. Это прекрасная возможность для вас увидеть, кто из обучающихся хорошо справляется с работой.
9) Раздайте интервьюерам письменные упражнения, проверяющие их способность правильно реагировать на определенные сложные ситуации при заполнении анкеты. Такие упражнения выполняют две задачи. Во-первых, они дают еще одну возможность проверить, усвоили ли интервьюеры навыки уточнения ответов, показанные во вводной лекции. Во-вторых, они позволяют выяснить, научились ли они принимать во внимание инструкции по отдельным вопросам, о которых говорилось в пункте 5.
10) Проверьте все административные вопросы, относящиеся к исследованию. Это включает в себя такие проблемы как график проведения исследования, место его проведения, оплату, возврат и исправление некачественно заполненных анкет и т.п.
11) Дайте обучающимся потренироваться в понимании респондентов — пусть они примут участие в ролевой игре. Во-первых, повторите замечания, освещенные в конце вводной лекции — как отвечать на ряд вопросов, задаваемых респондентами, т.е. почему я, для чего это нужно и т.п. Затем попросите их поработать парами: один изображает из себя респондента, порой следуя заранее разработанному сценарию; другой работает интервьюером. После этого дайте им поменяться ролями. Обратите внимание на тех, кто удачно и естественно общался с респондентами.
12) Интервьюеры должны заполнить хотя бы одну настоящую анкету — опросить реального респондента (желательно не родственника). Если анкета длинная и сложная, им может понадобиться сделать два или три реальных интервью. Они могут просто выбрать респондента случайным образом. Если они заполняют более одной анкеты, пусть это будут особо сложные респонденты. Лучше всего будет организовать групповую дискуссию всех интервьюеров, проведших свои пробные реальные интервью. Это позволит им обменяться своим опытом и услышать ваше мнение. Если подобное невозможно, обсудите хотя бы с каждым из интервьюеров приобретенный им опыт.
13) Проанализируйте их работу после каждого из трех первых или более настоящих интервью, делайте это до тех пор, пока они не продемонстрируют собственную
299
МИР РОССИИ. 1999. N1-2
компетентность. Дайте им возможность обсудить трудности, с которыми они сталкиваются, то, что у них не получается. Обратите особенное внимание на переходы и открытые вопросы. Время от времени просите записывать интервью на магнитофон или присутствуйте на одном из интервью даже опытных интервьюеров. Это поможет выявить интервьюеров, которые становятся небрежными.
Контроль в процессе сбора данных. Все исследовательские организации должны опасаться возможности халтурной работы на местах. Стандартный подход — посылать независимых контролеров для случайной (или систематической) проверки примерно десяти процентов сделанных интервью. Если проверка показывает возможности некачественной, халтурной работы определенного интервьюера, остальные заполненные им анкеты также должны быть проверены. Аналогично, если есть основания предполагать, что несколько интервьюеров на данном участке схалтурили, возможно, качество всей работы окажется спорным. В нашем собственном обследовании мы выявили несколько человек, сдававших нам халтуру, среди которых была даже жена директора института. От всей работы, ими сделанной, мы отказались. В прошлом нам несколько раз приходилось выбрасывать всю работу, сделанную в конкретной выборочной точке.
В ходе проверки недостаточно просто спрашивать респондента о том, проводил ли интервьюер интервью. Некоторые основные фактические вопросы, могущие повлиять на дальнейший ход опроса (вопросы-фильтры, определяющие, какие блоки будут затронуты), должны быть заданы снова для того, чтобы удостовериться, что интервьюер не сочинил эти ответы с тем, чтобы пропустить целые разделы анкеты. Например, работающий может быть записан как безработный с тем, чтобы пропустить большой раздел вопросов по работе. Более того, нужно отобрать вопросы из всего опросника, чтобы убедиться в том, что интервьюер прошел через всю анкету, а не только ее конец и начало. Результаты поверки должны быть письменно изложены и должны быть доступными клиентам. Первоклассные организации могут посылать старших инспекторов, чтобы проверить также и самих проверяющих. Любой исследовательский центр, занимающийся крупными обследованиями, но никогда не обнаруживающий халтуры, просто не выполняет своей работы. Он сам выдает халтуру своим клиентам.
Кодирование
Когда анкеты впервые привозят после их заполнения, они должны быть проверены на наличие очевидных ошибок и закодированы, а лишь затем переданы тем, кто осуществляет ввод данных. Сначала анкеты проверяют на наличие непредвиденных проблем. Одно из стандартных правил для интервьюеров гласит, что если они видят, что ответ респондента вполне правомерен, но не вписывается ни в одну из предложенных альтернатив, они должны в анкете описать эту ситуацию, а не вносить ответ. Например, в вопросе о родственных связях между ребенком и респондентом, респондент может указать, что ребенок приемный, а не родной. Если у интервьюера нет инструкций, как кодировать ребенка — как «родного» или как «неродного», интервьюер пишет «приемный ребенок» на полях анкеты и предоставляет возможность кодировщикам принять решение позднее. Это позволяет исследователям решать, как поступать с непредвиденными ответами единообразно для всех интервью.
300
М.С. СВАФФОРД, М.С. КОСОЛАПОВ, П.М. КОЗЫРЕВА
Помимо непредвиденных ответов большинство анкет включает в себя так называемые вопросы с вариантом «другое, уточните что именно»: респонденту предлагают несколько альтернатив ответа, но ему также разрешают вписать ответы, которых нет в списке альтернатив. Также в анкетах бывают открытые вопросы. Обычно ответам на них может быть присвоен код до того, как начат ввод данных. Важно, чтобы кодировка была последовательной, и чтобы решения о том, как кодировать ответы, были письменно задокументированы.
Однако, мы предпочитаем другой подход к кодировке открытых и полуоткрытых вопросов. В наше время использование многозначных переменных не представляет больших трудностей. Таким образом, ответственные за ввод данных просто вводят текст ответов на открытые и полуоткрытые вопросы в базу данных. Это позволяет всем пользователям базы использовать любую кодировку, которая им будет удобна, не возвращаясь к самим исходным анкетам. Помимо того, когда мы проводим самостоятельное кодирование этих ответов, мы свободно можем использовать компьютерные программы, помогающие нам быть последовательными. Например, при кодировке профессии, компьютерная программа считывает ответы на все соответствующие вопросы (упомянутые выше в разделе о вопросниках) и предлагает код, одобренный для аналогичных ситуаций в прошлом. Это увеличивает и скорость кодировки, и ее согласованность.
Ввод данных
Когда анкета доходит до тех, кто непосредственно занят вводом данных, у них должна быть возможность выполнять свои обязанности без принятия каких-либо важных решений. Единственной их задачей должен быть перевод цифр и слов из анкеты в компьютерный файл, а если у них есть какие-то проблемы, они должны обращаться к опытному кодировщику. Профессиональные стандарты требуют, чтобы данные вводились дважды двумя независимыми операторами, и чтобы каждое несовпадение между ними проверялось с помощью изучения анкеты. Часто можно слышать от организаций, проводящих опросы общественного мнения, что они провели исследование и только один процент цифровых значений не совпал с исходными после первого ввода, так что второй ввод данных неоправдан. К сожалению, они не предоставляют каких-либо методологических публикаций, обосновывающих эти заверения. Однако, предположим, что они правы. К сожалению, ошибка на уровне одного процента не повод для радости. Она может привести к существенному снижению корреляций, например, с 0,50 до 0,20. Важно понимать, что ошибки ввода данных не распределены случайным образом вокруг правильного значения. Из-за расположения цифр на клавиатуре вполне может по ошибке вместо «4» нажать «7», а вместо «6» — «1». Таким образом, ошибка на три единицы более вероятна, чем ошибка на две единицы. Следовательно, двойной ввод de rigeur. *
Чистка данных
Когда ввод данных закончен, они все равно должны быть проверены на предмет наличия ошибок в переходах от вопроса к вопросу и разбросе значений внутри одного значения. Во-первых, существуют письменные правила, оформленные в виде
* Необходим, обязателен (франц.)
301
МИР РОССИИ. 1999. N1-2
специальных компьютерных программ и отражающие логику анкеты. Если, например, данные по конкретному респонденту показывают, что он безработный, ячейки, описывающие его должность в настоящее время, должны быть пустыми. Если они не пустые, кодировщик высокого уровня должен посмотреть анкету, чтобы понять, работал ли респондент в действительности (в этом случае данные о том, что он безработный, должны быть изменены), или был без работы (тогда нужно убрать информацию о должности в настоящее время).
Дополнительно, для подтверждения того, что данные соответствуют логике анкеты, используются особые правила для выявления других типов несоответствий. Например, в РМЭЗ фиксировались родственные отношения между всеми членами домохозяйств. Сотни правил написаны для того, чтобы заметить несоответствия — вроде тех, когда дети предположительно оказываются старше своих родителей или мужчины записаны как матери. Эти правила, к примеру, могут выявить интервьюеров, систематически записывавших обратные отношения: допустим, отношение А к Б вместо отношения Б к А. Если подобные несоответствия выявлены, кодировщик должен постараться их скорректировать. Однако, кодировщики должны быть достаточно внимательными при внесении изменений. Например, двое могут назвать себя супругами, тогда как только один назовет себя женатым. Жизнь дает нам разнообразие возможностей, и совсем не обязательно это результат ошибки. Двое могут считать себя состоящими в гражданском браке и называть себя супругами, описывая свои отношения; вместе с тем один из партнеров может все еще состоять в законном браке с кем-то за пределами данного домохозяйства, а другой при этом официально ни с кем в браке не состоит.
Существуют также правила, созданные для того, чтобы заметить переменные с экстремальными значениями — например, дачи, к которым прилегают 50 гектаров земли или картофель, стоящий по 100 руб. за килограмм. Порой выясняется, что интервьюер записал неправильные единицы измерения: 50 гектаров вместо 50 соток. Если кодировщики с большой долей уверенности могут определить, что произошла ошибка, они могут поменять значение переменной. В противном случае они должны оставить значение в базе данных и сами исследователи позже должны решить, что делать с этими значениями.
После того, как тысячи правил написаны, данные по каждой анкете проверяются на предмет нарушения правил. Программа чистки данных в идеале выдает результаты двумя различными способами: для каждого респондента все проблемы по всей анкете; и для каждого вопроса все проблемы по каждому респонденту. Опытный кодировщик определяет, необходимо ли сделать какие-нибудь поправки. Иногда выясняется, что сами правила несовершенны — например, значения, которые считались экстремальными на самом деле не такая уж редкость. В этом случае меняются правила. После того, как на основе первой чистки внесены изменения, база данных вновь проверяется на наличие случаев нарушения правил, так как часть внесенных изменений в свою очередь могла повлечь за собой другие нарушения. Довольно часто бывает, что часть данных проходит через десять — двадцать этапов чистки. Необходимо сохранить записи всех изменений, внесенных кодировщиками.
В конце мы должны подчеркнуть, что опытные аналитики знают, что база данных не окончательно чиста даже по завершении всех этапов чистки. Когда позднее исследователи-специалисты в конкретных областях социологии анализируют данные, чтобы провести сложные типы анализа, включающие в себя не-
302
М.С. СВАФФОРД, М.С. КОСОЛАПОВ,П.М.КОЗЫРЕВА
^^^^^^^^еждународныестандартыоценкикачестеасоциологическихобследоеаний^^^_^^^_
сколько десятков переменных одновременно, они могут столкнуться с другими проблемами и проводить свою собственную чистку. При этом, однако, они могут быть уверенными в том, что не столкнутся с проблемами, вызванными небрежной обработкой анкет.
Выводы
В науке очень важна точность измерений. В самом деле, прорыв в науке часто непосредственно следует за революцией в измерениях. В социальных науках за последние пятьдесят лет масштабные социологические обследования утвердились как один из основных способов измерения социального, экономического и политического поведения. Серьезные исследователи полагают, что при наличии высоких стандартов, небрежности и ошибкам нет места. В самом деле, потребность в высоком качестве социологических обследований среди ведущих социологов и государственных чиновников достигла таких высот, что высококлассное обследование не под силу провести большинству независимых исследователей и их институтам.
Один из способов решения подобной проблемы — делиться данными. Например, в США государственные структуры и (в меньшей степени) частные фонды стали основными источниками поддержки крупномасштабных первоклассных социологических обследований; при этом обычно они понимают, что все данные, полученные общественными фондами (включая данные переписей, собранные собственно государственными органами) целиком принадлежат общественности. Следовательно, социологи, получающие гранты от Национального Научного Фонда (National Science Foundation), Национального Института Здравоохранения (National Institute of Health), а также через прямые договоры с государственными органами, должны задокументировать базу данных и поместить ее в общедоступном архиве через год или два. С этого времени исследователи больше не имеют права контролировать дальнейшую судьбу полученных данных, и их авторские права сводятся к тому, что в статьях, которые публикуют другие, основываясь на их базе данных, будет отмечена их роль в сборе этих данных. Аналогично, государственные обследования, проводимые собственно государственными органами, становятся общедоступными и государственные служащие выступают на социологических съездах, рекламируя доступность государственных данных. В силу того, что подобные базы данных предлагаются за условную плату (обычно меньше того, что профессор зарабатывает за два дня), стимулируется здоровый обмен идеями о том, что означают полученные данные, и гарантируется, что базы данных используются в полной мере, часто для ответа на вопросы, о которых разработчики исследования даже не задумывались.
Другими словами, когда дело касается социологического обследования, оказывается, что несколько хороших обследований, доступных многим специалистам по общественным наукам, приносят больше пользы, чем много посредственных обследований, каждое из которых используется лишь несколькими людьми. В нашей следующей статье мы обратимся к Российскому мониторингу экономического состояния и здоровья населения — обследованию, которое проведено согласно стандартам, описанным в данной статье, и станет доступным — без необходимости соответствующего согласования с авторами — через месяц по его завершению.
(продолжение следует)
