CC BY
133Исследовательская рефлексия
DOI: 10.19181/inter.2023.15.1.4 EDN: BFQZVX
Репрезентативность качественных опросов
Ссылка для цитирования:
Белановский С.А. Репрезентативность качественных опросов // Интеракция. Интервью. Интерпретация. 2023. Т. 15. № 1. С. 69-94. https://doi.Org/10.19181/inter.2023.15.1.4 EDN:BFQZVX For citation:
Belanovskiy S. A. (2023) Representativeness of Qualitative Surveys. Interaction. Interview. Interpretation. Vol. 15. No. 1. P. 69-94. https://doi.Org/10.19181/inter.2023.15.1.4
Автор ставит под сомнение широко распространенное мнение, что качественные опросы (глубокие интервью и фокус-группы) никогда не смогут принять характер представительного исследования. Причина возникновения этой ошибочной, по мнению автора, точки зрения — неправомерный перенос критериев репрезентативности количественных исследований на качественные. В статье сформулирована математическая постановка задачи определения репрезентативной выборки качественных опросов. Сформулированы ограничения и дано решение в их рамках. Показано, что при соблюдении определенных условий репрезентативная выборка качественного опроса может составлять 15-40 респондентов, что соответствует исследовательской практике, базирующейся на эмпирических критериях достаточности.
Ключевые слова: выборка; популяция; рекрутинг; репрезентативность; качественные исследования; качественные опросы; теоретическое насыщение; глубокие интервью; фокус-группы
ШЖ-1
Белановский Сергей Александрович
Институт Народнохозяйственного прогнозирования РАН,
Москва, Россия
E-mail: [email protected]
В данной статье анализируется возможность применения к качественным опросам1 понятия репрезентативности в статистическом смысле этого слова. По мнению автора, репрезентативность качественных опросов часто оценивается по критериям количественных, что неправомерно. «Общая тенденция состоит в том, что исследователи ограничивают обсуждение выборки количественными исследованиями, а затем заявляют или подразумевают, что качественная выборка по своей природе непредставительна» [McMichael, 2008: 454].
Понятие репрезентативности позволяет исследователю принять решение о достаточности объема собранной информации или объема выборки. В качественных работах такое решение принимается интуитивно, на основе субъективных представлений исследователя и обобщения имеющегося опыта.
С нашей точки зрения, математическая оценка репрезентативности некоторых видов качественных исследований возможна, но требует иного математического подхода.
Понятие репрезентативности в качественных исследованиях
Понятие «репрезентативность» было введено в научный оборот как статистическое, означающее соответствие параметров выборки характеристикам популяции или генеральной совокупности. Репрезентативность определяет, насколько возможно результаты выборочного исследования переносить на всю генеральную совокупность.
Применительно к количественным социологическим опросам различают качественный и количественный аспекты репрезентативности выборки. Качественный аспект рассматривается как свойство учетных единиц наблюдения (объектов, респондентов) и принцип их отбора в выборочную совокупность. Количественный — это объем выборки, то есть число отобранных единиц. Важно учитывать, что слово «качественный» полисемантично, поэтому «качественный аспект выборки» и «качественное социологическое исследование» не синонимы.
Авторы работ по методологии качественных исследований меняют смысл понятия «репрезентативность», понимая его как «репрезентацию реальности» [Страусс, Корбин, 2001: 23] или «отражение реальности в репрезентативных понятиях» [Страусс, Корбин, 2001: 157], а также как «репрезентативное обобщение» [Freeman et al., 2006: 27]. Эти трактовки основываются на изначальном значении слова représentatif, но не имеют отношения к статистическому понятию. Можно сказать, что понятие репрезентативности применительно к качественным исследованиям становится «качественным»: его смысл интуитивно понятен, но не имеет операционального определения. Это отмечают и сами сторонники методологии качественных исследований. «Идея выборки
1 Слово «опрос» является производным от слова «спрашивать». В данной статье качественный опрос понимается как исследование, проведенное методом глубокого интервью в индивидуальном или групповом формате (фокус-группы).
в качественных исследованиях скользка даже в таких основных смыслах, как
репрезентация, единица анализа и генеральная совокупность» [Nakkeeran, §
2016: 44]. Понятие репрезентативности в такой трактовке становится близким о
к понятию «релевантность». с
В данной статье мы хотим показать, что в отношении некоторых видов £ качественных исследований понятие репрезентативности может быть при-
-о !
менено также и в статистическом, «количественном» смысле этого слова. S
со
используемых методов, которые являются не-количественными [Страусс, Кор-
Качественные исследования и качественные опросы. Понятие качественных исследований не имеет четкого определения. Определение их как & «методов социальных наук, ориентированных на исследование индивидов, g понимание и объяснение субъективных аспектов их взаимодействия», пред- g ставляется нам слишком широким и лишенным конкретного содержания. о Более операциональным может служить определение через совокупность i
з с
бин, 2001: 23]. Автор методологии «обоснованной теории» Ансельм Страусс с
определяет этот вид исследований так: «Под термином качественное иссле- |
дование мы подразумеваем любой вид исследования, в котором исходные $
данные получаются нестатистическими или неколичественными способами» а [там же]. Согласно Страуссу и другим авторам, такие исследования могут
основываться на анализе широкого круга источников информации: интер- ^
вью, дневников наблюдений, личных документов, публикаций в СМИ и др., | включая даже статистические данные [Strauss, 1990: 44].
Здесь и далее предметом нашего рассмотрения являются качественные g
социологические опросы, которые понимаются как часть более общего по- ^
нятия качественных исследований. ^
>:з
следования делятся на изучение социальных структур и массовых явлений. ~
Массовые явления и социальные структуры. Социологические ис-
Статистические методы оценки репрезентативности применимы только ^ к объектам, которые могут быть представлены как массовое явление. >3
На этот аспект указывал экономист Ф. Хайек: «Занимающиеся статистикой -5 не изучают общества. Общество есть совокупность структур, а не массовое § явление» [Хайек, 2003: 186]. По нашему мнению, высказывание Хайека спра- § ведливо лишь отчасти, поскольку в обществе существуют социальные объ- 5 екты, близкие к идеальному типу массового явления. К их числу могут быть отнесены экономические и политические рынки, многие другие социальные процессы, подчиняющиеся закону больших чисел1.
Отмечаемый большинством социологов процесс «атомизации» современного общества увеличивает значимость исследований массовых явлений.
1 Социальные структуры и массовые явления образуют идеально-типическую шкалу, на одном полюсе которой люди рассматриваются как совокупность взаимосвязанных индивидов, которая имеет внутреннее строение и обладает определенной устойчивостью групповых связей, а на другом — как совокупность автономных и не связанных друг с другом индивидов, «социальных атомов». Согласно теории социального атомизма индивид является «атомом» общества и, следовательно, объектом анализа. На этой теории (или постулате) построена теория выборки в количественных опросах. В данной статье мы распространяем этот постулат на некоторые виды качественных опросов.
Изучение социальных структур входит в задачу качественной социологии, причем ее методам зачастую нет альтернативы. Но понятие статистической репрезентативности к таким исследованиям неприменимо, за исключением случаев, когда в изучаемых структурах имеются сегменты, которые могут рассматриваться как массовые (например, массовые профессии на промышленных предприятиях). Однако социальные структуры не могут рассматриваться как массовые явления, поскольку в них есть много уникальных ролей и отношений, к которым это понятие неприменимо.
Итак, предметом нашего рассмотрения являются социальные массовые явления, изучаемые методами качественных опросов. К этим методам относятся индивидуальные глубокие интервью и фокус-группы. Первые используются при изучении и структур, и массовых явлений. Вторые — только при изучении массовых явлений.
Учетная единица качественного исследования. Методологи качественного подхода отмечают, что в их исследованиях человек или респондент, как правило, не является учетной единицей. Такой единицей является релевантный случай, которым в зависимости от целей исследования может быть мнение, наблюдение, событие или сообщение. В качественных исследованиях это если не общепринятый, то широко распространенный подход.
Так, А. Страусс пишет по этому поводу: «Поскольку мы ищем события и случаи, указывающие на феномены, а не подсчитываем индивидов как таковых, то каждое наблюдение, интервью или документ можно отнести к многочисленным примерам этих событий» [Страусс, Корбин, 2001: 158].
Аналогично другие авторы отмечают, что «в качественных исследованиях репрезентируемая "вселенная" не всегда является населением. Речь идет о репрезентативности случаев, релевантных создаваемой теории» [Nakkeeran, 2016: 44]. «В качественных исследованиях единицы выборки очень разнообразны, гибки и редко ограничиваются людьми» [Gentles, Calling, 2017: 4].
Создание выборки релевантных случаев «представляет собой непрерывный процесс, происходящий в течение всего периода сбора данных в связи с меняющимися критериями релевантности. Не существует априорной стратегии выборки, так как она развивается по ходу исследования» [Nakkeeran, 2016: 46].
Обращает на себя внимание, что Н. Наккеран использует понятие «вселенная (Universe) релевантных случаев» вместо принятого в количественной методологии статистического термина «генеральная совокупность». В России близким по смыслу термином можно, наверное, считать выражение «мир мнений».
Респондент как учетная единица. Может ли «мир мнений» рассматриваться как генеральная совокупность, к которой применима количественная теория выборки? Теоретически, наверное, да. Однако на практике мнение не является объектом, непосредственно доступным для наблюдения и учета.
При работе со стенограммами интервью или фокус-групп исследователь отбирает и типологизирует релевантные высказывания. Однако источником высказываний является человек. Поэтому в качественных опросах для того,
чтобы получить выборку (тезаурус) мнений, необходимо сначала создать
выборку респондентов. §
Таким образом, хотя большинство исследователей, придерживающихся о
качественной методологии, считают, что единицей выборки является не че- с
ловек, а релевантное высказывание, они правы лишь отчасти. Если говорить *
о единицах анализа, то они правы. Но если говорить о процедуре отбора Ее
источников высказываний, то учетной единицей становится респондент. |
Следовательно, методические вопросы формирования выборки людей для £
таких опросов остаются в повестке дня. ^
Вывод. Общепринятые понятия репрезентативности в количественных §
и качественных методологиях имеют разный смысл, являются омонимами. |
Однако мы считаем, что применительно к некоторым видам качественных £ исследований данное понятие может быть использовано в «количественном»
смысле этого слова. Конкретно речь идет об исследованиях массовых пред- |
ставлений общественного мнения, осуществляемых методами качественных |
опросов, в которых учетной единицей является респондент. I
а с
Создание типологий как цель качественного исследования ^
э
Систематизация социальных явлений. Цель изучения массовых соци- о альных явлений обычно состоит в выявлении и классификации релевантных высказываний по определенному кругу вопросов. В социологии этот § путь называют конструированием типологий или систематизацией явлений по принципу их родства. ч
Социальная популяция редко бывает гомогенной. Обычно
она гетерогенна, 5
и эта гетерогенность является предметом исследования. Один из инструмен- а тов изучения таких объектов — типологизация. ^
Типология является идеальной конструкцией, создаваемой для упорядо- § чения гетерогенной реальности. Метод создания таких конструкций восходит « к учению М. Вебера об идеальных типах. По Веберу, идеальный тип «фор- -с мируется односторонним акцентированием одной или более точек зрения § и синтезом очень многих расплывчатых, более или менее разрозненных, 10 имеющихся налицо или по временам отсутствующих конкретных индивидуальных явлений, которые организуются в соответствии с этими односторонне подчеркиваемыми точками зрения в единую логическую конструкцию» [Вебер, 1990: 469].
По аналогии с гносеологическим учением И. Канта природа идеальных типов и типологий является синтетической (логико-эмпирической). В основе типологий лежат эмпирические наблюдения, которые логически упорядочиваются исследователем. Получившаяся конструкция вновь соотносится с наблюдаемыми явлениями [Гайденко, 1990: 23].
В социологии основным инструментом создания типологий являются качественные исследования. Неслучайно их называют «открытыми». Открытость
1МТЕР, 1'2023 -
состоит в том, что в них отсутствует заранее заданный набор переменных. Последние выявляются в процессе самого исследования.
Целью многих количественных исследований тоже является типологизация изучаемой гетерогенной реальности, однако ее возможности ограничены изначально заложенным в инструментарий набором переменных. Поэтому вклад количественных исследований в упорядочивание реальности обычно сводится к установлению количественных пропорций между типологическими случаями.
Многоступенчатый процесс конструирования типологий в качественных исследованиях первоначально состоит в определении списка (тезауруса) релевантных высказываний, которые затем подвергаются агрегированию и логической обработке.
Релевантность типологических случаев. С формальной точки зрения для получения эмпирической основы при создании типологий достаточно выявить один-единственный случай, формирующий определенную позицию в идеально-типической системе координат. Однако на практике не каждый выявленный случай включается в типологическую картину.
Причин существует две. Первая состоит в появлении какого-то числа заведомо нерелевантных и порой довольно странных высказываний. К примеру, в маркетинговой фокус-группе может прозвучать сообщение, что некий респондент общался с инопланетянами. Исследователи знают, что нечто подобное порой можно услышать. Однако такие высказывания в буквальном смысле единичны, то есть они не повторяются ни в одной другой группе (хотя могут встречаться неадекватные высказывания с другим смысловым содержанием).
Вторая причина состоит в том, что любое исследование ограничено разумной степенью точности. Так, при изучении брендов исследователя обычно интересует либо ограниченное число доминирующих брендов, либо некое число брендов, занимающих специфичную маркетинговую нишу. Прочие бренды рассматриваются как нерелевантные, не подлежащие включению в выборку.
Таким образом, для создания типологии достаточно единичного случая при условии отсечения заведомо неадекватных и нерелевантных, которые исключаются из рассмотрения. С учетом этой оговорки для доказательства существования значимого типологического случая требуется некоторое, пусть небольшое количество однотипных высказываний. Так, появление одного-двух близких по смыслу высказываний в нескольких, порой территориально разобщенных фокус-группах является основанием для серьезного отношения к этому сегменту.
Сказанное не означает, что опросное качественное исследование может ограничиться опросом одного респондента. Объем выборки должен быть таков, чтобы в ней не был упущен ни один важный типологический случай. С заданной вероятностью в ней должны быть представлены все значимые сегменты.
Об ошибочном понимании репрезентативности качественных исследований. Приведем пример ошибочной трактовки репрезентативности § качественного исследования с позиций количественной методологии. Весной о 2020 года «Группа Белановского» провела ряд исследований идеологического
а с
спектра российского общества. Опрос проводился методом глубокого интер- °
з
I I
со
вью. Рекрутинг осуществлялся через интернет методом снежного кома, всего было опрошено более 200 респондентов, представлявших разные взгляды. Были выявлены три сегмента: «либералы/демократы», идейно противостоящие им «имперцы» и «неопределившиеся», мировоззрение которых является & смешением обеих крайностей1. В группе «демократов» были выявлены два о субсегмента: «рыночники» и «социалисты». „о Эти исследования были подвергнуты критике с позиций количественной § методологии. В частности, директор «Левада-Центра»2 Д. Волков охарактеризовал § наше исследование как нерепрезентативное и некорректное. «Не нужно быть ® специалистом, чтобы понимать, что опросы "добровольцев'; подобранных в ин- § тернете, телефонные опросы знакомых и 2-3 разрозненные фокус-группы не мо- £ гут дать сколько-нибудь верного представления о настроениях в обществе»3. ^ Правда, в другом месте автор критики отмечает: «они (Группа Белановского) ^ описали возможные типы, но насколько они распространены, непонятно»4. § Необходимо отметить, что на следующем этапе исследования мы провели ^ количественный опрос, в котором были определены доли названных сегментов5. § Но здесь важнее подчеркнуть, что создание типологии представляет собой ^ самостоятельный этап исследования, основанный на иных критериях репре-
1 Конец «Путинского большинства»: о чем на самом деле говорится в докладе группы Белановского // Forbes. 2020 г. URL: https://www.forbes.ru/obshchestvo/403121-konec-putinskogo-bolshinstva-o-chem-na-samom-dele-govoritsya-v-doklade-gruppy (дата обращения: 12.12.2022).
2 АНО «Аналитический центр Юрия Левады» включен в реестр НКО, выполняющих функции иностранного агента по решению Минюста.
3 Ждут ли Россию великие потрясения // Левада-Центр. 2020 г. URL: https://www.levada. ru/2020/06/1 -0/zhdut-li-rossiyu-velikie-potryaseniya/ (дата обращения: 12.12.2022). АНО «Аналитический центр Юрия Левады» включен в реестр НКО, выполняющих функции иностранного агента по решению Минюста.
4 Эксперты предупредили о возможности новых массовых протестов в России // Ведомости. 2020 г. URL: https://www.vedomosti.ru/society/articles/2020/06/04/831966-novih-protestov (дата обращения: 12.12.2022).
5 Доли определялись по экспериментальной методике. Авторы предлагали профессиональному сообществу обсудить ее, но обсуждения не последовало.
го X
с
зентативности. Критика Д. Волкова была бы справедливой, если бы он указал, 3 что в результате искажения выборки в ней могли отсутствовать некоторые ^ важные сегменты, а те, что включены, маргинальны и не подлежат включению в типологию. Однако как раз в этом пункте критик признает результаты '5 исследования валидными. ^ Вывод. Для создания типологий достаточно сравнительно небольшого ^ числа релевантных случаев, доказывающих их существование в популяции. § Объем выборки должен обеспечить представленность этих случаев хотя бы ® в единичных экземплярах. Полученная типология сама по себе не позволяет
о г
оценить численное соотношение сегментов, но может быть положена в осно- § ву количественного исследования, направленного на решение этой задачи. ю
Социальная популяция и ее сегменты в контексте репрезентативности
Генеральная совокупность и популяция. В нашем понимании это синонимичные термины, однако применительно к качественным исследованиям обычно используется второй, поскольку в таких исследованиях часто изучаются сравнительно узкие целевые группы.
Социальной популяцией называется совокупность индивидов, обладающих единым признаком или совокупностью признаков.
С формальной точки зрения социальной популяцией может быть названа любая совокупность людей, объединенных по определенному признаку. Важно, что признаки должны поддаваться операционализации. Несоблюдение этого принципа ведет к появлению неопределенных множеств типа «гениальные люди». Однако в зависимости от целей исследования такие множества могут быть операционализированы путем введения соответствующего критерия, например, «авторы рейтинговых работ» или «нобелевские лауреаты». Иными словами, для корректного отбора индивидов или кейсов необходимо максимально четко обозначить границы изучаемой группы до тех пор, пока не станет ясно, сколько именно элементов в ней содержится и что это за элементы.
В зависимости от объема признака границы популяции могут быть широкими или узкими.
Как и социальные группы вообще, популяции делятся на номинальные (формально выделенные по какому-то признаку) и реальные (общности людей, в которых имеются связи и отношения). В прикладных исследованиях чаще изучаются номинальные группы, в том числе демографические, а также такие как розничные покупатели, электорат, получатели пособий и др.
Релевантность границ популяции и признаков вытекает из целей исследования. Формального алгоритма здесь нет, решение принимает исследователь исходя из стоящих перед ним задач.
Выборка респондентов из популяций, соответствующих типу массового явления, осуществляется случайным отбором так называемых типичных представителей. «Типичного представителя зачисляют в выборку потому, что он "такой же, как другие", то есть не имеет ярко выраженных отличий от представителей своей социальной группы» [Görden, 1987: 138].
В качественных исследованиях используются также выборки, основанные на специфичных и не всегда операциональных критериях типа «наиболее осведомленный информант» [Malterud, 2016: 42]. Такие выборки не являются случайными и не могут оцениваться по формальным критериям.
Сегменты популяции и их иерархия. В большинстве исследований предметом изучения выступают характеристики не только популяции, но и ее сегментов.
Популяция делится на сегменты по правилам логического деления понятий. Эти правила одинаковы для количественных и качественных исследований, но в данном случае мы ограничимся рассмотрением качественных.
Существуют задачи, в которых требуется определить некий параметр только для генеральной совокупности. К примеру, в электоральных исследованиях § это определение рейтингов кандидатов. При этом пол, возраст, этническая о принадлежность и другие признаки не учитываются, так как все избиратели
а с
равны перед законом. °
Однако для выборных штабов анализ сегментов важен для определения |
I
со
наиболее перспективных целевых групп и разработки соответствующих «посланий» (месседжей). К примеру, кандидат может апеллировать к гендерным,
возрастным, расселенческим, профессиональным и другим группам, учитывая §
их специфичные интересы. о
Сегменты могут образовывать определенную иерархию, поскольку *
каждый из них может быть разделен на сегменты следующего уровня. Так, £
все взрослое население может быть разделено на мужчин и женщин, далее §
на возрастные группы, затем по уровню образования и т. д. Теоретически §
число ступеней деления может быть бесконечным, но на практике обычно |
используются одна-две ступени. £
Первичные и вторичные сегменты. В качественных исследованиях 5
сегменты могут быть разделены на первичные и вторичные, основанные 2
на независимых и зависимых переменных соответственно. Первые заклады- с
ваются в основу рекрутингового отбора. Вторые распределяются случайным ^ образом (простая случайная выборка).
со
В качестве первичных признаков часто выступают объективно измеряемые о характеристики, такие как пол, возраст, регион и др. Но могут применяться ц и субъективные критерии, например приверженность к какому-то бренду. д В последнем случае при формировании выборки используется метод фильтрации, а также рекрутинг в местах скопления целевых респондентов (например, у входа в соответствующий магазин), метод снежного кома и др.
о
Ьс ^
>3
Совмещение объективных и субъективных рекрутинговых признаков а
случается редко, поскольку это ведет к сильному удорожанию и утяжеле- и
>з э
нию исследования, зачастую без значимого приращения результатов. «При формировании фокус-групп социально-демографические характеристики Ь
со
респондентов либо играют главную роль, либо не играют никакой роли, если о в основу кладутся маркетинговые критерии» [Goldman et al., 1988: 195]. о
Если первичные признаки составляют основу рекрутинга, то вторичные ^ обычно являются предметом исследования. Они образуют сегменты нижестоящего уровня, о которых исследователь хочет получить информацию. Состав сегментов и их доли в популяции иногда бывают известны заранее, но далеко не всегда. В последнем случае цель исследования заключается в выявлении как самих сегментов, так и характерных для них признаков, мотиваций и систем аргументации.
К примеру, в нашем исследовании электората В. Жириновского в 2012 году были выявлены три отчетливо различимых сегмента, которые в фокус-группах были представлены примерно равными долями:
• радикально настроенный русский националистический сегмент с характерными для него антимигрантскими настроениями («полиция не защищает русских»);
• сегмент, которому нравятся хулиганские выходки Жириновского и устраиваемые им шоу («мне просто нравится этот раздолбай»);
• сегмент, которому нравится выход Жириновского за пределы полит-корректности и обсуждение им запретных тем («Жириновский говорит умные вещи»).
Внутри каждого подобного сегмента есть мотивы и аргументы, которые могут образовывать следующую ступень деления, однако исследователи обычно не заходят столь глубоко, ограничиваясь высказываниями, прозвучавших в сегментах предыдущего уровня.
Основания сегментирования. С формальной точки зрения логические основания, которые исследователь может положить в основу сегментирования, могут быть любыми. Однако практика исследований обычно ограничивается следующей типичной схемой, состоящей из трех уровней. Назовем их условно: уровень брендов, уровень мотиваций и лексический уровень.
На первом уровне популяция делится на сторонников и противников определенных идейных позиций (например, дозволенности или запрета определенных действий) либо на приверженцев определенных брендов (маркетинговых или электоральных). В зависимости от целей исследователь может выбрать в качестве первого уровня деления и другие основания.
На второй ступени среди сторонников определенного мнения или бренда выявляются сегменты, различающиеся по мотивациям и аргументам сделанного выбора, как в случае со сторонниками Жириновского. Сегменты могут разделяться на субсегменты подобно тому, как в нашем исследовании «демократы» разделились на «рыночников» и «социалистов».
На третьей ступени выявляются лексические различия в выражении сходных по смыслу мнений. Как известно, форма и лексический состав выражения мыслей обладают значительной вариабельностью. Выявление этих вариантов позволяет уточнить как сами мысли, так и формы их выражения. В практике составления отчетов принято приводить несколько примеров выражения сходных мыслей для обозначения диапазона возможных формулировок и смысловых оттенков.
Дискретность мнений. В массовом сознании мнения по тому или иному вопросу не бывают бесконечно разнообразными и не образуют непрерывного спектра. Число преобладающих мнений обычно невелико. Оно колеблется в диапазоне от двух до четырех. Порой встречается и почти полный консенсус. За рамками этих доминирующих мнений остаются редкие, маргинальные и «оригинальные», часто уникальные, то есть не повторяющиеся у других респондентов. За исключением особых случаев такие высказывания исключаются из рассмотрения.
Несколько иная ситуация возникает с брендами, количество которых в том или ином сегменте рынка может достигать одного-двух десятков. Специфика брендов состоит в том, что они не являются непосредственным продуктом работы общественного сознания, а создаются рыночным предложением, более разнообразным, чем спонтанно возникающие мнения. Однако и в этом случае число исследуемых мнений ограничивается относительно небольшим
числом либо преобладающих, либо занимающих специфичную рыночную
нишу брендов. §
Промежуточные мнения, как правило, бывают колеблющимися и эклектич- о
ными, построенными в логике «с одной стороны ... с другой стороны». Такие с
мнения могут рассматриваться как особый сегмент, именуемый политологами °
«болотом». В электоральных исследованиях изучение «болота» бывает важным, |
поскольку именно оно часто решает исход голосования. S
Сегмент versus популяция. Сегменты популяции могут рассматриваться g
либо как части широкой генеральной совокупности, либо как самостоятель- &
ные (более узкие) генеральные совокупности. Последние, в свою очередь, о
делятся на сегменты следующего уровня. -о
При необходимости углубления информации исследователь может при- I
нять решение считать популяцией не всю генеральную совокупность, а лишь §
сторонников определенного бренда или мнения. Сегментами первого уровня g
в этом случае будут их мотивы и аргументы, а рекрутинг будет осуществляться о
методом подбора целевых респондентов. |
Теоретически исследователь может спуститься еще на один уровень $
и принять решение считать популяцией только тех сторонников бренда, а которые выдвигают определенный мотив своего выбора (например, сторон-
тогда станет детализация мотива и, возможно, его дальнейшая сегментация. §
Но на практике столь глубокое разделение сегментов обычно непродуктивно а
i с
ников Жириновского — радикальных националистов). Предметом изучения
и используется редко.
При наличии нескольких целевых сегментов перед исследователем воз- § никает дилемма: рекрутировать в качестве респондентов представителей широкой популяции или только сторонников отдельных целевых сегментов, ^ формируя раздельные (сегрегированные) группы. &
Рассмотрим условный пример. Предположим, исследователя интересу- ^ ют сторонники некоторых основных брендов (обычно от двух до четырех), »з преобладающих на рынке или в электорате. Он может собрать определенное ^ число либо «населенческих», либо целевых групп. §
Оба варианта имеют свои преимущества и недостатки. «Населенческие» § группы проще собрать, и они дешевле. В них меньше искажений рекрутинга. § Поскольку мы говорим об изучении значимых по численности сегментов, их представительство при достаточном объеме выборки будет надежно обеспечено. В результате исследователь получит достаточное число релевантных высказываний по каждому сегменту, выделяя их из общего массива.
Рекрутинг целевых групп часто бывает затруднен и дорог. Это порой вынуждает исследователя идти по населенческому пути. Однако у целевых групп есть важные преимущества. При целенаправленном рекрутинге точка зрения сторонников исследуемого бренда усиливается эффектом фасилитации и видна более выпукло. При населенческом рекрутинге эти аспекты смазываются.
Целевые группы позволяют также увидеть некоторые специфичные моменты. Например, критерий наличия или отсутствия в данной группе ярых поклонников определенной точки зрения или бренда («фанатов»). Примерами
могут служить ядро сторонников Ю. Лужкова в 1990-е и В. Путина в начале 2000-х годов. Исчезновение «фанатов» при стабильных рейтингах (или даже при их росте!) — важный симптом для аналитика, хорошо заметный в целевых группах, но неразличимый в населенческих.
Широкий населенческий рекрутинг дает полный обзор значимых сегментов популяции, но не позволяет получить глубокие знания о каждом из них, ограничиваясь изучением первого и отчасти второго уровня сегментации. Узкий целевой рекрутинг дает возможность начать сразу со второго уровня с переходом на третий. Преимуществом первого является широта полученной информации, преимуществом второго — ее глубина.
Выше рассматривался случай, когда цель исследования заключалась в изучении сегментов, составляющих значительную часть популяции (условно более 20%). Малозначимые сегменты в таком случае отсекаются (не считаются значимыми). Но бывают противоположные случаи, когда именно такие сегменты являются целевыми. Тогда исследователь делает их популяциями, а мотивы и аргументы — сегментами нижестоящего уровня.
Вывод. Социальные популяции по структуре часто напоминают «матрешку», поскольку делятся на сегменты и субсегменты, образуя несколько ступеней деления. Важный вопрос для исследователя состоит в том, какой уровень деления считать популяцией (генеральной совокупностью), а какой — первой ступенью деления сегментов. Широкие популяции позволяют охватить весь спектр мнений или брендов, узкие — глубже изучить мотивы и лексические особенности выражения мнений.
Эмпирическая оценка репрезентативности качественных опросов
Концепция теоретического насыщения. В практике исследований оценка достаточности массива собранной информации основывается на концепции теоретического насыщения.
А. Страусс описывает работу этой концепции так: аналитик читает собранный им массив текстов (стенограмм интервью, дневников наблюдений и т. п.), отмечая случаи, релевантные изучаемой проблеме. В какой-то момент наступает насыщение: искомые случаи начинают повторяться, а новые встречаются все реже и в конце концов практически перестают появляться [Strauss, 1990: 63]. «Как долго вы должны продолжать делать выборку (релевантных случаев — С.Б.)? Общее правило заключается в том, чтобы делать выборку до тех пор, пока не будет достигнуто теоретическое насыщение по каждой категории» [Страусс, Корбин, 2001: 155]. Граница насыщения устанавливается субъективно.
Процесс насыщения можно описать в статистических терминах, поскольку по мере увеличения объема первичных текстов вероятность появления новых случаев убывает и в конце концов становится минимальной, хотя по закону асимптотического приближения не становится равной нулю.
В формализованном виде эта граница могла бы быть выражена неким числом,
отражающим предельно низкую вероятность появления новых случаев при §
дальнейшем увеличении массива. Однако на практике такой метод оценки о
репрезентативности не используется, так как построить соответствующий с
график можно только постфактум1. *
Об отсутствии количественного критерия насыщения в качественных Ее
исследованиях пишут многие авторы. «В литературе по качественным ис- £
I
о
1 Концепция теоретического насыщения близка к концепции убывающей предельной полезности в экономике, согласно которой каждая следующая единица продукта обладает меньшей полезностью, чем предыдущая. В обобщенном виде эта концепция не оцифровывается и дается в учебниках в виде иллюстративного графика. Для отдельных рынков соответствующая кривая может быть построена, но только постфактум, на основе полученных ранее эмпирических данных.
следованиям термин "насыщение" не является дискретным и формально различимым этапом сбора данных. Как и почему считается, что оно достиг- 2 нуто, определяется рефлексией исследователя» [МакегиЬ е! а1., 2016: 1757]. § Эмпирическое определение порога насыщения. Репрезентативность | выборки может быть верифицирована не только математически, но и эмпи- ^ рически — исходя из принципа насыщения. Это справедливо как для качественных, так и для количественных опросов. | Для нас показателен иллюстративный пример, взятый из книги Э. Ноэль о «Массовые опросы»: «Обсуждая с посетителями проблемы достоверности ц данных массового опроса, им объясняют, что по одной-двум тысячам интер- ^ вью можно судить о мнениях или желаниях взрослого населения Западной ^ Германии, превышающего 40 миллионов. Им показывают на диаграмме, как с^ выглядят результаты опроса по данным, полученным от первой сотни, затем ^ от двухсот, трехсот поступающих с территории ФРГ интервью. Посетители § могут видеть, как довольно быстро — после восьмисот или тысячи анкет — ^о результаты стабилизируются и последующие тысяча, две и более анкет уже о не приносят существенных изменений» [Ноэль, 1978: 86]. * В этом примере просматривается аналогия с качественными опросами. ^ Практика показывает, что в качественном исследовании в однородной популяции (примером могут служить покупатели определенного продукта) а по мере увеличения числа опрошенных постепенно достигается насыщение, о которое выражается в том, что высказанные мнения начинают повторяться, а количественные пропорции стабилизируются. ^ Индивидуальные интервью. Если совокупность обследуемых индивидов § рассматривается как однородная популяция, целесообразная численность § респондентов составляет 20-30 человек. Эта цифра определена из практи- й ческого опыта многих исследователей, включая и автора данной статьи.
В качестве примера сошлемся на французского социолога Алена де Вуль-пьона, специализирующегося на изучении трендов общественного сознания с помощью индивидуального глубокого интервью. В начале 1990-х годов на семинаре в ЦЭМИ РАН он сообщил, что первоначально опрашивал по 50 человек, но затем убедился, что вполне достаточно 20 (устное сообщение).
Некоторые авторы называют еще меньшие числа. «Целевая выборка из ше-сти-десяти участников с разным опытом может предоставить достаточную информацию для описания различных практик самообслуживания больных диабетом». Правда, для обоснования столь малой выборки автор вводит понятие информационной мощности, что делает ее неслучайной [Макеги^ 2016: 1757].
Фокус-группы. В нашем понимании метод фокус-групп предназначен не для достижения группового консенсуса по К. Левину, а для составления тезауруса индивидуальных мнений, глубина раскрытия и лексическое разнообразие которых усиливается эффектом фасилитации [Белановский, 2022: 224; Белановский, Никольская, 2021: 99; Белановский, Никольская, 2022: 373]. Поэтому объем фокус-групповой выборки будет учитываться в модели по числу участвующих респондентов. Типичное число респондентов в одной группе — десять человек.
Считается общепризнанным, что наиболее целесообразное количество фокус-групп в одном исследовании находится в диапазоне от 3 до 12 [вгеепЬаит, 1988: 93]. С точки зрения объема выборки можно провести и большее число групп, формальная репрезентативность от этого только возрастет. Однако при анализе чрезмерно больших текстовых массивов исследователь испытывает субъективные затруднения: его внимание ослабляется, и он может впасть в состояние «истощения и оцепенения» [вгеепЬаит, 1988: 94]. Значительная часть массива в этом случае не включается в анализ и становится «лишней».
Практика показывает, что проведение 6-12 фокус-групп вполне достаточно, чтобы даже редкие мнения прозвучали хотя бы один-два раза (обычно бывает чаще). По нашему мнению, при увеличении масштаба исследования в пределах однородной популяции состав основных мнений уже не меняется.
Такой же точки зрения придерживается российский социолог М. Воль-кенштейн, занимающаяся фокус-группами с 1990-х годов. Она считает, после проведения шести фокус-групп в однородной популяции новые мнения практически перестают появляться (устное сообщение).
Вывод. В качественных исследованиях эмпирические оценки достаточности выборки основаны на концепции теоретического насыщения. Эти оценки являются интуитивными и потому неконкретными. Перейдем к вопросу о возможности их математической формализации.
Математическая модель оценки репрезентативности качественных опросов
Основные допущения. Математические модели работают с идеальными объектами и потому основаны на определенных допущениях. В нашем случае допущения таковы:
1. Рассматриваются не качественные исследования вообще, а только качественные опросы.
2. Предмет исследования — массовые представления (мнения), но не социальные структуры.
6. Один человек является носителем только одного мнения. Высказанные
3. Единицей отбора в выборке является респондент (носитель мнения).
4. Внутри популяции респонденты рекрутируются простым случайным § отбором. о
5. Условие идеальной популяции: каждый респондент имеет мнение, ре- с
левантное исследуемому вопросу. °
з
мнения однозначны по смыслу.
7. Промежуточные эклектичные мнения либо исключаются из рассмо- £
трения, либо рассматриваются как особый сегмент. Во многих исследо- &
ваниях изучение так называемого болота (неустойчивых эклектичных о
мнений) — важная релевантная задача. -о
Постановка задачи. С точки зрения социолога, ориентированного о
на количественные методы, объем выборки от 20 до 100 человек кажется §
некорректным, поскольку доверительный интервал и доверительная веро- з
ятность в привычном понимании явно ниже приемлемых значений. Однако о
качественные исследования не предназначены для ответа на вопрос «сколь- |
ко?», поэтому математическая постановка задачи для должна быть иной. $
Соответствие характеристик выборки и генеральной совокупности мо- а жет оцениваться по разным критериям. В количественных социологических
опросах им является совпадение долей определенного набора признаков ^
с заданной точностью и уровнем доверия. §
Но существуют классы задач, для которых релевантным критерием будет а
наличие или отсутствие в выборке хотя бы одного объекта с определенным =с
признаком. Такие задачи соответствуют качественным исследованиям. ^
Рассмотрим подобные задачи. ^
Задача 1. Это классическая задача количественного исследования, кото- ^
рая приведена здесь для сравнения с последующими. Требуется определить &
величину случайной выборки, при которой с заданной точностью и заданным ^
уровнем доверия численное соотношение мнений будет соответствовать их >з
распределению в генеральной совокупности. Под заданной точностью пони- ^
мается максимально возможное расхождение долей сегментов в выборочной §
и генеральной совокупностях. о
Смысл задачи. Для некоторых практических целей бывает необходимо 5 с заданной точностью определить долю объектов, обладающих определенным признаком в генеральной совокупности, не прибегая к сплошному пересчету. Задача актуальна не только для определения социологических рейтингов. К примеру, может быть поставлена задача, насколько частота встречаемости определенного слова в массиве текстов может быть экстраполирована на всю совокупность слов в языке. Эта задача близка к реальности при составлении частотных словарей.
Задача 2. Определить величину случайной выборки, при которой с заданной точностью и заданным уровнем доверия существующие в популяции мнения будут представлены в выборке хотя бы одним высказыванием. Под заданной точностью понимается доля сегментов в генеральной совокупности п%, ниже которой названное условие может не соблюдаться, то есть реже
встречающееся мнение может не попасть в выборку. Эту задачу мы будем называть доказательством существования.
Смысл задачи. Для некоторых практических целей требуется с заданной вероятностью определить, встречается определенный признак в генеральной совокупности или нет (либо его доля пренебрежительно мала). Появление этого признака можно назвать эмпирическим доказательством существования. При этом задача количественного определения частоты встречаемости не ставится.
Попадание в выборку определенного мнения рассматривается как доказанный факт его существования. В выборку с какой-то вероятностью могут попасть и редкие, маргинальные мнения, однако их доли в генеральной совокупности меньше установленных условиями задачи п%. Их существование тоже является доказанным фактом, однако попадания в выборку может не произойти. Но если их доля равна или больше п%, их попадание в выборку с заданной вероятностью гарантировано. Задача актуальна не только для социологических исследований. Например, она может быть поставлена при выявлении существования определенных организмов в биологических пробах.
На практике вторая задача часто предшествует первой. Так, существование австралийского животного утконоса было доказано по одной-единственной шкуре, завезенной в Европу. При этом численность популяции, ареал обитания и прочие характеристики были установлены намного позднее. Но без доказательства существования эти задачи не могли быть решены.
Возвращаемся к социологии. Как уже говорилось, цель качественного опроса — выявить существующие релевантные мнения, в том числе непредвиденные [Мертон и др., 2019: 38]. Цель — создание тезауруса мнений и типологий на их основе. Точные количественные доли на этапе качественного исследования не важны и при необходимости могут быть определены после.
Таким образом, если в количественных исследованиях требуется определить объем выборки, обеспечивающей заданную точность значения рейтингов, то в качественных нужно определить минимальный объем выборки, обеспечивающий (с заданной точностью) попадание в нее мнений, релевантных целям исследования.
Задача3. Определить величину случайной выборки, при которой с заданной точностью и заданным уровнем доверия каждое существующее в популяции мнение будет представлено в выборке не меньше, чем тремя высказываниями. Прочие условия — как в задаче 2. Критерий трех высказываний взят условно, на его месте может быть поставлено любое число, однако для практики социологических исследований это условие наиболее актуально.
Смысл задачи. Мнения, высказываемые респондентами в социологических опросах, разделяются на массовые и немассовые (редкие, маргинальные или неадекватные), доля которых в популяции меньше установленной п%. При решении задачи 2 нет возможности строго определить, является ли высказанное мнение массовым или маргинальным. Если же некое мнение прозвучало неоднократно (условно — три и более раза), оно может быть признано массовым. Разделение высказываний на массовые и маргинальные может быть
описано в специальной математической модели, однако мы ограничимся
принятием «правила трех случаев». §
Решение задач. Задача 1 и ее решение описано во всех учебниках по ко- о
личественной социологии, поэтому здесь рассматриваться не будет. Остано- с
вимся на задачах 2 и 3. *
Оценим величину выборки, при которой респондент, представляющий Ее
определенное мнение, будет фигурировать в ней хотя бы раз, при уровнях |
доверия 99%, 95% и 90%. Эта величина будет зависеть от: £
• требуемого условиями задачи минимального числа респондентов ^ с определенным мнением (в наших примерах это 1 и 3); §
• числа и доли сегментов с определенными мнениями в генеральной | совокупности. £
Теоретически распределение долей сегментов может быть любым, но мы
ограничимся рассмотрением некоторых типовых случаев, встречающихся |
на практике. |
1. Доля сегмента 100%, что соответствует полному консенсусу. Эту ситуацию I
можно сравнить с выборами советской эпохи, когда доля проголосовавших 2 за блок коммунистов и беспартийных по официальным данным составляла 99,9%. В современных условиях подобная ситуация возникает в случае целенаправленного отбора сторонников определенного мнения или бренда. Это
а с
о. э
не означает, что среди них не окажется представителей нижестоящих уровней о сегментации с разными мотивациями и лексическими формами выражения ^о мыслей. Однако при идеальном рекрутинге доля сегмента первого уровня д составит 100%, а вероятность попадания в выборку целевых респондентов г5 по определению будет равна 1. ч
2. Доля сегмента 90%. Оставшиеся 10% считаются маргинальными, они
не являются предметом изучения и их попадание в выборку не обязательно. ^ Важно, чтобы рекрутингом был охвачен хотя бы один или три представителя ^ преобладающего (целевого) большинства. §
3. Два равных по численности сегмента (50: 50%). Оба сегмента значимы « по численности, поэтому задача ставится так: необходимо попадание в вы- г борку хотя бы одного или трех представителей каждого сегмента. §
4. Три равных по численности сегмента (33: 33: 33%) с тем же условием. 10
5. Четыре равных по численности сегмента (25: 25: 25: 25%) с тем же условием.
6. Соотношение сегментов 90: 10, но требуется, чтобы в выборку попал хотя бы один или три представителя малого сегмента. Данная задача распадается на две. В первом случае вероятность попадания в выборку большого сегмента принимается за 100%. Во втором случае требуется соблюдение условия для каждого сегмента. Расчеты показывают, что при округлении до целых величин искомые числа не меняются. Это справедливо для обоих случаев (с одним или с тремя респондентами).
7. Соотношение сегментов 95: 5. Требуется, чтобы в выборку попал хотя бы один или три представителя малого сегмента.
1МТЕР, 1'2023 -
Результаты расчетов даны в таблице 1, сами расчеты приведены в Приложении к статье1.
Таблица 1
Объемы качественной выборки при различных долях сегментов
Уровень доверия Доли сегментов,%
№ столбцов 1 2 3 4 5 6 7
Доли сегментов 100 90 50:50 33:33:33 25:25:25:25 10 5
А. В выборку попадает хотя бы один респондент
99% 1 2 8 15 21 44 90
95% 1 2 6 11 16 29 59
90% 1 1 5 9 13 22 45
Б. В выборку попадают не менее трех респондентов
99% 3 5 15 26 38* 81 165
95% 3 5 12 21 34* 61 124
90% 3 4 11 18 30* 52 105
* Данные получены путем экстраполяции значений по соотношениям в других сегментах.
Анализ результатов
Создание обобщенной формулы. В таблицах представлены дискретные данные по отдельным случаям соотношения сегментов и числа респондентов, попадающих в выборку. В перспективе представляется возможным создать обобщенную формулу для определения величины качественной выборки для любых соотношений названных величин. На основе такой формулы может быть создан калькулятор, подобный тому, который используется для расчета выборки в количественных исследованиях.
Объем выборки предсказуемо возрастает при переходе от значимых сегментов к меньшим (маргинальным), а также при переходе от случая «один респондент» к случаю «три респондента».
В целом получившиеся объемы выборок относительно невелики и во многих случаях меньше, чем используемые на практике. Важно оговорить, что речь идет о выборках, составленных из целевых респондентов. Степень «разбавления» выборки нецелевыми и маргинальными респондентами зависит от многих факторов, которые невозможно учесть в модели. При правильном рекрутинге их число бывает невелико и ими можно пренебречь. Если же число таких респондентов становится значимым, необходимо уточнять алгоритм рекрутинга.
Случай «одногореспондента». Появление в выборке единичного респондента с определенным мнением ставит перед исследователем ряд проблем.
1 Расчеты произведены социологом-математиком, который просил не указывать его имя.
Прежде всего, исследователь должен оценить релевантность мнения и его
адекватность предмету обсуждения. Эту оценку исследователь делает субъ- §
ективно. Неадекватные мнения отсеиваются. о
Единичное мнение не позволяет сделать вывод, является ли оно типичным с
для некоторого небольшого, но значимого сегмента, обоснованно попавше- °
го в выборку, или оказалось в выборке случайно, то есть оно столь редкое |
и маргинальное, что в дальнейшей работе его не следует учитывать. £
Наконец, единичное высказывание доказывает существование определен- £
ного мнения лишь на верхнем уровне деления сегментов, то есть на уровне &
брендов. Но оно не позволяет углубить исследование — перейти к оценке о
разнообразия мнений на уровне мотиваций и лексическом уровне. В единич- -о
ном высказывании может прозвучать только один мотив и одна форма выра- I
жения мысли, чего недостаточно для полноценного построения типологии. §
Тем не менее появление единичного, но релевантного высказывания ^
сигнализирует исследователю о возможном существовании малого важного о
сегмента. В этом случае он может принять решение целенаправленно его |
изучить. $
Для наиболее распространенного случая трех примерно равных по числен- а ности сегментов при уровне доверия 99% достаточно опросить 15 целевых
респондентов, чтобы получить хотя бы по одному высказыванию в каждом. ^
При уровне доверия 90% это число снижается до 8. §
Случай «трехреспондентов». Появление в выборке трех респондентов а
с близкими мнениями свидетельствует о существовании реального сегмента, =с
хотя строгий математический критерий для такого вывода нами не разрабо- ^ тан. Три респондента позволяют с определенной степенью достоверности
определить наличие различных субсегментов, мотиваций и лексических форм. ^
Для случая трех сегментов при уровне доверия 99% необходимо опро- &
сить 26 целевых респондентов, чтобы получить не менее трех высказываний ^
по каждому сегменту. При уровне доверия 90% число респондентов снижа- »з
ется до 18. ^
Малые сегменты. В нашем случае малыми сегментами мы будем считать §
10% и 5% от численности популяции. Изучать их можно либо в рамках боль- §
шой выборки, включающей в себя все значимые сегменты (как правило, это § населенческая выборка), либо созданием целевых групп.
Применительно к населенческим группам при уровне доверия 99% для случая «одного представителя» 10% сегмента требуется опросить 44 респондента (5 фокус-групп), 5% сегмента — 90 респондентов (9 фокус-групп). Для случая «трех представителей» потребуется соответственно 8 и 17 фокус-групп. Эти числа отражаются в сложившейся практике проведения исследований.
Если принимается решение проводить опрос целевым образом, то при идеальной фильтрации нужно опросить одного респондента для случая «одного представителя» и трех — для случая «трех представителей». Если же допустить, что процедура фильтрации дает 10-процентную ошибку, необходимое число респондентов при уровне доверия 99% увеличится соответственно до двух и пяти. На практике для страховки от каких-либо искажений названные
величины могут быть с небольшими затратами увеличены до десяти, то есть до объема одной фокус-группы. Такое увеличение точности не противоречит целям исследования.
Если исследователя интересует только сегмент, представленный в популяции малыми долями, изучение его с помощью широкой (населенческой) выборки нецелесообразно и расточительно. Если же исследователю важны все значимые сегменты популяции, использование широких выборок необходимо.
Нижестоящие уровни сегментации. При близкой к идеальной процедуре фильтрации целевых респондентов исследователь пропускает первый уровень сегментации (уровень брендов) и сразу переходит ко второму (уровню мотивов). Тем самым он возвращается к исходной задаче, поскольку целевые респонденты становятся популяцией, а сегментами — основания выбора. Выше мы писали, что в типичном случае число основных мотивов находится в диапазоне от двух до четырех, в наиболее распространенном случае — три. Для последнего случая при соблюдении условия «трех представителей» необходимо опросить 26 отфильтрованных респондентов, или провести три целевых фокус-группы.
Объяснение расхождений с количественными опросами. В качественных исследованиях не принято определять точные доли сегментов, выраженных процентами. Допускаются лишь приближенные оценки типа «большинство», «меньшинство» и «примерно поровну». При этом исследователи, имеющие в своем распоряжении качественные и количественные данные по одному и тому же вопросу, нередко сталкиваются с ситуацией, когда «большинство» в фокус-группах превращается в очевидное «меньшинство» в количественном опросе, и наоборот.
Объяснений обычно выдвигается два. Первое состоит в количественной ошибке выборки, которая в качественных исследованиях действительно велика. Второе предполагает, что в фокус-группах или глубоких интервью люди отвечают несколько иначе, чем в количественных опросах. К сожалению, нам неизвестны эксперименты, направленные на проверку второй гипотезы, хотя основания для ее выдвижения, безусловно, есть. Очевидно, на результаты исследования в определенной мере влияют оба фактора.
Наши расчеты позволяют дать оценку влияния первой гипотезы в числовых величинах. Возьмем для примера случай двух равных сегментов (50: 50) при соблюдении условия «трех представителей». При уровне доверия 99% нам необходимо опросить 15 респондентов, чтобы в выборке оказалось не менее трех представителей каждого сегмента. Если один из сегментов будет представлен тремя респондентами, то второй, соответственно, двенадцатью, то есть явным большинством. Возможна и обратная ситуация, а также случай «примерно поровну». Это означает, что в качественных исследованиях даже оценками «большинство — меньшинство» следует пользоваться с осторожностью. Более важны статистические оценки правомерности зачисления некого случая в типологию или оставления его без внимания.
Вывод. Для создания репрезентативной выборки по качественным критериям достаточно небольшого числа респондентов, от единиц до нескольких
А. Уменьшение выборки
десятков. Во многих случаях необходимое число респондентов даже меньше,
чем то, которое используется на практике. Правда, этот вывод касается иде- §
альной популяции и идеального рекрутинга. о
сх с
о *
Практические факторы, влияющие на величину выборки 1
В исследовательской практике существуют факторы, влияющие на вели- £ чину выборки как в сторону ее уменьшения, так и в сторону ее увеличения. & Мы не беремся рассматривать этот вопрос в полном объеме, но остановимся о
на некоторых факторах. ^
с о
0
1
«Удвоение» высказываний. Многие респонденты высказывают не одно, з
а несколько релевантных мнений. Часто это касается сообщений о пережи- |
том опыте, будь то потребительские инсайты, случаи конфликтных ситуаций |
и др. Некоторые респонденты подкрепляет свою мысль ссылкой не только $ на свой личный опыт, но и на опыт близких знакомых, попавших в ситуацию, а соответствующую теме обсуждения. Даже в тех случаях, когда интервьюер,
согласно инструкции, просит апеллировать только к личному опыту, люди ^
в своих высказываниях могут опираться сразу на несколько ситуаций своего «
многократного опыта. По этой причине количество релевантных высказываний а
может увеличиваться без увеличения числа респондентов (условно — удва- =с
иваться). При проведении больших серий фокус-групп или интервью массив ^
релевантных высказываний с учетом «удвоения» может стать достаточным ^
и при меньших объемах выборки. ^
Сходного мнения придерживаются и другие авторы: «В контексте качест- Й венного исследования мы предпочитаем использовать термин информант, ^
а не респондент. Это различие помогает дополнительно выделить тот аспект, >з
что респондент дает информацию не только о себе, но и обо всей жизни своего ¡5 сообщества, которое он представляет. Обычное определение выборки в этих §
ситуациях не подходит» [Malterud, 2016: 44]. §
Эффект «удвоения» при исследовании разных вопросов не одинаков, § поэтому его трудно учесть в математической модели. Он меньше касается мотиваций и реакций на предъявляемые стимулы. Однако в отношении пережитого опыта этот эффект реален, он снижает требования к величине выборки.
Б. Увеличение выборки
Неоднородность популяции. Расчеты, результаты которых приведены выше, сделаны применительно к идеальной популяции с точки зрения ее однородности. Реальные популяции в той или ной мере отличаются от этого идеального типа. В первую очередь это касается населенческих групп. Известно, что социально-демографические и населенческие сегменты обладают определенной спецификой. Это приводит к необходимости
сегрегировать группу [Мертон и др., 2019: 38]. Из-за расширения охвата разных социальных групп выборка может увеличиваться по сравнению с расчетными показателями.
Социально-демографические группы редко сегрегируются в сравнительных целях, поскольку результаты фокус-групп не являются консенсусными, и их прямое сравнение затруднено. В социально-демографических сегментах звучат в основном одни и те же мнения, но в разных пропорциях, и порой в разных формулировках. Цель состоит в пополнении тезауруса и достижении уверенности, что важный типологический случай не будет упущен. Лишь при увеличении числа респондентов в каждом сегменте до репрезентативного уровня исследователь может с осторожностью перейти к выдвижению сравнительных гипотез [вгеепЬаит, 1988: 211], но в этом случае сравниваемые сегменты становятся популяциями.
Недостижимость респондентов. Эта проблема в равной мере касается качественных и количественных исследований. В количественных исследованиях достижимость респондентов в поквартирных опросах у ведущих российских полстеров обычно составляет от одной четверти до одной трети, если не применяются специальные меры стимулирования. Мнения прочих потенциальных респондентов, строго говоря, остаются неизвестными.
Относительно фокус-групп ситуация схожая, однако статистика достижимости отсутствует. Очевидно, что достижимость сильно зависит от метода рекрутинга. Влияние этого фактора оценить трудно, но мы считаем, что увеличение выборки может в какой-то мере компенсировать сдвиг, связанный с недостижимостью.
Фактор низких доходов. Поскольку участие в фокус-группах оплачивается, это создает сдвиг в сторону малообеспеченного населения.
Сдвиг выборки уменьшает вероятность появления мнений или высказываний, характерных для более высокодоходных групп. Тем не менее принадлежность респондента к определенному социальному слою или группе не на 100% детерминирует его взгляды. Поэтому и в таком случае мы считаем, что увеличение выборки респондентов может отчасти компенсировать этот сдвиг, особенно если речь идет о смежных доходных группах. Разумеется, правильнее собрать специальные группы с более высоким доходом респондентов. Для представителей среднего класса это вполне решаемая задача. Однако бюджет исследования не всегда позволяет идти по этому пути.
Нецелевые респонденты. Даже при добросовестном рекрутинге нельзя исключать того, что в выборку попадет какое-то число нецелевых респондентов. Особенно актуальна эта проблема для малых выборок в сегментах типа 90: 10, где целевой группой является сегмент 90%, а объем репрезентативной выборки очень мал. Практическая рекомендация может состоять в том, что малые расчетные выборки следует увеличивать до 10 респондентов, то есть до одной стандартной фокус-группы. В прочих случаях, возможно, расчетную величину выборки для подстраховки стоит увеличивать на 10%.
Респонденты-профессионалы. К сожалению, такой метод рекрутинга не ушел в прошлое. Однако этот случай находится за рамками корректно § проведенного исследования, поэтому мы его не рассматриваем. о Вывод. Реальные популяции и реальный рекрутинг могут вносить коррек- с тивы в определение объемов выборки, но, с нашей точки зрения, не очень ° большие. При этом следует учитывать, что значительное увеличение выборки ^ сверх расчетных величин наряду с ростом финансовых затрат ведет к снижению коэффициента использования результатов: число повторяющихся £ релевантных случаев становится столь значительным, что в результате суще- & ственная их часть оказывается невостребованной и не используется в отчете. о
-о
Е
о
Заключение §
со
3
с
Широко распространенное мнение, что качественные опросы (интервью о
и фокус-группы) никогда не могут принять характер репрезентативного |
исследования, представляется нам неверным, поскольку данная позиция $
не учитывает, что критерии репрезентативности количественных и качест- а венных исследований различаются. Уточненная постановка математической
задачи (с учетом определенных допущений, отражающих типичные практи- ^
ческие случаи) приводит к выводу, что для получения тезауруса релевантных ® мнений достаточно опросить сравнительно небольшое число респондентов
(от единиц до нескольких десятков). Этот математический результат по по- ^
рядку величин совпадает с исследовательской практикой, ориентирующейся ^
на эмпирические оценки достаточности выборки. ^
Подобная постановка вопроса представляется инновационной как в рос- ^
сийской, так и в зарубежной литературе. Принятие наших аргументов научным й
сообществом потребует корректировки общепринятых установок о критериях ^
репрезентативности качественных исследований, которые зачастую смеши- >з
ваются с критериями количественного подхода. ¡5
Автор отдает себе отчет, что лишь наметил путь к изучению данного во- §
проса, который потребует дальнейшего более глубокого исследования. §
из
Литература
Белановский С. Глубокое интервью и фокус-группы. М.: Директ-Медиа, 2022. Белановский С., Никольская А. Что не так с фокус-группами? // ЭКО. 2021. Т. 51. № 6. С. 99-118. Р01: https://doi.org/10.30680/ECO0131-7652-2021-6-99-118 ЕЭЫ: иОТИНО
Белановский С., Никольская А. К Дискуссии о фокус-группах // Мониторинг общественного мнения: экономические и социальные перемены. 2022. № 3. С. 373-393. Р01: https:// doi.Org/10.14515/monitoring.2022.3.1994 ЕЭЫ: 01_Р7АР
Вебер М. Избранные произведения. М.: Прогресс, 1990.
ГайденкоП. Социология Макса Вебера // Избранные произведения М. Вебера. М.: Прогресс, 1990. С. 5-43. ЕЭЫ: БН70НУ
Мертон Р., Фиске М., Кендалл П. Фокусированное интервью. М: ВЦИОМ, 2019. НоэльЭ. Массовые опросы. Введение в методику демоскопии. М: Прогресс, 1978.
Страусс А., КорбинД. Основы качественного исследования / Пер. с англ. Т. С. Васильевой. М.: Эдиториал УРСС, 2001.
Хайек Ф. Контрреволюция науки. Этюды о злоупотреблениях разумом. М.: ОГИ, 2003. Freeman E., Marrais K., Preissle J., Roulston K., Pierre E. Standards of Evidence in Qualitative Research: An Incitement to Discourse // Educational Researcher. Vol. 36. № 1. P. 25-32. 2006. DOI: http://dx.doi.org/10.3102/0013189X06298009
Gentles S., Calling S. For a Shared Understanding of Sampling Terminology in Qualitative Research: Proposed Clarifications Derived From Critical Analysis of a Methods Overview by McCrae and Purssell // International Journal of Qualitative Methods. 2017. Vol. 16. P. 1-7. DOI: http://dx.doi.org/10.1177/1609406917725678
Goldman A., McDonald S. The Group Depth Interview: Principles and Practices Cliffs. New Jersey: Prentice-Hall. 1988.
Gorden L.R. Interviewing: Strategy, Techniques and Tactics. Chicago: The Dorsey Press, 1987. Greenbaum T. The Practical Handbook and Guide to Focus Group Research. Lexington: Lexington Books, 1988.
Nakkeeran N. Is Sampling a Misnomer in Qualitative Research? // Society Sociological Bulletin. Vol. 65. № 1. 2016. P. 40-49. DOI: http://dx.doi.org/10.1177/0038022920160103
MalterudK., Siersma V., Guassora A. Sample Size in Qualitative Interview Studies: Guided by Information Power // Qualitative Health Research. 2016. Vol. 26. № 13. P. 1753-1760. DOI: https:// doi.org/10.1177/1049732315617444
McMichael A. A Primer for Technical Communicators. Texas Tech University // Journal of Business and Technical Communication. Vol. 22. № 4. 2008. P. 454-473. DOI: http://dx.doi.org/ 10.1177/1050651908320362
Strauss A. Basics of Qualitative Research: Grounded Theory Procedures and Techniques. Newbury Park: SAGE Publications, 1990. DOI: https://doi.org/10.2307/2074814
Сведения об авторе:
Белановский Сергей Александрович — кандидат экономических наук, ведущий инженер, Институт народнохозяйственного прогнозирования РАН, Москва, Россия. E-mail: [email protected]. РИНЦ Author ID: 73431; ORCID ID: 0000-0002-4993-1944.
Статья поступила в редакцию: 13.06.2022 Принята к публикации: 15.03.2023
Representativeness of Qualitative Surveys
DOI: 10.19181/inter.2023.15.1.4
Sergey A. Belanovskiy IEF RAS, Moscow, Russia
E-mail: [email protected]
The author challenges the widely held belief that qualitative surveys (in-depth interviews and focus groups) will never be considered as a representative study. The origins of this erroneous, according to the author, point of view is an incorrect transfer of criteria for the representativeness
of quantitative studies to qualitative ones. The article formulates a mathematical statement
the task of determining a representative sample of qualitative surveys. The article provides g
the solution of the task taking into account relevant constraints. It is shown that under certain ¡^
conditions representative sample of qualitatively study may be 15-40 respondents, which cor- ^
responds to research practice based on empirical criteria for sufficiency. o
3 I I
CO
Keywords: sampling; population; recruiting; representativeness; qualitative research; qualitative surveys; theoretical saturation; in-depth interviews; focus groups
References
Belanovskij S. (2022) Glubokoe interv'yu i fokus-grupp [In-Depth Interview and Focus Groups]. §
-o £ o
Moscow: Direct-Media. (In Russ.)
Belanovskij S., Nikolskaya A. (2021) Chto ne tak s fokus-gruppami? [What is Wrong with Focus Groups]. ECO. Vol. 51. No. 6. P. 99-118. (In Russ.) DOI: https://doi.org/10.30680/ECO0131-7652- | 2021-6-99-118 |
Belanovskij S., Nikolskaya A. (2022) K diskussii o fokus-gruppax [To the Discussion on § Focus Groups]. Monitoring obshhestvennogo mneniya: e*konomicheskie i sociaTny^e pere- £ meny'[Public Opinion Monitoring]. No. 3. P. 373-393. (In Russ.) DOI: https://doi.org/10.14515/ S monitoring.2022.3.1994 ^
Freeman E., Marrais K., Preissle J., Roulston K., Pierre E. (2006) Standards of Evidence in Qua- g litative Research: An Incitement to Discourse. Educational Researcher. Vol. 36. No. 1. P. 25-32. ^ DOI: http://dx.doi.org/10.3102/0013189X06298009 g
Gajdenko P. (1990) Sociologiya Maksa Vebera [Max Weber's Sociology]. Izbrannye proizvedeniya § M. Vebera [M. Weber's Selected Works]. Moscow: Progress. P. 5-43. (In Russ.) ^
Gentles S., Calling S. (2017) For a Shared Understanding of Sampling Terminology in Qualitative Research: Proposed Clarifications Derived From Critical Analysis of a Methods Over- ^ view by McCrae and Purssell. International Journal of Qualitative Methods. Vol. 16. P. 1-7. t~ DOI: http://dx.doi.org/10.1177/1609406917725678 ^
Goldman A., McDonald S. (1988) The Group Depth Interview: Principles and Practices Cliffs. New ^ Jersey: Prentice-Hall. ^
Gorden L. R. (1987) Interviewing: Strategy, Techniques and Tactics. Chicago: The Dorsey Press. ^
Greenbaum T. (1988) The Practical Handbook and Guide to Focus Group Research. Lexington: g Lexington Books.
Hayek F. (2003) Kontrrevolyuciya nauki. E^tyudy* o zloupotrebleniyaxrazumom [The Conter-Re- o volution of Science. Studies on the Abuse of Reason]. Moscow: OGI. (In Russ.) o
Malterud K., Siersma V., Guassora A. (2016) Sample Size in Qualitative Interview Studies: Guided ^ by Information Power. Qualitative Health Research. Vol. 26. No. 13. P. 1753-1760. DOI: https:// doi.org/10.1177/1049732315617444
McMichael A. (2008) A Primer for Technical Communicators. Texas Tech University. Journal of Business and Technical Communication. Vol. 22. No. 4. P. 454-473. DOI: http://dx.doi.org/ 10.1177/1050651908320362
Merton R., Fiske M., Kendall P. (2019) Fokusirovannoe interv^yu [The Focused Interview]. Moscow: VCIOM. (In Russ.)
Nakkeeran N. (2016) Is Sampling a Misnomer in Qualitative Research? Society Sociological Bulletin. Vol. 65. No. 1. P. 40-49. DOI: http://dx.doi.org/10.1177/003802292-0160103
Noel E. (1978) Massovy^e oprosy\ Vvedenie v metodiku demoskopii [Mass Polls. Introduction to the Demoscopy Methodology]. Moscow: Progress. (In Russ.)
Strauss A., Korbin D. (2001) Osnovy kachestvennogo issledovaniya [Basics of Qualitative Research]. Transl. from Eng. by T. S. Vasileva. Moscow: URSS. (In Russ.)
Strauss A. (1990) Basics of Qualitative Research: Grounded Theory Procedures and Techniques. Newbury Park: SAGE Publications. DOI: https://doi.org/10.2307/2074814
Weber M. (1990) Izbranny^eproizvedeniya [Selected Works]. Moscow: Progress. (In Russ.)
Author bio:
Sergey A. Belanovskiy — Candidate of Economics, Leading Engineer, Institute of Economic Forecasting RAS, Moscow, Russia. E-mail: [email protected]. RSCI Author ID: 73431; ORCID ID: 0000-0002-4993-1944.
Received: 13.06.2022 Accepted: 15.03.2023
