CC BY
92Социальные исследования 1 (2016) 21-30
Журнал "Социальные исследования"
О некоторых мифах в социологии Марк Генри Шапиро а *
а Независимый исследователь. О СТАТЬЕ
Прохождение статьи: Поступила: 13.01.16 Принята: 02.02.16 Опубликована онлайн: 15.02.16_
Ключевые слова:
качественные
исследования
семантический
дифференциал
метод парных сравнений
1. Введение
Все нуждается в переосмыслении, методология и методы социальных исследований не являют собой исключения. В частности, как представляется, нуждается в дальнейшем осмыслении такое понятие как «качественные исследования». Вероятная некорректность данного понятия может деформировать общую логику и культуру социальных исследований.
До настоящего времени, даже в профессиональной среде, бытуют мнения о валидности некоторых известных методов измерения, валидность которых представляется дискуссионной. Использование подобных методов может порождать проблему низкой достоверности получаемых результатов. Целью настоящей статьи является анализ обоснованности использования понятия «качественные методы исследования» в социальных науках, рассмотрение валидности метода семантического дифференциала и метода парных сравнений.
АННОТАЦИЯ
В статье анализируется обоснованность использования понятия «качественные исследования» и валидность таких измерительных инструментов как метод семантического дифференциала, метод парных сравнений. Показывается необоснованность использования понятий «качественные исследования» и «качественные методы». Проведенный анализ позволяет сделать вывод об отсутствии валидности у метода семантического дифференциала и низкой валидности метода парных сравнений.
* E-mail: [email protected] © 2016 Автор
ISSN 2500-0020
Journal of Social Research
2. «Качественные и количественные» исследования
На эту тему хорошо написали Геннадий Батыгин и Инна Девятко [Батыгин, Девятко, 1994], однако, судя по всему, сюжет нуждается в дальнейшем развитии. В социологии нередко используют выражения «качественные и количественные исследования» и «качественные и количественные методы исследования». Хотя, если выражаться корректно, речь идёт не о формах и методах исследования, а о методах сбора информации, видах опросов, и текстах (публикациях), основанных на этих методах. При этом слова «качественные и количественные» в данном контексте лишены формального смысла, так как на самом деле речь идёт не о «качестве» или «количестве», а о двух параметрах опроса:
1. Репрезентативность - выборки или результатов опроса1.
2. Какие шкалы - атрибутивные («номинальные», «качественные»), ранговые или абсолютные, используются в опросе (о классификации и подходах к анализу шкал см. [Ильясов, 2014а; Ильясов, 2014Ь]).
К «качественным методам» сбора информации относят, в частности, неформализованное (свободное), полуформализованное индивидуальное интервью и фокус-группу. Указанные методы сбора информации, при строгом понимании, используют атрибутивные («номинальные») и неформализованные или слабо формализованные ранговые шкалы. То есть под «качественными методами» понимаются способы получения информации, обладающие следующими параметрами:
1. нерепрезентативная выборка;
2. используемые шкалы:
а) атрибутивные («номинальные») - измеряют наличие или отсутствие свойства;
б) ранговые - измеряющие слабо формализованные ранги.
На фокус-группах с испытуемыми нередко проводят индивидуальное формализованное интервью - им предъявляются формализованные вопросы с формализованными ранговыми и абсолютными шкалами. Хотя, по существу, это уже не фокус-группа2 (полуформализованное групповое интервью), а формализованное индивидуальное интервью, но в отчётах это представляется как «результаты фокус-групп».
Таким образом, строго говоря, «качественные методы» сбора информации -это неформализованные, слабо-формализованные интервью и фокус-группы, проводимые на нерепрезентативной выборке, с использованием атрибутивных шкал.
«Количественным методом» сбора информации называют индивидуальное формализованное интервью, проводимое в рамках массового опроса, то есть опроса,
1 О репрезентативности результатов опроса см. [Ильясов, 2011].
2 Иногда фокус-группу называют «дискуссия», что не вполне корректно, так как задача этого метода сбора информации - обеспечить свободное высказывание мнений, а не спор и «установление истины».
претендующего на репрезентативность. В этом случае используются все типы шкал: атрибутивные («номинальные»), ранговые и абсолютные.
То есть, по сути, разница между «качественным» и «количественном» методами сбора информации - в репрезентативности /не репрезентативности выборки или результатов опроса и типе используемых шкал.
Следовательно, можно сделать вывод, что понятия «качественные» и «количественные» исследования не отражают какой-либо особой специфики исследования, они не есть особые виды исследования, а это дополнительная, искусственная маркировка методов сбора информации. Это просто замысловатое обозначение исследовательского продукта, созданное для более удобного представления работы.
Как пишут в учебниках, описанные методы сбора эмпирической информации представляют собой отдельные этапы единого, полноформатного социологического исследования:
1. Свободное, неформализованное интервью служит основанием для составления плана полуформализованного интервью, позволяет сформулировать предварительные содержательные и методические гипотезы исследования.
2. Полуформализованное интервью позволяет уточнить гипотезы исследования, структуру исследования, выявить проблемы, уточнить подходы к их исследованию и создать (доработать) гайд для проведения фокус-группы.
3. По результатам фокус-групп завершается разработка программы исследования, формулируются (уточняются) его гипотезы. Формулируются или уточняются гипотезы, идеи для разработки (доработки) анкеты массового опроса.
4. Пилотажный (пробный) опрос позволяет проверить валидность используемых вопросов, а в некоторых случаях провести предварительную эмпирическую апробацию содержательных гипотез и моделей.
5. Массовый опрос представляет полную эмпирическую информацию для анализа объекта и предмета исследования.
Маркировка («брендирование») и представление отдельного этапа, фрагмента исследования в виде самостоятельного аналитического продукта, как представляется, пришло в академическую науку из маркетинга. Порождение профессионального арго «качественное и количественное исследование» в коммерческой социологии (маркетинге) было обусловлено задачей продавать как самостоятельный продукт так называемое «качественное исследование». В коммерческой социологии это было обусловлено тем, что фрагмент исследования зачастую легче продать, чем полноформатное исследование. Порой фрагмент исследования продается как пробный, предварительный продукт. В академической социологии заимствование и популярность этой «методологии» обусловлены, вероятно, во многом, теоретическим кризисом социологии, ее экстенсивным ростом, возможностью оформления фрагмента исследования как целостной, законченной работы, получением финансирования, возможностью публиковать фрагмент как завершенный «брендированный» продукт, отчитываться о проделанной работе. Исходя из приведенного выше понимания полноформатного
социологического исследования, можно сделать вывод, что следствием «легализации» так называемой «качественной методологии» является рост числа незавершенных исследований.
3. Метод семантического дифференциала
Метод семантического дифференциала был разработан Чарльзом Осгудом [Osgood, 1952] и его коллегами [Osgood, Suci и др,, 1957], см. также [Osgood, 1964]. Исходным понятием является «семантическое пространство» - система «семантических» координат с неким числом осей. Предполагается, что оси координат представляют собой ряд одномерных континуумов (шкал), каждый из которых отражает некое свойство (понятие, concept), а крайние деления описываются двумя антонимами - прилагательными («вербальными противоположностями»). Деления этих шкалы отражают выраженность, величину этого свойства. Посередине находится градация шкалы, в которой величина свойства равна нулю. Правда, тот факт, что нулевое деление шкалы имеет, в частности, описание «хороший и плохой в равной мере», свидетельствует о двухмерности этой шкалы. Пример создания отдельной оси координат для свойства (концепта) «хороший - плохой» приведен в табл. 1.
Табл. 1. Пример описания отдельной оси координат, формирующей «семантическое
пространство»3
+3 I +2 I +1 I 0 1-1 1-2 1-3
Очень хороший
Хороший в средней степени
Хороший в малой степени
Ни хороший, ни плохой; или хороший и плохой в равной мере
Плохой в малой степени
Плохой в средней степени
Очень плохой
Исследователи отбирали большое количество подобных координат (концептов) и с их помощью измеряли выраженность свойства какого-либо стимула. В результате факторного анализа результатов измерений, были выделены отдельные группы факторов, см. пример в табл. 2.
Названия факторов - это метафоры, отражающие некую интуитивно ощущаемую исследователем общность входящих в данный фактор шкал (концептов), выделяемую корреляциями. Здесь встает проблема достоверности измерения. Валидность инструмента измерения обозначает его способность измерять именно то свойство определенного объекта, для измерения которого он создан. В случае с семантическим дифференциалом измеряемым объектом выступает некий стимул
3
Равномерность этой шкалы, использованнои авторами семантического дифференциала, ранее была показана Норманом Клиффом [Cliff, 1959]. Приводимый в настоящем изложении перевод описания градаций шкалы не проходил проверку на валидность, потому может не отражать в полной мере свойств шкалы оригинала.
(объект), предъявляемый респонденту. Однако остается не проясненным вопрос, какое именно свойство (признак) предлагаемого стимула измеряет семантический дифференциал.
Метафоры-факторы «Оценка, Сила, Активность», а также метафоры-концепты типа «хороший-плохой», изначально не отражают какой-либо эмпирической реальности, это та часть отобранных умозрительных конструктов исследователя, которая имела высокую корреляцию. Соответственно, «семантическое пространство» в данном случае также является образом, сконструированным исследователем и этот образ не связан с конкретным свойством, совокупностью конкретных свойств объекта.
Табл. 2. Три «направления» (координаты) в семантическом пространстве. Факторы и шкалы (координаты) семантического пространства.
Факторы Шкалы (концепты)
Оценка, Evaluation: «хороший-плохой» Хороший - Плохой Приятный - Неприятный Позитивный - Негативный
Сила, Potency: «сильный-слабый» Сильный - Слабый Тяжелый - Легкий Твердый - Мягкий
Активность, Activity: «активный - пассивный» Быстрый - Медленный, Активный - Пассивный Возбудимый - Спокойный
В различных психологических тестах также используется некоторая совокупность вопросов, она измеряет величину определенного, конкретного свойства испытуемого (уровень стресса, уровень тревожности, меру способности к сопереживанию и т.д.). То же самое можно сказать об отдельных вопросах, используемых в социологических опросах - у исследователя есть представление, какое конкретное свойство они измеряют. «Семантическое пространство», в случае с семантически дифференциалом4, судя по всему, есть артефакт исследователя - это система координат (совокупность свойств) созданная его воображением. Никакая эмпирическая реальность - конкретное свойство объекта, здесь не описывается. Иначе говоря, семантического пространства объективно не существует. И измеряется некая мифологема. Если измеряемое свойство является
4
В отличие, например, от психологического пространства, описываемого Джорджем Келли в теории личностных конструктов, см, например: [Келли, 2000].
исследовательским артефактом, то инструмент, измеряющий такое свойство нельзя признать валидным.
Правда у метода семантического дифференциала есть одно качество, формально положительное - он обеспечивает высокую надежность, повторяемость результатов при повторных замерах. Для объяснения этого феномена необходимо перейти к содержательной сути этого метода измерения. Метод стимульного дифференциала есть модификация метода контролируемых ассоциаций. «Выделяются три метода измерения ассоциаций: 1. метод свободных ассоциаций - в этом случае используется вопрос следующего типа: "С чем или кем у вас ассоциируется этот предмет (стимул)?" 2. метод направленных ассоциаций -используется вопрос типа: "С каким фруктом у вас ассоциируется этот стимул?", "С каким сказочным персонажем ассоциируется у вас этот человек?" 3. метод контролируемых ассоциаций - здесь используется конструкция вопроса типа: "В какой мере этот стимул у вас ассоциируется с яблоком?"» [Ильясов, 2016]. Методы измерения ассоциаций обладают высокой надежностью, повторяемостью результата5. Это, например, позволило создавать Словарь ассоциативных норм русского языка [Словарь ассоциативных..., 1977]. Таким образом, повторяемость результатов не есть частное свойство метода семантического дифференциала, а общее свойство методов измерения ассоциаций.
Высокая надежность метода измерения, при отсутствии у него валидности, делает его использование проблематичным. В связи с этим вызывает сомнения обоснованность применения метода семантического дифференциала для измерения различных видов поведения и восприятия разных стимулов.
Семантический дифференциал измеряет тесноту конкретных (контролируемых) ассоциаций, возникающих у испытуемых в связи с предлагаемыми стимулами. В результате измерения можно сделать обоснованный вывод, что данный стимул ассоциируется у испытуемого, например, с абстрактными понятиями «хороший, сильный, активный», или «плохой, слабый, пассивный». Но это единственный корректный вывод. Более широкие и далеко идущие истолкования, как представляется, не имеют строгих обоснований. То есть, можно сказать, измеряемым свойством является теснота (сила) ассоциаций, однако истолкование исследователем качества этой связи, как представляется, носит произвольный, субъективный характер, так как не предлагается логика, либо процедура для обоснования.
Говорить, скажем, что выявляются (измеряются) коннотации, как дополнительные смыслы, эмоции, стили, связанные с некоторым стимулом-словом, думается, нет достаточных оснований. Утверждения, что метод семантического дифференциала способен описывать (измерять) некие чувства, мнения, отношения (социальные установки) и ценности человека, может быть процедурой оценки аффективных реакций, еще меньше оснований. Истолковывать однозначно ассоциации, например, «плохой, сильный, активный», с некоторым стимулом, как проявление отношения, сложно. Прилагательное «сильный» по отношению к одному
5 Можно вспомнить известный фольклорный тест: Назовите какого-нибудь русского поэта? Отвечают обычно: «Пушкин». Фрукт? - Яблоко. Домашнюю птицу? - Курица. Часть лица? - Нос.
стимулу может быть проявлением позитивного отношения (надежная защита), и проявлением негативного отношения, применительно к другому (угроза причинения ущерба).
Иногда семантическим дифференциалом называют шкалы, конструктивно похожие на изложенную в табл. 1, что представляется необоснованным, так как это, с одной стороны, размывает понятие «семантического дифференциала» как вполне определенной, конкретной методики. С другой стороны, нет никакого основания и смысла все похожие шкалы, взятые у Нормана Клиффа [Osgood, 1964: 173], называть «семантическим дифференциалом», тем более что существует общее, родовое понятие - метод контролируемых ассоциаций, которое отражает суть, содержание измерения.
4. Метод парных (попарных) сравнений как метод ранжирования
Метод парных сравнений (method of paired comparison) разработал Луис Терстоун (Louis Thurstone), см., например: [Thurstone, 1937]. Этот метод предлагается использовать для ранжирования, измерения значимости некоторых стимулов, в ситуации, когда стимулов много. Предполагается, что респонденту сложно решить такую задачу методами прямых числовых оценок либо ранжирования и это увеличивает погрешности измерения. Допустим, стоит задача ранжировать 10 стимулов по их предпочтительности. При использования метода парных сравнений респондентам предлагается оценить их всех попарно, отвечая на вопрос: какой из каждых двух стимулов предпочтительнее? Сравнение может быть проведено по шкале «больше-меньше» или по порядковой шкале, с градациями вида: «одинаково, немного больше, существенно больше, намного больше». Результаты попарного сравнения подсчитываются и таким образом получаются ранжирование стимулов.
Эксперименты показывают, - отмечает Юлиана Толстова, - результаты попарного сравнения и прямого ранжирования могут существенно различаться [Толстова, 2003: 72]. Полагается, что полученное «попарное» ранжирование точнее, нежели построенные по методу прямых числовых оценок либо методом «прямого» ранжирования, в виду того, что решается более простая задача - сравнение 2-х стимулов вместо 10-ти.
Посыл этот, на первый взгляд, кажется логичным. Но с другой стороны, строго говоря, респондент здесь сталкивается с двумя несопоставимыми стимулами. В случае, например, с именами политиков у него две группы стимулов: а) 10 каточек с именами политиков. б) множество пар карточек с именами политиков. В первом случае респондент решает одну интеллектуальную задачу - ранжирование 10-ти стимулов. Во втором, другую, - сравнение большего числа пар стимулов. Таким образом, респондент: 1. имеет две разные группы стимулов, 2. решает две разные логико-оценочные задачи, 3. в двух разных интеллектуальных контекстах.
Методологическая некорректность использования метода парных сравнений в социальных исследованиях может заключаться в следующем. Метод парного сравнения представляется обоснованным методом ранжирования в случае с ранжированием стимулов одной модальности и имеющих всего одно свойство.
Например, при сравнении силы двух звуковых сигналов. Сам Терстоун отмечал: «Психофизические сравнения социальных стимулов являются гораздо более сложными, чем сравнения простых сенсорных стимулов, таких как длина линии или вес [предмета]» [Thurstone, 1931: 196]. При сравнении сложных стимулов, имеющих некоторое, неопределенное число свойств, в разных парах может происходить сравнение разных свойств стимулов, то есть не по одному основанию. Например, при сравнении политиков, предпочтения в разных парах могут детерминироваться разными их свойствами, например: доминантность, внешняя привлекательность, порядочность, квалификация, известность, и проч. А, если сравнения могут производиться по разным основаниям, то такие результаты нельзя признать корректными, валидными.
Исходя из изложенного, можно сделать вывод, что исследователь получает два разных, никак не сопоставимых результата. В случае прямого ранжирования стимулов по предпочтительности, респондент сам интуитивно создает единый континуум и формирует обобщенный подход ко всем стимулам. Проведенные автором интервью по результатам подобных ранжирований показывают, что в ходе прямого ранжирования всех стимулов респондент непроизвольно создает единую, унифицированную шкалу, минимально рефлексируя по поводу отдельных свойств стимулов, формируют довольно обобщенное, синкретное основание для их сравнения. При этом, можно предполагать, что чем ниже положение в ранжировании у стимула, тем с большей погрешностью его ранг определен.
В случае попарного сравнения стимулов у респондентов актуализируется рефлексия по поводу отдельных свойств стимулов, потому в каждом отдельном случае ими может выбираться свое основание для сравнения и эти основания могут быть разными для разных сравниваемых пар. Из процедуры попарного сравнения не вытекает очевидным или логическим образом интерпретация полученных результатов. Это просто интуитивное представление, гипотеза, что осуществляется ранжирование, либо измеряется вес стимула. Таким образом, как представляется, есть основания полагать метод парного сравнения в существующем виде не вполне корректной процедурой в социальных исследованиях. Казалось бы, можно повысить его валидность, если сравнивать стимулы по одинаковым, конкретным основаниям, например, сравнивать попарно политиков по выделенным критериям: доминантность, внешняя привлекательность, порядочность, квалификация, известность и т.д. Правда при этом придется еще взвешивать значимость каждого критерия для каждого респондента, чтобы иметь возможность построить валидное ранжирование. Нина Наумова, на примере удовлетворенности трудом, писала -общая оценка не является агрегаций частных оценок, «она представляет собой самостоятельную оценку, связанную с другими элементами ориентирования» [Наумова, 1982: 67]. Как представляется, эта особенность присуща всем социальным оценкам, измерениям. Похоже, в методе парных оценок, как и в социальных измерениях в целом, нерешаемой проблемой остается феномен несоотносимости оценок отдельных свойств стимула с его общей, интегральной оценкой. Исходя из изложенного выше, можно заключить - валидность метода парных сравнений, в случае ранжирования социальных стимулов, является неопределенно низкой.
Литература
Батыгин Г.С., Девятко И.Ф. Миф о "качественной социологии" // Социологический журнал. 1994. № 2. С. 28-42.
Ильясов Ф. Н. Репрезентативность результатов опроса в маркетинговом исследовании // Социологические исследования. 2011. № 3. С. 112-116.
Ильясов Ф.Н. Шкалы и специфика социологического измерения // Мониторинг общественного мнения. 2014a. №1. С. 3-16.
Ильясов Ф.Н. Типы шкал и анализ распределений в социологии // Мониторинг общественного мнения. 2014b. №4. С. 24-40.
Ильясов Ф.Н. Словарь социальных исследований. Приложение к журналу «Социальные исследования». 2016. Онлайн ресурс, доступно: http://www.jsr.su/dic/dictionary.html, на дату: 10.02.2016.
Келли Дж. Теория личности (теория личных конструктов). СПб: Речь, 2000. - 249 с.
Наумова Н.Ф. Целеполагание как системный процесс. М.: ВНИИСИ. 1982.
Словарь ассоциативных норм русского языка. Под ред. А.А. Леонтьева. М.: МГУ, 1977. - 192 с.
Толстова Ю.Н. Измерение в социологии. Москва: Инфра-М, 2003. - 224 с.
Cliff N. Adverbs as Multipliers // Psychological Review. 1959, vol. 66, pp. 27-44.
Osgood C.E. The nature and measurement of meaning // Psychological Bulletin, May 1952, vol. 49, no. 3, pp. 197—237. Доступно по этой ссылке на дату: 10.02.2016.
Osgood C.E., Suci G.J., Tannenbaum P.H. The Measurement of Meaning. Urbana, Illinois: University of Illinois Press, 1957. 344 p.
Osgood C.E. Semantic differential technique in the comparatives tude of cultures // American Anthropologist, 1964, vol. 66, no. 3, pp. 171-200. Доступно:
http://onlinelibrary.wiley.com/doi/10.1525/aa.1964.66.3.02a00880/pdf, на дату: 10.02.2016.
Thurstone L.L. Rank order as a psychophysical method // Journal of Experimental Psychology, 1931, vol. 14, pp. 187-201. Доступно:
https://www.brocku.ca/MeadProject/Thurstone/Thurstone 1931a.html, на дату: 10.02.2016.
ABOUT SOME MYTHS IN SOCIOLOGY Mark Henry Shapiro *
* An independent researcher. Email: [email protected] Abstract
The paper attempts to analyze the validity of the use of the term "qualitative research" and the validity of such measuring instruments as the semantic differential method, the method of paired comparisons. We show the not validity of the use of the concepts of "qualitative research" and "qualitative methods". The analysis leads to the conclusion about the
absence of the validity in the method of semantic differential and low validity of the method of paired comparisons.
Keywords: qualitative research, semantic differential, method of paired comparison
References
Batygin G.S., Devyatko I.F. The myth of the "qualitative sociology". Sotsiologicheskii zhurnal. 1994, no. 2, pp. 28-42. (In Russ.)
Iliassov F.N. The representativeness of the survey results in marketing research. Sotsiologicheskie issledovaniya [Sociological Studies]. 2011, no. 3, pp. 112-116. (In Russ.)
Iliassov F.N. Scales and specific sociological measurement. Monitoring obshchestvennogo mneniya [Monitoring of public opinion]. 2014a, no. 1, pp. 3-16. (In Russ.)
Iliassov F.N. Types of scales and analysis of distributions in sociology. Monitoring obshchestvennogo mneniya [Monitoring of public opinion]. 2014b, no. 4, pp. 24-40. (In Russ.)
Iliassov F.N. Dictionary of Social Studies. Prilozhenie k zhurnalu «Sotsialnye issledovaniya» [Supplement to "Journal of Social Research"]. 2016. Online resource: http://www.jsr.su/dic/dictionary.html (accessed 10.02.2016) (In Russ.)
Kelly G. The psychology of personal constructs. St. Petersburg: Rech', 2000. - 249 p. (Russ ed.)
Naumova N.F. Tselepolaganie kak sistemnyi protsess [Goal setting as a system process]. Moscow: VNIISI, 1982. (In Russ.)
Slovar' assotsiativnykh norm russkogo yazyka [Dictionary associative norms of Russian language]. Ed. by A.A. Leont'ev. Moscow, Moscow State Univ., 1977. 192 p. (In Russ.)
Tolstova Yu.N. Izmerenie v sotsiologii [Measurement in sociology]. Moscow: Infra-M, 2003. 224 p. (In Russ.)
Cliff N. Adverbs as Multipliers. Psychological Review. 1959, vol. 66, pp. 27-44.
Osgood C.E. The nature and measurement of meaning. Psychological Bulletin, May 1952, vol. 49, pp. 197-237.
Osgood C.E., Suci G.J., Tannenbaum P.H. The Measurement of Meaning. Urbana, Illinois: University of Illinois Press, 1957. 344 p.
Osgood C.E. Semantic differential technique in the comparatives tude of cultures. American Anthropologist, 1964, vol. 66, no. 3. pp. 171-200.
Thurstone L.L. Rank order as a psychophysical method. Journal of Experimental Psychology, 1931, vol. 14, pp. 187-201.
