Надежность качественных методов и качество данных Текст научной статьи по специальности «Психологические науки»

Надежность качественных методов и качество данных1

Елена Рождественская*

В этой статье мы рассмотрим различные критерии качества в отношении получаемых в качественном исследовании данных. Для этого привлекается теоретико-методологическая дискуссия о стратегии применяемых качественных методов. Но при этом «качество» качественных исследований вряд ли может быть включено в разряд априорных правил. Определенные принципы могут помочь повысить качество или доверие к результатам качественного исследования, в то время как согласие с ними еще не гарантирует их качества.

Ключевые слова: валидность, надежность, качественные методы, процессуаль-ность исследования

В перспективе постпозитивистской традиции социальные науки могут раскрыть объективные и общезначимые факты, следуя ясной процедуре и правилам, которые включают тщательно контролируемые наблюдения эмпирических явлений, беспристрастную и логичную аргументацию, объективный анализ как устранение интерпретации исследователя. В соответствии с так называемым научным методом, факты должны быть представлены объективно, а не интерпретативно. Но описание, объяснение, предсказание и оценка причин и последствий социальных явлений не могут быть достигнуты в отсутствие оценки и интерпретации (см.: Fielding, 2005; Mottier, 2005). С другой стороны, не состоятельна в качественном подходе и крайне субъективистская позиция, поскольку она не может быть сфальсифицирована в том, что все данные и их интерпретации верны априори. Большинство дисциплин в социальных науках давно признали взаимосвязь между контекстом, культурой и традицией, чувствами и пониманием, но, как ни странно, эти факторы, как правило, рассматриваются только с точки зрения людей, которых мы изучаем. Иногда мы признаем важность контекста в интерпретации эмпирических данных, когда обсуждаем исследовательский процесс в абстрактных терминах, но мы, как правило, не принимаем во внимание контекстуальные элементы при разработке исследовательского вопроса или в презентации основных результатов исследования. И все же это обоюдоострая эпистемологическая проблема: не только те, которых мы исследуем, погружены в субъективно устроенную реальность, в которой порождается смысл, но и мы как исследователи придаем значение эмпирическим феноменам, в равной степени застревая в нашей собственной субъективности (см., напр.: Gergen, 1973). Как минимум, два элемента опосредуют исследователя и эмпирические наблюдения: во-первых,

1 Статья подготовлена в рамках проекта «Межпоколенная социальная мобильность от ХХ века к XXI: четыре генерации российской истории», поддержанного Российским научным фондом. Грант № 14-28-00217.

* Рождественская Елена, доктор социологических наук, профессор департамента социологии НИУ ВШЭ, ведущий научный сотрудник ИС РАН. [email protected].

социологические данные производятся в рамках конкретного политического, исторического и социально-культурного контекста, и, во-вторых, сами исследователи относятся >< к различным культурам и традициям (например, академическим, политическим, историческим, социально-культурным). Эти два взаимосвязанных элемента — контекст ис- I следуемого феномена и контекст вклада самого исследователя в различные способы с^ измерения и описания что-либо — невозможны без интерпретации. Вместо того, чтобы о рассматривать эти контексты как внешние и нежелательные, как побочные продукты или к источники смещения, которые должны быть исключены, чтобы получить из объектив- ш ных данных их объективное освещение, мы должны признать, что именно эти контексты щ дают нам их «рамочное значение» или фрейм. Итак, чтобы представить себе и понять ^ какое-либо социальное явление, мы должны привлечь «внешнюю» действительность че- щ рез наблюдения, т. е. перевести биты информации из «объективной» непознаваемой ре- ^ альности в субъективно проинтерпретированную и контекстуально-связанную и, таким <э образом, знакомую теперь реальность. В терминах Альфреда Шюца, речь идет об интер- Ф претациях как конструктах второго порядка. Поэтому отношение качественных методов к своему предмету (повседневности как конструктам первого порядка) реконструктивно.

Но признаем, эта позиция содержит противоречие: с одной стороны, мы не можем

I

получить доступ к объективному и универсальному пониманию эмпирических феноменов, Ф

о

измерения. Какие принципы мы можем принять для определения качества эмпирических ш качественных исследований социальных процессов, которые признают субъективную св

но, с другой стороны, мы хотим оценить истинность утверждений о ней или качество ее

и интерпретативную природу наших исследовательских усилий, но в то же время гарантировали бы результаты, одновременно эмпирически строгие и заслуживающие доверия?

¡2 о

Качественные аспекты эмпирического исследования, как правило, включают поня- о тия «валидность» и «надежность», особенно в области психометрии и эконометрики. ^

ф

К

S

о

Качество измерения в социологии традиционно связано с понятиями надежности (как устойчивость и воспроизводимость получаемых результатов) и валидности (как соответствие измерения поставленной цели). Соответственно различаются внешняя валидность как возможность обобщения и переноса результатов на иной объект и внутренняя валидность как уверенность в контроле над процессом наблюдения или замера данных. Упоминаемый Г. Батыгиным тип валидности — конструктная валидность (И. Девятко ^ предпочитает называть его валидностью по содержанию) — связывает измерительный ¡в инструмент со структурой теории. Предполагается, что инструмент измеряет опреде- о ленное свойство, и это предположение интерпретируется в терминах теории; устанав- ет ливается круг свойств, связанных или не связанных с инструментом; предполагаемые g отношения подтверждаются либо не подтверждаются эмпирическими данными. Вали- Q, дизация осуществляется в случае подтверждения предсказания. Не валидность объяс- ^ няется тем, что инструмент не измеряет предполагаемое свойство либо ошибочностью Ф избранной теоретической модели, либо неверным измерением критериев проверки lQ предсказания (Батыгин, 1986, с. 66-71; Девятко, 2006, с. 173).

Анализ проблематики критериев качества в качественном исследовании в зарубежной исследовательской традиции показывает широкую тематизацию этого важного компонента исследовательского процесса. Если соблюдение вышеупомянутых критериев качества в качественном исследовании видится мало возможным ввиду эмерджентной природы получаемого знания, и полный консенсус недостижим, то из этого вытекает необходимость частичного консенсуса. Его диктует сама множественность, плюральность как одна из основных черт качественных исследований, в терминах М. Бельтран, «когнитивный плюрализм». Исследователи в настоящее время чаще видят преимущества в междисциплинарном сотрудничестве, которое преодолевает замкнутость специальных дисциплинарных дискурсов. Как известно, развитие качественных исследований за последние десятилетия привело к появлению новых подходов и тенденций, которые трудно систематизировать в одной модели (Denzin, Lincoln, 2005).

Упомянутая плюральность качественных исследований превращает обеспечение качества измерения в проблему. Исследователь вынужден сосредоточиться на сложном выборе на пересечении нескольких линий напряжения — 1) риск формализма versus риск спекуляции, 2) практика и методологическая строгость versus теория, открытие, углубление и 3) хорошее качество versus отсутствие исследования. Первые два компонента — методологические и основные для оценки качества. Как показано на рисунке 1, эти компоненты могут быть визуально представлены пересечением осей. Вертикальная ось будет представлять требования к качеству, ориентированные на методологическую строгость и связанные с тем, что некоторые авторы (Seale, 2004) определили как «внутренний» диалог. Горизонтальной оси будут соответствовать открытия и теории (Sandelowski, Barroso, 2003). Квадрат в результате наложения осей представляет собой область, где будет располагаться критериальное качество и, следовательно, область, где методологические предложения, направленные на его оценку, должны быть сформулированы. Если мы отходим от методологической строгости, мы скоро окажемся в сфере спекуляций. Если пренебрегаем углублением теории, основного компонента качественных исследований, возникает опасность формализма, в метафорах «трупного окоченения» (Sandelowski, 1993) или «методолатрии» (Chamberlain, 2000).

практика

Обнаружив координаты области возможного консенсуса в области оценки качества качественных исследований, теперь мы можем сосредоточить внимание на компонентах, которые присутствуют в оценке качества. Дискуссия на эту тему имела следствием договоренность о выделении характеристик, присущих качественной методологии научных исследований, с учетом влияния различных теоретических подходов (Emden, Sandelowski, 1998; Thorne, 2001). В этом конвенциональном списке воспроизводятся общепринятые критерии — достоверность, заменяемость, надежность и подтверждае-мость (Lincoln, Guba, 1985), а также введены новые термины: достоверность, ясность, креативность, яркость, тщательность, сенситивность (Whitemore, Chase, Mandle, 2001). Уточняя прежние критерии в направлении их открытой интеграции, как это получилось у Кальдерона (Calderón, 2009), вырисовываются четыре критерия — эпистемологическая и методологическая адекватность, релевантность, валидность и рефлексивность. Критерий эпистемологической и методологической адекватности ответственен за то, что изучается в качестве объекта исследования в настоящее время, соответствуют ли

вопрос и цель исследования, насколько методология исследования обслуживается его дизайном. Критерий релевантности следует оценивать в связи с актуальностью и новиз- >< ной вклада научно-исследовательской работы в понимание изучаемого явления. С другой стороны, должны быть оценены последствия результатов исследований за предела- I ми конкретных исследовательских обстоятельств, при которых работа была проведена, с^ что получило название критерия заменяемости (Lincoln, Guba, 1985). Критерий валид- о ности Кальдерон предлагает совместить с компонентом «интерпретативное участие», к вкладывая в этот шаг идею сделать респондентов/аудиторию активным участником ш интерпретации (Calderón, 2009). Рефлексивность как критерий очевидно становится щ фоновым компонентом процесса качественного исследования в целом (Hammersley, ^ Atkinson, 1983; Malterud, 2001).

В целом дискуссия относительно надежности и валидности развивается в двух на-

правлениях — во-первых, генезис данных должен быть прояснен таким путем, чтобы <э было ясно, где граница между замеренной картиной мира респондента и началом ин- Ф терпретации исследователем. Во-вторых, процедуры в поле или в процессе интервью имеет смысл проверить на сравнимость поведения различных интервьюеров или на- з блюдателей. Наконец, в-третьих, процесс исследования должен быть подробно задоку-

I I

ментирован и максимально детализирован. В дискуссии (Kirk, Miller, 1986) отдифферен- Ф

цированы три формы надежности: к

■ «донкихотская» надежность (насколько долго метод может непрерывно приводить ш

к тем же результатам) — тривиальна; св

диахроническая надежность как стабильность измерения или наблюдения (если объект не меняется, критерий эффективен); синхронная надежность достижима при условии близости результатов в один о и тот же момент измерения, но различными инструментами (авторы подчеркива- ^

¡s

о

ют, что этот критерий наиболее показателен, если он не оправдывается).

Процедурная надежность особенно важна в этнографическом обследовании, в котором стандартизация заметок и протоколов повышает надежность этого вида данных (Kirk, Miller, 1986, р. 57). Правила транскрипции, проясняющие процедуру транскрипции разговоров, имеют ту же функцию повышения надежности данных. Для повышения надежности в этнографии Уолкотт предлагает свой ряд условий: ^

1) исследователь должен воздерживаться от разговора в поле, слушать больше, на- ¡в сколько возможно, о

ох Ф

2) производить заметки точные, насколько возможно, ет

ф

К

S

о

о

3) начинать писать раньше,

4) с отстранением, С

5) отчет должен быть полным, та

6) искренним, ф

7) получить отзыв от других коллег в поле, lQ

8) презентация должна быть сблансированной с различных аспектов,

9) аккуратно выполненной (Wolcott, 1994, р. 127-128).

И все же валидность в дискуссии получает больше внимания, чем сюжет надежности (Flick, 2006, р. 371). Вопрос валидности можно сформулировать следующим образом: если исследователь что-то наблюдает, то что он думает по поводу того, что он видит. И здесь возможны три ошибки: видеть отношения так, словно они неправильны (№ 1), отвергать их, если они и в самом деле неправильны (№ 2), и, наконец, задавать неправильные вопросы (№ 3) (Kirk, Miller, 1986, р. 29-30). Поэтому основной акцент валидности в качественном исследовании заключается в обнаружении связи между изучаемыми отношениями и их версией у исследователя. С точки зрения Уве Флика, явно не разделяющего позиции социального конструктивизма, искажение этой связи тем меньше, чем шире представление о том, что реальность существует независимо от социальных конструкций (восприятий, интерпретаций, презентаций), то есть, насколько эмпирически

■

■

укоренены эпистемологические конструкции исследователя. В этом контексте Хаммер-сли подчеркивает позицию «тонкого реализма» (Hammersley, 1992, р. 50-52). Эта позиция имеет три допущения: 1) валидность знания не может быть оценена с уверенностью, речь лишь о правдоподобии, 2) феномены существуют независимо от наших претензий к ним, 3) реальность становится доступной через пересечение различных перспектив вокруг феномена, поэтому исследование помогает презентировать реальность, но не воспроизводить ее. Эта позиция приводит к необходимости реформулирования концепта валидности. Так, Мишлер начинает идею реформулирования с процесса валидации, определяя ее как «социальную конструкцию знания» (Mishler, 1990, р. 417), во время которой мы «оцениваем надежность собранных наблюдений, интерпретаций, и генерализаций» (Mishler, 1990, р. 419), и фактически превращает ее в социальный дискурс, приспособленный к анализу нарративов.

Проблема качества качественного исследования

с точки зрения процессуальности

Ряд авторов (напр.: Morse et all., 2002; Seale, 2004) подчеркивают важность рассмотрения проблемы качества как динамического процесса, в котором качество возможно обеспечить на каждом этапе процесса исследования. Практикующие исследователи знают, что эта практика никогда не разворачивается линейно, итерационным образом, проводя постоянное дублирование между различными фазами. Следовательно, необходимо оправдать для оценки каждой из следующих фаз или моментов — определение и обоснование вопроса и цели исследования, поиск литературы и теоретической поддержки, дизайн, выбор источников информации и методов генерализации, анализа и обсуждения результатов — рекомендации, которые будут выполнены адекватно каждому шагу (Blaxter, 2000; Sandelowski, Barroso, 2002). Такие оценочные работы также влияют на проверку и совершенствование методов и процедур, используемых в процессе исследования (например, триангуляция, подробное описание вмешательств), на формирование дифференцированной оценки качества. Как обобщает У. Флик (Flick, 2006, р. 369-370), наиболее важные предложения для каждой фазы процесса оценки качества, то визуально это можно представить на следующей таблице (табл. 1).

Таблица 1

Критерии качества Процесс Написание

методологическая адекватность, релевантность, рефлексивность Основные вопросы: исследовательский вопрос, уместность качественной методологии, прецеденты и предыдущие исследования, релевантность и важность проекта, этические требования - Введение-обоснование Статья как целое

методологическая адекватность, валидность, рефлексивность Дизайн и методологическая стратегия: адекватность теоретического фокуса, методов, техники, контекст исследования, гибкость, итеративность, циркулярность j 1 Статья как целое Участники и методы

Окончание табл. 1

Критерии качества Процесс Написание

валидность, рефлексивность, методологическая адекватность Сбор и формирование коллекции данных: Отбор/рекрутмент участников, взаимодействие между исследователями и участниками, сатурация, техники валидации > 1 Участники и методы Результаты

валидность, рефлексивность, методологическая адекватность Анализ информации: аналитические методы, итеративность/циркуляр-ность, связность, открытие, описание/теоретическое конструирование, интерпре-тативное соучастие, техники валидации -1 Результаты Дискуссия и выводы

релевантность, валидность, методологическая адекватность Заключительная фаза исследования: новизна и важность результатов, применимость/генерализация, внутренняя и внешняя связность, понятность и ясность, ограничения и новые вопросы 1 4 Дискуссия и выводы Статья как целое

Как видно из структуры таблицы, здесь увязываются стадии процесса исследования, критерии качества и фазы написания отчета или статьи.

Ниже мы критически рассмотрим возможности валидации в процессуальном плане, и, чтобы сделать нашу задачу более управляемой, мы будем рассматривать исследовательский процесс концептуально по частям, решая задачу, прежде всего, внутренней валидности:

■ на уровне разработки вопроса исследования;

■ сбора данных;

■ анализа данных, а также

■ интерпретации.

Мы делаем это, потому что озабоченность качеством по-разному актуализируется в этих четырех областях и потому, что мы хотели бы подчеркнуть, что, в отличие от многих текстов по методам исследований, сбор данных и анализ данных являются двумя взаимосвязанными, но отдельными исследовательскими процессами. Например, не включенное или включенное наблюдение, интервью и фокус-группы, как правило, рассматриваются как качественные методы исследования. При ближайшем рассмотрении, однако, становится ясно, что эти методы касаются в первую очередь того, как данные собраны, т. е. это методы сбора данных. Методы анализа данных, т. е. то, что мы делаем с нашими наблюдениями, после того как они собираются, могут включать в себя некоторые формы контент-анализа, нарративного анализа, анализа дискурса и т. д. На практике, конечно, сбор и анализ данных тесно связаны. Однако, отделяя эти процессы концептуально на субпроцессы сбора и анализа, мы можем обнаружить различные претензии к качеству, которые возможно соблюсти, чтобы улучшить качество наших исследований, как во время процесса сбора, так и для повышения качества анализа и интерпретации.

-а I I

то Ч о

£2

о ф

Щ

0 ?

ф §

-а

1

I ф

£2

о ф

¡2 о

0 §

1

к

0

1 ф

£2

о ф

0

о.

то

1 ф

15

Качество на стадии концептуализации исследовательского вопроса

Две проблемы связаны с качеством качественных методов исследования, которые возникают в процессе концептуализации и разработки вопроса исследования: выбор метатеории и предположений, связанных с определенным исследовательским подходом (Bergman, Coxon, 2005). К тому моменту, когда исследователи оказываются втянуты в исследовательский проект, они, как правило, полностью социализированы в определенной теоретической традиции исследования. На факультетах и в отделах институтов доминируют определенные метатеории, руководители проектов следуют конкретным идеологиям, теориям и взглядам, а также явным или неявным предпочтениям грантирующих фондов, что, как правило, направляет исследователей в конкретных траекториях путей познания, проведения и представления результатов исследований. Институционализированная традиция и моды в социальных науках социализируют исследователей в рамках некоторого коридора теорий, например, социального конструктивизма, рационального выбора или постмодернизма, детерминируя набор «линз» или методологии и методов. Точнее, метатеоретические подходы различным образом выстраивают предположения о природе социального действия и смыслонаделения, и, таким образом, подготовленные исследователи, вероятно, замеряют, классифицируют, анализируют и интерпретируют данные по-разному. Можно предположить, что большинство исследователей просто придерживаются определенной традиции, но действительно ли они осознают это?

Приобретенные таким образом фундаментальные теории социологического знания, которыми руководствуются при выборе темы исследования, разумеется, влияют и на определение рамки исследования. Лишь немногие из потенциальных аспектов, связанных с темой исследования, явно рассматриваются в ходе исследовательского процесса. Например, изучение девиантного поведения молодежи может включать в себя вопросы, касающиеся возраста, пола, социального положения, сексуальной идентичности, национальных, региональных и культурных соображений, морали, экономики, личных и коллективных историй, религиозности, мотивов, социальных сетей в оффлайне и онлайне, поведения, ценностей, аффектов, референтных групп, детских переживаний, отношений с родителями на протяжении всей жизни и т. д. Этот список представляет собой ряд аспектов, которые в принципе могут быть изучены. Кроме того, хотя большинство из этих аспектов может иметь отношение к девиантному поведению молодежи, реально лишь небольшая группа потенциальных аспектов темы будет изучена. Зачастую процесс отбора аспектов, которые в конечном итоге найдут свое место в дизайне исследовательского проекта, осуществляется на основе не только их связи с темой, но и вследствие интереса, умений, опыта и привычек исследователя, финансовых требований и временных ограничений, результатов исследований из смежных областей или в других странах, доступа к данным, знакомства с конкретными методиками, например, компьютерной обработки данных и т. д.

Вероятно, бесполезно судить о надежности и валидности исследовательского проекта, основываясь только на выборе метатеории. Какой теоретический подход лучше или хуже — марксизм или теория рационального выбора, например, — следует отнести к идеологии. Но рефлексия об этом плодотворна, так как может позволить исследователю быть самокритичным с точки зрения ограничений, внедренных в концептуализацию вопроса исследования, понимание задач в ходе классификации данных, а также выводы из результатов анализа.

Качество на стадии сбора данных: качество инструмента и качество данных

Качество процесса сбора данных в качественных методах можно разделить концептуально на качество инструмента или собственно метода сбора данных и качество данных, полученных этим инструментом. Мы ограничим здесь наше обсуждение качества проблемами, которые возникают в интервью. Тем не менее подобные аргументы могут

быть релевантны и по отношению к другим качественным методам сбора данных, в том

числе, фокус-группам, наблюдению и пр. ><

Ряд условий сопровождает наблюдаемые феномены, которые выбраны таким образом, чтобы приобрести статус данных: мы присваиваем статус данных тому, что мы мо- I жем наблюдать, что, как мы думаем, имеет отношение к нашему исследовательскому с^ вопросу, и чему, по разным причинам, мы отдаем приоритет по сравнению с другими о эмпирическими наблюдениями. О субъективном характере выбора данных со стороны к исследователя и его контекста было сказано выше. Сбор данных является процессом се- ф лективного отбора эмпирических феноменов и приписывания отношения к ним с огляд- щ кой на исследовательский вопрос. Таким образом, данные ничего, кроме проинтерпре- ^ тированного наблюдения, не представляют, и наши результаты сильно зависят от того, как мы придаем статус данным (Coombs, 1964). Багаж методических знаний, который

формирует наш выбор критериев, соотносится с массивом необработанных данных, как, <э например, вопросы фразировки, реакций на различные невербальные сигналы, которые Ф

поступают как реакция на взаимодействия между исследователем и респондентом. Для того чтобы убедиться, что собеседник понимает задаваемые вопросы, можно,

-а

как одна из возможных стратегий, проводить по крайней мере два типа эксперимен- ^

ф

о

к вопросу нашего исследования (например, типы и границы отношений). Во-вторых, ф с использованием этого материала, просим респондентов помочь нам построить анке- св

тальных исследований: во-первых, проведение неструктурированных, разведочных интервью, в которых мы просим респондентов описать ключевые понятия, относящиеся

ту, парафразируя каждый из вопросов, просим сказать, что они думают по поводу того, что мы пытаемся оценить. Из этих экспериментальных исследований мы выявляем не только различные аспекты методологии исследования (например, порядок вопроса, на- о вязанный вопрос), но и существенную информацию о теме исследования с точки зрения ^ участников, открытых к предположениям о том, что исследователь не знает и знать не щ хочет. Короче говоря, экспериментальные исследования дают нам ключ к тому, понимаем ли мы достаточно, что респонденты имеют в виду, когда они выражают свое мнение.

Социальные психологи доказывают, что информаторы часто противоречивы: их по-

поведения кажутся несовместимыми с другими поведенческими реакциями и ценностя-

¡S

о

3

ведение кажется несовместимым с заявленными позициями или ценностями, модели $

I ф

ми. Когда мы говорим о внутренней согласованности в рассказах людей во время интер- ¡в вью, мы не пытаемся создать последовательность там, где ее нет. Вместо этого мы ищем о явные несоответствия, которые указывают на еще неисследованные или неправильно ет истолкованные аспекты, касающиеся темы исследования. Отсутствие внутренней со- ^ гласованности в течение интервью предупреждает интервьюера, что он, возможно, не- О, правильно понял высказывание, или что, может быть, за пределами этого объяснения та существует явное несоответствие, которое откроет дополнительные аспекты о позиции Ф собеседника. В целом мы выступаем за исследование конструкции, в рамках которой и] осуществляется сбор данных, позволяющих оценить построение смысла в непосредственном контексте рассказчика, а не приписывать его на основе скудной информации самим исследователем.

Но концептуальное различие между разными фазами процесса исследования не означает, что концептуализация вопроса исследования, сбор данных, анализ и интерпретации могут быть разделены на практике. Например, глубинные интервью обычно включают в себя явный или неявный анализ, по крайней мере с точки зрения разведки о том, что респонденты говорят или делают во время интервью. Зондирование представляет собой форму предварительного анализа, поскольку часто основано на специальном анализе. Содержание заявления интервьюируемого, например когда он утверждает, что он не считает себя подверженным риску подхватить ВИЧ-инфекцию, несмотря на активную половую жизнь, явно амбивалентно. И мы можем использовать зонды не только для того, чтобы узнать, почему он придерживается этой точки зрения, но и для того, чтобы

узнать, что он понимает под «рискованным» и «безопасным» поведением. С помощью зондов, таким образом, мы пытаемся определить не только позиции респондентов по вопросу, но и то, какие аспекты они соединяют с этим вопросом, какое отношение и позиции такие аспекты вызывают. У нас могут быть априорно конкретные теории в нашем исследовательском сознании, когда мы формулируем зонды или хотим проверить, действительно ли мы понимаем ответ респондента в соответствии с тем, как он понял вопрос. Хотя зонды представляют собой опасное наводящее средство разъяснения и донесения дополнительной информации, осознание их эффекта может помочь оценить степень интервенции, с которой ответ был спровоцирован самим интервьюером.

Выше мы поставили конкретные вопросы, касающиеся связности, достоверности, надежности и валидности, относящиеся к фазе сбора данных. Мы выделили несколько искусственно фазы концептуализации вопроса исследования и методов сбора данных. Однако большинство решений, принятых в ходе процесса исследования, отражают предварительный анализ, так что на практике концептуализация, сбор данных, анализ данных и интерпретация итеративны, неразрывно связаны между собой.

Качество на стадии анализа и интерпретации данных

Для того чтобы анализировать и интерпретировать эмпирические феномены в ходе проведения исследований в качественной традиции, исследователи занимаются категоризацией и кодированием. Субъективный элемент, присущий этим процессам, хорошо известен и отмечен многими исследователями (см.: Bergman, 2002; Jahoda, 1993; van Dijk, 1998). Исследователи, как правило, выбирают одну из трех позиций по отношению к субъективному элементу в эмпирическом исследовании: 1) принять субъективность как неизбежный недостаток, 2) полагать его недостатком, который может быть частично устранен путем тщательного дизайна исследования, или 3) принять этот феномен как естественную часть исследования. Здесь мы рассмотрим различные аспекты субъективности в процессе аналитики и интерпретации и обсудим, в какой степени дизайн исследования может или не может улучшить качество интерпретаций.

Определение присутствия и отсутствия, а также сходства и различия между эмпирическими феноменами является основой, на которой строятся смысл и понимание. Процесс построения категорий, их содержание, границы, их связи друг с другом имеют центральное значение для понимания социального действия и целеполагания. Как говорит Коксон: «Категоризации и классификации — как размещение ряда вещей в небольшом количестве групп и оснащение правилом, согласно которому такое распределение произведено, — являются, вероятно, наиболее фундаментальными операциями в мышлении и языке, и имеют решающее значение для широкого круга дисциплин» (Coxon, 1999, p. 1).

В рамках исследовательского процесса категоризацию нужно понимать в более широком смысле — восприятие или регистрация объекта или события в среде предполагают акт категоризации, и через этот акт категоризации объект или событие одновременно наделяются смыслом. Связи между классификациями и системой выстраиваемого знания не закрывают тот факт, что уже существующие интерпретации устанавливают условия и ограничения для последующих интерпретаций тех или иных признаков феноменов и событий, а также имеет место дискурсивная власть навязывания смысла, который вкладывается в предпочтительные интерпретации по сравнению с альтернативными интерпретациями. Категоризации являются функцией построения смысла и, таким образом, связаны с социально-культурными нормами, ценностями, традициями, идеологиями, практикой и т. д. Влияние последних нужно понимать не как отклонение (как что-то, что нуждается в контроле или элиминировании) в наших усилиях по отбору и классификации эмпирических феноменов, а, скорее, в качестве фрейма знаний и отсылок, в соответствии с которыми эмпирические наблюдения могут быть классифицированы и, таким образом, поняты и обобщены.

До сих пор мы подчеркивали субъективную, зависимую от контекста, и социально-

культурную природу категоризации во время аналитического процесса. Соответствен- >< но, это может показаться противоречивым для введения концепта валидности. Многие

исследователи и методисты считают, что валидность и субъективность непримиримы I

из-за их различных эпистемологических позиций: валидность якобы принадлежит к по- с^

зитивистской парадигме, в то время как субъективность принадлежит к «иной» иссле- о

довательской традиции (постмодернистской, качественной, интерпретативной или к

этнографической). Прежде всего, это касается исследовательского вопроса, который ш

управляет сбором данных и, таким образом, влияет на тип категорий и правила катего- щ

ризации. Часто, однако, оказывается, что связь между вопросом исследования и данны- ^ ми не совсем убедительна. В этом смысле, вслед за Дж. Тьюки, самая большая угроза валидности заключается в том, что данным адресуются неправильные вопросы (цит. по:

Bergman, Coxon, 2005). Чтобы исследовать эту проблему более внимательно, рассмо- <э трим сам процесс категоризации, и как он соотносится с валидностью. ф

Категоризация является процессом упорядочивания эмпирических наблюдений в отношении их сходства или различия. Функция категоризации в процессе исследования состоит в отборе эмпирических феноменов в соответствии с правилами, которые,

часто меняются в зависимости от направленности исследовании и теоретических пара-

-Q I I

как полагают, связаны с конкретным вопросом исследования. Категории, однако, стро- Ф

ятся не только на основе естественных моделей (например, классификация химических к

элементов в соответствии с их весом, структурой или близостью к другим элементам), ш

но, что важно для социальных наук, являются активными конструкциями, которые иссле- св

дователи навязывают данными. Множественные категоризации одних и тех же данных „

дигм. Таким образом, эмпирические суждения о степени сходства зависят от категорий о и границ категорий, которые исследователь применяет к свободному набору эмпириче- ^

ф

К

S

о

ских наблюдений. Набор эмпирических феноменов категоризируется в соответствии со смысловой структурой, которая как существует до, так и возникает эмерджентно в результате процесса категоризации и кодирования, что, в свою очередь, подтверждают категории, которые формулируются в процессе категоризации эмпирических феноменов. Тем не менее классификация не является чисто пристрастным или эгоцентрическим процессом, а, скорее, социальная и культурная среда исследователей предписывает ^ и простраивает в значительной степени содержание и границы категорий. Социально- ¡в культурное влияние на процесс классификации осуществляется, по крайней мере, дву- о мя способами: во-первых, они находятся под влиянием общих правил, т. е. ценностей, ет норм, идеологий и т. д., во-вторых, они находятся под влиянием непосредственного кон- g текста культурных норм и классификаций. Q,

Категоризация может быть применена к любой совокупности, взятой эмпирически та или теоретически, например, ситуаций, отдельных лиц, семей, групп, племен, организа- Ф ций, культур, народов, действий, слов, заявления, тем, фраз, картинок, звуков, запахов, lQ взаимодействий, сетей, систем, статусов, концепций, методов, теорий, архитектурных стилей, выражений лица и т. д. Кроме того, классификация может включать в себя сравнительные аспекты таких объектов, как гендерные группы, национальности, возрасты, социальное положение, уровень образования и т. д.

Тем не менее анализ начинается прежде, чем данные будут собраны. Как констатировал Клайд Кумбс (Coombs, 1964), эмпирические феномены, которые в конечном итоге вырастают до статуса данных, это лишь малое подмножество наблюдаемых явлений. Как показано на рисунке 2, только часть потенциально наблюдаемых (но, по каким-либо причинам, не попадающих в фокус наблюдения) эмпирических феноменов, соответствующих исследовательскому вопросу, рассматривается исследователем на самом деле, и только часть этого подмножества в конечном итоге будет признана данными. Таким образом, предварительная категоризация эмпирических феноменов имеет место там, где наблюдаемые эмпирические явления неявно разделены на данные и не-данные.

Критерии отбора в этом процессе включают множество решений, таких как методологические и теоретические предпочтения исследователей, удобство замера, стоимость, академические привычки, предпочтения, выраженные оценочными инстанциями или органами финансирования научных исследований и т. д. Как отмечают Ван Маанен, Мэннинг и Миллер: «Решение, что должно считаться единицей анализа, — принципиальный вопрос в интерпретативном исследовании, требующий суждения и выбора» (van Maanen, Mannin, Miller, 1986, р. 5), что близко позиции Коксона: «Ответ на вопрос «Что мне делать с информацией, как только я собрал ее?... будет зависеть в значительной степени от уже принятых решений и от того, какие предположения исследователь [привносит] для интерпретации наблюдений» (Coxon, 1999, р. 5).

Рис. 2. Типы эмпирических феноменов

Если отбор данных, то есть идентифицированные как данные из широкого набора эмпирических наблюдений, зависит от суждений и теоретического выбора, и если они тесно связаны с контекстом, в котором работают исследователи (Bergman, 2002), то, разумеется, исследователи должны обосновать свой выбор. Соответствие данных, а также целесообразность отбора в коллекцию данных и аналитических процедур могут быть засвидетельствованы по крайней мере четырьмя способами:

■ Аргумент авторитетом: претензии на адекватность, релевантность теории, предположениям или процедурам часто осуществляются через прямые ссылки на авторитетных персонажей, группы или институты. Например, известный способ цитирования научных («по словам профессора N. в Московском университете,...»), политических деятелей, Фондов изучения мнения («как показали многолетние наблюдения Левада-Центра,...») часто используется для аргументации при особенном выборе данных, процедуры или категоризации. Ясно, что это является эффективным способом, чтобы оправдать процедуры исследования и выводы, и может презентироваться как способ валидности.

Конечно, опытные авторы могут избирательно использовать аргумент авторитетом, что

укрепляет саму линию аргументации, так что этот способ стратегической верификации >< знания, хотя и эффективен и широко распространен, тем не менее является наиболее

угрожающим целостности исследования и его результатам. I

■ Предыдущие эмпирические исследования: очевидно, что практически невоз- с^

можно провести исследования в рамках избранной сферы, не сопоставляя ее с эмпи- о

рической работой других исследователей. Чтобы соотнести свое исследование с лан- к

дшафтом предыдущих исследований в конкретной области, авторы цитируют выводы ф

других эмпирических исследований для того, чтобы либо согласовать либо дистанциро- щ

ваться в отношении к парадигмам, теориям, подходам или процедурам. Авторы обычно ^ используют фразы типа «Иванов не принял во внимание...» или «как Петрова убедительно продемонстрировала...». Эта стратегия также служит в качестве аргумента автори-

тетом, подобному тому, что описан выше. Ссылка на «научную статью», особенно если <э автор авторитетная фигура, гораздо сильнее дискурсивной стратегии, оправдывающей Ф особый подход, по сравнению с простыми аргументами авторитетом. Следует признать, однако, что тщательный отбор и реинтерпретация «релевантной литературы» открывает более широкие возможности стратегического позиционирования и, следовательно, в значительной мере валидизирует исследование.

том часто связаны с предварительными эмпирическими исследованиями, а посредством использования логики либо деконструкции контраргументов эти задачи могут быть объединены, чтобы сделать аналитику и интерпретации последовательней и согласованней.

-а I

I ф

Ра

■ Теория: как уже упоминалось, теоретические основы предписывают и простраи- ^ вают в значительной степени не только то, что будет считаться релевантными данными, Ф но и то, как данные будут анализироваться и интерпретироваться. Например, марксист- св

ский подход будет погружен в социально-классовый конфликт, а гендерный подход будет открещиваться от эссенциализма в пользу социального конструктивизма, что будет иметь следствием не только разные критерии в процедуре замера релевантных данных, о но и в том, как эти данные должны быть проанализированы и проинтерпретированы. Как ^

и прежде, теория накладывает априорные ограничения на то, что должно и может быть д.

изучено и как, а также позволяет более согласованно представить связный путь прове- .со

дения исследования. ,

■ Логический аргумент: выбор и стратегическое представление аргументов авторитетом, предыдущие эмпирические исследования и теории — это только один способ, ^ в котором логический аргумент оправдывает некоторые исследовательские решения по ^ сравнению с другими решениями. Сравнения и контрастирования, обобщение, синтез ¡в являются также мерами, которые помогают оправдать отбор и анализ данных. Отбор о правил, т. е. на каком основании некоторые категории были выбраны, и эмпирические ет

примеры, т. е. как эмпирическая очевидность «вписывается» в категории, также в значи-

о

тельной степени основываются на логических доводах. Никакие данные или категории О,

св

не говорят сами за себя, но должны быть объяснены и оправданы. 5

-С

Эти четыре инструмента, очевидно, взаимозависимы, например, аргументы авторите- Ф

Заключение

Итак, хотя практически все научно-исследовательские решения в процессе качественного исследования, от исследовательского вопроса до интерпретации полученных данных, зависят в какой-то степени от субъективных оценок и суждений, это не освобождает исследователей от того, чтобы сделать эти элементы явными (эксплицитными) насколько возможно, чтобы реализовать исследование более последовательным и убедительным. Если избирается другой путь, исследователи должны, что называется, «чеканить собственную монету» — свою терминологию, потому что они отвергают конструкции, которые, возможно, возникли в другой эпистемологической традиции.

В любом случае, необходима подотчетность практики исследования, прежде всего путем явного описания шагов исследования, которые позволяют вынести на суд читателей правдоподобность результатов исследования. В этом смысле П. Г. Свенборн (Swanborn, 1996) предлагает раскрывать читателю методологические решения и интерпретативные суждения. А K. Сил (Seale, 1999) идет дальше и предлагает сделать научно-исследовательское сообщество арбитром качества в надежде, что через форму демократических переговоров в рамках исследовательского сообщества сформулируются принципы качества процедур. Отнесемся к этому предложению скептически, ведь только в очень абстрактных терминах мы можем говорить о почти всегда разделяемом научно-исследовательским сообществом научном этосе, вместо этого исследовательские сообщества, как отмечал еще Кун, правят своими исследовательскими направлениями как вотчинами и ревниво охраняют их от вторжения или революции.

Валидность должна, безусловно, присутствовать в каждом исследовательском решении. Хотя никогда не будет возможно доказать, что процедура или результат валидны в объективном смысле, «плодотворная одержимость» (термин см.: Lather, 1993) качеством существенно работает на правдоподобность и убедительность эмпирических исследований.

Литература

Батыгин Г. С. Обоснование научного вывода в прикладной социологии. М.: Наука, 1986.

Девятко И. Ф. Методы социологического исследования: уч. пособие для вузов. М.: Университет, 2006.

Bergman M. M. Reliability and Validity in Interpretative Research During the Conception of the Research Topic and Data Collection // Sozialer Sinn. 2002. № 2. P. 317-331.

Bergman M. M., Coxon A. P. M. The Quality in Qualitative Methods // Forum: Qualitative Social Research [On-line Journal]. 2005. № 2 (6). URL: http://www.qualitative-research.net/fqstexte/2-05/05-2-34-e.htm (accessed: 1.11.2014).

Blaxter M. Criteria for Qualitative Research // Medical Sociology News. 2000. № 26. P. 34-37.

Calderón С. G. Assessing the Quality of Qualitative Health Research: Criteria, Process and Writing // Forum: Qualitative Social Research [On-line Journal]. 2009. № 2 (10). URL: http://www.qualitative-research.net/index.php/fqs/article/viewArticle/1294/2806 (accessed: 1.11.2014).

Chamberlain K. Methodolatry in Qualitative Health Research // Journal of Health Psychology (Special issue on Critical and Qualitative Approaches to Health Psychology). 2000. № 5. P. 289-296.

Coombs C. A Theory of Data. New York: Wiley, 1964.

Coxon A. P. M. Sorting Data: Collection and Analysis. Thousand Oakes: Sage Publications, 1999.

Denzin N. K., Lincoln Y. S. The Sage Handbook of Qualitative Research. Thousand Oaks: Sage Publications, 2005.

Emden C., Sandelowski M. The Good, the Bad, and the Relative, part 1: Conceptions of goodness in qualitative research // International Journal of Nursing Practice. 1998. № 4. P. 206-212.

Fielding N. The Resurgence, Legitimation and Institutionalization of Qualitative Methods [23paragraphs] // Forum: Qualitative Social Research [On-line Journal]. 2005. № 6 (2). URL: http://www. qualitative-research.net/fqs-texte/2-05/05-2-32-e.htm (accessed: 1.11.2014).

Flick U. An Introduction to Qualitative Research. London, Thousand Oaks, New Delhi: Sage Publications, 2006.

Gergen K. Social Psychology as History // Journal of Personality and Social Psychology. 1973. № 26. P. 309-320.

Hammersley M. Some Reflections on Ethnography and Validity // Qualitative Studies in Education. 1992. № 5 (3). P. 195-203.

Hammersley M., Atkinson P. Ethnography: Principles in practice. London: Routledge, 1983.

Kirk J., Miller M. L. Reliability and Validity in Qualitative Research. London: Sage Publications, 1986.

Lather P. Fertile Obsession: Validity after Poststructuralism // Sociological Quarterly. 1993. № 34 (4). P. 673-693.

Lincoln Y. S., Guba E. G. Naturalistic Inquiry. Newbury Park, CA: Sage Publications, 1985.

Malterud K. Qualitative Research: Standards, Challenges, and Guidelines // Lancet. 2001. № 358.

P. 483-488. 3

I

Mishler E. Validation in Inquiry-guided Research: the Role of Exemplars in Narrative Studies // Harvard I

Educational Review. 1990. № 60 (4). P. 415-442. c|

Morse J. M., Barrett M., Mayan M., Olson K., Spiers J. Verification Strategies for Establishing O

QQ

Reliability and Validity in Qualitative Research // International Journal of Qualitative Methods. 2002. № 1. K

URL: http://www.ualberta.ca/~iiqm/backissues/1_2Final/html/morse.html (accessed: 1.11.2014).

:r

OQ

-Q

Mottier V. The Interpretive Turn: History, Memory, and Storage in Qualitative Research [21 paragraphs] // Forum: Qualitative Social Research [On-line Journal]. 2005. № 6 (2). URL: http://www. qualitative-research.net/fqs-texte/2-05/05-2-33-e.htm (accessed: 1.11.2014).

Sandelowski M. Rigor or Rigor Mortis: the Problem of Rigor in Qualitative Research Revisited // O

Advances in Nursing Science. 1993. № 16 (2). P. 1-8. §

Sandelowski M., Barroso J. Reading qualitative studies // International Journal of Qualitative cd

Methods. 2002. № 1 (1). P. 74-108. URL: https://ejournals.library.ualberta.ca/index.php/UQM/article/ view/4615/3764 (accessed: 1.11.2014).

Sandelowski M., Barroso J. Classifying the findings in qualitative studies // Qualitative Health I

Research. 2003. № 7. P. 905-923. CD

QQ

Seale C. The Quality of Qualitative Research. London: Sage, 1999. K Seale C. Quality in Qualitative Research // Qualitative research practice / Ed. by C. Seale, G. Gobo, J. F. Gubrium, D. Silverman. London: Sage, 2004. P. 409-419.

Swanborn P. G. A Common Base for Quality Control Criteria in Quantitative and Qualitative Research // ^

Quality and Quantity. 1996. № 30. P. 19-35. K

Thorne S. E. The Implications of Disciplinary Agenda on Quality Criteria for Qualitative Research // The o

nature of qualitative evidence / Ed. by J. M. Morse, J. M. Swanson, A. J. Kuzel. Thousand Oaks, CA: Sage, ^

2001. P. 141-159. CD

I

van Maanen J., Manning P. K., Miller M. L. Qualitative Research Methods Series. Newbury Park, CA:

Sage, 1986. -C

Whittemore R., Chase S. K., Mandle C. L. Validity in Qualitative Research // Qualitative Health tg

Research. 2001. № 11. P. 522-537.

Wolcott H. F. Transforming Qualitative Data. Thousand Oaks, CA: Sage, 1994. I

CD

0 0.

CB

1 CD

IS