Критерии оценки качественных исследований Текст научной статьи по специальности «Психологические науки»

[ Методология и методы психологии ]

Национальный психологический журнал №2(14)/2014, 47-49 УДК: 159.9.072

Оригинальная статья

National Psychological Journal #2(14)/2014, 47-49 doi: 10.11621/npj.2014.0206

Original Article

Критерии оценки качественных исследований

О.Т. Мельникова, А.Н. Кричевец, А.Н. Гусев, Д.А. Хорошилов, Ф.И. Барский МГУ имени М.В.Ломоносова Москва, Россия Н.П. Бусыгина МГППУ, Москва, Россия

Поступила 2 декабря 2014 / Принята к публикации: 5 декабря 2014

Criteria for the evaluation of qualitative research

Olga T. Melnikova, Anatoly N. Krichevets, Alexey N. Gusev, Natalia P. Busygina, Dmitry A. Khoroshilov, Philip I. Barskiy Lomonosov Moscow State University Moscow, Russia

Natalia P. Busygina MSUPE, Moscow, Russia

Received: December 2, 2014 / Accepted for publication: December 5, 2014

Формулируются критерии оценки научных публикаций и квалификационных работ: дипломов, магистерских и кандидатских диссертаций, выполненных _ качественными методами. Критерии являются итогом исследовательской работы семинара по качественным методам на факультете психологии МГУ имени М.В. Ломоносова под руководством А.Н. Кричевца и О.Т. Мельниковой. Подробно описываются этапы и соответствующие им стандарты планирования исследования, формирования целевой и теоретической выборки, сбора и анализа качественных данных, интерпретации и презентации результатов. Особое внимание уделяется таким критериям оценки работы как прозрачность интерпретаций, их документированность, аргументированность, наличие рефлексивной позиции автора в тексте и ее разведение с суждениями и мнениями респондентов. Кроме того, показывается необходимость обоснования выбора того или иного метода анализа (в частности, тематического анализа, метода «обоснованной теории», герменевтической или дескриптивной феноменологии, нарративного и дискурс-анализа), их соответствия целям и задачам исследования, а также адекватности для изучения той или иной предметной сферы. Обсуждаются основные стратегии валидизации, включаемые «внутрь» исследовательского процесса (валидизация респондентами, анализ отклоняющихся случаев, триангуляция и ряд других), этические принципы и правила формирования выборки, диалога с респондентами, работы с их персональными данными. Разработка «стандарта качества» является важным фактором институализации качественных исследований в отечественной психологической науке. Ключевые слова: качественные исследования, валидность, критерии валидности, стратегии валидизации.

тг n this paper we develop the criteria for evaluating scientific and academic publications and such qualification works, as diplomas, master theses and Ph. D. theses carried I out using qualitative methods. The criteria are the result of a research seminar on qualitative methods held by A.N. Krichevets and O.T. Melnikova at the Department of Psychology, Lomonosov Moscow State University, Moscow, Russia. The detailed steps are described and corresponding standards of planning research, preparing the target and theoretical sample, collecting and analyzing quality data, interpreting and presenting results are shown. Particular attention is given to such criteria as transparency of result interpretation, result analysis documentation, validity, availability of author's reflexive position in the text and availability of respondents' judgements and opinions. In addition, we show the necessity of choosing methods for analyzing the results (e.g. thematic analysis, grounded theory method, hermeneutic or descriptive phenomenology, narrative and discourse analysis), how they conform to the goals and objectives of the research, and also the adequacy of studying a particular subject area. We discuss the key validation strategies included into the research process (validation by respondents, analysis of deviant cases, triangulation, etc.), ethical principles and sampling, communicating with respondents, working with their personal data. Developing "quality standards" is an important factor in establishing a qualitative research in the Russian national science of psychology.

Keywords: qualitative research, validity, validity criteria, validation strategy.

№ 2 [14] 2014

ISSN 2079-6617 _ _ ЛП Национальный

© Lomonosov Moscow State University, 2014 ¿f / National psychological journal

http://www.psy.msu.ru/science/npj/

роблема валидности (или, как принято говорить в западной научной литературе, «качества») качественных исследований в социальных науках и психологии в некотором смысле может считаться разрешенной, ибо за последние годы параллельно с постепенной институализацией качественных методов в университетах и созданием профессиональных сообществ (в частности, при Британском психологическом обществе или Американской психологической ассоциации) были сформулированы экспертные критерии оценки работ «качественного жанра». Заключен профессиональный консенсус о том, в чем специфика валидности качественных исследований, каким стандартам они должны соответствовать. Наиболее значимые критерии валидности анализируются в статье О.Т. Мельниковой и Д.А. Хорошилова «Современные критериальные системы валидности качественных исследований в психологии», опубликованной в насто-ящем выпуске журнала.

Однако отечественная психология осваивает качественные методы медленнее, чем на Западе, и стандарты «хорошего» исследования, проведенного с их помощью, пока не сформулированы на русском языке. Валидность в рамках качественной методологии стала впервые обсуждаться в работах О.Т. Мельниковой, Т.В. Фоломеевой, Н.П. Бусыгиной, АМ. Улановского, а в 2012 г. Д.А. Хорошиловым защищена диссертация, специально посвященная указанной проблеме. При всей глубине теоретического анализа валидности вопрос о том, по каким конкретно критериям следует оценивать научные публикации и квалификационные работы, дипломы, диссертации, использующие качественные методы, остался открытым. Этот пробел должны восполнить критерии оценки качественных исследований, которые мы предлагаем ниже.

Эти критерии - результат многолетней (начиная с 2009 г.) деятельности семинара по качественным методам на факультете психологии МГУ имени М.В. Ломоносова. Его инициаторами и руководителями выступили А.Н. Кричевец и О.Т. Мельникова. На нашем семинаре открыто дискутировались теоретические и практические сюжеты качественных исследований, актуальные направления и тренды, от феноменологии до дискурс-анализа, в самых разных областях современной психоло-

гии. Критерии валидности научных работ, использующих качественные методы, являются неким итогом осмысления участниками семинара многолетней исследовательской и преподавательской практики и сопоставления этого опыта с лучшими западными образцами. Думается, что наши критерии позволят не только оценить ту или иную работу как профессионально или «халтурно» сделанную, но и лучше отрефлексировать собственные исследования, «валидизировать их изнутри», как иногда выражаются сами «качественники». Надеемся, что четко прописанный «стандарт качества» (не претендующий при этом на абсолютную завершенность) будет еще одним шагом к упрочению позиций качественных исследований в отечественной науке. 1. Во введении формулируются:

a. проблема и актуальность выбранной темы;

b. цели, задачи, объект и предмет исследования; в случае методологической квалификационной работы, в которой предусмотрена иллюстративная эмпирическая часть, необходимо четкое разведение методологических и эмпирических целей, задач, объекта и предмета исследования;

c. обоснование выборки: размер выборки в качественном исследовании варьируется от единичного случая до серии интервью, фокус-групп или подборки документов для анализа, но должен гарантировать получение устойчивых тенденций; должно быть аргументировано, что дальнейшее расширение выборки или объемов материалов не приведет к принципиально новым результатам.

d. гипотезы исследования; формулирование гипотез имеет свою специфику в случае качественных исследований поискового типа, цель которых - не проверка гипотезы, а эмпирические обобщения: в качественных исследованиях поискового типа гипотезы формулируются в виде общих утверждений, обозначающих направление исследовательского поиска, и в процессе исследования такие гипотезы не столько проверяются, сколько дополняются, конкретизируются, трансформируются; в исследованиях поискового типа допускается также отсутствие гипотез - в этом случае гипотезы

могут быть заменены исследовательскими вопросами либо описанием логики и принципов проводимого поискового исследования

2. Обзорно-теоретический раздел квалификационной работы, в котором рассматриваются основные механизмы, феномены, явления, являющиеся объектом и предметом исследования, включает:

a. аналитический обзор исследований по заявленной предметной теме;

b. анализ методологических и методических подходов к теме исследования;

c. резюме по теоретической (обзорно-аналитической) части с обоснованием выбора (построения) стратегии собственного исследования.

3. В эмпирической части квалификационной работы описывается дизайн и планирование качественного исследования, подробно представляется процедура исследования, описываются его результаты и предлагается их теоретическое обсуждение.

a. В описании процедуры качественного исследования должны быть представлены:

i. развернутое обоснование и описание выборки исследования;

ii. развернутое обоснование и подробное описание методов и процедуры сбора данных;

Ш.описание формальных характеристик полученного материала (общее время собранных аудио-или видеозаписей интервью, фокус-групп и др.; количество тран-скриптов интервью, средний объем интервью и т.п.); iv. развернутое обоснование и подробное описание методов и процедуры анализа данных

b. Результаты исследования представляются в работе в соответствии с правилами, принятыми в традиции выбранного и обоснованного для данного исследования метода:

1) качественного контент-анализа и/или тематического анализа;

2) обоснованной теории (grounded theory);

3) описательного или интерпрета-тивного феноменологического анализа;

4) дискурс-анализа;

5) нарративного анализа; и др.

Национальный психологический журнал National psychological journal

http://www.psy.msu.ru/science/npj/

Ж

ISSN 2079-6617

© Lomonosov Moscow State University, 2014

№ 2 [14] 2014

Представление результатов в рамках любого выбранного метода должно сопровождаться цитатами и эмпирическим материалом, подтверждающим анализ и заключения исследователя. В текст исследования включаются наиболее яркие и характерные иллюстрации. с. Обсуждение результатов представляется в работе как описание (в рамках профессиональной терминологии) выделенных явлений, феноменов, их взаимосвязей, механизмов и т.д. и предполагает их интерпретацию в дисциплинарном контексте психологических концепций, заявленных в обзорно-теоретической части, а также в контексте целей и задач исследования.

4. В выводах должны быть представлены содержательные ответы на сформулированные задачи (или подтвержденные / неподтвержденные гипотезы).

5. В заключении подводится общий итог исследования, включая эмпирическую и теоретическую части.

6. Ввиду неполной представленности большей части традиций качественных исследований на русском языке обязательно включение в библиографию литературы на иностранных языках.

7. В приложениях по возможности должен быть полностью представлен весь массив «сырых» материалов: стенограммы, заполненные бланки, транскрипты интервью, аналитические таблицы и заметки, визуальный материал и др. Если это - по причине чрезвычайного объема - невозможно, то данные должны быть предоставле-

ны по первому требованию экспертов, оценивающих работу (в электронном виде). В приложения также должны быть включены фрагменты анализа эмпирического материала, позволяющие отследить применение исследователем заявленного метода анализа и правомерность сделанных им аналитических заключений.

8. Критериями валидности исследования являются:

На этапе планирования исследования и сбора данных:

• обоснованность актуальности выбранной темы;

• наличие рефлексивной экспликации исследователем собственных теоретических позиций и представлений об изучаемой теме, опыта работы в заявленной исследовательской сфере;

• обоснованность выбора качественного подхода к изучению данной проблемы;

• обоснованность формирования выборки, методов сбора и обработки данных;

• систематическое отслеживание контекста и условий исследования («поля»);

• систематическое описание диалогических отношений с респондентами;

• богатство собранных данных, их релевантность исследовательской проблеме;

На этапе анализа данных:

• аргументированность, логичность и связность анализа;

• обоснование четких взаимосвязей между аналитическими умозаключениями и конкретными данными;

• разделение фактических описаний, смысловых обобщений и теоретических интерпретаций данных;

• стилистическая, риторическая, дискурсивная грамотность анализа;

• прозрачность и выразительность представления данных;

На этапе интерпретации данных:

• экспликация связи используемых в теоретической интерпретации категорий с поставленными задачами исследования и сырыми данными;

• представленность в отчете авторской рефлексивной позиции;

• социальная полезность и критический потенциал анализа;

• новизна предлагаемых интерпретаций;

• возможность вывести практические импликации из исследования;

• открытость интерпретаций для обсуждения профессиональным сообществом;

• оценка возможности обобщений и экстраполяции результатов;

Рекомендуемыми стратегиями вали-дизации являются:

• триангуляция (теоретическая, экспертная, методологическая, триангуляция данных),

• анализ «негативных» (отклоняющихся) случаев,

• в некоторых исследованиях (например, в феноменологических) - обсуждение данных с респондентами.

9. Должны быть отрефлексированы этические проблемы, связанные с процедурой проведения исследования и обнародованием его результатов.

№ 2 [14] 2014

ГСБЫ 2079-6617 _ _ Д{\ Национальный

© ^^^от Шмюмт Йак Шггега^, 2014 <-\у ЫаИопа1 psychological )оигиа1

http://www.psy.msu.ru/science/npj/