CC BY-NC-ND
34
Методология и методика социологии
А.В. Стрельникова
НЕПОЛНОЕ ИСПОЛЬЗОВАНИЕ СОЦИОЛОГИЧЕСКИХ ДАННЫХ: ТРИ УРОВНЯ РАССМОТРЕНИЯ ПРОБЛЕМЫ
Вот уже более полувека в России проводятся многочисленные социологические исследования. Эмпирический базис социологической науки расширяется, но вместе с тем все более острой становится проблема неполного использования социологической информации. В частности, информационные ресурсы, которые можно использовать для вторичного анализа, практически не представлены в практике социологических исследований, отсутствуют также и доступные хранилища. Это приводит к тому, что социология остается преимущественно «полевым» феноменом, а ресурс исследовательских данных вырабатывается не полностью. Таким образом, под неполным использованием мы понимаем незаслуженное исключение из анализа тех данных, которые могли бы предоставить необходимую информацию, а также поверхностный анализ имеющихся данных.
Обращение к проблематике неполного использования социологических данных особенно актуально сейчас, в условиях перехода к рыночным отношениям и коммерциализации науки. Исследовательский информационный ресурс стал одной из разновидностей товара на высоко-конкурентном и насыщенном рынке, а использование экономических понятий становится востребованным не только в социологии, но и в других областях гуманитарного знания. Там, где возникают вопросы конкуренции, затрат и качества, должен возникнуть и стимул решать научные задачи эффективнее, используя накопленные вторичные данные.
Приходится констатировать, что вопросы об эффективном использовании исследовательских данных и результативной организации научной деятельности освещены в современной литературе недостаточно. Анализ источников свидетельствует, что напрямую указанная проблема практически не затрагивается или упоминается только в контексте возможностей для интерпретации социологических данных [1; 4]. Аналогичным образом дело обстоит
и с вопросами поиска и хранения социологической информации. Большинство авторов, заводя речь об анализе данных, описывают ситуацию «после поля». Они ориентированы на исследователя, который провел полевые работы, собрал данные и теперь не знает, что с ними делать, как анализировать и интерпретировать. При этом вторичный анализ как стратегия привлечения уже имеющихся до «поля» данных, удостаивается лишь кратких упоминаний. Исключение составляют работы таких авторов, как Дж. Дункан и Дж. Кэлтон, Э.М. Коржева, Л. Корти, М. Проктор, Г.И. Сага-ненко, П. Томпсон, К. Хэким и др. [5; 7; 14; 15; 16]. Указанные исследователи проблематизируют использование вторичных данных и задаются вопросом о расширении сферы поиска информационных источников, применения архивных ресурсов.
Чтобы понять, насколько проблема неполного использования социологических данных укоренена в логике функционирования социологического знания, рассмотрим ее на трех теоретико-методологических уровнях: науковедческом, общеметодологическом и уровне методологии анализа данных. Затем попытаемся измерить уровень неполного использования социологической информации.
Науковедческий уровень
Рассмотрение институционального аспекта проблемы подразумевает привлечение социологии науки, науковедческих исследований и концепций. Несмотря на то что впервые вопросы об эффективном использовании исследовательских данных и результативной организации научной деятельности были поставлены еще в работах Р. Мертона и его учеников [17], исследований на данную тему в современной литературе немного. Анализируя современное состояние российского научного сообщества, большинство авторов квалифицирует его как кризисное. Эффективная организация научной деятельности (в том числе использование исследовательских данных) оказывается в такой ситуации под угрозой. Поэтому целесообразно рассмотреть основные препятствия при функционировании научного сообщества в контексте неполного использования исследовательского информационного ресурса.
Каждое новое научное направление в своем развитии обычно проходит несколько этапов. По устоявшемуся мнению специалистов в области методологии науки, уровень теоретического развития, достигнутый научной дисциплиной в определен-
ный момент, обусловливает характер и сущность исследовательской работы [2; 11]. Наиболее операциональной считается модель четырех стадий развития: норма, сеть, сплоченная группа, специальность (дисциплина). На каждой из этих стадий происходят изменения не только в структуре научной коммуникации, но и в соотношении эмпирических методов «проб и ошибок» или направляемых теорией разработок. При этом наиболее продуктивной стадии соответствует работа с систематизированными накопленными результатами, т. е. этап систематизации свидетельствует о взрослении науки, о переходе на более высокую ступень развития.
Систематизация исследовательских результатов подразумевает вовлечение в оборот данных предшественников, возможность их многократного использования. Поскольку данные, которые являются продуктом уже проведенного исследования, могут быть использованы вновь, они рассматриваются нами как относительно неисчерпаемые. С этой точки зрения, если социолог добывает заново ту информацию, которая уже содержится в предыдущих работах, то эффективность его усилий можно оценивать как низкую. Несмотря на то что в реальности необходимость по-новому извлекать данные может быть связана с недоступностью материалов предшественников, в нормативной модели науки подразумевается свободный обмен как исследовательскими результатами, так и промежуточными наработками. Описывая научную деятельность как корпоративную, Г.С. Батыгин, Р. Коллинз, Э.М. Мир-ский, Э. Уолгар подчеркивают, что научное знание только тогда легитимно, когда оно является достоянием всех. В отличие от экономических ресурсов, знание не убывает при подобном «расходовании», а, напротив, прирастает [13].
Общеметодологический уровень
Социология как научная дисциплина может быть представлена на нескольких уровнях познания. Традиционно они выделяются по оси «фундаментальное-прикладное»: уровень парадигм, уровень больших теорий, уровень частных концепций, предметный уровень. Но каждый из этих уровней также является дискретным. На предметном, или эмпирическом, уровне можно выделить следующие ключевые этапы: определение методологической основы исследования, поиск, сбор, анализ, хранение данных. Однако в литературе представлены преимущественно такие схемы, в которых опущены один или несколько указанных этапов.
Рис. 1. Представление предметного уровня социологических исследований - традиционная методологическая схема
Рис. 2. Представление предметного уровня социологических исследований - традиционная техническая схема
Рис. 3. Представление предметного уровня социологических исследований - обобщенная структурная схема
Традиционная методологическая схема соотношения исследовательских этапов, которая представлена в отечественной литературе, включает в себя методологическую основу исследования, сбор и анализ (рис. 1). Традиционная техническая схема, возникающая на уровне анализа данных (этап «после поля»), чаще встречается в зарубежных работах [16] и включает в себя поиск, анализ, хранение данных (рис. 2). Иногда к этой схеме добавляется этап извлечения данных, т. е. процедуры data mining [15]. Мы предлагаем скомбинировать эти схемы, чтобы получить целостную картину места изучаемой проблемы неполного использования данных в методологическом дискурсе «до поля» и «после поля» (рис. 3).
Определение методологической основы исследования подразумевает выбор модели познания: парадигмы, теории, направления и согласующихся с ними методик исследовательской работы. Данному этапу посвящена, пожалуй, наиболее солидная часть публикационного массива в социологии.
Согласно К. Попперу, началом и основным условием научной деятельности является базовое («фоновое») знание в форме гипотетических ожиданий и установок [19, p. 24-29], которые предопределяют и последующий ракурс рассмотрения проблемы. Эти гипотетические ожидания, перерастая в научные гипотезы, должны, по Попперу, обладать критерием фальсифи-цируемости, опровергаемости в ходе проверки [19, p. 79]. Исследовательская работа должна быть рациональна в том смысле, что должен обеспечиваться прирост уже существующего знания. Исходя из этого при переходе к этапу поиска данных следует опираться на результаты предшественников, чтобы дополнить их или пересмотреть с критических позиций. Однако, по нашему мнению, этот принцип часто воспринимается как номинальный. Согласно устоявшейся в прикладной и описательной социологии позиции, интереса заслуживают только наиболее свежие данные [13, p. 124-139]. Соответственно, социологи стремятся перейти к сбору, минуя этап поиска. Поэтому сегмент работ по методикам сбора данных развит достаточно хорошо, в противовес сегменту поиска данных.
Роль анализа и интерпретации эмпирических данных среди прочих этапов исследовательского процесса трудно переоценить. Неоднократное использование данных подразумевает прохождение полного цикла интерпретаций, после которого может начаться новый виток интерпретаций, с другой исследовательской перспективы. В то же время еще А. Щутц поставил проблему несоответствия научной реальности (конструктов, ко-
торые создаются исследователем) и реальности простых людей (конструктов первого порядка). Такое несоответствие может усиливаться, если в ходе анализа не учитывать всех особенностей используемых данных.
Производство и воспроизводство научного знания связано с накоплением результатов. Использование вторичных данных подразумевает признание роли хранения и воспроизводства данных как важной функции научного знания. Однако текущее положение дел заставляет усомниться в подобном признании. Дело в том, что тематика хранения и введения в научный оборот уже имеющихся данных незаслуженно находится на периферии интересов отечественных социологов. При этом, поскольку большинство социальных процессов уникальны и быстротечны, многие эмпирические исследования просто невозможно провести повторно. Это хорошо понимают западные специалисты, для которых этап хранения является не только техническим, но и методологическим, так как вписывается в общую логику социологической работы. Например, межуниверситетский Консорциум политических и социальных исследований (США) обосновывает важность хранения данных тем, что хранение: 1) расширяет возможности научного поиска, 2) способствует разнообразию методов анализа, в том числе апробации новых методов, 3) обеспечивает проведение новых исследований и критическую проверку результатов, полученных ранее, 4) способствует развитию математико-статистических методов, 5) уменьшает затраты, вследствие того что поля не дублируют друг друга, 6) выполняет функцию «учебного полигона», 7) делает данные доступными широкому кругу заинтересованных специалистов [6].
Напрямую о неполном использовании информационного ресурса в сегменте рассмотренных методологических работ не говорится. Но это не означает, что методологи не ставили проблему использования социологических данных. Так, например,
B.А. Ядов поднимал проблему искажения поля. Сущность этой проблемы заключается в том, что объект социологического исследования не остается неизменным после взаимодействия с социологом. Каждое общение исследователя с респондентом изменяет последнего, т. е. каждый новый срез информации все больше и больше искажает его исходные установки, мнения, язык.
И.А. Бутенко заостряет внимание на некорректном обращении с данными [4]. В полемичной статье «Какого обращения заслуживают социологические данные?» Бутенко рассматривает практики обращения с социологическими материалами в контексте человеческих качеств исследователя (пристрастность, ув-
леченность обыденными объяснениями, двойственность самой позиции социолога). В результате появляется возможность конкретизировать понятие «некорректное обращение с данными» в современных прикладных исследованиях, различая фальсификацию, спекуляцию и манипуляцию. Эти варианты некорректного обращения с данными И.А. Бутенко рассматривает с привлечением примеров из публикаций ведущих социологических изданий и служб. В качестве возможного решения указанной проблемы он предлагает социологам-прикладникам повышать собственную и взаимную требовательность в отношении методологической рефлексии как один из аспектов профессионализма.
Уровень методологии анализа данных
Среди российских исследователей значительного продвижения в указанном направлении достигли Г.Г. Татарова и Ю.Н. Толстова. Г.Г. Татарова вводит само понятие «методология анализа данных» в российский исследовательский дискурс [8] и описывает различные стратегии анализа данных, уделяя особое внимание языку анализа, вопросам эмпирической интерпретации и способам формализации понятий. Исследуя возможности работы с эмпирическим материалом, в монографии «Типологический анализ в социологии» Татарова рассматривает теорию и практику типологического анализа в социологии, описывает объекты типологизации и классификации, рассуждает о свойствах эмпирических индикаторов и анализирует структуру связей между ними.
Определяя методологию анализа данных как «научную рефлексию по поводу различных типов информации, специфики приемов ее измерения, логики и методов ее анализа», Татарова структурно выделяет следующие сферы этой рефлексии:
1) типы данных в контексте различия исследовательских задач, приемов, способов, методов работы социолога с этими типами;
2) приемы, подходы к сбору данных;
3) восходящие методы анализа данных (проверка описательных гипотез);
4) нисходящие (проверка объяснительных гипотез);
5) типологический анализ, факторный анализ и т. д. [8].
Проблема неполного использования данных имеет отношение преимущественно к первой и второй группе указанных вопросов.
Особую группу составляют исследователи, чьи работы и научные интересы изначально посвящены использованию вторич-
ных материалов [5; 7; 14; 15; 16]. Особо следует отметить английского исследователя П. Томпсона и его коллег, которые, выпустив в 1998 г. полемичную статью «Почему вы сидите на своих качественных данных?» [14, р. 85-89], положили начало дискуссии о возможности многократного использования данных, полученных «качественными» методами. Однако российские ученые до сих пор практически не вовлечены в эту дискуссию.
Таким образом, можно сделать вывод о неравномерном развитии исследовательских полей. Традиционно методологи особое внимание уделяют первому, третьему и четвертому полям (методологическая основа, сбор и анализ), при этом второе и пятое поля - поиск и хранение - развиты в значительно меньшей степени. Также проблемой является слабая методологическая проработка опосредованных связей между полями, в особенности между сбором и хранением. Приходится констатировать, что проблеме эффективного использования тех или иных информационных ресурсов уделяется недостаточно внимания. Несмотря на существование определенного числа работ по этой теме, целостного взгляда на данную проблему в литературе не сложилось. При этом состояние исследовательской ситуации благоприятствует новому этапу обсуждения.
Операционализация и измерение неполного использования социологических данных
Для того чтобы строить гипотезы о неполном использовании социологических данных и подвергать их проверке, необходимо перевести это определение на операциональный уровень. Операциональное определение подразумевает: 1) разработку и категоризацию значений, каждое из которых может измеряться на соответствующей шкале, и 2) сохранение контекста, в рамках которого существует операционализируемое теоретическое определение [2]. В качестве первого шага к операционализации проблемы неполного использования социологических данных мы попытались разработать индекс неполного использования. На основе показателей этого индекса был произведен анализ публикационного массива российских исследовательских материалов в сопоставлении с западными.
Основная проблема, с которой мы столкнулись при построении этого индекса, заключалась в том, что именно следует рассматривать в качестве критериев неполного использования. Нами были выбраны следующие критерии: предоставление ре-
зультатов исследований в специализированные архивы; обращение к данным предшественников / использование архивов, проведение сравнительного анализа, проведение вторичного анализа, использование сложных процедур анализа. Эти критерии непосредственно сопряжены с основными институцио-нально-науковедческими индикаторами: атомизация / согласованность научного направления, наличие / отсутствие преемственности знания, стадия научной работы (этап накопления или систематизации). Шкала значений для каждого из предложенных критериев является номинальной дихотомической, т. е. подразумевает наличие либо отсутствие соответствующего признака в каждой из анализируемых печатных работ.
Индикаторы Компоненты
Атомизация / согласованность научного направления Предоставление результатов исследований в специализированные архивы
Наличие / отсутствие преемственности знания Обращение к данным предшественников / использование архивов Проведение сравнительного анализа
Стадия научной работы (этап накопления или систематизации) Проведение вторичного анализа Использование сложных процедур анализа
Рис. 4. Компоненты индекса неполного использования данных и их связь с институционально-науковедческими индикаторами
Помимо указанных критериев, в анализ были введены такие переменные, как дата и параметры публикации, предметная область исследования, объект исследования, источники данных, тип данных, территориально-временной охват, информация о поддержке грантами, соотношение этапов «до поля» и «после поля» (баланс / дисбаланс размеров текстового пространства, отведенного на данные этапы; обоснование выбранных методов анализа и самих данных).
Индекс неполного использования подсчитывался суммарно, т. е. каждому критерию присваивался одинаковый вес в 1 балл (положительный в случае отсутствия рассматриваемого критерия в исследуемой работе и отрицательный в случае наличия критерия). Если нельзя было оценить однозначно, имеется
ли тот или иной критерий в работе, присваивался нулевой балл. Таким образом, максимальный балл для неполного использования информационного ресурса равнялся +5, для полного использования -5 (см. рис. 4).
Индекс был подсчитан и проанализирован на публикационном массиве журналов «Социологические исследования» (180 статей), «International Journal of Social Research Methodology» (20 статей), «Oral history» (36 статей). Для репрезентации российского уровня полного / неполного использования данных был выбран журнал «Социологические исследования», поскольку он является наиболее массовым и поддерживает самый широкий тематический горизонт публикаций. Журнал «Oral history» был выбран, потому что наибольшее развитие многократного использования данных было зафиксировано именно в социально-исторических исследованиях. Журнал «International Journal of Social Research Methodology» был выбран из-за междисциплинарности и международного, сравнительного характера публикаций. Мы предположили, что публикации данных журналов позволят сопоставить приемы исследовательской работы в более полном (сравнительном, историческом) варианте использования данных. Из всех публикаций в анализ включались авторские статьи по результатам исследований (исключались информационные сообщения, книжные обзоры, «круглые столы» и теоретические работы). Помимо собственно подсчета индекса была сделана попытка ответить на следующие исследовательские вопросы: 1) каковы причины и факторы неполного использования эмпирических данных, 2) в каком контексте подобные эмпирические исследования ведут к расслоению / размыванию стандартов эмпирического исследования.
Результаты
Подсчет индекса неполного использования показал, что исходное предположение об актуальности и масштабности недоиспользования социологических данных подтверждается. Индексная структура оказалась достаточно неоднородной, варьируясь от минимального до максимального значений, причем модальное значение индекса для публикаций в «Социологических исследованиях» равняется 3, в то время как для проанализированных западных исследований модальное значение составляет -2. При этом, как правило, можно говорить о неполном использовании информационного ресурса: потенциал данных, собранных специально для обоснования исходных исследовательских
гипотез, проверкой, подтверждением или опровержением их справедливости не исчерпывается, они могут быть использованы повторно.
По результатам нашего анализа, можно говорить об отчетливом дисбалансе этапов «до поля» и «после поля» в российских социологических публикациях. Под указанными этапами мы понимаем элементы представленной выше традиционной схемы исследовательского процесса (методологические основы -сбор - анализ) и элементы технической схемы (поиск - анализ -хранение). Дисбаланс, проявляющийся в этапах «до поля» и «после поля», отмечен нами не только в рамках первой схемы (здесь он выглядит как доминирование описания методологической основы и процедур сбора данных), но и на самом этапе анализа, т. е. в рамках технической схемы (непроработанность стадий поиска и хранения данных).
Считается, что определенные ограничения на повторное использование данных закладываются самим инструментарием исследования (например, «качественный» и «количественный» методы постулируются как особые способы сбора, обработки и анализа данных). Однако за тем, что обычно принимают за влияние метода, скрывается, на наш взгляд, латентный фактор. Этот фактор мы бы назвали перекосом в сторону разработки «доэмпи-рических» (теоретико-методологических) процедур в ущерб процедурам анализа и совершенствования способов предоставления результатов («постэмпирических» процедур). Или на более высоком уровне абстракции это перекос в соотношении социологической методологии и методологии анализа данных (не в пользу последней). Складывается впечатление, что многие исследователи просто теряют интерес к тому, что происходит после получения данных, а сам эмпирический материал давит, доминирует. Если дело касается проведения самих исследований, то в них нет недостатка, однако потребность в глубокой интерпретации данных остается достаточно острой.
По нашему мнению, процесс одностороннего развития «до-эмпирических» процедур может быть связан с двумя причинами. С одной стороны, обилие вариантов и средств на «доэмпирической» стадии предоставляет поле для творчества социолога. Это особенно важно для антисциентистски настроенных исследователей, в особенности для тех, кто утверждает, что социологические практики предназначены лишь для увеличения знания о знании, наращивания слоя социологической культуры самих исследователей. С другой стороны, многих исследователей, особенно начинающих, разочаровывает «очевидность» и обыденность полученных дан-
ных. Г.С. Батыгин поясняет, что «...результаты анализа статистических распределений выглядят вполне заурядными даже тогда, когда за ними стоит огромная работа. Далеко не каждый знает, что если какая-то цифра кажется интересной или необычной, наверняка эта цифра ошибочна или случайна» [3, с. 36]. Поэтому мнимая или реальная бедность результатов (а также неумение их проинтерпретировать) заставляет акцентироваться на актуальности и эстетическом эффекте методологии, но не на результатах и их значимости. Это приводит к тому, что работа становится описательной, причем вне зависимости от исходной стратегии и характера полученных данных. Г.Г. Татарова в связи с этим с горькой иронией подмечает, что «уж в чем-чем, а в описании социологам нет равных» [8]. Отметим также, что описательность, как правило, сопряжена с достижениями в эмпирической области и со сравнительно элементарным развитием методологической и концептуальной базы.
В то время как предварительная теоретико-концептуальная часть присутствует практически во всех работах (занимая порой более половины общего текста статьи), обоснование выбранных методов анализа в рассмотренных публикациях журнала «Социологические исследования» встречается только в 11% работ и занимает при этом две-три строчки. Обоснование причин выбора для исследования первичных данных вообще встречается в единичных случаях. Способ предоставления результатов также выглядит не лучшим образом: среди методов анализа доминируют простейшие описательные статистики, а иногда авторы ограничиваются табличными данными с их минимальной интерпретацией (обосновывая это, например, так: «представленную таблицу можно оставить без комментария, настолько выразительны ее данные»).
В то же время типичное описание данных в проанализированных западных журналах происходит по следующему шаблону: «Мы использовали данные 30 респондентов, которые участвовали в 30 исследованиях» (указывается порядковый номер в национальном или другом исследовательском архиве, номер депозита данных). Далее детально описываются особенности исследования и типы данных, характеристики введенных в анализ переменных, этапы реорганизации данных и т. д.
Профиль неполного использования социологических данных в российских исследованиях можно представить следующим образом: дисбаланс этапов «до поля» и «после поля» (89%), отсутствие практики распространения данных и отсылки к архиву (96%), превалирование «срезовых» исследований (85%) и самых простых приемов анализа (83%).
Численность методических исследований, в которых основной задачей является не получение эмпирических результатов, а проверка и усовершенствование того или иного метода сбора или обработки данных, составляет всего 7% от общего публикационного массива «Социологических исследований».
По результатам проведенного анализа можно говорить о неразвитости культуры в области хранения, накопления и распространения данных. Можно предположить, что посредством «узурпации» данных проявляется конкуренция в борьбе за символический капитал, неготовность к усложнению исследовательской работы (посредством вовлечения этапов поиска и хранения), неразвитое сетевое взаимодействие между институтами и исследователями. Проблемная ситуация усугубляется тем, что если исследование имеет коммерческую ценность (является заказным, в том числе проведенным при грантовой поддержке), то вероятность широкого доступа к материалам минимальна даже спустя годы после получения результатов. Поэтому неудивительно, что анализ вторичных данных не встречается даже в тех случаях, когда он подразумевается логически, например, когда рассматривается временная или территориальная динамика.
Таким образом, говоря о полном использовании социологи-чекой информации, мы подразумеваем возможности для вторичного использования и расширенные возможности для интерпретации. При рассмотрении проблемы неполного использования социологических данных нами зафиксировано неравномерное развитие рефлексии по поводу различных этапов социологического исследования. В то время как традиционно особое внимание уделяется таким этапам исследования, как проработка методологической основы, сбор и анализ, этапы поиска и хранения данных развиты в значительно меньшей степени. Также проблемой является слабая методологическая проработка опосредованных связей между этапами, в особенности между сбором и хранением.
Литература
1. Бак Д.П, Кузнецова Н.И., Филатов В.П. Границы интерпретации в гуманитарном и естественно-научном знании // Вопросы философии. М., 1998. № 5. С. 144-150.
2. Батыгин Г.С. Обоснование научного вывода в прикладной социологии. М.: Наука, 1986.
3. Батыгин Г.С., Девятко И.Ф. Миф о качественной социологии // Социологический журнал. 1994. № 2. С. 28-42.
4. Бутенко И.А. Какого обращения заслуживают социологические данные? // Социологические исследования. 2002. № 1.
5. Коржева Э.М. Некоторые методологические проблемы вторичного анализа социологических данных // Государственное регулирование экономики и социальные проблемы модернизации. Ч. II. М.: Эдиториал УРСС, 1997.
6. О подготовке данных во время исследовательской работы // Методические указания межуниверситетского Консорциума для политических и социальных исследований в США («Preparing Data During the Research Stage») // http://www.icpsr.umich.edu/ access/deposit/preparing.html
7. Саганенко Г.И. Сопоставление несопоставимого: обоснование сравнительного исследования на базе открытых вопросов // Социологический журнал. 1998. № 3-4. С. 144-156.
8. Татарова Г.Г. От постулатов эмпирической социологии к методологии анализа данных //Социология: 4М. 1999. № 11. С. 51-71.
9. Толстова Ю.Н. Методология математического анализа данных // Социологические исследования. 1996. № 6. С. 77-87.
10. Тернер Дж. Аналитическое теоретизирование // Теория общества: фундаментальные проблемы / Под ред. А.Ф. Филиппова. М.: Канон-Пресс-Ц; Кучково поле, 1999. С. 103-156.
11. Уолгар С. Идентификация и определение научных коллективов // Социология науки / Сост. Э.М. Мирский. М.: Институт системного анализа РАН, 2000.
12. Ядов В.А. Размышления о предмете социологии // Социологические исследования. 1990. № 2. С. 3-16.
13. Collins R. Sociology: prescience or antiscience? // American Sociological Review. 1989. February. Vol. 54. P. 124-139.
14. Corti L,Thompson P. Are you sitting on your qualitative data? Qualidata's mission // International Journal of Social Research Methodology. 1998. Vol. 1 (1). P. 85-89.
15. HooverK, Perez S. Three attitudes towards data mining //Journal of Economic Methodology. 2000. № 7. Vol. 2. P. 195-210.
16. Kritzer H.M. The data puzzle: The nature of interpretation in quantitative research // American Journal of political Science. Austin, 1996. Vol. 40. № 1. P. 1-32.
17. Merton R. The Sociology of Science. Theoretical and Empirical Investigations / Ed. by N. Storer. Chicago: The University of Chicago Press, 1973.
18. Plummer K. Documents of life: An introduction to the problems and literature of a humanistic method / Contemporary social research series. L.: Unwin Hyman Ltd, 1990.
19. Popper K. Objective Knowledge. An Evolutionary Approach. Oxford: Claredon Press, 1979.
