CC BY
127С. С. ДЕМБИЦКИЙ
КОМПЛЕКСНЫЕ ИЗМЕРИТЕЛЬНЫЕ ИНСТРУМЕНТЫ В СОЦИОЛОГИИ
Аннотация. Цель статьи — критически рассмотреть доминирующую парадигму измерения в социальных науках, а также обозначить альтернативную методологическую рамку массовых социологических опросов и обосновать ее релевантность. Данная задача решается в контексте обращения к комплексным измерительным инструментам — шкалам, индексам и социологическим тестам. При этом именно последние рассматриваются в качестве ключевых.
Под социологическими тестами понимается система отобранных социологическими методами высказываний, предъявляемых респондентам с целью получения надежной и валидной информации об интересующих признаках. Предложено рассматривать социологические тесты в трех частично пересекающихся измерениях: методическом (краткость при сохранении показателей надежности и валидности), концептуальном (обращение к изучению социальных феноменов) и прогностическом (диагностический потенциал теста при оценке состояния социальной системы). Критически проанализированы основные допущения классической теории измерения, а также понятие латентной переменной. Сформулировано альтернативное представление о главном предмете социологического измерения, а именно — о социальных феноменах, а также обозначены соответствующие методологические допущения, базирующиеся на прагматических идеях. Сделан вывод о принципиальности теоретической и эмпирической валидизации комплексных измерительных инструментов. Теоретическая валидизация описана в контексте достижения трех ее компонентов — очевидного, содержательного и композиционного. Показано, что эмпирическая валидность включает следующие виды: три независимых (конструктная, критериальная и прогностическая) и один зависимый (сравнительная). В завершение рассмотрена специфика разработки норм или критериальных уровней, что является принципиальным условием перехода от измерительной шкалы или интегрального индекса к социологическому тесту.
Ключевые слова: измерительные инструменты; социологический тест; валидность.
Для цитирования: Дембицкий С.С. Комплексные измерительные инструменты в социологии // Социологический журнал. 2017. Том 23. № 3. С. 102—124. Б01: 10.19181/8ос|оиг.2017.23.3.5366
Дембицкий Сергей Сергеевич — кандидат социологических наук, старший научный сотрудник, отдел методологии и методов социологии, Институт социологии НАН Украины. Адрес: 01021, Киев, ул. Шелковичная, д. 12, каб. 313. Телефон: +38 (044) 253-05-80. Электронная почта: e_forge@me.com
Дембицкий С.С. Комплексные измерительные инструменты в социологии ]_03 Введение
Под комплексными измерительными инструментами в социологии автор прежде всего понимает шкалы и индексы, подразумевая под этим их свойством то, что они состоят из набора индикаторов, решающих единую научную задачу, — измерение выраженности некоторого феномена. Их комплексность обусловливается и тем, что в процессе разработки необходимы специальные методические исследования, призванные продемонстрировать наличие у таких инструментов конвенционально утвержденных показателей качества — надежности и валидности1.
Если говорить о различии между шкалами и индексами [16, р. 12], то в первом случае речь идет об измерении некоторого непосредственно не наблюдаемого свойства (латентной переменной), обусловливающего те факторы своего проявления (косвенные индикаторы), которые заложены в методику. В свою очередь, предметом измерения интегральных индексов может быть как латентная переменная, так и социальный феномен. Еще одно отличие между шкалами и индексами состоит в том, что в случае использования индекса предмет его измерения обусловливается теми факторами, на основании которых сформулированы индикаторы2.
Один из ключевых факторов, определяющих выбор между шкалой и индексом, обусловлен природой изучаемого явления. В случае социологического исследования она может быть как индивидуальной, так и общественной. Чтобы прояснить эту мысль, рассмотрим в качестве примера утверждения, которые могут быть положены в основу шкалы или индекса авторитаризма:
— единственная политическая воля обеспечивает стабильность в обществе лучше, чем набор разных точек зрения;
— для нормального развития стране нужна «сильная рука», а не разговоры о демократии;
— только политика «сильной руки» может сохранить порядок в обществе;
— сильное государство возможно лишь тогда, когда во главе страны стоит один лидер;
— наличие единственной партии и сильного политического лидера дает людям уверенность в завтрашнем дне.
1 В статье речь пойдет только о валидности по причине того, что с точки зрения методологии социальных наук именно она носит дискуссионный характер, в то время как надежность измерения — понятие достаточно унифицированное и не требующее детального рассмотрения.
2 Принципиальным методическим результатом такого разделения является нерелевантность внутренней надежности в рамках обоснования качества интегральных индексов. В этом случае наличие взаимосвязи между различными причинными факторами не обязательно.
С одной стороны, представленные утверждения могут быть оценены в качестве косвенных индикаторов латентной переменной, с другой — каждый из них говорит об одной из ценностей, характеризующих общество: стабильность, развитие, порядок, сила, социальный оптимизм. Если подходить к анализу утверждений с точки зрения общественных ценностей, то не будет концептуальной и методологической необходимости апеллировать к понятию латентной переменной. Например, согласие с тем, что в авторитарном обществе порядка больше, не должно вызывать ожиданий относительно согласия с тем, что авторитарный лидер обеспечит развитие или социальный оптимизм. Здесь респондент предстает уже не как пассивное «наблюдение», сообщающее нам информацию о его внутреннем состоянии, а в качестве эксперта, демонстрирующего ценностные характеристики некоторого общества. Соответственно, речь надо вести не о шкале, а об индексе, направленном на измерение социального феномена — ценностной структуры.
Говоря об использовании комплексных измерительных инструментов, следует отметить, что в эмпирической социологии, как известно, принципиальные основания измерения заимствуются из психологии (классическая теория измерения) или даже педагогики (математическая теория измерения3) таким образом, как будто соответствующие методологические положения априори наделены универсальной природой. Это значительно ограничивает сферу использования шкал и индексов в рамках массовых опросов.
Главная цель данной статьи — высказать критические замечания в отношении доминирующей парадигмы измерения в социальных науках, а также обозначить альтернативную методологическую перспективу использования комплексных измерительных инструментов.
Понятие «социологический тест»
В качестве системообразующего звена данной статьи используется понятие «социологический тест», которое, говоря кратко, описывает шкалы и индексы, отвечающие ряду социологических требований.
Понятие «социологический тест» введено в научный обиход социологом и педагогом В. Аванесовым в 1982 г. Он дал ему два определения. Согласно первому социологический тест — это «система отобранных социологическими методами высказываний, предъявляемых респондентам с целью получения надежной и валидной информации об интересующих признаках»; согласно второму — «система высказываний, позволяющих получить обоснованное отображение интересующей эмпирической системы с отношениями в числовую систему с отношениями» [2, с. 41]. В рамках этой статьи мы придерживаемся первого определения.
3 Широко известна как "item response theory". Используемый перевод на
русский язык был предложен В. Аванесовым [1].
Двумя аргументами В. Аванесова в пользу выделения социологического теста в качестве самостоятельного метода исследования являются следующие [2, с. 38—39]:
1) необходимость изучения в социологических исследованиях не только психологических (для этого используются психологические тесты), но и социологических феноменов, таких как ценностные ориентации, мировоззренческие установки, социальные потребности и т. п.;
2) актуальность этого направления исследований на современном этапе развития методологии социальных наук.
На наш взгляд, спустя более чем 30 лет оба этих аргумента не утратили своего веса, однако методология разработки и использования социологических тестов за эти годы попала в поле интересов лишь двух украинских социологов — Наталии Паниной и Евгения Головахи. Ими разработан ряд социологических тестов, которые сегодня используются в массовых опросах.
Н. Панина и Е. Головаха распространили понимание социологического теста и на психологические методики, специально адаптированные для использования в массовых опросах. И это полностью оправдано, поскольку большинство психологических тестов являются весьма объемными, что накладывает существенные ограничения на их использование в социологических исследованиях. Кроме того, Н. Панина и Е. Головаха сформулировали ряд требований, которым должен удовлетворять социологический тест:
— универсальность — методика должна включать наиболее общие сущностные индикаторы изучаемого явления, что открывает возможность ее использования практически в любом социологическом исследовании;
— интегральность — возможность сведения различных измерений социологического теста к одному интегральному показателю;
— качественность — социологический тест должен быть «паспортизирован» статистическими показателями надежности и валидности;
— стандартизированность — установление «норм» изучаемого явления, что позволит интерпретировать полученные результаты с точки зрения выраженности изучаемого феномена;
— компактность — социологический тест должен быть достаточно компактным, чтобы его можно было использовать в массовых опросах;
— «чувствительность» — учитывая требование компактности, социологический тест должен обладать приемлемой точностью измерения;
— объективность — цель измерения должна быть скрытой от респондента, что позволяет избежать фальсификации результатов тестирования [5, с. 5].
Учитывая изложенное выше, можно выделить два измерения социологического тестирования. Первое и принципиальное касается необходимости обеспечить методические требования, которые позволяют полноценно использовать измерительную методику (неважно — психологическую или социологическую) в рамках массовых опросов. Уже в этом случае можно говорить о социологическом тестировании. Второе измерение связано с теми аспектами социальной действительности, на изучение которых направлено использование социологического теста. Методики, отвечающие этому измерению, направлены на изучение социальных феноменов. В этом случае подготовка концептуальной базы социологического теста осуществляется преимущественно социологическими средствами.
Кроме указанных, полагаем, следует выделить и третье измерение социологического тестирования, которое связано с потенциалом использования полученных результатов. В идеале социологический тест должен быть не просто разработан как валидная и надежная методика, направленная на изучение социального или психологического феномена, но и быть связанным с более широкими теоретическими положениями о строении и функционировании социальной системы. Благодаря этому открывается возможность диагностических выводов о состоянии ее различных частей, возможных перспективах ее функционирования и развития. Но даже если соответствующие теоретические положения недоступны, но при этом методика удовлетворяет требованиям первого измерения социологического тестирования, эти положения могут быть сформулированы в процессе использования методики в эмпирических исследованиях.
Что можно сказать о зарубежной практике использования социологических тестов? Прежде всего следует отметить, что такого термина в зарубежной социологии автор статьи не встретил. Вместе с тем, используя очерченные выше измерения социологического тестирования, легко обнаружить, что ряд применяемых в западной социологии измерительных методик удовлетворяет требованиям социологического тестирования. Приведем два общеизвестных примера. Первым измерительным инструментом, который можно рассматривать в качестве социологического теста, является методика изучения ценностей Ш. Шварца4. Она имеет приемлемый для массовых опросов размер, направлена на изучение социального феномена, а результаты ее применения повсеместно используются для оценки состояния различных обществ. В качестве второго примера можно привести известный тест для оценки психологического дистресса, разработанный Р. Кесслером (К6)5. Этот тест повсеместно используется в эпидемиологических опросах. Интересен тот факт, что несмотря на психологическую направленность, ввиду
4 Более подробно о методике Ш. Шварца см.: [10].
5 Более подробно о методике Р. Кесслера см.: [17].
своей краткости эта методика пригодна именно в массовых опросах, а не в индивидуальной психологической диагностике.
Здесь у читателя может возникнуть вопрос, надо ли вообще говорить о социологическом тестировании6? Наш утвердительный ответ на него связан с тем, что специфика социологического измерения полностью не охватывается методологическими средствами современных измерительных подходов, которые опираются преимущественно на психологию и педагогику. Соответственно, специфичные для социологии проблемы решаются в большей степени интуитивным путем, а такое состояние для методологии эмпирических исследований нельзя назвать приемлемым.
Теория социального измерения:
допущения, латентные переменные и социальные феномены
В основании теории измерения, повсеместно используемой сегодня в социальных науках (не важно, делается ли это осознанно или на уровне стереотипных методических практик), лежит система понятий, описывающих измерительный процесс, а также система соответствующих научных допущений. Дисциплинарным полем, породившим их, является психология. Поэтому важно оценить то, насколько они релевантны с социологической точки зрения. Поскольку в центре соответствующей парадигмы находится понятие «латентная переменная», то начнем рассмотрение с нее.
Латентная переменная — изучаемый феномен, или конструкт, который отображает измерительная шкала. Подчеркнем некоторые особенности таких переменных. Во-первых, латентные переменные не наблюдаются непосредственно. Во-вторых, они являются не постоянными, а переменными величинами. В-третьих, это характеристики индивидов, а не объектов, которые ими оцениваются.
Поскольку латентную переменную невозможно измерить непосредственно, для определения ее истинной величины на основании значений, полученных с помощью индикаторов измерительной методики, применяется ряд методологических и математических допущений. Прежде всего речь идет о допущениях классической теории измерения, к которым относятся следующие:
— величина ошибок7, связанная с отдельными пунктами методики, варьируется случайным образом, что при использования больших выборок ведет к получению несмещенных средних этих пунктов;
6 Имеется в виду ситуация, когда социологические тесты разрабатываются, несмотря на отсутствие соответствующего понятия и специальной концептуальной области.
7 Здесь под ошибками имеется в виду влияние второстепенных факторов, которые вносят свой вклад в значение по тому или иному индикатору наравне с латентной переменной.
— ошибки различных пунктов не коррелируют друг с другом. Единственным источником, связывающим значения индикаторов методики, является латентная переменная;
— величина ошибок не коррелирует с истинным значением латентной переменной.
Кроме допущений, приведенных выше, классическая теория измерения также базируется на допущениях параллельных тестов:
— сила влияния латентной переменной на каждый из пунктов методики является одинаковой;
— каждый пункт методики имеет одинаковую величину ошибок — в том смысле, что влияние факторов, отличных от латентной переменной, является константой.
На основании этих допущений сформулирован ряд дополняющих их положений, необходимых для обоснования перехода от значений, полученных с помощью индикаторов измерительной шкалы, к истинному значению латентной переменной.
При использовании этого подхода становится понятно, почему в психологическом тестировании такое большое внимание уделяется надежности измерения — как ретестовой, так и внутренней. При наличии одной главной причины изменчивости индикаторов, которая к тому же действует на них с одинаковой силой, показатели различных видов надежности должны быть высокими.
Несмотря на свою на первый взгляд концептуальную и математическую стройность, измерительный подход, базирующийся на понятии латентной переменной, имеет ограниченный потенциал для эмпирической социологии. Тому есть несколько существенных причин.
Во-первых, понятие латентной переменной имеет отношение исключительно к феноменам психологической природы. Только в этом случае можно делать акцент на внутреннем качестве или свойстве индивида, записывая все остальные факторы в «остатки», взаимно «погашающие» друг друга. Вообще говоря, положения классической теории измерения звучат так, как будто их формулировали с эссенци-алистских позиций в трактовке идентичности. Не отрицая важности внутренних устойчивых во времени качеств индивида, современная социология, интересующаяся динамическими социальными процессами и соответствующими эффектами среди населения, не может отталкиваться исключительно от первых в своей исследовательской деятельности. В противном случае не остается никаких выходов на измерение социальных феноменов, рассматриваемых не в качестве удобных для социологов абстракций, а как выражение тех явлений и процессов, которые имеют действительное место в изучаемом обществе.
Во-вторых, сами допущения не выглядят убедительными с точки зрения современной социологии, исходящей из полидетеминиро-ванности изучаемых явлений, а также необходимости изучения таких феноменов, которые могут существенно меняться на протяжении коротких промежутков времени (например, настроения и мнения в обществе). Поэтому в социологии не следует постулировать наличие единственной главной причины, когда речь заходит о том или ином индикаторе измерительной шкалы. Как минимум необходимо признать вклад внешних социальных факторов не в качестве случайных, а в качестве системных. В противном случае у социологов просто нет никаких путей для изучения социальных феноменов.
Здесь самое время коснуться вопросов о том, что автор понимает под социальными феноменами в контексте использования комплексных измерительных инструментов, почему следует прибегать к изучению первых с помощью вторых и каких допущений при этом необходимо придерживаться.
Отвечая на вопрос о сущности социальных феноменов, изучение которых возможно с помощью комплексных измерительных инструментов, необходимо опираться на особенности современной эмпирической социологии с тем, чтобы в дальнейшем это понятие было применимо в рамках рассмотрения методов измерения. Что традиционно является предметом социологических опросов? Если отталкиваться от положений известной работы С. Садмена и Н. Брэдберна [11], к нему относятся установки, поведение и знания респондентов. Полагаем, в этой триаде наиболее релевантны с точки зрения выхода на правильное понимание социальных феноменов именно установки, направляющие поведение индивидов8 и окрашивающие их знания. При этом установки в отношении повсеместно распространенных общественных явлений и процессов, сложившихся исторически, есть не что иное, как интериоризированная часть социальных институтов. В противном случае говорить о социальных институтах было бы весьма проблематично. Это связано с тем, что хотя респонденты и не образуют механическую сумму людей, представляющих те или иные институты, они играют активную или пассивную роль в их функционировании, что предполагает усвоение соответствующих социальных норм и практик. Исходя из этого, не ограничивая содержание понятия «социальный феномен» исключительно социальными институтами, в контексте использования социологических тестов, а более точно — интегральных индексов, предметом измерения последних являются
8 Автор осознает всю сложность взаимосвязей между установками и поведением, а также проблематичность определения того, что же является первичным в этой диаде. В свою очередь, данная фокусировка используется в качестве рабочей гипотезы.
социальные феномены институциональной природы. Получая информацию о внутренней стороне социальных институтов, мы можем делать научные предположения и о тех внешних социальных процессах и явлениях, которые их порождают и в дальнейшем им сопутствуют. Чтобы связь между использованием социологических тестов и изучением социальных институтов выглядела более обоснованной, рассмотрим вопрос, касающийся методических преимуществ именно такого социологического измерения.
Изучение отдельных установок еще не дает выхода на измерение интересуемого социального института, а лишь его отдельных аспектов. Поэтому такое измерение предполагает использование более комплексных инструментов — социологических тестов. Кроме того, что они позволяют получить надежную, валидную и достоверную информацию об институциональной специфике современного общества, вследствие своей содержательной и структурной комплексности социологические тесты также создают предпосылки для научного изучения сложных социальных явлений и процессов. В сочетании с лон-гитюдным дизайном (например, в рамках мониторинговых социологических исследований) их использование позволяет изучать не только состояние социальной системы, но и ее динамические особенности.
Для рассмотрения методологических допущений, лежащих в основе разработки и использования комплексных измерительных инструментов в социологии, прежде всего определимся с философскими основаниями, от которых нам следует отталкиваться. Если обратиться к классической теории измерения, а также другим более поздним и менее строгим подходам, основанным на понятии латентной переменной (например, tau-equivalent tests, congeneric model, general factor model), то перед нами предстает чисто позитивистская система идей. Вместе с тем в своем развитии современная эмпирическая социология пришла к использованию ряда философских концепций, среди которых наряду с позитивизмом можно назвать феноменологию, прагматизм, критическую теорию и ряд других. На наш взгляд, при разработке измерительных шкал, индексов и социологических тестов достаточно отталкиваться от прагматических соображений, согласно которым нас прежде всего интересует методика, позволяющая получить актуальную информацию, отражающую ту институциональную специфику, которая подлежит изучению. При этом правильный путь получения ценной социологической информации связан не со следованием весьма формальным и в действительности недостижимым принципам классической теории измерения, а с демонстрацией методических, концептуальных и статистических особенностей использования измерительного инструмента, позволяющих или не позволяющих аргументированно утверждать его ценность с точки зрения изучения социального феномена, находящегося в фокусе научного интереса.
Исходя из этого к допущениям прагматического подхода к социологическому измерению относятся следующие:
1. В случае измерения, предметом которого являются социальные феномены, рассуждения о неком истинном значении весьма проблематичны. Это связано с многоаспектностью социальных явлений: нет оснований полагать, что существует единый и стабильный источник тех установок, о которых мы спрашиваем респондента. Количество таких факторов, а также сила их влияния, зависит от социального контекста изучаемого общества и тех актуальных процессов, которые в нем происходят.
2. Величина получаемого значения при измерении социального феномена обуславливается главным образом двумя основными источниками — социальной реальностью и социальной действительностью. Под социальной реальностью здесь понимается доминирующий дискурс, используемый респондентом для оценки социального феномена; под социальной действительностью — объективированная часть социальных институтов и те общественные процессы, которые имеют к ней отношение, а по-другому — наблюдаемая поведенческая активность индивидов.
3. В качестве остатков, или случайной величины, следует рассматривать как раз психологические особенности индивида, а по-другому — приобретенные в процессе социализации устойчивые черты личности. Собственно, их влияния на оценку изучаемого феномена (при рассмотрении агрегированного уровня) и будут взаимно компенсировать друг друга в случаях использования выборок большого размера.
Рассматривая эти допущения, следует принять во внимание главную цель социологического измерения, заключающуюся в построении обобщенной картины социальных явлений и процессов. Ориентация на получение истинных значений на уровне отдельного респондента, как это делается в классической теории измерения, — в случае массовых опросов неоправданна, когда речь заходит об изучении социальных феноменов с помощью компактного социологического инструментария. Поэтому следует приложить усилия для того, чтобы измерительный инструмент давал приемлемо точную информацию, которая поддается осмысленной социологической интерпретации. Это, в свою очередь, требует введения дополнительного допущения:
Приемлемо точная и поддающаяся осмысленной социологической интерпретации информация может быть получена только с помощью комплексных измерительных инструментов, прошедших достаточную теоретическую и эмпирическую валидизацию.
Данное положение носит чисто прагматический характер, поскольку утверждает, что при использовании методологически обоснованных процедур и принципов обеспечения качества социологи-
ческой информации исследователь получает возможность разработки измерительного инструмента, необходимого для достижения целей социологического исследования.
Таким образом, итоговое значение методики как инструмента измерения — это не оценка истинности, а формирование общего представления о состоянии социальной системы, а также уточнение имеющихся валидных теоретических положений о различных аспектах социального. При этом отдельные индикаторы методики или их подгруппы могут нести самостоятельное эвристическое значение в контексте проводимого анализа.
Чтобы более отчетливо представить методологическую специфику комплексных измерительных инструментов в социологии, обратимся к процессу их валидизации.
Процесс валидизации комплексных измерительных инструментов
в социологии
Здесь мы коснемся именно специфики валидизации комплексных измерительных инструментов, а не техник, которые могут применяться при их разработке. Это связано с тем, что к упомянутым техникам относятся многочисленные процедуры формулировки и отбора индикаторов, формирования выборки (начиная от пилотных опросов и заканчивая репрезентативными исследованиями с целью выделения норм), статистической обработки результатов использования теста на различных этапах его разработки. Все перечисленное не может быть охвачено в рамках одной статьи. Кроме того, многие из таких техник являются специфичными, и анализ ситуаций их применения не представляется возможным9.
Комплексный подход к процессу валидизации шкал и индексов включает два этапа: теоретическую и эмпирическую валидизацию. Если речь идет о социологических тестах, то к ним добавляется еще один — разработка норм или критериальных уровней теста.
Теоретическая валидизация. Чтобы избежать проблемы «глупой собаки, гоняющейся за своим хвостом» (где «глупая собака» — это теория, которую намереваются верифицировать с помощью измерительных процедур, а «хвост» — измерительная методика, построенная на базе еще не проверенной теории), в основу комплексного измерительного инструмента должны быть положены уже валидные теоретические идеи. Такая постановка вопроса связана с тем, что и «ломаные» теоретические конструкты вполне могут приводить к приемлемым результатам статистического анализа. С целью подтверждения этого положения нами проведено методическое исследование, в рамках которого сравнивались результаты использования методики, построенной
9 Более подробно о соответствующих техниках см., например: [3; 8; 16].
на основании уже валидных теоретических положений, с результатами той же методики, которая была намеренно искажена таким образом, чтобы нарушить ее содержательную валидность [6]. С помощью двух этих вариантов измерительной методики преподаватели и старосты одного из киевских вузов оценивали поведенческие стратегии своих студентов (или одногруппников). Далее полученные результаты были сопоставлены со средними баллами студентов, которые они получили на всех сессиях бакалавриата (см. табл.). Как видно, что касается статистики, оба варианта равнозначны, чего нельзя сказать о теоретических конструктах, которые за ними стоят.
Таблица
Сила и направление связи результатов экспертного оценивания со средними значениями оценок, полученных на всех сессиях бакалавриата
N = 23)
Сила связи
Эксперты Использование «ломаной» шкалы Использование валидной шкалы
преподаватель №1 0,52* 0,63**
преподаватель №2 0,80** 0,74**
старосты 0,75** 0,74**
Среднее значение трех оценок 0,80** 0,81**
*р < 0,05; **р < 0,01.
Конечно же, с точки зрения статистического анализа (например, нахождения взаимосвязей с другими конструктами или предсказания значений других переменных) оба варианта шкалы можно оценить как равноценные. Но с точки зрения социологической интерпретации, «ломаная» шкала теряет научную ценность, так как отказ от содержательных элементов ведет к потере информации об одном типе студентов из трех10.
Следующий вопрос здесь касается того, каковы источники тех теоретических положений, которые могут рассматриваться в качестве валидных. Поскольку феномены, попадающие в фокус социологического измерения, могут быть социальными (например, отношение
10 С помощью оставшейся части шкалы все студенты могут быть отнесены или к «декларативно заинтересованному», или к «ответственному» типу, в то время как «безразличный» тип выпадает из фокуса исследования. Указанные типы студентов были выявлены в процессе качественного исследования с помощью исследовательской стратегии «обоснованной теории». Более подробно об этом, а также последующей разработке измерительной методики их определения см. в нашей книге: [7, с. 109—124].
к властным институтам), социально-философскими (например, справедливость), социально-психологическими (например, психологический климат в коллективе) и психологическими (например, тревожность), постольку к источникам валидных теоретических положений могут быть отнесены отдельные концепции в рамках социальных наук, предварительные специальные исследования, профессиональный практический опыт, а в определенных случаях и универсальный опыт, то есть знания, присущие всем представителям определенной социальной общности. Рассмотрим их более подробно.
Если говорить о научных концепциях, то речь следует вести о тех из них, построение которых опиралось на исследовательскую стратегию кейс-стади11, предполагающей неманипулятивное и неконтролиру-ющее изучение социальных объектов и процессов такими, какими они обнаруживаются в социальной действительности12. Благодаря этому получаемые теоретические положения являются не гипотетическими конструкциями, а теоретически валидными моделями тех социальных контекстов, которые были охвачены исследованием. В этом смысле использование кейс-стади является прямым решением проблемы теоретической валидности.
Мы относим к таковым и некоторые концепции исторической макросоциологии, использующей кейс-нарративный анализ. К последним, например, принадлежат результаты, представленные в работах Ч. Тилли [12] и Б. Андерсона [4]. Эти теории хоть и выглядят весьма далекими от уровня социологического измерения, но тем не менее задают правильную фокусировку относительно наиболее релевантных процессов в сегодняшнем мире национальных государств, увеличивая тем самым теоретическую чувствительность исследователя.
Что касается предварительных комплексных исследований, то речь опять-таки идет об использовании кейс-стади по тем же самым причинам, которые описаны выше. Отличие лишь в том, что здесь исследование «заточено» под построение требуемой для дальнейшего социологического измерения теоретической базы. Соответствующим примером является наше исследование поведенческих практик студентов, совмещающих работу с учебой [7, с. 99—124].
В случае профессионального опыта все значительно проще. Выполнение ежедневных функциональных обязанностей позволяет специалистам получить понимание различных аспектов социальных феноменов естественным путем. Поэтому такой опыт — потенциальный источник валидных теоретических положений. Примером использования профессионального опыта при построении изме-
11 Более подробно см., например: [19; 6, с. 125-149].
12 Под «социальной действительностью» мы понимаем поведенческую
активность индивидов на различных уровнях социального взаимодействия.
рительной методики является шкала психологического дистресса 8СЬ-90-Я Л. Дерогатиса [15], который отталкивался от тех симптомов различных психологических расстройств, которые были зафиксированы соответствующим профессиональным сообществом.
Наконец, в качестве отправной точки могут использоваться и аксиоматические научные положения, валидность которых не вызывает сомнений. Так, это могут быть утверждения, рассматривающиеся в качестве базисных в ключевых социологических теориях (функционализм, символический интеракционизм, теория конфликта, феноменология, теория обмена и др.) или же универсальные социологические аксиомы. Пример последних — положение, использованное Е. Головахой и Н. Паниной для конструирования Интегрального индекса социального самочувствия: «...социальное самочувствие человека определяется степенью удовлетворения его социальных потребностей, которые, в свою очередь, являются производными от существующей в обществе системы социальных благ, их производства и распределения» [5, с. 23-24].
Рассмотренные источники могут вносить различный вклад в достижение теоретической валидности. Поэтому естественно использовать несколько из них, если это возможно, в рамках одного исследовательского проекта.
Теоретическая база исследования должна обеспечивать три компонента теоретической валидности: очевидный, содержательный и композиционный. Очевидная валидность связана с аргументацией, в рамках которой изучаемый феномен вписывается в социальную действительность и, соответственно, не является плодом чьих-то домыслов; содержательная валидность обеспечивает значимость и представительность элементов теоретического конструкта; композиционная — правильность его внутренней структуры [7, с. 22-31]. В таком виде теоретическая база предоставляет все необходимое для дальнейшей операционализации теоретических положений, а также для оценки полученных в рамках эмпирической валидизации результатов. Но прежде чем перейти к последней, необходимо определиться со спецификой измерительного инструмента.
После подготовки валидной теоретической базы исследователь конструирует на ее основе шкалу или индекс13. Проверка правильности перехода от теоретически валидной базы к инструменту измерения осуществляется с помощью эмпирической валидизации, опирающейся на результаты методических опросов.
Эмпирическая валидизация. Эмпирическая валидность имеет три независимых и один зависимый компонент. Независимый включает
13 Тема конструирования комплексных измерительных инструментов в социологии заслуживает отдельной публикации и здесь нет возможности уделить ей даже минимально необходимого внимания.
такие виды валидности, как конструктная, критериальная и предсказательная, зависимый — сравнительную валидность. Эти четыре вида следует рассматривать в качестве основных в контексте эмпирической валидизации комплексных измерительных инструментов. Кроме них в конкретных случаях может потребоваться проверка дополнительных (или неосновных) видов эмпирической валидности. Например, популярная сегодня факторная валидность относится к этой категории. Здесь же внимание уделяется только основным видам эмпирической валидности.
Конструктную валидность мы рассматриваем в терминах, предложенных в работе Д. Кэмпбелла и Д. Фиске [14]. Так, для ее подтверждения необходимо продемонстрировать конвергентную и дискрими-нантную составляющие. Первая основывается на том, что результаты методики связаны с результатами тех шкал или индексов, которые направлены на измерение явлений, теоретически связанных с феноменом, находящимся в фокусе нашего интереса. Говоря проще, измерения конструктов, которые связаны в теории, должны быть связаны и фактически. В случае дискриминантной валидности логика та же самая, только во внимание принимаются те аспекты, которые теоретически связаны быть не должны. Соответствующие измерения должны это продемонстрировать. Если говорить о статистических процедурах, то здесь наиболее приемлемым является использование корреляционного (в широком смысле) анализа.
Критериальная валидность относится к определению степени, в которой результаты измерения связаны с неким объективным показателем. Обычно ее подразделяют на конкурентную и предсказательную (последнюю часто называют прогностической или предиктивной) валидности. Однако по соображениям, которые будут приведены далее, под критериальной валидностью измерительной методики мы понимаем исключительно конкуретную, а прогностическую выделяем в отдельный вид. В этом смысле критериальная валидность проверяется путем сравнения результатов измерения и других наблюдаемых результатов, являющихся объективными показателями изучаемого феномена. Один из простых, но убедительных способов демонстрации критериальной валидности комплексного измерительного инструмента — получение ожидаемых различий при опросе «контрастных» с точки зрения изучаемого явления групп, что среди прочего указывает и на общую «чувствительность» методики.
Предсказательная валидность связана с возможностью инструмента предоставлять информацию, необходимую для прогнозирования будущих состояний объекта исследования. С точки зрения социологического измерения, это, возможно, наиболее труднодостижимый вид валидности — как в силу требуемой краткости инструментария, так и в силу комплексности изучаемых в социологии процессов и яв-
лений. Именно поэтому мы проводим сущностное различие между критериальной и предсказательной валидностью. В целом результаты социологического измерения (если мы говорим про конкретную методику) — лишь один из необходимых источников эмпирической информации, на основании которой строится социологический прогноз. Поэтому автор методики должен понимать, каким образом результаты его шкалы, индекса или теста встраиваются в ту или иную отрасль социологии с тем, чтобы улучшить выводы о возможных сценариях развития социальной действительности.
Сравнительная валидность понимается как сравнительное преимущество измерительного инструмента в ряду схожих методик. Таким образом, ее обоснование связано с необходимостью сравнения показателей конструктной, критериальной и предсказательной валидности различных социологических методик, направленных на изучения одного и того же явления. Именно поэтому данная разновидность валидности является зависимым компонентом эмпирической валидизации — результаты ее проверки связаны как с предыдущими результатами эмпирической валидизации, так и с той методикой (и результатами ее валидизации), которая выступает в роли главного «конкурента».
Разработка норм или критериальных уровней. Одним из принципиальных условий, которое часто выдвигается в процессе обоснования релевантности тестовой методики, является выделение ее норм. Поэтому данная часть статьи касается прежде всего социологических тестов.
Методологические наработки относительно норм в социологическом тестировании отсутствуют. Следовательно, единственным ориентиром здесь являются положения, используемые при разработке психологических тестов.
Понятие «норма» применительно к психологическому тестированию имеет отношение к результатам, которые показывают представители определенной группы по заданному тесту [18, p. 53]. Такие нормы вычисляются с помощью исследований стандартизации и в дальнейшем используются для оценки индивидуальных результатов психологического теста.
Исследования стандартизации заключаются в изучении репрезентативных групп с целью использования полученных результатов в качестве ориентиров сравнения индивидуальных показателей по тесту. Это позволяет выяснить положение участника исследования относительно выборки стандартизации, а также обеспечивает сопоставимость результатов различных тестов [3, с. 64—65].
Несмотря на то, что этот подход является общепринятым, некоторые его аспекты требуют более детального рассмотрения. Прежде всего это касается понятия «репрезентативность». Так, Клайн говорит о необходимости использования стратифицированной выборки, по-
зволяющей учесть в исследовании стандартизации наиболее важные параметры, влияющие на результаты использования теста. В качестве примера он приводит свое исследование, в котором учащиеся шестых классов были стратифицированы по полу, специфике финансирования школы, ее географическому размещению и статусу. Для каждой категории было отобрано по две школы. При этом все школы находились на севере Англии. В финальную выборку вошло по 1000 мальчиков и девочек [8, с. 219]. Следовательно, речь идет не о статистическом обобщении (требуется случайная выборка необходимого объема), а об аналитическом (необходимо изучение релевантных социальных контекстов).
Конечно же, для тестов, имеющих универсальную природу, исследование стандартизации может быть осуществлено и на основании случайной репрезентативной выборки, хотя это и не является принципиальным условием. Последнее связано с тем, что главная цель такого исследования — получение описания изучаемого свойства в различных контекстах, а не описание генеральной совокупности как целого. Здесь уместно вспомнить замечание Д. Кэмпбэлла о том, что «в успешно развивающихся науках обобщения никогда еще не были "индуктивными" в смысле суммирования фактов, наблюдавшихся в пределах, в которых проводятся обобщения, напротив, они всегда были гипотетическими, даже если и руководствовались ранее открытыми законами» [9, с. 207-208].
Следующий вопрос касается преобразования, или статистической нормализации, сырых баллов теста, которая позволяет более эффективно решать уже упомянутые задачи, — сравнение с результатами выборки стандартизации, а также результатами других тестов. При этом более актуальной задачей в данном случае является именно сравнение результатов различных тестов. Что касается сравнения с результатами выборки стандартизации, то статистические преобразования «завязаны» на феномене нормального распределения. А это значит, что чем ближе эмпирическое распределение результатов использования теста к нормальному, тем меньше смысла в его статистической нормализации. Как указывает Анастази, при приближении распределения первичных показателей к нормальному стандартные показатели, полученные с помощью линейного преобразования, практически не отличаются. Соответственно, статистическая нормализация в таком случае мало что-либо изменит или не изменит ничего. Важно учитывать и то, что необходимо добиваться нормального распределения первичных результатов использования теста, а не нормализовать статистическими средствами явно ненормальное распределение [3, с. 80].
Последнее, что необходимо принять во внимание, — это определение уровней выраженности свойства на основании результатов
использования того или иного теста. Очевидно, что исследование стандартизации само по себе ничего не говорит о таких уровнях. По сути, оно проводится с другими целями. Единственное решение этой проблемы, которое встречается в методической литературе (впрочем, оно напрашивается естественным образом), заключается в использовании критериальных норм вместо статистических. В данном случае шкала сырых тестовых баллов калибруется уровнями, определяющими вероятность достижения некоторого критерия или уровней, позволяющих предположить качественно иные состояния участников исследования по изучаемой характеристике [13, с. 153-154]. Вместе с тем о том, как определять критериальные нормы, ничего не говорится.
Теперь критически оценим три описанных выше понятия —репрезентативность, статистическая нормализация, норма / критериальный уровень — с точки зрения социологической специфики. Возвращаясь к разграничению статистической и аналитической репрезентативности, мы считаем вполне обоснованным использование последней точно так же, как это рекомендуется в психологических исследованиях. Это связано с тем, что современные общества характеризуются достаточно высокой гетерогенностью. Соответственно, важно понимать, какие результаты социологический тест покажет при использовании в различных социальных контекстах (различных аудиториях). При этом апробация теста в статистически репрезентативном опросе также является необходимым шагом его нормализации. Полученные в таком опросе результаты очерчивают наиболее общие рамки сравнения и интерпретации результатов других опросов.
Говоря о нормализации результатов, следует признать ее ограниченность применительно к социологическим исследованиям. Во-первых, в социологических опросах акцент делается на обобщении полученных результатов, а не на оценке индивидуальных показателей с тем, чтобы среди прочего определить их место относительно показателей генеральной совокупности (такая задача решается прежде всего в тестах оценки способностей). Во-вторых, целый спектр социальных качеств в противоположность психологическим не подчинен нормальному закону. И дело здесь не в низком качестве измерительного инструмента, а в исторических особенностях тех или иных сообществ. В-третьих, когда речь заходит о научном исследовании, статистические нормы не столь важны [8, с. 214]. Кроме этого есть и методический аргумент в пользу малой релевантности нормализации результатов. Учитывая требование компактности социологических тестов, интервалы их возможных значений часто будут достаточно «узкими» по сравнению со многими психологическими тестами. А это вносит свои ограничения при построении достаточно точных интервалов с использованием статистической нормализации.
Что касается критериальных уровней, то данный вопрос, по нашему глубокому убеждению, является одним из важнейших при разработке социологического теста. Это связано с решением двух взаимосвязанных задач социологического тестирования. Первая — показать, что тест обладает разделительным потенциалом. Например, если показатели использования некого теста, выявляющего авторитаризм, в группе обычных респондентов мало отличаются от соответствующих характеристик крайних анархистов и крайних националистов, то критериальных уровней тест не имеет (впрочем, как и не обладает критериальной валидностью). Следовательно, для определения критериальных уровней социологического теста его автор должен быть осведомлен о существовании в обществе таких групп, которые характеризуются низким и / или высоким уровнем изучаемого свойства, а также иметь доступ к ним. Это позволит осуществить критериальную нормализацию теста, что, в свою очередь, откроет возможность решить вторую задачу — выделить уровни в результатах тестирования, характеризующих респондентов с точки зрения не только количественных, но и качественных различий.
Таким образом, понятие «норма» в социологическом тестировании недостаточно точно отображает суть соответствующей методической деятельности. Более удачным термином в данном случае мы считаем «критериальный уровень», отличительными свойствами которого являются следующие: 1) партикулярность в смысле привязки к специфическим, с точки зрения изучаемого свойства, социальным группам; 2) качественность, указывающая на уровни выраженности измеряемого свойства; 3) дискриминативность как разделительный потенциал теста.
Вместо заключения
В статье продемонстрировано, что предмет социологического измерения — это не только латентные переменные, но и социальные феномены. Это, в свою очередь, выдвигает задачу перехода от индивидуальных результатов, полученных в рамках массовых опросов, к анализу специфики изучаемого общества. Ни психология, ни педагогика не оперируют методологическими средствами, необходимыми для ее решения. Тем не менее интерес социологической науки, а значит, и ее эмпирических исследований во многом сосредоточен на масштабных социальных явлениях и процессах.
Таким образом, общепринятые методологические принципы измерения в социальных науках в действительности оторваны от широкой социологической практики. В этом контексте наше обращение к комплексным измерительным инструментам представляет собой частичное14 решение указанной задачи. Оно основано на следующих теоретико-ме-
14 Частичное по той причине, что речь идет не обо всех социальных феноменах, а лишь о тех из них, которые имеют институциональную специфику.
тодологических предпосылках: проведение различия между шкалами и индексами в качестве двух форм социологического тестирования; принятие прагматических методологических допущений относительно социологического измерения; а также правильное понимание статуса теоретического и эмпирического этапов валидизации.
По нашему мнению, дальнейшая проблематизация измерительных практик в социологии, которые основаны на внешних дисциплинарных традициях, будет способствовать продуктивной методологической рефлексии, улучшению стандартов разрабатываемых методик и получению более точных результатов в ходе проведения массовых опросов.
ЛИТЕРАТУРА
1. Аванесов В. Истоки и основные понятия математической теории измерения (Item Response Theory) // Педагогические измерения. 2007. № 3. С. 3-36.
2. Аванесов В. Тесты в социологическом исследовании. М.: Наука, 1982. — 200 с.
3. Анастази А., Урбина С. Психологическое тестирование / [Пер. с англ., предисл. и общ. науч. ред. А.А. Алексеева]. 7-е изд. СПб.: Питер, 2007. — 688 с.
4. Андерсон Б. Воображаемые сообщества. Размышления об истоках и распространении национализма / Пер. с англ. В.Г. Николаева; Вступ. ст. С. Баньковской. М.: Канон-пресс-Ц; Кучково поле, 2001. — 288 с.
5. Головаха Е, Панина Н. Интегральный индекс социального самочувствия (ИИСС): конструирование и применение социологического теста в массовых опросах. Киев: Ин-т социологии НАН Украины, 1997. — 64 с.
6. Дембицкий С. Относительно проблематичности статистической проверки теоретических конструктов // Социология: теория, методы, маркетинг. 2014. № 2. С. 190-194.
7. Дембицкий С. Теоретическая валидизация в социологическом исследовании: методология и методы. М.: ЛЕНАНД, 2016. — 200 с.
8. Клайн П. Справочное руководство по конструированию тестов: Введение в психометрическое проектирование / Пер. с англ.; Под ред. Л.Ф. Бурлачука. Киев: ПАН ЛТД, 1994. — 283 с.
9. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях / Сост. и общ. ред. М.И. Бобнева; Авт. вступ. ст. Г.М. Андреева; Ред. Э.М. Пчелкина. М.: Прогресс, 1980. — 391 с.
10. Магун В., Руднев М. Жизненные ценности населения: сравнение Украины с другими европейскими странами // Украинское общество в европейском пространстве / Под ред. Е. Головахи, С. Макеева. Киев: Ин-т социологии НАН Украины; Харьков: Нац. ун-т им. В.Н. Каразина, 2007. С. 226-273.
11. Садмен С., Брэдберн Н. Как правильно задавать вопросы: введение в проектирование опросного инструмента / Пер. с англ. А.А. Виницкой; Науч. ред. перевода Д.М. Рогозин. М.: Ин-т Фонда «Общественное мнение», 2002. — 382 с.
12. Тилли Ч. Принуждение, капитал и европейские государства. 1990—1992 гг. / Пер. с англ. Т.Б. Менской. М.: Территория будущего, 2009. — 328 с.
13. Шмелев А. Основы психодиагностики. Ростов-на-Дону: Феникс, 1996. — 544 с.
14. Campbell D., Fiske D. Convergent and diskriminant validation by the multi-trait-multimethod matrix // Psychological Bulletin. 1959. No. 2. Р. 81-105.
15. Derogatis L, Fitzpatrick M. The SCL-90-R, the Brief Symptom Inventory (BSI), and the BSI-18 // The use of psychological testing for treatment planning and outcomes assessment. Vol. 3: Instruments for adults / Ed. by M.E. Maruish. New Jersey; London: Lawrence Erlbaum Associated Publishers, 2004. Р. 1-42.
16. DeVellis R. Scale Development: Theory and applications. Los Angeles; London; New Delhi; Singapore; Washington DC: SAGE, 2012. — 216 p.
17. K10 and K6 Scales [online]. Accessed 08.06.2017. URL: <http://www.hcp.med. harvard.edu/ncs/k6_scales.php>.
18. Kaplan R, Saccuzzo D. Psychological testing: Principles, applications, and issues. Belmont: Wadsworth, 2009. — 715 p.
19. Yin R. Case study research: Design and methods. London; Thousand Oaks; New Delhi: Sage, 2009. — 219 p.
Дата поступления: 10.06.2017.
Sotsiologicheskiy Zhurnal = Sociological Journal. 2017. Vol. 23. No. 3. P. 102-124. DOI: 10.19181/socjour.2017.23.3.5366
S.S. Dembitskyi
Institute of Sociology of the Academy of Sciences of Ukraine, Kiev, Ukraine.
Serhii S. Dembitskyi — Candidate of Sociological Sciences, senior scientific fellow; Institute of Sociology of the Academy of Sciences of Ukraine. Address: 12, Shelkovichnaya Str., 01021, Kiev, Ukraine. Phone: +38 (044) 253-05-80. Email: e_forge@me.com
Complex Measurement Instruments in Sociology Abstract. The purpose of this article is to critically evaluate the predominant paradigm of measurement in social sciences, as well as to formulate an alternative vision ofsociological measurement. This task is solved within the context of complex measurement instruments in sociology, namely scales, indices and sociological tests. The latter are considered to be key elements.
Sociological tests are considered a system of statements selected by sociological methods. Sociological tests allow obtaining reliable and valid information about the phenomena undergoing examination. A proposition is made to evaluate sociological tests within three partially overlapping dimensions: methodical (brevity while preserving the reliability and validity of a test), conceptual (focusing on studying social phenomena) and prognostic (the diagnostic potential of a test when assessing the state of a social system). The author critically analyzes the main assumptions ofthe classical theory of measurement, as well as the concept of a latent variable. Formulated is an alternative concept for the main subject of sociological measurement, namely — social phenomena, while establishing
the corresponding methodological assumptions based on pragmatic ideas. This brings the author to make a conclusion about the fundamental importance of theoretically and empirically validating complex measurement instruments.
Theoretical validation is described within the context of achieving its three components — face, content and composition. Empirical validity requires verifying its three independent components (constructive, criterion and predictive) and its single dependent component (comparative). In the end, the specifics for developing norms or criterial levels are considered. This part of methodological work is a prerequisite for making a transition from a scale or an index to a sociological test.
Keywords: measurement instruments; sociological test; validity.
For citation: Dembitskyi S.S. Complex Measurement Instruments in Sociology. Sotsiologicheskiy Zhurnal = Sociological Journal. 2017. Vol. 23. No. 3. P. 102—124. DOI: 10.19181/socjour.2017.23.3.5366
REFERENCES
1. Avanesov V. Origins and basic concepts of Item Response Theory (Item Response Theory). Pedagogicheskie izmereniya. 2007. No. 3. P. 3-36. (In Russ.)
2. Avanesov V. Testy v sotsiologicheskom issledovanii. [Tests in sociological research.] Moscow: Nauka publ., 1982. 200 p. (In Russ.)
3. Anastazi A., Urbina S. Psychological testing. [Russ. ed.: Psikhologicheskoe testirovanie. Transl. from Eng., Pref. and Ed. by A.A. Alekseevю 7th ed. St Petersburg: Piter publ., 2007. 688 p.]
4. Anderson B. Imagined Communities. [Russ. ed.: Voobrazhaemye soobshchest-va. Razmyshleniya ob istokakh i rasprostranenii natsionalizma. Transl. from Eng. by V.G. Nikolaev; Pref. by S. Ban'kovskaya. Moscow: Kanon-press-Ts; Kuchkovo pole publ., 2001. 288 p.]
5. Golovakha E., Panina N. Integral'nyi indeks sotsial'nogo samochuvstviya (IISS): Konstruirovanie iprimenenie sotsiologicheskogo testa v massovykh oprosakh. [Integral index of social well-being (IISWB): Design and application of sociological test in surveys.] Kiev: In-t sotsiologii NAN Ukrainy publ., 1997. 64 p. (In Russ.)
6. Dembitskii S. To the problem of statistical verification of theoretical constructs. Sotsiologiya: teoriya, metody, marketing. 2014. No. 2. P. 190-194. (In Russ.)
7. Dembitskii S. Teoreticheskaya validizatsiya v sotsiologicheskom issledovanii: metodologiya i metody. [Theoretical validation in sociological research: methodology and methods.] Moscow: LENAND publ., 2016. 200 p. (In Russ.)
8. Klain P. A Handbook of Test Construction: Introduction to Psychometric Design. [Russ. ed.: Spravochnoe rukovodstvopo konstruirovaniyu testov: Vvedenie vpsikhometricheskoe proektirovanie. Transl. from Eng.; Ed. by. F. Burlachuk. Kiev: PAN LTD publ., 1994. 283 p.]
9. Kempbell D. Modeli eksperimentov vsotsial'noipsikhologii i prikladnykh issledovaniyakh. [Models of experiments in social psychology and applied research.] Comp. and general ed. by M.I. Bobnev; Pref. by G.M. Andreeva; Ed. by E.M. Pchelkina. Moscow: Progress publ., 1980. 391 p. (In Russ.)
10. Magun V., Rudnev M. Life values ofthe population: comparison of Ukraine with other European countries. Ukrainskoe obshchestvo v evropeiskom prostranstve. [Ukrainian society in the European space.] Ed. by E. Golovakha, S. Makeev. Kiev: In-t sotsiologii NAN Ukrainy publ.; Khar'kov: Nats. un-t im. V.N. Karazina publ., 2007. P. 226-273. (In Russ.)
11. Sadmen S., Bredbern N. Asking questions: The definitive guide to questionnaire design. [Russ. ed.: Kakpravil'no zadavat' voprosy: vvedenie vproektirovanie oprosnogo instrumen-
ta. Transl. from Eng. by A.A. Vinitskaya; Ed. of Transl. by D.M. Rogozin. Moscow: In-t Fonda "Obshchestvennoe mnenie" publ., 2002. 382 p.]
12. Tilli Ch. Coercion, Capital, and European States, AD 1990-1992. [Russ. ed.: Prinuzhdenie, kapital i evropeiskie gosudarstva. 1990—1992 gg. Transl. from Eng. by T.B. Menskaya. Moscow: Territoriya budushchego publ., 2009. 328 p.]
13. Shmelev A. Osnovypsikhodiagnostiki. [Fundamentals of Psychodiagnostics.] Rostov-na-Donu: Feniks publ., 1996. 544 p. (In Russ.)
14. Campbell D., Fiske D. Convergent and diskriminant validation by the multitrait-mul-timethod matrix. Psychological Bulletin. 1959. No. 2. P. 81-105.
15. Derogatis L., Fitzpatrick M. The SCL-90-R, the Brief Symptom Inventory (BSI), and the BSI-18. The use of psychological testingfor treatment planning and outcomes assessment. Vol. 3: Instruments for adults. Ed. by M.E. Maruish. New Jersey; L.: Lawrence Erlbaum Associated Publishers, 2004. P. 1-42.
16. DeVellis R. Scale Development: Theory and applications. Los Angeles; London; New Delhi; Singapore; Washington DC: SAGE, 2012. 216 p.
17. K10 and K6 Scales. Accessed 08.06.2017. URL: <http://www.hcp.med.harvard.edu/ ncs/k6_scales.php>.
18. Kaplan R., Saccuzzo D. Psychological testing: Principles, applications, and issues. Belmont: Wadsworth, 2009. 715 p.
19. Yin R. Case study research: Design and methods. L.; Thousand Oaks; New Delhi: Sage, 2009. 219 p.
Received: 10.06.2017.
#
#
