CC BY
38
МАНК Дж., ВЕРКУЙЛЕН Дж.
КОНЦЕПТУАЛИЗАЦИЯ И ИЗМЕРЕНИЕ ДЕМОКРАТИИ. ОЦЕНКА АЛЬТЕРНАТИВНЫХ ИНДЕКСОВ (Реферат)
MUNCK G.L., VERKUILEN J. Conceptualizing and measurement democracy. Evaluating alternative indices // Comparative political studies. - Beverly hills, 2002. -Vol. 35, N 1. - P. 5-34.
Авторы статьи Дж. Манк и Дж. Веркуйлен предлагают вниманию читателей комплексный подход к анализу параметров демократии и анализируют различные индексы демократического развития, используемые в универсальных сравнениях.
Анализ индексов представлен в таблице.
Таблица
Наборы данных по демократии _
Название индекса (его авторы) Количество анализируе- Период анали-
мых случаев за в индексе
Альварес, Чейбаб, Лимонджи и Пшеворски (Alvarez, Cheibub, Limongi and Przeworski) 141 1950-1990 гг.
Эрат (Arat) 152 1948-1982 гг.
Боллен (Bollen) 113 1960 г.
Индекс полиархии Коппеджа и Рейнике (Coppedge and Reinicke Polyarchy) 170 1985 г.
«Дом свободы» («Freedom House») все государства (количество случаев варьируется) с 1972 г. по настоящее время
Индекс изменений в политическом режиме Гасиоровски (Gasiorowski Political Regime Change) 97 1992 г.
Хадениус (Hadenius) 132 1988 г.
Полити IV (Polity IV) 161 1800-1999 гг.
Ванханен (Vanhanen) 187 1810-1998 гг.
Предлагаемый авторами подход основывается на трех факторах - концептуализации, измерении и агрегировании. По их мнению, данных подход представляет собой существенный вклад в методологию проблемы и весьма плодотворен в изучении демократии.
Проблема концептуализации: показатели и логическая организация. Отправной точкой анализа является вопрос о том, какие показатели необходимо включить в набор параметров демократии. Однако строгих правил отбора данных в рамках той или иной концепции не существует, как и «правильного» определения демократии. Поэтому исследователи сталкиваются с проблемой: как исключить лишние показатели и в то же время сохранить необходимые.
При использовании слишком большого числа показателей возникают следующие последствия. Во-первых, количество казусов, необходимых для сравнения, может просто не найтись. Во-вторых, даже если они найдутся, концепция будет настолько перегружена, что потеряет объяснительную силу.
Если пойти по пути минимизации числа показателей, то задача нахождения эмпирических примеров значительно облегчится и увеличится количество казусов. Однако при таком подходе практически все казусы могут стать примерами для рассмотрения. Кроме того, исследователи могут упустить из виду какой-нибудь важный признак демократии.
При формировании индексов демократии особенно остро стоит проблема определения необходимых показателей. Примером в данном случае может служить такой показатель, как участие, который был включен в анализ только Р. Далем в 1971 г. В более ранних индексах он отсутствовал, что связано с ограничением избирательных прав вплоть до середины XX в.
Кроме проблемы определения показателей исследователи, по мнению авторов статьи, должны рассматривать и вопрос о том, как эти показатели связаны между собой и какова их иерархия. Эта дилемма редко обсуждается, между тем она оказывает существенное влияние на измерение и агрегирование показателей демократии. Проблему можно решить следующим образом.
Во-первых, исследователи должны разделять между собой показатели, компоненты этих показателей, субкомпоненты и т.д.
Во-вторых, задачу агрегирования разнородных данных позволяет решить выделение многосоставных показателей. Таким
образом, агрегирование данных возможно только после этапа измерения, подчиненного двум логическим правилам. С одной стороны, показатели необходимо выстраивать в вертикальной иерархии так, чтобы менее абстрактные показатели конкретизировали более абстрактные. С другой стороны, показатели одного уровня абстракции должны взаимодополнять друг друга в объяснении показателя более высокого уровня абстракции.
Во всех существующих индексах демократии показатели выстроены в соответствии с этими требованиями. Тем не менее эти индексы не избежали базовых проблем концептуальной логики, к которым относятся проблема избыточности и проблема объединения. Под проблемой избыточности авторы статьи понимают тот случай, когда два показателя описывают один и тот же аспект демократии. Эта проблема очевидна в двух индексах: Полити IV (Polity IV) и индексе Лайквайза и Хадениуса (Likewise and Hadenius).
Проблема объединения более распространена. Она означает, что несколько разнонаправленных компонентов объединяются в один общий показатель. Эту ошибку содержат индексы Эрата (Arat), Боллена (Bollen), Лайквайза и Хадениуса (Likewise and Hadenius), а также индекс «Дома свободы» («Freedom House»).
Проблема измерения: индикаторы и уровни измерения. Следующая рассматриваемая авторами проблема касается создания шкал, которые бы связывали концептуальные показатели, идентифицированные и логически организованные на предыдущем этапе исследования. Авторы отмечают, что необходимо создать измерительный инструмент, превращающий ненаблюдаемые скрытые переменные в наблюдаемые или индикаторы. Эта проблема требует комплексного рассмотрения. Во-первых, перед исследователями стоят задачи выбора индикаторов и уровня измерения. Во-вторых, необходимо решить проблему валидности измерения, т.е. определить, на самом ли деле инструмент измеряет то, что он должен измерять.
Выбор индикаторов - одна из самых сложных задач в социальных науках, поскольку здесь не существует жестких и однозначных правил выбора валидных индикаторов. К тому же на этом пути существуют две ловушки. Первая ловушка - это многочисленность эмпирических проявлений концептуального показателя. Наиболее разумным способом повысить валидность индикаторов, по мнению авторов статьи, является выбор многосоставных инди-
каторов и создание их кросс-системной эквивалентности (cross-system equivalence).
Вторая ловушка связана с неизбежностью ошибок измерения. Понятно, что на выбор индикаторов влияют их наличие и доступность, что и представляет собой серьезную проблему, поскольку в архивах может просто не оказаться нужных данных, или они будут представлены неверно. Например, разница в данных об уровнях преступности в одной и той же стране за разные периоды может быть связана не с реальным числом преступлений, а с изменением восприятия преступности в культуре и обществе. Дж. Манк и Дж. Веркуйлен приводят и другой пример: увеличение уровня коррупции может быть следствием роста свободы прессы, а не роста реальных фактов коррупции.
Авторы статьи отмечают, что в существующих индексах демократии вопросам построения многосоставных индикаторов и установления их кросс-системной эквивалентности не уделяется одинакового внимания. Так, Алварес (Alvarez) и Хадениус (Hade-nius) проводят детальную верификацию своих индикаторов, которые демонстрируют значительную чувствительность к контексту. Однако в других случаях ощущается недостаток такого анализа, что затрудняет понимание того, как эти индикаторы отражают и отражают ли вообще разницу в контексте.
Один из самых проблематичных примеров, касающихся выбора индикаторов, относится к индексу Ванханена (Vanhanen). Проблема заключается в том, что Ванханен преувеличил разницу между субъективными и объективными индикаторами и не уделил достаточного внимания субъективным оценкам, которые формируют выбор «объективных» индикаторов. Поэтому нет ничего удивительного в том, что решение Ванханена измерять показатель «конкуренция» с помощью процента голосов, полученных наиболее крупными партиями, и показатель «участие» с помощью процента явки критиковалось за то, что эти индикаторы создают систематические искажения в процессе измерения.
Далее Дж. Манк и Дж. Веркуйлен рассматривают проблему выбора уровня измерения. В этом случае исследователь должен взвесить все альтернативные мнения и принять разумное решение, которое будет отражать его глубокую осведомленность о рассматриваемых случаях. Дж. Манк и Дж. Веркуйлен полагают, что при вы-
боре уровня измерения среди стандартных шкал - номинальной, порядковой, интервальной или пропорциональной - нельзя руководствоваться какими-то априорными утверждениями. Лучшим способом является более открытая и свободная позиция, предполагающая, что при выборе уровня измерения необходимо: а) руководствоваться целями максимальной гомогенности между шкалами в сочетании с минимальным числом дистанций внутри шкалы; б) помнить, что необходимы как теоретическое оправдание, так и эмпирическая проверка выбранных шкал.
Не менее важным требованием к измерению является способность научного сообщества повторить процесс измерения и получить те же самые данные. Для этого ученые должны описать и сделать публичными: а) свои правила кодировки, включая список всех индикаторов, измерительные шкалы для каждого индикатора; б) процесс кодировки, включая список источников, количество кодировщиков, результаты всех тестов; в) все исходные данные, включенные в индикаторы.
В соответствии с данными требованиями образцами являются индексы, в которых подобная информация присутствует в том или ином виде, - это индексы Алвареса (Alvarez), Хадениуса (Ha-denius), Политии IV (Polity IV). Другие индексы не дают такую подробную информацию. А индексы «Дома свободы» («Freedom House») и Гасировски (Gasiorowski) вообще не содержат никакой информации о правилах кодировки.
Проблема агрегирования: уровни и правила агрегирования. Авторы статьи отмечают, что проблема агрегирования данных не получила широкого освещения в методологической литературе, однако важность ее решения не вызывает сомнения.
Первая задача, которую необходимо решить, - это выбор уровня агрегирования. Данная проблема требует деликатного и сбалансированного подхода. С одной стороны, огромное количество показателей, которые характеризуют хорошо проработанную и полную концепцию, сделает исследование излишне громоздким. С другой стороны, движение в сторону более агрегированного уровня может привести к потере валидности, поскольку вариации между анализируемыми случаями не будут раскрыты. Поэтому необходимо понимание того, что в этом вопросе нет однозначной позиции.
Несмотря на то что проблема агрегирования касается всех демократических индексов, по мнению Дж. Манк и Дж. Веркуйлен, во многих случаях она решается не совсем адекватно. Создатели индексов практически ничего не делают для того, чтобы предотвратить потерю информации. За одним-единственным исключением исследователями не было предложено ни одного теоретического оправдания выбранного уровня агрегирования, не было сделано ни одной попытки проверить, оправдана ли в исследовании агрегация более высокого уровня. Причиной является желание использовать множественный регрессионный анализ или другие похожие инструменты анализа данных. Однако в этом случае получается, что «статистическая телега» ставится впереди «теоретической лошади».
В качестве исключения авторы приводят пример Коппеджа и Рейника (Coppedge and Reinicke), которые подкрепили процесс агрегирования конструированием шкалы Гутмана. Преимущество этой шкалы заключается в том, что агрегирование может быть проведено без потери информации в процессе движения от более низких к более высоким уровням агрегации и без необходимости приписывания весов каждому компоненту.
Вторая задача, с которой сталкиваются исследователи, - это выбор правил агрегирования. Исследователю необходимо иметь ясное понимание, какие показатели и в каком порядке требуют агрегирования, также необходимо осознавать взаимосвязь между показателями.
Таким образом, процесс агрегирования состоит из двух этапов. Во-первых, исследователь должен создать четкую теорию относительно того, каким образом показатели связаны между собой. Во-вторых, необходимо удостовериться, что эта теория соответствует выбранным правилам агрегирования. Очень важно, чтобы исследователь осознавал, что показатели могут быть по-разному связаны между собой, и не ограничивал себя априорными утверждениями, принятыми «по умолчанию».
Авторы статьи подчеркивают, что выбор правил агрегирования должен осуществляться по результатам тестирования. Это означает, что исследователь должен проанализировать результаты, полученные при применении различных правил агрегирования, и добиться устойчивости данных. Исследователю также необходимо описать и опубликовать правила агрегирования и сами агрегированные данные.
В соответствии с этими задачами, все существующие наборы данных о демократии авторы статьи оценивают как неадекватные. Например, в индексе «Дома свободы» («Freedom House») длинный список показателей выглядит не как перечень связанных между собой компонентов в рамках определенной концепции, а как случайный набор. Кроме того, здесь не представлено теоретического оправдания в пользу выбора данных правил агрегирования.
Немногим лучше индексы Ванханена (Vanhanen) и Политии IV (Polity IV). Ванханен предлагает ясное и простое правило агрегирования: совокупные значения являются результатом умножения значений двух показателей. Однако в этом индексе нет теоретического оправдания весов, приписываемых каждому показателю, не протестирована возможность применения разных правил агрегирования.
Индекс Политии IV (Polity IV) основан на хорошо разработанных, но тем не менее на весьма изощренных правилах агрегирования. Так, например, пять показателей индекса взвешены с помощью совершенно различных шкал, и каждому показателю приписано разное количество пунктов шкалы.
Другие показатели демонстрируют более здравые подходы к процессу агрегирования, но и они также не лишены недостатков. Эрат (Arat) предложил комплексное правило. Однако, несмотря на то, что правило агрегирования убедительно, оно не имеет теоретического обоснования. Предложенное правило никогда не тестировалось, и для других исследователей нет никакой возможности провести подобное независимое исследование. Алварес с коллегами (Alvarez) предоставляют всю необходимую информацию для проведения независимого исследования, но они также не проводили никаких тестов. Хадениус (Hadenius) предлагает комплексное правило агрегирования, демонстрирует чувствительность индекса относительно различных правил агрегирования, но тестирует на устойчивость только свое собственное правило.
Выводы: обзор и призыв к переоценке наборов данных. В заключительной части статьи авторы подводят итоги и приходят к двум ключевым критическим замечаниям в адрес создателей индексов демократии.
Во-первых, исследователи демонстрируют различные уровни мастерства при решении проблем концептуализации, измерения и агрегирования.
Наиболее цельными и обоснованными, по мнению авторов статьи, являются индексы Альвареца (Alvarez), Коппеджа и Рейни-ка (Coppedge and Reinicke), а также Хадениуса (Hadenius). Наиболее проблемными и спорными с методологической точки зрения являются индексы «Дома свободы» («Freedom House»), Гасиоров-ски (Gasiorowski) и Ванханена (Vanhanen).
Во-вторых, обзор индексов, проведенный авторами, показывает, что ни один из индексов не дает удовлетворительного ответа на вызовы концептуализации, измерения и агрегирования.
В заключении авторы отмечают, что их критическая статья не умаляет заслуги создателей индексов демократии, поскольку наличие даже такого несовершенного инструмента гораздо лучше, нежели его отсутствие. Тем не менее исследователи демократии должны стремиться к усовершенствованию своего аналитического инструмента.
Н.В. Анохина
