CC BY
33
ПОЛИТОЛОГИЯ
УДК 32+303
К ПРОБЛЕМЕ СУБЪЕКТИВИЗМА В ОЦЕНИВАНИИ ПОЛИТОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ
А. А. Вилков
Вилков Александр Алексеевич, доктор политических наук, профессор, заведующий кафедрой политических наук, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, vil57@yandex.ru
В статье рассмотрены дискуссионные вопросы о неизбежном субъективизме в проведении рецензирования результатов политологических исследований на уровне рукописей для публикации в научных журналах, а также на уровне экспертизы содержания кандидатских и докторских диссертаций. Дана критическая оценка процессам формализации критериев оценивания качества политологических работ и сформулировано авторское видение оптимизации данной процедуры.
Ключевые слова: критерии оценивания, политологические исследования, проведение экспертизы, субъективизм оценивания качества научных исследований.
Revisiting the Problem of Subjectivity in Political Science Research Evaluation
A. A. Vilkov
Alexander А. Vilkov, ORCID 0000-0003-4277-0372, Saratov State University, 83, Astrakhanskaya Str., Saratov, 410012, Russia, vil57@yandex.ru
Debatable issues of inevitable subjectivity while evaluating results of political science research in the form of articles for scholarly journals and both candidate and doctoral theses are considered in this article. The author analyzes processes of evaluation criteria formalization and formulates his own vision of the ways this procedure may be optimized.
Key words: criteria of evaluating, political science research, expert evaluation, subjectivity in evaluation of studies.
DOI: 10.18500/1818-9601 -2018-18-1 -65-70
Одной из серьезных проблем отечественной политической науки является разработка критериев оценки качества современного политологического исследования. Этому сюжету была посвящена статья Н. И. Шестова в третьем выпуске нашего журнала за прошлый год1. Вопросы, поднятые в ней, действительно очень актуальны, прежде всего с точки зрения теоретико-методологической. Этим сюжетам обоснованно уделяют внимание авторы учебных пособий по методологии политического анализа2 и разработчики конкретных методов политологических исследований3. Однако, на наш взгляд, дело не сводится только к чисто гносеологической составляющей проблемы. Как и любая новая наука (а для России это еще не окончательно сформировавшаяся научная отрасль), политология должна пережить не только период своей формальной институциализации, но и научной и общественной легитимации.
Процедура этого признания очень сложна и имеет много подводных камней как гносеологического, так и социального свойства.
Сложности гносеологические во многом обусловлены тем, что предметная область политической науки интегрирует в себе связь политики со всеми сферами общественной жизни. Соответственно, политология должна доказать свое право на самодостаточность тем научным дисциплинам, которые также легитимировали свое право на
изучение этих смежных областей общественной жизни (политическая история, политическая социология, правоведение, политическая философия, политическая антропология, политическая психология, политическая география, политическая лингвистика и др.). Многие из обозначенных наук имеют гораздо большую историю собственного развития и, соответственно, претендуют на приоритетность и большую теоретическую фундированность своего научного направления в исследовании сферы политики и большую аналитическую эффективность используемого методологического инструментария.
Выработка собственной методологии и определение предметной области политической науки в постсоветской России осложнялась также еще двумя важными обстоятельствами. Внутреннее было предопределено неизбежным влиянием наследия советского обществоведения, когда основу становящейся политической науки в постсоветской России составили вчерашние историки КПСС, преподаватели научного ком -мунизма, исторического и диалектического материализма. Внешнее обстоятельство заключалось в неизбежном заимствовании уже накопленного опыта в сфере политологии в западноевропейских странах (прежде всего англо-американской традиции). Не всегда адекватное использование заимствованных теоретико-методологических моделей для анализа специфической и очень противоречивой политической жизни в постсоветской России неизбежно сказывалось на качестве отечественных политологических исследований.
Эта объективная «детская болезнь» становления и роста отечественной политической науки постепенно преодолевалась по мере расширения подготовки политологов в российских вузах, увеличения мест в аспирантурах и докторантурах, существенного расширения сети диссоветов по политологии и соответствующего роста защит кандидатских и докторских диссертаций, увеличения количества научных публикаций. Однако и сегодня сторонники наднациональных методов исследований продолжают обосновывать важность их внедрения в отечественную политическую науку как важнейшего условия повышения качества4.
Казалось бы, переход количества в качество становился неизбежным, но отечественной политической науке сейчас приходится переживать период существенной редукции, связанной с официальным изменением государственной политики в сфере образования и науки. Причин тому много, но одной из важнейших стало обвинение гуманитарных (и не только) наук в снижении качества исследований, в мелкотемье научной проблематики, в росте числа заказных диссертаций, в снижении уровня оригинальности текстов и т. д.
Результатом изменения государственной политики стало резкое снижение количества
действующих диссоветов и существенное ужесточение требований к качеству защищенных диссертаций. Глава Высшей аттестационной комиссии (ВАК), ректор Российского университета дружбы народов Владимир Филиппов в своем интервью 2014 г. об изменениях в системе научной аттестации отметил, что только за полтора года после начала преобразований была закрыта почти треть диссертационных советов, а процедура защиты претерпела существенные изменения5.
Одним из инструментов реализации такой государственной политики стали Экспертные советы ВАК, где проблема качества выступила ключевой для вынесения вердикта в отношении рассматриваемых диссертаций: поддержать или не поддержать решение о присвоении искомой степени кандидата или доктора наук. Отрицательное решение ЭС ВАК неизбежно влечет за собой замечание диссертационному совету и служит одним из оснований для прекращения его деятельности.
Поэтому проблематика, обозначенная в статье Н. И. Шестова, весьма актуальна не только с теоретико-методологической, но и с прикладной точки зрения. Рассмотренные им критерии оценки качества гуманитарных исследований действительно носят универсальный характер: четкость формулирования исследователем своей задачи, корректность аргументации им своих обобщений и выводов, а также новизна последних6. К ним, на наш взгляд, можно добавить также ряд других критериев, например, четкость обоснования границ предмета исследования, соответствие формулировки темы работы и ее содержания, соответствие масштаба заявленной научной проблемы инструментальным возможностям ее исследования в рамках диссертационного исследования (по характеру и объему использованных источников, по выбранному периоду, по методологии и другим критериям) и др.
Универсализм значительного количества данных критериев подтвержден не только аксиоматичным их признанием большинством членов научного сообщества, но и формализацией в виде обязательных требований, утвержденных приказом Минобрнауки России, в «Положении о совете по защите диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук», а также в «Положении о присуждении ученых степеней». Однако Н. И. Шестов справедливо обозначил несколько проблем, связанных не столько с игнорированием данных критериев соискателями, сколько с противоречиями, которые возникают при их использовании экспертами для оценки качества политологических исследований.
Это проблема отсутствия единого языка политической науки, единого понятийного аппарата, предопределяющая наличие различных дискурсивных практик.
Это мировоззренческие и идеологические позиции, предопределяющие субъективизм экспертов в оценках (к ним можно добавить еще субъективизм представителей различных вузовских научных школ, конкурирующих друг с другом).
Это неоднозначность в интерпретации различных политологических источников, в признании их «реальными фактами», отсутствие их четкой верификации.
Это сложность в определении научной новизны в гуманитарных науках и причины, по ко -торым сейчас доминирует «делопроизводственная» логика ее оценки7.
Можно согласиться с большей частью тех критических аргументов, которые привел в своей статье Н. И. Шестов по указанным проблемам. Тем не менее, на наш взгляд, важно выделить среди них сквозную, определяющую - неизбежный субъективизм экспертов в использовании большинства обозначенных критериев для оценки политологических исследований.
О том, что обозначенные проблемы повсеместно присутствуют в политологическом сообществе, можно убедиться на примере критериев экспертного рецензирования статей для публикации в журналах, включенных в реестр ВАК. Например, в солидном и авторитетном журнале «Международные процессы» критериальность для экспертов, рецензирующих поступившие в редакцию статьи, обозначена и формализована следующим образом: «1. Важность освещаемой в статье темы с точки зрения решения научных задач, заявленных журналом "Международные процессы": 1 = минимальный вклад; 2 = незначительный вклад; 3 = умеренный вклад; 4 = значительный вклад; 5 = существенный вклад в развитие дисциплин»8. Сам критерий не вызывает сомнения, но формализованный характер ранжирования обозначенной важности содержания рукописи полностью зависит от субъективного мнения эксперта. Обусловлено это тем, что четкие основы для процедурного применения данного критерия в документе отсутствуют (по причине того, что они невозможны для гуманитарных дисциплин в принципе). Поэтому определение границы, например, между «минимальным» и «незначительным» или между «значительным» и «существенным» вкладом остается полностью на совести эксперта. В результате оценка эксперта будет определяться в соответствии с его личным мировоззрением, идеологическими предпочтениями, приверженностью к определенной научной школе, с его собственным пониманием рассмотренной в рукописи научной проблемы. Наличие у автора рукописи иного ракурса, иной позиции, иного ее понимания в этом случае будет оцениваться экспертом по предложенной шкале от 1 до 5 в зависимости от его отношения к допустимости иной точки зрения на данную проблему (а это во многом опреде-
ляется морально-нравственными установками и императивами эксперта). Например, какова будет оценка важности темы статьи в том случае, если в ней по какой-либо причине (например, вышла недавно и доступ к ней ограничен) отсутствует ссылка на опубликованное исследование самого эксперта по данной проблематике? Или в том случае, если автор статьи положительно оценивает исследования представителей иной научной школы, чем та, к которой принадлежит эксперт? Или в случае, если автор обосновывает иную оценку и интерпретацию какого-либо события (факта, программы, концепции и т. д.), которая существенно отличается от позиции по этим сюжетам самого эксперта? Ответы на данные вопросы вовсе не очевидны.
Сомнения в возможности объективного оценивания возникают и при рассмотрения второго формализованного критерия: «2. Актуальность исследования с точки зрения современных тенденций развития международных отношений как научной дисциплины: 1 = практически не актуально; 2 = незначительная актуальность;
3 = умеренная актуальность; 4 = значительная актуальность; 5 = существенный вклад в развитие дисциплины»9. Прежде всего, вызывают некоторые сомнения сами формулировки предложенного шкалирования в оценке актуальности (с точки зрения русского языка), но суть даже не в них, а в самой возможности четкого и объективного отнесения содержания статьи к какому-либо из обозначенных критериев. Например, еще в сентябре 2017 г. тема взаимоотношений России и Судана вряд ли могла быть отнесена к разряду «значительно актуальных» (и тем более к тем, которые вносят «существенный вклад в развитие дисциплины»). Однако в ноябре-декабре 2017 г. данная проблематика вполне могла быть отнесена к разряду действительно существенных в связи с актуализацией вопроса о возможности создания российской военной базы на территории Судана. Кроме того, сама научная актуальность может быть различной. Одно дело, если акцент делается на обосновании теоретической или теоретико-методологической актуальности обозначенной в статье темы, и другое, если акцент делается на ее политической актуальности и возможностях прикладного использования.
Ряд сомнений вызывает и третий критерий: «3. Оригинальность (самостоятельность) подхода автора к трактовке предмета исследования: 1 = низкая (шаблонно, стандартно, "общие места"); 2 = ниже среднего (присутствуют отдельные оригинальные моменты); 3 = умеренная;
4 = достаточная; 5 = оригинальное исследование, содержащее новый подход к исследуемой про-блематике»10. Прежде всего, некоторое сомнение вызывает фактическая синонимичность оригинальности и самостоятельности. Первая традиционно и общепризнанно понимается как отличие от других, как неповторимость, особость.
Самостоятельность в контексте данного критерия, на наш взгляд, не обязательно означает наличие у автора оригинального подхода «к трактовке предмета», а, например, самостоятельное использование устоявшихся, «классических» подходов к анализу новых, впервые введенных в научный оборот источников. Очевидно, что в этом случае работа будет самостоятельной на основе оригинальных источников, но не оригинальной по наличию нового подхода.
Подобные сложности в применении формализованного подхода к экспертному рецензированию рукописей можно найти в отношении почти всех девяти критериев, утвержденных в журнале «Международные процессы» (Теоретическая фундированность концепции автора; Адекватность избранной методологии; Убедительность выдвинутой гипотезы, стройность и логичность аргументации; Достоверность применяемых данных). Менее всего вопросов возникает к критерию 8 «Уровень литературной редакции текста, точность выражения, лаконичность». Его шкалирование действительно вполне реально и основывается на оценке грамматических и стилистических ошибок, терминологической точности, наличии повторов, точности изложения. Наглядность и возможность использования количественных параметров для оценивания по данному критерию делает его наиболее объективным среди всех, обозначенных редакцией.
Иными словами, сама формализация критериев экспертизы неизбежно подталкивает к утрированному и упрощенному оцениванию отдельных характеристик содержания рукописи. С большой степенью достоверности можно предположить, что на практике большинство экспертов уважаемого журнала руководствуются в оценке рукописей по обозначенным критериям своим общим впечатлением от их содержания, в соответствии с которым они и шкалируют обозначенные как самодостаточные формальные позиции. Главным для экспертов будет ответ на вопрос - рукопись достойна публикации в журнале, либо она нуждается в определенной доработке, либо не соответствует требованиям журнала в принципе? И формализованное самодостаточное шкалирование по рассмотренным критериям вряд ли может способствовать принятию рецензентом соответствующим образом обоснованного решения.
Не случайно, что во многих российских научных журналах необходимость обязательного оценивания рецензентами рукописей по важнейшим научным критериям не сопровождается их формализацией и тем более шкалированием. Например, в «Вестнике ВолГУ. Серия 4. История. Регионоведение. Международные отношения» в разделе «Рецензирование» авторов предупреждают, что «Рецензент оценивает актуальность и научную новизну представленных к опубликованию результатов исследования, их теоретиче-
скую и практическую значимость, наличие необходимых ссылок на данные из других работ. На основании анализа статьи рецензент составляет заключение: a) статья рекомендуется к публикации; Ь) статья нуждается в доработке в соответствии с замечаниями рецензента; ^ статья отклонена (с указанием причин)»11. Представляется, что такой подход дает более широкие возможности для оценки содержания рукописи в целом, без обязательного формального шкалированного оценивания каждого из обозначенных критериев. В этом случае ответ рецензента о необходимости доработки статьи (или ее отклонении) может носить характер корректных и обоснованных конкретных замечаний и рекомендаций, а не достаточно унизительных для авторского восприятия шкалированных оценок.
Обозначенные сложности рецензирования, рассмотренные на примере нескольких журналов, могли бы оцениваться как конкретный частный случай, если бы не отражали тех тенденций, которые характерны для развития отечественной политической науки в целом в последние годы, когда проблема оценки качества политологических исследований стала главным инструментом в редуцировании данной научной отрасли (так же как и многих других).
Проблема соотношения объективности и субъективизма экспертных оценок научных исследований особенно актуальна и значима для работы Экспертных советов ВАК. Обусловлено это тем, что от их работы зависит судьба не отдельных статей, отражающих какой-либо промежуточный этап научной деятельности исследователя, а совокупный итог многолетних интеллектуальных усилий (особенно в рамках подготовки докторской диссертации). Более того, от данной экспертизы зависит судьба не только отдельных аспирантов и преподавателей российских вузов, но и диссертационных советов, судьба сложившихся или складывающихся региональных научных школ.
В связи с тем, что уже несколько лет, будучи экспертом ВАК, включен в «делопроизводственную» процедуру оценки качества и новизны диссертационных исследований, хотел бы поделиться несколькими практическими соображениями по этому поводу.
Сам алгоритм достаточно быстротечной экспертизы на заседании ЭС ВАК предполагает, что тщательный и всесторонний содержательный анализ диссертационного исследования должен быть проведен во время принятия его к защите экспертами диссовета, официальными оппонентами, ведущей организацией и членами диссовета во время защиты. Именно на них лежит ответственность за всестороннюю проверку содержания диссертации и ее соответствия критериям «Положения о присуждении ученых степеней». Эксперт ВАК проверяет, прежде всего, правильность процедуры защиты и соответству-
ющее оформление необходимых документов. На первом этапе экспертизы о качестве работы и ее новизне он судит по обязательным процедурным документам (заключение организации с рекомендацией к защите, официальные отзывы, оценки и замечания оппонентов и ответы на них, вопросы членов диссовета во время защиты, характер дискуссии, процедура голосования, заключение по диссертации и т. д.). В случае возникновения сомнений осуществляется один из вариантов последующей экспертизы на основе уже полного текста диссертационного исследования и публикаций соискателя.
Однако существует первичный источник, по которому эксперты ВАК уже во время первичной экспертизы могут наглядно получить свое собственное представление о качестве и новизне данного диссертационного исследования. Это автореферат, который, к сожалению, не всегда рассматривается соискателями ученых степеней и их научными руководителями в качестве ключевого документа для оценки качества диссертации и ее новизны.
Наиболее типичными и распространенными ошибками является именно формулирование новизны и личного вклада соискателя, которые очень часто носят неконкретный, формальный характер. В этом случае авторы констатируют в качестве новизны не результаты, а процедурные моменты исследования: «проведен анализ», «сделаны выводы», «дана оценка», «сформулировано авторское определение», «выявлены тенденции» и т. д. Без концентрированной формулировки конкретных результатов этой новизны данная констатация выглядит очень поверхностной и неубедительной. Это становится одной из причин вызова соискателя на заседание ЭС ВАК для выявления его личного вклада и конкретной новизны проведенного им исследования. В результате соискатель обязан уточнить, что им:
- «проведен анализ, который позволил выявить такие новые характеристики, как... »;
- «сделаны выводы, главные из которых можно сформулировать таким образом.»;
- «дана новая оценка, суть которой состоит в том.»;
- «сформулировано авторское определение, главное отличие которого от других заключается в.»;
- «выявлены тенденции, которые можно обозначить как. » и т. д.
Достаточно распространенными являются ошибки в формулировании некоторых положений, которые авторы выносят на защиту. Нередко в качестве таковых формулируют общеизвестные истины, характеристики, которые никем не оспариваются, выводы, которые очевидно не подкреплены фактами. Достаточно типичным является формулирование сложных, наукообразных, но абстрактных рассуждений, которые ло-
гически не связаны друг с другом, с целями и задачами исследования и его содержанием.
Нередки случаи поверхностного и формального изложения методологии исследования, отсутствие конкретной характеристики использованных источников.
С учетом неизбежности вышеобозначенных факторов субъективизма в проведении экспертизы такие откровенно слабые места в авторефератах позволяют зародить сомнения в качестве содержания диссертации у большинства членов ЭС ВАК и привести к соответствующим решениям о проведении более тщательной экспертизы в виде вызова соискателя на заседание ЭС для уточнения его авторской позиции либо запроса уже непосредственно полного текста диссертации. Причем знакомство с последним нередко свидетельствует о том, что он может содержать и фактическую новизну, и интересные и обоснованные теоретические сюжеты по различным аспектам темы, и практические рекомендации по оптимизации исследуемой политической реальности. Такое несоответствие между содержанием диссертации и ее автореферата свидетельствует о достаточно распространенной недооценке соискателями и их научными руководителями значения последнего документа. Хотя именно знакомство с авторефератом является наиболее открытым и доступным для большинства исследователей данной проблематики.
Резюмируя, еще раз подчеркну, что проблема субъективизма и формализации критериев оценки качества является многомерной и недостаточно разработанной в отечественной политической науке (так же как и в гуманитарной научной сфере в целом). Главное, чтобы в борьбе за повышение объективности оценки диссертационных исследований и их качества не дойти до абсурдных крайностей. Проявлением последних, например, видится ситуация с требованием многих диссертационных советов обеспечивать уровень оригинальности текстов диссертации для их постановки на защиту не менее 90% (без учета характера источниковой базы и специфики самого исследования, количества опубликованных работ автора по различным аспектам темы). В результате возникает парадоксальная ситуация. С одной стороны, официальная стратегия изменений в научной сфере нацеливает на повышение роли соответствующего научного сообщества в оценке качества диссертационных исследований (за счет обязательной апробации отдельных результатов своего труда в виде публикаций в журналах из реестра ВАК). С другой стороны, чтобы обеспечить формальный показатель уровня оригинальности, автор вынужден убирать из текста диссертации апробированные материалы своих опубликованных статей по данной теме (либо излагать их в неузнаваемом для системы «Антиплагиат» виде). Очевидно, что тем самым выхолащивается сама идея предвари-
тельной публичной апробации и введения основных результатов работы над диссертационным исследованием в соответствующее научное информационное пространство. В итоге справедливая борьба с некорректными заимствованиями в результате ее формализации превращается в борьбу за количественные критерии оригинальности текста. Насколько это влияет на качество исследований - вопрос остается открытым.
Примечания
1 См.: ШестовН. И. Качество политического исследования : проблема критериев оценки // Изв. Сарат. ун-та. Нов. сер. Сер. Социология. Политология. 2017. Т. 17, вып. 3. С. 308-313. DOI: 10.18500/1818-9601-2017-173-308-313.
2 См., например: Вертакова Ю. В. Исследование социально-экономических и политических процессов : учеб. пособие. М. : КНОРУС, 2009 ; Дегтярев А. А. Прикладной политический анализ. Электронный учебник для студентов-политологов. URL: https://mgimo.ru/ files2/2013_05/up24/file_59082ae315107afb4191f31a259 71edd.pdf (дата обращения: 02.12.2017) ; Рой О. М. Исследования социально-экономических и политических процессов : учебник для вузов. СПб. : Питер, 2004.
3 См., например: Алескеров Ф. Т., Беляева Н. Ю. Количественный анализ развитости гражданского общества
в регионах России : параметры, методика, пилотные исследования // Полития. 2008. № 1(48). С. 160-168 ; Быков И. А. Эмпирические исследования политики с использованием методов сетевого анализа. URL: https:// elibrary.ru/download/elibrary_19118583_14204690.pdf (дата обращения: 02.12.2017) ; Павлов И. Ю., Голубе-ва Е. Г., Голубев В. О. Методика мониторинга официальных сайтов органов власти / под ред. И. Ю. Павлова. СПб. : Издательская группа «PRINTELLECT», 2011.
4 См.: ДегтеревД. А. Формализованные модели в международно-политической науке // Полис. 2017. № 4. С. 33-48.
5 См.: Механизм заработал. URL: http://lenta.ru/articles/ 2014/07/30/filipp1/ (дата обращения: 15.08.2014).
6 См.: ШестовН. И. Указ. соч. С. 308.
7 Там же. С. 309-311.
8 Критерии экспертного рецензирования рукописей, утвержденные в журнале «Международные процессы». URL: http://www.intertrends.ru/pdf/qualify-final.pdf (дата обращения: 04.12.2017).
9 Там же.
10 Там же.
11 Рецензирование // Вестник Волгоградского государственного университета. История. Регионоведение. Международные отношения. URL: http://hfrir.jvolsu. com/index.php/ru/peer-review-ru (дата обращения: 06.12.2017).
Образец для цитирования:
Вилков А. А. К проблеме субъективизма в оценивании политологических исследований // Изв. Сарат. ун-та. Нов. сер. Сер. Социология. Политология. 2018. Т. 18, вып. 1. С. 65-70. DOI: 10.18500/1818-9601-2018-18-1-65-70.
Cite this article as:
Vilkov A. A. Revisiting the Problem of Subjectivity in Political Science Research Evaluation. Izv. Saratov Univ. (N. S.), Ser. Sociology. Politology, 2018, vol. 18, iss. 1, рр. 65-70 (in Russian). DOI: 10.18500/1818-9601-2018-18-1-65-70.
