CC BY
83
К вопросу об оценке результатов научной деятельности
Л. К. Пипия,
к. э. н., зам. директора
В. С. Дорогокупец,
научный сотрудник
ФБГУН Институт проблем развития науки Российской академии наук
Статья посвящена актуальным вопросам оценки результатов научной деятельности. Проанализированы последствия изменений, происходящих в науке в последние годы, при которых научное творчество подвергается управленческому контролю. В статье также рассмотрены слабые и сильные стороны библиометрического подхода. Особое внимание уделяется проблемам наукометрической оценки результативности в области социальных и гуманитарных наук.
Ключевые слова: оценка научной деятельности, управление наукой, наукометрия, эффективность затрат, формализированные подходы, научное превосходство, социальные и гуманитарные науки, библиометрические показатели.
В последние 20-25 лет в большинстве индустриально развитых стран управление наукой претерпело существенные изменения. Наука стала рассматриваться не только как сфера, поглощающая все возрастающее количество финансовых ресурсов, но и сама стала представлять собой важнейший стратегический ресурс в борьбе за экономическое и стратегическое доминирование. Другим важным обстоятельством, обусловившим изменение подходов к управлению научными исследованиями в государственном секторе науки, явилась неолиберальная «волна», прокатившаяся по всем развитым экономикам мира в 1980-е и 1990-е гг., также накрывшая собой и страны бывшего социалистического лагеря, включая Россию.
В изменившихся условиях наука уже перестает быть неким «черным ящиком», на «входе» поглощающем материальные и финансовые ресурсы, а на «выходе» выдающем научные результаты в виде новых знаний, принимающих форму публикаций, защищенных объектов интеллектуальной собственности, новых технологических решений. Лица, имеющие отношение к управлению наукой, стали задаваться вопросом: «А что же происходит в самом «черном ящике»? Такой ли уж он «черный»? Нельзя ли его сделать более прозрачным?»
Попытки ответить на этот вопрос породили большое число количественных подходов к оценке научной деятельности и научно-исследовательских
результатов. Среди распространившихся в управлении наукой формализованных методов наиболее известным, разработанным и принятым на вооружение в настоящее время оказался библиометрический, или наукометрический, подход. Как и другие аналитические инструменты, наукометрические методы имеют свои границы, в пределах которых они адекватно отражают реальные процессы. В руках грамотного аналитика они могут служить полезным инструментом анализа тенденций, происходящих в научной и научно-технологической сферах. Однако абсолютизация значимости библиометрических показателей и использование их в качестве основных для принятия управленческих решений может привести к абсурдным последствиям. О некоторых из «подводных камней» наукометрии и пойдет речь в данной статье.
Формализация управления научными
исследованиями и наукометрический подход к оценке научных результатов
В 1980-е и даже в 1990-е гг. проблема количественной оценки научной деятельности не стояла в повестке дня науковедов хотя бы потому, что авторитет или качество работы того или иного ученого обычно определялся мнением его коллег. Оно могло выражаться разными способами, но так или иначе именно мнение других ученых лежало в основе явной (или неявной) экспертной оценки. Например,
о сч
СП
Б
<
СО О
г--
о
CN
CD CN
J <
CQ О
наиболее престижным признанием, выверенным с точки зрения качества работы и прошедшее испытанием временем, была и является, по выражению Н. В. Мотрошиловой, «ономастика», т. е. когда научному феномену присваивается имя ученого, его описавшего или открывшего [1]. Лингвистическая теория Гумбольдта, уравнение Бернулли, геометрия Лобачевского, закон Ома — достижения многих ученых столь очевидны, что оценить или переоценить их вклад в науку невозможно. По мере того, как вопросы управления наукой и выделяемые на нее ресурсы стали объектом оценки эффективности затрат на научные исследования, перед специалистами в области управления наукой возникла проблема построения количественных показателей, способствующих большей эффективности использования выделяемых на науку финансовых средств. Язык управления из мира бизнеса, таким образом, проник в государственный сектор научных исследований и на некоторое время заставил окружающих поверить, что научная деятельность подлежит измерению. Идея эта зародилась в англосаксонском мире, а затем она постепенно распространилась в других странах, сначала в западноевропейских, а затем в странах Восточной Европы. Теперь же наукометрические подходы приобрели такую популярность, что широкое использование наукометрической деятельности в принятии решений по поводу оценки труда ученых выходит за рамки приличия и неприличия. Однако подобная инициатива приводит к неоднозначным последствиям.
В последние годы наблюдается взрывной рост количества научных публикаций, возникновение которых обусловлено не желанием получить научный результат, а единственной целью — опубликоваться. Среди ученых теперь бытует такое выражение «publish or perish» («публикуйся или умри»). В момент зарождения этого феномена ничто не предвещало того, что результат окрасится в подобные ортодоксальные тона. С позиции качества неоднородность данных налицо. Часть их не воспроизводится, вызывает сомнения, а иногда просто оказывается фальсификацией. Тот, кто ратовал за идею количественных оценок результатов научной деятельности, преследовал определенную цель: добиться того, чтобы финансирование этой самой деятельности осуществлялось на принципах прозрачности, эффективности, конкурентоспособности и подотчетности. Таким образом, стремление подвергнуть процесс научного творчества управленческому контролю и максимально формализовать его спровоцировало существенный сдвиг в культуре самих научных исследований.
Произошедшие сдвиги можно охарактеризовать следующими тенденциями. Во-первых, происходит сокращение государственного финансирования научных исследований не в абсолютном выражении, а относительно логики и потребности сферы исследований и разработок. Проще говоря, происходит удорожание ресурсов, необходимых для проведения научных исследований, прежде всего, их экспериментальной составляющей.
Во-вторых, усиливается бюрократизация научных исследований. Научные сотрудники все больше времени вынуждены тратить на составление отчетов,
в которых они должны обосновывать свои расходы, т. е. по сути отчитываться на что были потрачены полученные средства.
В-третьих, сама квинтэссенция исследовательской культуры претерпевает изменения. Абсолютизируются наукометрические данные, при оценке результатов и динамики научно-исследовательской деятельности, поощряется не поиск истины, а результат, который можно предъявить обществу (научные публикации, доклады на конференциях, патенты, заключенные контракты с представителями деловых кругов и т. д.). Мотивы, которыми руководствуются разработчики системы оценивания очевидны: необходимо создать и внедрить инструменты обратной связи между ресурсами и результатами. Подобное целеполагание неразрывно связано с растущими затратами государства на НИОКР и, соответственно, с необходимостью эффективно расходовать ограниченные бюджетные средства.
В-четвертых, ученые вынуждены проводить исследования во все более жестких условиях, связанных с необходимостью предоставлять отчеты о затраченных средствах и достигнутых результатах, а также необходимостью регулярно в течение короткого периода (как говорится, повседневно и повсеместно) показывать конкретные достижения своего исследования. Под прессом «сжимания» рабочего времени, затрачиваемого непосредственно на исследования, происходит смещение акцентов в пользу краткосрочных проектов. Очевидно, что долгосрочные научные проекты, требующие длительных усилий и затрат, в этой ситуации оказываются в менее выгодном положении. Незамеченным остается тот факт, что традиционная отчетность, например, финансовая, не отражает степень научной результативности как таковой.
В-пятых, усиление культуры подотчетности отрицательно сказывается на использовании учеными рабочего времени. Они вынуждены отвлекаться от научных исследований и тратить значительное количество часов на подготовку конкурсных заявок, независимо от положительного или отрицательного результата конкурса. Образно выражаясь, ученые вовлечены в приготовление «ассорти из перспектив», не имея гарантий, что им когда-нибудь доведется отведать хотя бы одно блюдо. Не в последнюю очередь борьба за ресурсы национальных источников финансирования вынуждает ученых кооперироваться с коллегами из других стран и искать международные источники финансирования. С одной стороны, это способствует глобализации научных исследований, а с другой — провоцирует «утечку мозгов» и результатов в более благополучные в научном отношении страны.
В-шестых, усиливающееся директивное отношение к научной сфере при распределении конкурсных средств выдвигает на первый план критерии актуальности. Финансирование получают наиболее многообещающие с точки зрения текущей востребованности научные проекты и даже университеты. Такая практика, возведенная в абсолют, не оправдана, так как из области финансирования выпадают в угоду конъюнктуре неочевидные на первый взгляд, но чрезвычайно перспективные тематические направления.
История знает много примеров, когда труды величайших ученых не были признаны современниками, поскольку последние не смогли узреть всей актуальности и злободневности. Из категории перспективности той или иной области научных знаний не следует безосновательно исключать фактор времени. Кроме того, недальновидность такой постановки вопроса иллюстрирует весьма показательный факт. В последнее время в российских правительственных кругах обратили внимание на очевидный перекос, произошедший за последнее время в сфере технологических разработок. Отсталость технологической базы налицо. Не в последнюю очередь это произошло из-за того, что не так давно инженерное направление отошло на второй план, как менее приоритетное, а ошибочность подобного решения привела к потере драгоценного исторического времени. В результате современная российская экономика испытывает сильнейший дефицит инженерно-технических кадров.
В-седьмых, вследствие вышеназванных причин подвергается деформации принцип академической свободы. «Затребованность со стороны общественного развития, что вполне понятно, не тождественна конкретной востребованности, которая зависит от определенных лиц и инстанций» [2]. В этих условиях усиливается роль приоритетных походов к финансированию науки: одни тематические направления начинают превалировать над другими, что особенно отчетливо видно на примере эволюции тематического финансирования рамочных программ ЕС. Незаметно сместились акценты: теперь ракурс «ученый в научном сообществе» уступил место ракурсу «наука как основа стратегического курса страны».
В-восьмых, не в последнюю очередь благодаря вышеперечисленным факторам исследовательская сфера обрастает большим количеством околонаучных организаций (консалтинговых компаний, вспомогательных предприятий и т. д.), которые оттягивают на себя часть научного финансирования.
Распространение формализованных подходов к оценке научной деятельности вступает в противоречие с гетерогенной природой больших исследовательских организаций и научно-образовательных комплексов, каковыми являются университеты. Специфика их организационной структуры и многочисленные функции не укладываются в прокрустово ложе формальных критериев. Словосочетание «научное превосходство» (scientific excellence) уже прочно вошло в лексикон менеджеров и исследователей. Именно в стремлении достичь превосходства всех над всеми выстраивается научная политика на многочисленных уровнях — государственном, региональном, университетском, лабораторном. Правда иногда благодаря созданию «Центров превосходства» (Centres of Excellence), объединяющих ученых вокруг новых, наиболее актуальных проектов или даже целых направлений, удается преодолеть межведомственные барьеры, а на уровне университетов — разногласия между факультетами или кафедрами. Однако повсеместная погоня за превосходством выдвигает серьезные требования к разработке подходов к оценке научной деятельности. В современных
условиях «превосходство в науке» не может оставаться ни абстрактным термином, ни субъективно формируемым критерием. Во-первых, необходим обоснованный набор инструментов и критериев оценки научных результатов, во-вторых, эти инструменты и критерии должны быть дифференцированы по отношению к области научной деятельности, в которой они применяются. В-третьих, те, кто измеряет, сами должны быть подотчетны определенным критериям, и результаты их деятельности должны оцениваться публично. При этом необходимо учитывать однородность целей референтной группы, работающих в одной области науки с оцениваемыми учеными или осуществляющих научно-исследовательскую деятельность в сходных условиях. Нельзя пренебрегать фактором личной заинтересованности, который может возникнуть в референтной группе, скажем, на дружественно-семейной основе. Следовательно, стоит вопрос об институционализации деятельности по оценке научных результатов.
Исторически в сфере оценки научной деятельности оценка «равных равными» (peer review), или независимая экспертиза, появилась первой. При этом оценке подлежала либо публикация, либо цель исследования, либо компетентность ученого. По мере накопления исследовательского опыта ученого «peer review» служила средством «зарабатывания» репутации. Очевидно, что беспристрастная экспертиза не такая уж и «независимая», а условия замкнутого и ограниченного круга экспертов и вовсе величина субъективная. Более того, «peer review» стимулирует конформистские качества ученого. Ученому-бунтарю, стремящемуся выйти за рамки сложившейся парадигмы, очень трудно получить положительные отзывы своих коллег, карьеры которых уже сложились. В этом смысле новые подходы в науке растянуты во времени, отпущенном на отмирание научной парадигмы согласно теории Томаса Куна.
Замена старой парадигмы на новую происходит благодаря «эффекту Матфея», который подробно и исчерпывающе описал выдающийся социолог Роберт Мертон, а его ученик Стивен Коул дал этому феномену краткую формулировку: «Прежние заслуги авторов в определенной мере ускоряют распространение их последующих результатов» (цит. по [1]). Тем не менее накапливаемое преимущество и соответствующее неравномерное распределение статуса в научном сообществе не работает на все 100%. Появляющиеся оригинальные идеи и новые научные результаты размывают прежнюю доктрину, а в наше время непрерывного инновационного обновления общества смена парадигм происходит значительно быстрее, нежели раньше. В этих условиях размывается и надежность системы независимой оценки, и на поверхность выходит потребность более объективных и формализованных подходов. Иными словами, происходит сдвиг в пользу абсолютной прозрачности и подотчетности той части научной деятельности, которая поддерживается государством.
Вместе с исчезновением противостояния двух социально-политических систем в начале 1990-х гг., а именно с окончанием холодной войны, стало ясно, что
h-
о
CN
СП CN
J <
со О
г--
о
CN
CD CN
J <
CQ О
финансирование так называемой свободной науки, или всесторонняя поддержка принципов академической свободы, имела на западе идеологическую подоплеку. После ухода с политической арены Советского Союза поддержка свободных исследований практически прекратилась, и обнаружилось, что в пантеоне западной науки восседают иные боги, и главный среди них — подотчетность. Подчеркнем, что в последние 20 лет отношения между университетами и предпринимательским сектором стали теснее. Коммерциализация академической науки (научных исследований в университетах), увеличение доли средств предпринимательского сектора в источниках ее финансирования также способствовали сдвигу от системы независимой экспертизы, или «peer review», к формализованным оценкам научной результативности. Иными словами, внутренний, коллективный, качественный и непрерывный процесс оценивания научной деятельности не только ее содержательной части, но и тематических исследовательских направлений вышел за рамки научного сообщества, или «экстернализировался». Остается открытым вопрос компетентности лиц и организаций, вовлеченных в разработку методик и критериев системы оценки. Парадоксально, но некоторые из них, возможно, сами никогда не будут оценены с помощью созданной ими системы [3]. Именно внешние потребители научной продукции и лица, принимающие решения относительно финансирования научных исследований, стали чаще выносить суждения о результатах проведенных исследований и формировать научные приоритеты безотносительно к мнению научного сообщества или в лучшем случае, используя его как вспомогательный инструмент. Это обстоятельство не способствует улучшению качества исследований, зато стимулирует возникновение мер бесконтрольного использования количественных результатов, которые можно предъявить за пределами собственно науки.
Таким образом, сложное содержание количественных суждений научных экспертов редуцируется в показатели и неизбежно подвергается неоправданному упрощению. Чтобы свести потери к минимуму, необходимо разработать адекватные инструменты количественной оценки результативности научной деятельности. Налицо противоречие между потребностью в качественной оценке результатов со стороны научного сообщества и необходимостью представлять эти результаты в виде количественных показателей внешним потребителям или заинтересованным кругам. И тут следует открыть скобки и привлечь внимание к еще одному печально известному факту. В большинстве своем показатели ориентированы на приоритетные направления в науке, технологии и технике. Социо-гуманитарные науки среди них, как правило, не фигурируют. Наиболее дискутируемыми и подверженными критике являются методы и показатели науко- и библиометрии. Обстоятельство, вызвавшее в последние годы накал дискуссий, нуждается в кратком пояснении. Немало авторитетных и компетентных ученых отмечает, что сами по себе данные наукометрических служб и систем, рассматриваемые исключительно в качестве дополнительных источников оценки, мо-
гут оказаться полезными, но брать их за основу при оценке качества научно-исследовательского труда, его результативности, эффективности и актуальности, абсурдно. Кроме того, как оказалось, вариативность оценки складывается из многих факторов, которыми нередко пренебрегают: исторический контекст, особенности отдельно взятых областей науки и научных дисциплин, многообразие типов научной культуры и т. д. Обратимся к такому показателю, как цитируе-мость статьи. Помимо научного качества существует множество других причин для цитирования, как то: тема статьи может быть модной и широко обсуждаемой, она может носить провокационный характер или быть скандально ошибочной, ее автор может быть настолько популярным, что цитирование его работ может считаться хорошим тоном среди менее удачливых коллег или неопытных исследователей. Понятно, что ни одна из перечисленных причин не относится к качеству содержания статьи. Отсюда следует, что цитируемость не обязательно отражает важность и качество представленной работы. Тут будет к месту вспомнить печально известное: «Романа я не читал, но осуждаю»...
Необходимо отметить еще одно важное обстоятельство. Формализованный подход к оценке результатов научной деятельности порождает феномен, который в научной литературе называется «подменой цели» (goal displacement), который известный психолог А. Леонтьев обозначил как «сдвиг мотива на цель»1. Количественные оценки деятельности ученого воленс-ноленс могут подтолкнуть (и так бывает) последнего к манипулированию данными. И тогда уже на первые роли выходит не стремление достичь качественного научного результата, а желание контролировать и управлять индивидуальными количественными показателями. Как только критерии оценки научно-исследовательской деятельности приобретают четкую структуру и строгие формулировки, они незамедлительно становятся разменной монетой в интересах многих ученых. Постулат «наука ради науки» перестает играть роль священной коровы, и на свет божий появляются махинации различной степени креативности и сложности, которые отнюдь не служат украшением научного сообщества [4]. Некоторые исследователи видят выход из этого противоречия в модификации библиометрического подхода, вернее в необходимости дополнения его системой научной независимой экспертизы [5]. Понятно, что в этом случае процесс оценки результативности научной деятельности становится сложным, многосторонним и громоздким. Однако взаимодополняемость этих методов оправдывает затраченные усилия. Действительно, высокая результативность, выраженная в количественных показателях, не имеет большой ценности без признания работ ученого со стороны его коллег. Кроме того, взаимодействие двух систем оценок позволяет как по лезвию бритвы пройти между креном только в сторону количественной оценки или креном в сторону
1 Леонтьев Алексей Николаевич (1903-1979) — советский психолог, автор одного из вариантов деятельностного подхода в психологии.
качественного экспертного мнения. Но необходимо с самого начала зафиксировать особое обстоятельство: то, что успешно применимо для оценки деятельности индивидуального ученого, может не подходить для оценки деятельности организации в целом или целого научного направления.
Проблема наукометрической оценки результативности в области социальных и гуманитарных наук
При оценке результативности ученых в различных областях науки необходимо отметить прежде всего наличие нескольких фундаментальных отличий между естественно-научными областями и социальными и гуманитарными исследованиями. Как подчеркивает Петер Вайнгарт, наиболее существенное различие, с точки зрения оценки результатов, между естественными и общественными и гуманитарными науками состоит в том, что исследования в первых носят кумулятивный характер, а исследования в последних куму-лятивностью не обладают [5]. Более того, суждение о специфическом вкладе или креативности публикаций в этих областях зачастую противоречат друг другу и варьируются в зависимости от школы мысли, от имени которой выносится суждение.
Следующим отличием является то, что социальные науки имеют объектом исследования конкретное общество, и, следовательно, нередко ограничены национальными и локальными рамками. Кумулятив-ность характерна для сложно структурированных областей наук, которые являются парадигмальными, в том смысле, который вкладывал в слово парадигма Томас Кун. Как правило, эти дисциплины в рамках своих подструктур характеризуются высокой степенью консенсуса по каждому из исследовательских направлений.
Опять же если в естественных науках статья в журнале считается типичным исследовательским результатом, то в общественных и гуманитарных науках научным сообществом высоко ценится монография, как результат деятельности ученого. С точки зрения библиометрии, это означает, что естественные науки растут быстрее, и срок актуальности научной публикации (степень устаревания научных публикаций) короче. Поскольку социальные и гуманитарные науки гораздо хуже вписываются в систему подсчетов в наукометрии, то с точки зрения формализованных методов научной политики, в основе которой лежат библиометрические инструменты, управлять ими гораздо труднее.
Нельзя сбрасывать со счетов социально-идеологические установки. Безусловно, глубина их влияния и степень подчинения им варьируются в зависимости от страны. Труды отдельных ученых-гуманитариев по некоторым, в том числе и политическим, причинам не цитируются, но сделать из этого сразу вывод о низком уровне эффективности их научных исследований было бы ошибкой.
Кроме того, общественные и гуманитарные науки — это рефлексивные дисциплины, то есть исследования в них не могут происходить в отрыве от
социальных или культурных процессов. Например, макроэкономические прогнозы обязательно необходимо сверять с фактически достигнутыми результатами. В противном случае применяемые инструменты могут увести далеко от действительности. С другой стороны, не прямое и долгосрочное влияние отдельных идей в социальных науках может быть очень сильным и драматическим. Так, например, Маркс, Кейнс, Шум-петер, Фридман — каждый по-своему оказал влияние на современную экономическую мысль. В философии следует назвать такие имена как Сартр, Фуко, Хабер-мас, Хейдегер, Рассел. В психологии — Фрейд, Юнг, Морено. Все эти ученые существенным образом и на многие десятилетия повлияли на развитие гуманитарной мысли. Таким образом, библиометрические подходы, разработанные для оценки результативности естественнонаучных дисциплин имеют весьма ограниченное применение в области общественных и гуманитарных наук.
Наиболее разработанная система библиометриче-ских подсчетов для социальных и гуманитарных наук создана в информационной среде платформы Web of Science (WoS). Речь идет об индексе цитирования в социальных науках (Social Sciences Citation Index -SSCI) и индексе цитирования в гуманитарных науках (Arts and Humanities Index - A&HCI). В 2009 г. на платформе WoS индексировалось 1800 журналов, специализирующихся в области общественных наук, и примерно 1200 — в области гуманитарных. В области естественных наук (Science Citation Index Expanded -SCI) в это же время индексировалось более 5500 журналов. К 2016 г. WoS увеличило число индексируемых журналов по названным разделам. К моменту написания данной статьи количественные показатели были следующие: A&HCI — 1778 журналов, SSCI — 3245, SCI — 8864 (ноябрь 2016 г.). Наиболее важными библиометрическими показателями являются:
• количество публикаций (показывает продуктивность того или иного автора, т. е. указывает на активность в формальных коммуникациях);
• индекс цитирования (показывает значимость или влияния отдельного исследования, обычно рассматривается как показатель качества исследования);
• количество цитирований одной публикации. Как уже отмечалось в предыдущем параграфе,
суждение о качестве исследования при помощи индекса цитирования относится к области желаемого и, как правило, не отражает реальное положение вещей. Более того, чтобы показатели эффективности для цитируемой работы были обоснованными и достоверными, количество погрешностей должно стремиться к нулю, чего в действительности не наблюдается. Смещение центра тяжести в сторону формализации (т. е. бюрократизации) оценки научно-исследовательской деятельности рано или поздно порождает упомянутый феномен «подмены цели». Постепенно происходит подмена понятий и определений «что есть наука», так как те, чьи труды оцениваются, и те, кто оценивает, вступают в новую игру, правила которой нередко вредят самой сути научно-исследовательской деятельности [6].
h-
о
CN
СП CN
J <
со О
ИННОВАЦИОННАЯ ЭКОНОМИКА
о
СП
<
со
о
Вероятность того, что статья будет процитирована другими учеными зависит не только от важности и полезности представленной в статье информации, но и от культуры коммуникаций, принятой в соответствующем научном сообществе. Так, например, по сложившейся практике российский ученый процитирует, скорее, зарубежного коллегу, чем своего соотечественника. Ассимитрично-несправедливая ситуация уже сложилась по отношению к цитированию российских ученых их зарубежными коллегами. Но если эту досадную привычку можно объяснить трудностью русского языка, недоступностью материалов в российских изданиях, идеологическими установками и т. д., то отсутствие одобрения со стороны российских же коллег, работающих за границей, не испытывающих языковых проблем и не имеющих формальных преград, можно объяснить лишь морально-этическими факторами и личной культурой общения. По негласному и странному правилу в среде российских ученых считается, что вопрос лучше проработан, если в нем присутствует обилие ссылок на зарубежных авторов.
Кроме того, вероятность цитирования статьи сильно зависит от области знания. Неоспоримый статистический факт: ученых-математиков меньше, чем, скажем, физиков, а последних гораздо меньше, чем биологов (к ним же относим и медиков). Следовательно, в среднем публикация в области биохимии будет процитирована гораздо чаще, чем статья по узкому направлению в области математики. Последнее относится и к величинам импакт-фактора журналов. Ни для кого не является секретом, что в одних областях науки сосредоточено больше ученых, чем в других, причем разница в численности может быть значительной (например, в биологии и математике). По этой причине подобные особенности обязательно должны быть отражены [7]. Для нормализации показателей по каждой отдельной дисциплине с этой целью абсолютное число цитирований делится на среднее число цитирования всех публикаций в области той же дисциплины или журнала за избранный год. Однако это всего лишь полумера; в отношении наукометрической оценки результатов научной деятельности в области социальных и гуманитарных наук существуют другие более серьезные проблемы.
Просмотр соответствующих списков индексируемых научных журналов совершенно отчетливо выявляет, что на платформе WoS в основном представлены англоязычные журналы. Но даже среди американских и британских ученых существует устоявшаяся точка зрения о том, что библиометрические показатели, разработанные для социо-гуманитарных наук, имеют ограниченное применение хотя бы потому, что количество журналов, представленных в WoS, неудовлетворительно и недостаточно (как и охваченных ими областей).
Важно также подчеркнуть, что существует ряд факторов, которые остались за рамками трафаретного представления о наукометрической деятельности. Например, фактор временных рамок. Ни для кого не станет «открытием Америки» то обстоятельство, что для написания статьи или отчета требуется гораздо меньше времени, чем для написания книги или моно-
графии. Однако вопрос об объеме научного труда и затраченного на него времени система количественной оценки никак не рассматривает.
Издание монографий в социальных и гуманитарных областях, как отмечалось выше, высоко котируется в научном сообществе, но никак не отражается в библиометрии. По разным оценкам научные результаты в области общественных и гуманитарных наук, представленные в журналах, составляют от 40 до 60% (минимальная и максимальная границы) к результатам, представленным в монографиях.
Кроме того, индекс цитируемости полностью пренебрегает фактором доступности источника. Дело даже не в том, что основные журналы, которые берутся за основу, издаются преимущественно в США, Великобритании, Нидерландах и Бельгии, а в том, что даже в рамках одной отдельно взятой страны — России — система распространения научных изданий работает более чем скверно. Ученые из крупных научных центров практически ничего не знают о деятельности, ведущейся в «периферийных» городах, то есть они не могут процитировать своих коллег, поскольку элементарно не знакомы с их трудами.
Еще одним фактором, который не нашел отражения в библиометрии, является фактор зависимости. Нередки случаи, когда цитируются не наиболее достойные и уважаемые авторы, а те, кто хоть и имеет в науке более чем скромные достижения, но обладает золотым ключиком, отпирающим дверь, за которой находятся гранты, финансирование, должность и прочие важные, но не совсем научные достижения. И наконец, нельзя сбрасывать со счетов фактор «моды». Научная статья или книга, приобретая популярность, «обречена» на цитирование, подобно как правила хорошего тона предусматривают приветствие при встрече. При этом ссылка на «модных» авторов происходит — и тут уместно вспомнить А. С. Пушкина: «...с конца, с начала и кругом» — не зависимо от того, насколько область научных интересов и исследований цитируемого совпадает с научными интересами самого автора.
Наконец, в отношении библиометрических показателей в социо-гуманитарных науках следует сказать и о том, что статистический обсчет науки, осуществляемый информационной платформой WоS, основан на практически монопольном положении. Несущими колоннами библиометрической науки являются журналы, издающиеся, как уже упоминалось, в англоязычных странах — США и Великобритании, а также Нидерландах и Бельгии. Положение последних двух стран обусловлено большим количеством международных издательств, расположенных в этих странах и выпускающих периодические научные журналы. Соответственно для ученых остальной части мира довольно проблематично попасть в список авторов, и не только потому что количество авторов ограничено (даже без учета языкового барьера), но и потому что американская или британская научная среда, как, впрочем, и любая другая, испытывает интерес только к определенным научным областям. Следовательно, работы, не зависимо от степени их важности и качества представляемых результатов, но находящиеся за рамками актуальности с точки зрения американских
ученых и экспертов, публиковаться не будут. Немаловажно и то, что отбор «информационных единиц», т. е. журналов, входящих в WoS, происходит очень избирательно, если не сказать точечно.
Логично заключить, что наукометрия в области социальных и гуманитарных наук может использоваться для оценки научной деятельности лишь в качестве второстепенных показателей, а также как иллюстративный фон в описании общей ситуации в той или иной научной области. Выносить государственные суждения и тем более принимать на основе библиометрии решения о распределении финансирования в общественных и гуманитарных науках не только преждевременно, но и ошибочно.
Несомненно также и то, что зарубежные базы данных мало пригодны для оценки русскоязычных работ в области гуманитарных и социальных наук. В данной статье мы вынесли за скобки проблемы, связанные с использованием Российского индекса научного цитирования (РИНЦ), который и по возрасту, и по качеству существенно уступает не только платформе WoS, но и библиографической базе данных SCOPUS. Здесь лишь подчеркнем, что в отличие от названных систем некоммерческий характер РИНЦ является скорее преимуществом, чем недостатком, и это преимущество необходимо развить. Кроме того, следует отметить, что российская наука нуждается в собственном библио-метрическом измерении, которое могло бы дать более адекватную картину продуктивности отечественных ученых. Важно помнить, что наукометрия — это всего лишь вспомогательный инструмент для анализа определенных процессов, происходящих в науке, а не самоцель.
* * *
Статья подготовлена при поддержке Программы фундаментальных научных исследований президиума Российской академии наук № 28 «Фундаментальные проблемы оценки состояния и перспектив развития российской науки».
Список использованных источников
1. Н. В. Мотрошилова. О реальных факторах, объясняющих неоправданность истолкования показателей цитирования как точных инструментов оценки эффективности научно-исследовательского труда. Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований. М.: Ин-т философии РАН, 2012.
2. Н. В. Мотрошилова. Недоброкачественные сегменты наукометрии. Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований. М.: Ин-т философии РАН, 2012.
3. А. Ф. Яковлева. Об основных подходах к оценке результативности научных исследований в России. Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований. М.: Ин-т философии РАН, 2012.
4. А. Дуглас, К. Фаулер. Гнусные цифры/Пер. С. Кузнецова. Опубликовано на сайте РАН. http://www.ras.ru,
5. P. Weingart, H. Schwechheimer. Conceptualizing and measuring excellence in the social sciences and humanities//Research Collaboration in the Social and Human Sciences between Europe, Russia, other CIS countries and China. Global SSH, FP6 project, 2008.
6. А. А. Гусейнов, А. В. Рубцов. Наука и власть: взаимодействие и оценка результативности. Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований. М.: Ин-т философии РАН, 2012.
7. С. Шаракшанэ. Индекс цитирования — инструмент, а не цель! Интервью с академиком В. В. Козловым. Опубликовано на сайте Российской академии наук. http://www.ras.ru.
Some Comments on the Evaluation of Research Productivity L. K. Pipiya, Deputy Director for Research. V. S. Dorogokupets, Researcher. (The Institute for the Study of Science of Russian Academy of Sciences)
The article sheds light on the intensively discussed issue of R&D governance based on the evaluation of R&D results. It deals with a wide spectrum of pro and cons of bibliometric approach and analyzes the impact of the process in which the scientific research is subjected to managerial control. Special attention is paid to scientometric criteria in social science and humanities.
Keywords: evaluation of research efficiency, science governance, scientometrics, effectiveness of R&D expenditure, formalized approach, scientific excellence, social science and humanities, bibliometric criteria.
h-
<
CQ О
