CC BY
53
г
КРУГОЗОР
ч
J
Л.В. ШИПОВАЛОВА доцент Санкт-Петербургский государственный университет
Индекс цитирования и объективность экспертов (попытка философствования на злобу дня)1
В статье рассматривается актуальная проблема, связанная с использованием индекса цитирования (ИЦ) в качестве способа оценки эффективности научных исследований. Высказываются сомнения, во-первых, в возможности использовать его в целях повышения эффективности науки, во-вторых, в его объективности, в-третьих, в возможности в равной мере применять ИЦ к различным областям науки. Утверждается, что применение ИЦ как инструмента оценки эффективности науки возможно только в том случае и в той мере, в какой научное сообщество признает ИЦ в качестве значимого элемента «самосознания науки». Рассматриваются альтернативные основания признания значимости научных исследований, среди которых научная экспертиза и обсуждение. Вывод состоит в том, что настаивание на учете указанных альтернатив способствует признанию автономии научной деятельности, значения новизны и оригинальности научных идей и в конечном счете служит развитию науки.
Ключевые слова: индекс цитирования, Ю. Гарфилд, объективность экспертизы, виды объективности, научная коммуникация
В последнее время наукометрия стремительно входит в повседневность российского ученого, вызывая далеко не однозначные реакции - от признания необходимости квантитативных процедур в процессе оценки научных исследований до аргументов против их адекватности заявленным целям. В статье предполагается сделать несколько шагов в направлении философской критики обоснованности признания индекса цитирования (ИЦ) как средства объективной оценки научных исследований.
Сомнения, предъявляемые к ИЦ, связаны, как минимум, с тремя соображениями. Во-первых, с оправданностью использования его в качестве критерия оценки научных исследований. Во-вторых, с утверждением его объективности и, в-третьих, с его равнозначным применением ко всем областям научных исследований. Присмотримся к ним.
Наукометрия как деятельность, связанная с оценкой эффективности научных исследований, начинает активно развиваться с 60-х годов прошлого века. Собственно индекс научного цитирования (Science Citation Index), разработанный Ю. Гарфилдом, применяется с 1964 г. Впервые количественные показатели по оценке науки и сам ИЦ были использованы в отчете Национального научного фонда США в 1972 г. [1].ИЦ возникает далеко не на пустом месте. Сам Г арфилд не раз описывает историю его возникновения [2], не только обращая внимание на детали открытия-изобретения, но и отдавая должное традиции предшественников. К этой традиции принадлежат в первую очередь Дж. Бернал, Д. Прайс, Р. Мертон. Отмечается и значительный вклад нашего соотечественника
В.В. Налимова, автора термина “наукометрия”, калькой с которого пользуются и нынешние англоязычные исследователи
1 Работа подготовлена при поддержке гранта РГНФ. Проект № 12-03-00560.
120
Высшее образование в России • № 2, 2014
(Scientometrics). Трудно переоценить роль Дж. Бернала, который называется отцом наукометрических исследований. Его работа «Социальная функция науки », опубликованная в 1939 г., дала мощный импульс развитию социальных исследований науки, а также послужила теоретическим базисом для возникновения «науки о науке» - науковедения, призванного стать синтетическим «самосознанием науки» [3].
Понимание смысла и целей ИЦ было изначально далеко не однозначным. Так, Дж. Бернал, ознакомившись с соответствующими идеями, называет их конструктивными. Но в каком смысле? «Роль индекса цитирования, - пишет он, - состоит в том, чтобы показать отношение любой статьи ко всем другим статьям, не обязательно связанным с той же темой или областью научного исследования, но везде и ко всей науке» [цит. по 4]! То есть позитивную роль ИЦ Бернал видел в том, чтобы оказать поддержку научной коммуникации, переступающей установленные дисциплинарные и географические пределы, проследить пути мысли, всегда идущие за рамки ограниченного предмета, создать некоторое общее поле информации, снимающее любые традиционные границы. В этом пространстве сам ученый может обнаружить непредсказуемый и неожиданный эффект собственных идей, дополнительное, иное обоснование тезиса, обескураживающий или развивающий его исследования критический вопрос. Конечно, можно спросить: насколько ученому необходимо такое «картографирование собственной империи», насколько такая зеркальная стадия жизни его идей может быть понята как действительное самосознание науки? Мы не будем здесь обсуждать этот вопрос. Для нас важно отметить два момента, обнаруживающих двойственную функцию ИЦ. С одной стороны, признание самой идеи дистрибутивности знания какпринадлежащей сущнос-
ти человечества, которое мыслит себя просвещенным 2. С другой стороны, использование этой идеи в научной политике в эпоху, когда основным способом бытия этого знания становится ее вплетенность в сеть социальных отношений.
Первое понимание разделяет и сам Г ар-филд, отмечая, что ИЦ не был «запланирован как рабочий инструмент для тех, кто оценивает науку. Скорее Индекс Научного Цитирования был предназначен для улучшения распространения и распределения знания, для поиска необходимой информации» [4] . Введение ИЦ в контекст научной политики происходит позже, когда понимание учеными своих собственных целей и задач начинает использоваться государством для определения эффективности исследований, а также с целью организации управления наукой.
Таким образом, ИЦ должен быть понят, с одной стороны, как показатель, отвечающий собственным задачам научных исследований и возникший в связи с ними. С другой стороны, он приобретает хождение в качестве инструмента оценки эффективности науки, как средство, имеющее значение для государства или, скорее, для управленческого аппарата, который не может не быть озабочен проблемой эффективного распределения ограниченных ресурсов между различными, очевидно несравнимыми друг с другом, областями исследовательской деятельности. В первом случае речь идет об автономии научного сообщества, для которого ИЦ принадлежит (в большей или меньшей степени) «внутренней истории науки», является событием научной деятельности и научной коммуникации. Во втором - о его превращенной форме, на властный характер которой само научное сообщество часто взирает с сомнением и удивлением. Власть ИЦ, освоенного управленческими структурами, демонстрирует себя тогда, когда оценка эффектив-
2 Об идее дистрибутивности знания в новоевропейской философии см. [5].
Кругозор
121
ности сменяется, усиливается и перетолковывается как борьба за повышение эффективности; тогда капитал ИЦ приобретает качество самовозрастания, подчиняя себе живой научный труд, непосредственное общение с коллегами и со студентами 3. Так происходит, например,когда возникают предложения поддерживать только те научные исследования, которые уже подкреплены соответствующими публикациями и ИЦ.
Итак, природа ИЦ такова, что он может легитимно функционировать во втором (гетерономном) смысле только тогда, когда научным сообществом признана его роль в первом (автономном) смысле и в той мере, в какой эта роль признана 4. Иначе он может превратиться во внешний механизм управления и даже давления, апелляции к которому не будут способны не только поощрять научные исследования (ведь не финансовые же гарантии есть условие и источник возникновения научных мыслей!), но и адекватно их оценивать.
Насколько не случайно это превраще-
ние ИЦв средство осуществления научной политики? Закономерность этого превращения можно понять, если перенести тезис об оценке научных исследований на тезис о необходимой легитимации науки. Проблема легитимации не может не принадлежать самому научному сообществу, приобретающему собственную идентичность через признание. В науке, так же как и в философии, всегда неявно присутствует Другой,и есть необходимость в специфических способах удостоверения собственной мудрости и значения перед этим Другим 5. Здесь нельзя не вспомнить жест Фалеса с маслобойнями, к которому можно возводить историю легитимации ученого в обществе. История эта, как и должно ей быть, бесконечна и вариативна, и ИЦ -лишь одно из событий, вплетенных в нее. Основная характеристика этого основания легитимации (оценки) - ее квантитативный характер, и его распространение вписывается в общую тенденцию распространения квантитативных критериев в научных практиках вообще и в сфере оценки и легитима-
3 Об оттеснении собственных целей научного исследования в погоне за необходимостью соблюдать правила «игр в цифирь» см., например, [6]. (Об этом гласит и известный в экономике «закон Гудхарта». Инверсия целей и средств вообще характерна для превращенных форм бюрократизации в науке и образовании. См. в данном номере дискуссию В.М. Бабинцева, Х.Г. Тхагапсоева и Д.А. Севостьянова. - ред.)
4 О специфике отношения к ИЦ как к объективному показателю эффективности в различных областях научного знания см. [7]. В этой же статье приводится много любопытных примеров того, что ИЦ не может считаться достаточно адекватным показателем как научной активности, так и значимости исследований. Примеры связаны с неспособностью консервативного научного сообщества к реакции на новые, неожиданные идеи. Или с противоположной способностью, когда речь идет, скажем, об административном ресурсе и политическом влиянии цитируемого (оцениваемого) субъекта.
5 Значимым Другим для современной отечественной науки выступает «мировая наука». Именно признание со стороны этого Другого может быть удостоверено, в частности, через ИЦ. Правда, не всегда однозначно определено, что стоит за именем «мировая наука». Приведем только один пример, заставляющий задуматься об этом определении. В 1998 году «67% ссылок в американских публикациях сделаны на работы американских ученых <...> Американцы в 1995 году практически не цитировали ни российские, ни китайские публикации за 1991-1993 годы, в то время как российские ученые процитировали за этот период времени 35% американских работ и сделали только 17 % ссылок на собственные работы. <...> Простой подсчет показывает, что мы цитируем свои работы в четыре раза меньше, чем американцы» [1]. Кроме того, отмечается, что «себестоимость одной публикации» в США в 40 раз больше, чем в России. Причем здесь имеется в виду не «оплата публикации по факту», но изначальные объемы бюджетов на научные исследования!
122
Высшее образование в России • № 2, 2014
ции этих практик в частности 6. Что является причинами этого распространения? Действительно ли существует однозначная корреляция между количественными методами и объективностью признания исследований?
Вопросу о причинах повсеместной легализации и легитимации математических методов в науках и различных профессиональных практиках посвящена работа Т. Портера «Доверие числам: стремление к объективности в науке и общественной жизни » [9]. В самом общем виде такой причиной является, как ясно из названия, стремление к объективности, формальным образом понятой как независимость от субъекта. В контексте бытия науки как социального института числа, графики и формулы рассматриваются как необходимые стратегии коммуникации [Ibid., p. 49], как способ достижения объективности научных суждений. Математика представляет собой универсальный язык, на котором можно продемонстрировать сравнительное значение результатов любого исследования любому Другому, претендующему на их понимание. Математические способы презентации результатов (соответственно, способы легитимации) позволяют преодолеть субъективизм, возможную заинтересованность, пристрастность, партикулярность личного, пусть и авторитетного суждения, зависимость от внутренних дисциплинарных экспертных критериев. В каких ситуациях универсальный язык приобретает особую актуальность? Каковы конкретные причины распространяющегося доверия к числам?
Наука в качестве социального института, а именно такая наука составляет предмет внимания Т. Портера, существует в контексте зависимости от возможного недоверия ненаучной общественности (и необходимости это доверие завоевать); тем
самым определяется ситуация проблематичной легитимности. По мнению автора, основанному на анализе исторического материала, научные институты, пользуясь только экспертными аргументами, звучащими изнутри научной сферы, не всегда способны оградить собственную деятельность от вопросов об эффективности, предъявляемых извне, со стороны общества и государства [Ibid., p.12]. Часто наука вынуждена переопределять свою сферу, и порой то, что называется способом обоснования деятельности, - это изобретение слабого научного сообщества в ответ на внешнее давление. Именно тогда квантификация оказывается наилучшим способом всеобщей исследовательской коммуникации, а также объективной презентации результатов исследований. Она приходит на смену идеалам авторитетного свидетельства и личностного знания. Вывод исследований Портера состоит в том, что такого рода движение к объективности как стандартизации (квантификации) результатов (и обоснований принятия решений), замена экспертных суждений введением точных критериев оценки (то есть определенное проталкивание имперсональности в науку) было вызвано не только стремлением к лучшему суждению. Оно было, во-первых, определенным ответом научного сообщества на давление извне, имеющим место в условиях недоверия и внутренней дисциплинарной слабости, и, во-вторых, способом адаптации к институциональному разъединению исследовательских практик.
Следуя идеям Т. Портера, можно определить два вида объективных оснований признания. Первый, выраженный в квантитативных показателях как ответ на звучащие извне требования эффективности, подчиняет научное исследование количественным критериям. Второй предполагает консенсус внутри научного сообщества по
6 В данном контексте мы не разбираем вопрос о различиях квантитативных показателей эффективности науки и о соответствующей специфике их применения. См. об этом [8].
Кругозор
123
поводу общезначимых правил, норм, базовых установок исследования. И в том и в другом случае мы имеем дело с «объективностью », то есть с беспристрастностью и незаинтересованностью, следованием общим правилам и ограничением склонностей единичных субъектов. Вопрос о предпочтении экспертного решения или количественных критериев, профессионализма или точности [Ibid., p. 113] непрост и решается не столько в научном, сколько в политическом и культурном поле. С одной стороны, цифры часто являются убежищем для тех, кто потерял публичное доверие и право на авторитет, освященное традицией. Подозрение в субъективизме и предубежденности, обвинения в неэффективности - обычная формула для критики науки извне. От подобной критики можно защититься только с помощью «справедливого и честного решения», основание которого - математические расчеты. С другой стороны, апелляция к математической, формальной экспертизе возможна лишь в контексте взаимоотношений научного сообщества с широкими публичными и официальными кругами; это, по мнению Портера, демонстрирует демократические общественные тенденции. То есть доверие к числам может быть связано как со страхом личной ответственности и неспособностью отстоять собственное основание суждения, так и с желанием открытости, а также с возможностью презентации собственных заслуг и их значения для всего общества.
Поставив вопрос о сравнении «видов объективности», нужно прежде всего сказать, что они предполагают формирование различных субъектов в качестве основания общезначимости научных суждений. В дис-
циплинарном смысле эта общезначимость определяется экспертизой, проводимой авторитетами конкретного научного сообщества, и утверждается консенсусом. В процедурном смысле 7 общезначимость определяется на основании количественных критериев, и субъектом ее является общественный субъект как таковой, сформированный, однако, на новоевропейской предпосылке, подчеркивающей значение одного из дисциплинарных сообществ - сообщества математиков. (По словам Портера, внутреннее экспертное суждение всегда уже встроено в любой признанный способ решения научных проблем, не исключая и использование чисел [Ibid., p. 214]). С одной стороны, впечатление большей степени общности (преодоления субъективности) создается именно в случае процедурной объективности. С другой стороны, в дисциплинарной объективности имеет место большая степень ответственности, возможность обнаружить новизну и отстоять ту идею, которая важна именно для этого сообщества 8. Различие между указанными двумя видами объективности состоит еще и в том, что дисциплинарная объективность экспертов, имеющая в своем основании общезначимость критериев научного сообщества, является не только установленной, но и устанавливаемой, поскольку критерии ее могут изменяться.
Таким образом, можно говорить уже о трех основаниях признания научных исследований. Все они, повторим, являются объективными, поскольку предполагают преодоление частного характера суждения, беспристрастность, обсуждение, практику мышления себя на месте другого. Все они могут быть рассмотрены как отдельные и
7 Термин «процедурная объективность» используется при характеристике идей Портера А. Мегиллом [10] как общее определение для внеперсональных методов научного исследования и администрирования. Сам Т. Портер называет эту объективность «механической».
8 Конечно, можно говорить о том, то и математическое доказательство есть форма убеждения и предполагает взятие ответственности за тезис и аргументацию [11]. Но тогда речь идет уже не о процедурной объективности, а о дисциплинарной объективности математического сообщества.
124
Высшее образование в России • № 2, 2014
самодостаточные и различаются не только конкретностью процедур, но и контекстами использования. Первая объективность - «процедурная» (использование квантитативных критериев признания, к которым также относится ИЦ) - имеет значение для презентации результатов конкретного научного сообщества «вовне». Вторая - это объективность консенсуса, или «заданная дисциплинарная объективность», которая предполагает апелляцию к стандартам, принятым в том или ином сообществе, и соответственно, «внутреннее» согласие сообщества в отношении этих стандартов; оценка конкретного научного исследования производится специалистами на основании этих стандартов. (Что касается конкретного ритуала реализации этой объективности, то им может быть, например, практика голосования экспертов, всегда уже знающих о том, что может быть признано в качестве научного и что нет). Третья - объективность интерсубъективного взаимодействия, или «конституируемая дисциплинарная объективность », которая предполагает обсуждение, убеждение, аргументацию, непосредственное соединение собственной позиции и позиции Другого 9. Необходимость последней очевидна, поскольку критерии и стандарты сообщества не есть нечто данное априори, видимое «с точки зрения всезнающего Бога».
В каком отношении находятся друг к другу эти объективные основания признания? Представляется очевидным, что именно непосредственное взаимодействие является условием принятия, а также критики любых норм - как качественных конкретных стандартов дисциплины, так и количественных показателей. Во всяком случае, можно утверждать, что квантитативные критерии признания научного исследования не исключительны, и объектив-
ность, связываемая с ними, не абсолютна. Сам ИЦ как количественный показатель является выражением состоявшегося события научной коммуникации (в противном случае он ничего не показывает) и, следовательно, не может ее заместить.
В заключение вспомним упомянутое выше сомнение, касающееся неравнозначности действия ИЦ для различных наук, в частности, проблематичности его применения в качестве собственного критерия признания в гуманитарной сфере [13; 14]. Согласимся с этой проблематичностью; добавим только, что она обусловлена не только тем, что гуманитарные исследования больше ориентированы на Книгу, чем на журнальную статью как способ выражения мысли. Здесь важно следующее: гуманитарные исследования по сути своей должны быть рефлексивны и критичны. Традиция, распространяющаяся и утверждающая себя, - позитивна. Критика и возвращение к истокам - событийны, хотя и имеют необходимо общезначимый характер долженствования. Его следует воспроизводить, а не цитировать.
Выводы
ИЦ - важный показатель научной активности и научной коммуникации, но его адекватное функционирование в качестве инструмента, оценивающего эффективность научных исследований, возможно только в том случае, когда само научное сообщество признает его в качестве значимого для себя, принадлежащего событию «самосознания науки». В противном случае речь будет идти о внешней оценке и о давлении администрации, которому ученые будут вынуждены подчиняться из соображений самосохранения, забывая собственный мотив научныхисследований, пренебрегая им. А этот мотив может быть неизме-
9 Обсуждая многообразие смыслов объективности, Х. Дуглас объединяет выделенные нами три вида контекстом социальных отношений. При этом он использует следующие термины: объективность процедурная, объективность согласия и объективность интерактивная [12, р. 461-465].
Кругозор
125
римо далек от того, что может быть названо конкретным результатом.
ИЦ - важное, но не единственно возможное объективное основание признания значения научных исследований. Кроме него существует экспертная оценка, которая предполагает, во-первых, апелляцию к решению научного сообщества и его конкретным стандартам и, во-вторых, обсуждение этого значения научным сообществом. Объективность последнего действия может быть понята в качестве основания первых двух.
Если эти обстоятельства будут учитываться, тогда живая научная коммуникация не будет подменяться внешней административной оценкой эффективности исследований, тогда в научном сообществе будут находить место новизна и оригинальность, тогда ученый будет озабочен по преимуществу поиском истока мысли и развитием мышления и не будет думать о покупке маслобоен.
Литература
1. Маркусова В.А. Кто и как измеряет науку //
Независимая наука. URL: http://www.ng.ru/ science/2002-12-25/14_ science. html
2. Garfield E. From the science of science to
Scientometrics visualizing the history of science with HistCite software // Journal of Informetrics. 2009. No 3. P. 173-179.
3. Бернал Дж. Двадцать лет спустя // Наука о
науке. М.: Прогресс, 1966. C. 255-280.
4. Garfield E. Tracing the influence of J.D. Bernal
on the World of Science through Citation Analysis // Presented at the British Association for Crystal Growth / Irish Association
for Crystal Growth Conference & Bernal Symposium on Protein Crystallization, University College Dublin, Belfield, Ireland. September 3-4, 2007. URL: http:// garfield.library.upenn. edu/ papers/
bernaldublin0907.pdf.
5. Малышкин Е.В. Дистрибутивность просве-
щенного состояния // Вестник СПбГУ. Серия 17. 2013. № 2. С. 44-50.
6. Лоуренс П.А. Потерянное при публикации.
Как измерение вредит науке// Игра в цифирь, или как теперь оценивают труд ученого. М.: МЦНМО, 2011. С. 39-45.
7. Михайлов О.В. Блеск и нищета «индекса
цитирования» // Вестник Российской академии наук. 2004. Т. 74. № 11. С. 10251029.
8. Бедный Б.И., Сорокин Ю.М. О показате-
лях научного цитирования и их применении // Высшее образование в России. 2012. № 3. С. 17-28.
9. Porter T.M. Trust in Numbers: The Pursuit of
Objectivity in Science and Public Life. Princeton: Princeton University Press, 1995. 325 p.
10. Megill A. Introduction: Four Senses of Objectivity // Rethinking Objectivity / Ed. A. Megill, Durham and London, 1994. P. 1-20.
11. Бажанов В.А. Математическое доказательство как форма апелляции к научному сообществу // Эпистемология и философия науки. 2011. Т. XXVIII. № 2. С. 36-54.
12. Douglas H. The Irreducible Complexity of Objectivity // Synthese. 2004. Vol. 138. № 3. P. 453-473.
13. Мотрошилова Н.В. Система РИНЦ применительно к философским наукам // Высшее образование в России. 2013. № 3 С. 3-17.
14. Соколов Б.Г. Индекс Х и индекс Ц // Studia culturae. 2013. № 17. С. 167-176.
