CC BY
73
с
N
НА ПЕРЕКРЕСТКЕ МНЕНИЙ
Н.В. МОТРОШИЛОВА, доктор Система рИНЦ
филос. наук применительно
Институт философии ран к философским наукам*
Тема статьи - анализ сложившихся форм и методов деятельности службы РИНЦ в контексте отражения действительной эффективности научно-исследовательских процессов в системе образования и науки.
Ключевые слова: наукометрия, система научного цитирования, библиометричес-кие системы, РИНЦ.
«Российский индекс научного цитирования » (РИНЦ) - отечественная система учета и подсчета продуктивности научной деятельности индивидуальных авторов по публикациям в отобранных РИНЦ научных (также технических и медицинских) журналах и по (выборочно) подсчитанным на их основе цитированиям. Эта система возникла десятилетиями позже аналогичных зарубежных служб и в основном строилась по их образцам и моделям. Отсюда ее важная особенность, о которой вполне добросовестно сообщают организаторы системы и работающие в ней специалисты: РИНЦ - только в начале пути. Она пока не располагает в необходимом объеме ни финансовыми ресурсами, ни подготовленными для решения означенных целей специалистами, ни солидным историческим опытом. Но поскольку подобная информационная деятельность затребована временем, ученым и научным учреждениям придется осваиваться, считаться с её результатами и формами.
В наши задачи не входит информирование научной общественности о том, на выполнение каких именно целей направлена деятельность РИНЦ, с какими трудностями этой службе приходится сталкиваться и какие программы уже разработаны, проводятся в жизнь, чтобы со време-
нем и посильно разрешать проблемы, неизбежные на первых стадиях работы. Служба РИНЦ на своем сайте (eLibrary.ru) предоставляет в распоряжение пользователей информацию также и о своей деятельности, с чем не только полезно, но и необходимо знакомиться ученым, сотрудникам научных учреждений, ибо к данным системы им теперь придется обращаться регулярно.
Прежде всего важно понять исходные предпосылки и ограничения, т. е. учесть, чего заведомо не делает, к чему не обращается РИНЦ - подобно другим национальным и международным наукометрическим системам (самая продвинутая из них - ТЬоша8-Кеи1ег8 Согр.). Так, эти информационные службы “отвлекаются” от монографий, индивидуальных и коллективных (за исключением публикаций материалов отдельных конференций), т. е. оставляют за бортом книжные публикации ученых, что объективно обусловлено рядом причин, внутренних для данных служб. Между тем при подсчете публикаций, особенно в гуманитарных дисциплинах, такое отвлечение является серьезным недостатком. Другое ограничение - неизбежность отбора отдельных журналов,публикации в которых принимаются в расчет, из необозри-
Исследование проведено при поддержке РГНФ (грант № 11—03—00442 а).
мого, в сущности, моря журнальных публикаций 1.
Получается, что довольно значительная по объему и важности часть общей панорамы развития наук и деятельности ученых, а именно книжная продукция, не попадает в эти системы в силу изначального решения об исключении книг из информационных данных. Правда, применительно к работе самих этих систем речь идет об объявленных решениях, вытекающих из все же ограниченных возможностей учета поисти-не необозримого количества книжных публикаций. Решение зарубежных и отечественных информационных систем ограничиться журналами, причем только ими отобранными и составляющими небольшую долю издаваемой журнальной продукции, тоже вполне понятно.
Однако дело существенно меняется, если и когда вне этих систем принимаются решения - и складывается соответствующая практика, при которой имеет место исключительная опора на данные системы при вынесении количественно-качественных оценок об эффективности, результативности, продуктивности деятельности отдельных ученых и состоянии целых научных областей, - прямо влияющих на распределение финансовых средств, рейтинги институтов, иногда и на их необоснованную ликвидацию. Проблема взаимоотношений научных сообществ с чиновниками разного рода, ретиво требующими полностью и без поправок ориентироваться на системы, подобные РИНЦ (часто зная их только по названиям), нуждается в специальном осмыслении, что не принадлежит к главным целям данной статьи.
В целом я буду исходить из следующих общих предпосылок: система РИНЦ может сыграть полезную информационную роль даже в рамках принятых ею условий и ог-
раничений. Тем более что на сайте РИНЦ оговорено: настоящее время - начальное и переходное для данной системы, так что принимаются пожелания, направленные на усовершенствование используемых методик, иногда с пониманием их неоптималь-ности. (Хорошо бы не забыть об этом самокритичном понимании тогда, когда система окрепнет и, что называется, наберет обороты).
Что будет дальше, посмотрим. На сегодняшнем же этапе возникает объективная необходимость для самих ученых и научных институтов (например, входящих в РАН) вникать в вопросы как о полезности, так и о недостатках уже возникших отече-ственныхинформационных систем. Эта необходимость определяется тремя главными обстоятельствами.
Во-первых, для ученого владеть информацией о публикациях в его областях знаний, о цитатах и ссылках на его работы и на исследования коллег и т. д. - весьма полезно. Даже при использовании Интернета собственные усилия добыть такую информацию сильно уступают возможностям профессиональных наукометрических систем.
Во-вторых, для научных институций соответствующие данные тоже могут быть полезными при сравнительныхоценках научно-исследовательского вклада отдельных ученых, научных школ и внутриинсти-тутских подразделений. А потому и отдельным российским ученым, и научным сообществам, и периодическим изданиям лучше всего помогать РИНЦ по принципу: уж если в этой системе производится указанный учет и обсчет, то в интересах самих ученых - способствовать достижению наибольшей полноты и объективности результативных показателей. Правда, это потребует от нас дополнительной и системати-
1 О том, к каким искажениям это приводит - при попытках дать количественные и тем более оценить качественные параметры развития наук и деятельности отдельных ученых - даже в таких развитых наукометрических системах, как Thomas Reuters Corp., - см. в моей статье [1], а также в [2, 3].
ческой работы (о чем подробнее - в заключительной части статьи).
В-третьих, сейчас на ученых и научные институты накатывает волна требований, инструкций, «инноваций»,исходящих от разных чиновных инстанций (министерств, внутриакадемических управленцев, руководства научных фондов и т. д.), суть которых состоит в напористом стремлении немедленно использовать “точные количественные показатели результативности научно-исследовательского труда” - на основе тех систем и данных, которые имеются “под рукой”. Проверка именно точности и релевантности их данных, оценок по отношению к реальным процессам, качеству, значимости действительного вклада отдельных ученых, научных школ, исследовательских коллективов, целых научных дисциплин никем не делается и даже не предполагается как исходное условие. Тщательные проверки в принципе могли бы стать делом тех самых инстанций, представители которых директивно требуют на данные информационные системы опираться. Но, говоря реалистически, у них нет ни знаний, профессионально требующихся в подобных случаях, ни особого желания подойти к делу критически. А потому конкретные проверки надежности данных опять-таки становятся делом самих ученых, научных учреждений и коллективов - по отношению к реальным индивидам и соответствующим областям знаний.
Правда, применительно к РИНЦ самой правильной стратегией со стороны научного сообщества сегодня было бы дать этой системе время для созревания, одновременно надеясь на государственную поддержку и на высокопрофессиональную экспертизу достигнутого уровня её работы. При этом ученые и их институции могли бы отнестись к сегодняшним результатам и данным, предлагаемым РИНЦ, с пониманием
и доброжелательностью. Вместе с тем в сложившихся обстоятельствах ученым одновременно приходится как использовать данные РИНЦ, так и самим критически проверять достоверность, надежность, полноту предоставляемой информации, сопоставляя её с действительным положением вещей в сферах их исследовательской работы и предотвращая использование неточных, неполных данных как основание для тех или иных ошибочных решений.
Поскольку и РИНЦ, и информационно-наукометрические системы разных стран учитывают не книжные, а журнальные публикации, прежде всего рассмотрим, какие массивы журналов служат основой для осуществления дальнейших подсчетов.
Проблема отбора журналов по философии
Вопрос о том, какие именно журналы образуют для информационных систем поле обсчета, имеет для получаемых результатов ключевой характер. Поэтому в нашем случае целесообразно присмотреться к тому “Каталогу журналов”, по которому РИНЦ подсчитывает количество публикаций и ссылок по философским проблемам и дисциплинам.
В настоящее время в рубрике “Философия” на сайте РИНЦ приведен каталог названий, включающий 345 единиц (!) и объединяющий собственно журналы, а также вестники, ежегодники и т.п. Как и по какому принципу их отбирали? Видимо, дело отбора сильно облегчалось для РИНЦ тем, что в каталог вошли 87 единиц, ранее вклю-ченныхв лицензионный перечень ВАК именно по философии2.
Как можно оценить этот каталог? Скажем сначала о хороших новостях. Несомненно, что включение некоторых журналов, вестников, ежегодников именно в каталог по философии выглядит вполне обосно-
2 Последний, кстати, далеко не безупречен, что ясно проявляется в списках публикаций диссертантов. Но это специальная проблема, которая отчасти попадет в поле нашего зрения при дальнейшей оценке качества каталога РИНЦ.
ванным, более того - само собой разумеющимся делом и для философов, и для представителей других дисциплин. Это подтверждается дополнительными характеристиками, которые имеются в каталоге, - количеством подсчитанных (в основном за период с 2008 г.) статей и ссылок на них. Эти данные могут быть полезны, но - скажу забегая вперед - исключительно при понимании и знании того, сколько случайных и необъективных факторов пока что определяют все процессы отбора и подсчета. Например, учтены (к январю 2012 г.) 91 выпуск (за 7 лет) журнала «Вопросы философии » - с 1674 статьями и 14901 ссылкой на его публикации (здесь индекс цитирования, согласно РИНЦ, 1,094 - самый высокий в этом списке и далеко отстоящий от индексов большинства журналов.). Что еще раз подтверждает статус «Вопросов » как центрального российского философского журнала. Кстати, это единственный отечественный журнал, включенный в Каталог мировых философских журналов в базе данных Thomas Reuters Corporation (Web of Science). Хорошие позиции у журнала «Человек» Института философии РАН (41 учтенный выпуск, 876 статей, 1616 ссылок). Еще один наш популярный журнал, а именно «Философские науки», в РИНЦ представлен 70 выпусками - с 997 статьями и высоким цитированием (1660 ед.). Другая философская периодика, по праву включенная в каталог РИНЦ, это: «Вестник Московского университета. Серия 7: Философия» (40 выпусков, 362 статьи, 649 ссылок); «Вестник Российского университета дружбы народов. Серия: Философия» (26 выпусков, 356 статей, 49 ссылок). Нельзя не отметить - и Каталог РИНЦ это учитывает - относительно недавно появившиеся, но уже занявшие свое место в философской периодике высокопрофессиональные специализированные журналы, такие как «Эпистемология и философия науки» (учтено 30 выпусков с 731 статьей и 351 цитированием).
Все названные журналы - московские. Вместе с тем обращает на себя внимание оправданное включение в обрабатываемую РИНЦ российскую философскую периодику журналов из других городов России. Примеры: «Философия науки » Сибирского отделения РАН (47 выпусков, 460 статей, 386 ссылок); «Философия права» Ростовского юридического института Министерства внутренних дел РФ (27 выпусков, 960 статей, 210 ссылок) или специализированные «Соловьевские исследования» Ивановского государственного технического университета им. В.И. Ленина (19 выпусков, 414 статей, 68 ссылок); «Философия образования» Сибирского отделения РАН (24 выпуска, 1119 статей, 1099 ссылок). Будучи главным редактором «Историкофилософского ежегодника», я, естественно, интересовалась позициями философских ежегодников. Формально говоря, на общем фоне они неплохи. Так, один из старейших ежегодников ИФ РАН «Логические исследования» представлен 7 учтенными выпусками (138 статей и 107 ссылок), «Этическая мысль» - 9 выпусками (103 статьи, 38 ссылок). От «Историкофилософского ежегодника», издающегося с 1986 г., учтен пока только 1 выпуск. Но радует то, что на 22 статьи лишь одного этого выпуска имеется 92 ссылки.
Пока речь шла, что называется, о хороших новостях. Они, говоря обобщенно, состоят в том, что РИНЦ учитывает данные по главным, признанным философским журналам России, и собранные, пусть далеко не полные, данные достаточно убедительно подтверждают их сохраняющуюся центральную роль, высокий престиж в философии и за её пределами. Эта группа журналов и ежегодников образует ядро философской периодики России. И сей факт отображен Каталогом РИНЦ. А следовательно, база для последующей объективной информационной работы существует.
Но есть и плохие новости. Они состоят
в следующем. Хотя в каталог РИНЦ по философии вошла профессиональная философская периодика, не она составляет там большинство. Включение немалого числа изданий - не вообще в число источников для РИНЦ, а в каталог именно по философии - вызывает сильные сомнения. Возникает такой вопрос: поскольку в каталоге имеется 345 единиц, то где нашли такое большое количество философских журналов? После внимательного изучения списка удивление рассеивается. Многие журналы, фигурирующие в списке, вовсе не являются специально-философскими; более того, возникает подозрение, а есть ли среди их публикаций (добротные) философские работы. В каталоге по философии фигурируют по преимуществу журналы, вестники вузов, в которых публикации по философии образуют только часть работ, и не всегда полностью ясно какую, но предположительно - незначительную, потому что часто речь идет об институтах негуманитарного профиля. В случае гуманитарной тематики журналы, вестники, если они всё-таки подразумевают также и философские публикации, скорее берут гуманитарную проблематику, что называется, скопом. Характерны, например, такие широкие объединения: «Культура, история, философия, право» или «Философия, политология, социология, психология, право, международные отношения» и т. д. Не получалось ли так, что философию «на всякий случай » присоединяли к некоему гуманитарному комплексу, не обязательно предполагая, что наберется достаточное количество качественных философских статей? Впрочем, это предположение в каждом отдельном случае требует конкретной проверки. И дело РИНЦ - организовывать специальные экспертизы для определения того, правомерно ли включение того или иного журнала, вестника в соответствующий дисциплинарный каталог.
При изучении каталога (без просмотра статей или по крайней мере их тематики de
visu) применительно к некоторым изданиям, включенным РИНЦ в перечень философской периодики, трудно судить о том, каков в них удельный вес философских статей, если они вообще имеются. Кстати, слабая их представленность ничего не говорит о качестве соответствующих журналов. Так, журнал «Сервис plus» Российского государственного университета туризма и сервиса или журнал «Ветеринарная патология», возможно, вполне хороши для своих областей, однако остается вопрос, по праву ли они занимают место в каталоге философской периодики.
Сомнение вызывает и то, имеют ли отношение именно к философии те вестники, журналы немалого количества вузов (а среди них - носящих гордое название «академий»), в названии которых слово «философия » даже не присутствует.
При первом подходе (ещё раз оговариваю: без просмотра публикаций) кажется, что добрая половина заявленных в каталоге журналов, вестников и т. д. могла бы не фигурировать именно в рубрике «Философия». И тогда вместо них можно было бы включить в список и, соответственно, обсчитывать журналы, названия которых, с одной стороны, не явно философские, но которые, с другой стороны, определенно публикуют немало работ именно по философии (пример - интересный и популярный журнал «Вестник аналитики»).
Впрочем, к решению обрисованной проблемной трудности возможны два противоположных подхода. Подход первый: в целом заметно сократить список журналов, включенных именно в философский каталог, оставив некоторые из них лишь в «родных» им дисциплинарных областях. (Это требует, впрочем, не формально-механического исключения, а проведения конкретной экспертизы). Вместе с тем, как сказано, некоторые журналы - с доказанными и постоянными философскими публикациями, можно в список добавить. Подход второй (и им,вероятно,руководствовались в
РИНЦ): пусть список и несколько избыточный (с точки зрения редких и вряд ли высокопрофессиональных обращений ряда изданий именно к философской проблематике), лучше оставить в нем большее количество журналов и вестников, тем самым поощрив их к дальнейшему и более интенсивному опубликованию философских статей. Хотя я лично скорее придерживаюсь первого подхода, признаю, что второй подход, возможно, более практичен - тем более что в некоторых городах России комплексные вестники вузов, особенно общегуманитарные, являются и единственной реальной возможностью также и для местных философов опубликовать свои работы.
Система РИНЦ, как и другие аналогичные информационные службы, предоставляет некоторые данные, так или иначе пригодные для оценки результативности исследовательской деятельности ученых. Но результаты, достигаемые самой этой системой, как и её методы, сами требуют оценки, главным критерием которой, как представляется, является следующий: соответствуют ли добытые данные (и в какой мере) действительной картине деятельности ученых, её, по крайней мере, количественным, но также и отдельнымкачественным показателям?
Данные РИНЦ и действительная продуктивность ученых
Всё, что будет исследоваться и высказываться далее, отнюдь не имеет целью как-то опорочить работу РИНЦ, тем более на той стадии, когда эта работа только началась и когда в самой системе (судя по многим «документам» на сайте) понимают сложность проблем и необходимость устранения обнаружившихся погрешностей.
В системе РИНЦимеющиеся наукометрические инструменты ещё только подгоняются к условиям и задачам информирования о российской науке. Поэтому наши опасения и предостережения скорее относятся не к РИНЦ, а к тем ретивым управ-
ленцам различных уровней, которые непременно хотят, притом как можно скорее, «внедрить в практику» оценки научно-исследовательского труда в России пока ещё не готовые методики и приемы информационного характера.
Да и само наше обсуждение уже сделанного и делаемого РИНЦ - чисто предварительное. Спешить с ним не следовало бы, если бы не упомянутое чиновное рвение, прикрываемое разговорами об «инновациях». Ибо ведь в Институты РАН уже «спущены» сверху распоряжения о том, что «объективными» данными РИНЦ (и зарубежных корпораций) сотрудники исследовательских учреждений должны сопровождать свои отчеты или заявки в научные фонды. Вот почему нас вынуждают уже сегодня разобраться с тем, соответствуют ли данные, отнесенные в РИНЦ к теме публикационной активности конкретных ученых, самой этой активности, прежде всего - по количественным параметрам. (Надо учесть и то, что наблюдается желание ряда наукометров на основании некритического принятия подобных количественных расчетов делать качественные, даже «меритократические» выводы о заслугах и достижениях касательно целых областей знаний. Об этом - по отношению к философии - шла речь в моей упомянутой статье в Вестнике РАН).
Далее проблема будет разобрана применительно к философии. Забегая вперед, скажем: на сегодняшний день результаты сопоставления информационной картины РИНЦ с действительными - в данном случае чисто количественными - показателями работы ученых выглядят неудовлетворительно, а порой просто удручающе. Цифры подчас различаются на целые порядки. Что мы попытаемся доказать далее на конкретных примерах.
Case studies
В качестве одного из методов указанного сопоставления мы избрали метод case
studies - для того, чтобы на конкретных примерах продемонстрировать весьма существенное расхождение между картиной, которая возникает при использовании данных PИHЦ, и действительной публикационной деятельностью ученых. Были выбраны - в качестве объектов изучения - исследовательские результаты трех видных ученых; из Института философии PAH это доктора философских наук, профессора Pубен Апресян и Елена Князева, из Prry -доктор философских наук, профессор Алексей Круглов. Все трое - философы с мировыми именами. Данные об их публикациях за 2008-2011 гг. предоставлены ими самими; вместе с тем проверенные списки публикаций за 2008-2010 гг. двух первых философов опубликованы в годовых отчетах Института философии PAH. Недостоверность данных, приведенных в этих списках, исключена.
Case study № 1. Здесь имеется в виду (с количественной стороны) работа доктора философских наук, профессора Рубена Апресяна. В схеме 1 приведены его публикации за 2008-2011 гг.
Общий итог: система РИНЦ зафиксировала 1/ 5 публикаций данного автора. Оказались полностью не учтенными следующие важные категории публикаций Р.Г. Апресяна:
1) 4 коллективные монографии, его работа как отв. редактора (141 а. л.) и одного из авторов. Эта деятельность является со-
держательной и почетной, ибо реально означает высокое признание ученого со стороны профессионального сообщества. Примеры: монография «Общественная мораль: философские, нормативно-этические и прикладные проблемы» (М., Альфа-М., 2009 - 31,1 а. л.), которая принадлежит к числу книг, относимых специалистами к лучшим отечественным исследованиям последнего времени по этике; тематическая публикация в «Логосе» (2008, № 5) «О праве лгать». Последняя коллективная работа отражает дискуссии - формально по статье Канта, а на самом же деле по центральным современным проблемам этики. В данной работе позиция Р. Апресяна обсуждалась в качестве одной из важнейших в современной российской этике;
2) не учтены авторские публикации Р. Апресяна как в других коллективных монографиях, так и в нерецензируемых журналах; вместе они составляют половину численности всех опубликованных работ Р.Г. Апресяна за отчетный период. Справедливости ради следует отметить: случай Р.Г. Апресяна - особый в том смысле, что
Схема 1
замеченность его публикаций и ссылок на его работы в системе РИНЦ за все «учтенные» годы - одна из самых высоких и как будто благоприятных. Так, всего в РИНЦ зафиксировано 250 ссылок на его работы -цифра, сравнительно с другими авторами, очень высокая 3.
Но если взять «замеченность » в сис-
Общее количество публикаций и их объем Зафиксированы РИНЦ Цитирования, зафиксированные РИНЦ Публикации в рецензируемых^^^ журналах^^^ Учтено РИНЦ Не учитываются РИНЦ
Монографии Другие публикации
б1, объем 45,4 а. л. 11 9 15 11 4 (отв. редактор), 141 а. л. 31
3 Возможно, сказался тот факт, что его фамилия начинается на «А», стоит в начале списка, так что применительно к ней процесс дополнения сначала заведомо неполных данных уже осуществлен. Если это так, то что же говорить об авторах с очень малой «замеченностью» со стороны РИНЦ и их публикаций, и ссылок на них...
теме РИНЦ за последние З года, то пока цифра эта (9 ссылок) отличается от реальной картины на целые порядки. Итак, если в ответ на требования чиновных инстанций P. Апресян укажет, что, согласно PИHЦ, на его работы ссылались 9 раз, сколь же необъективными, неблагоприятными для данного высокопродуктивного ученого, хорошо замеченного и признанного сообществом, окажутся эти данные!
Case study N 2. Публикации доктора философских наук, профессора Елены Князевой (схема 2).
Общий итог: система РИНЦ зафиксировала за 2008-2011 гг. 13 из 86 публикаций Е.Н. Князевой, т.е. 15%, что в этой системе, возможно, считается неплохим средним показателем. Все её публикации этого периода в рецензируемых журналах учтены РИНЦ (9 публ.). Тем не менее оказались полностью не учтенными следующие важные категории публикаций Е.Н. Князевой:
1) 2 индивидуальные монографии (в соавторстве) общим объемом 37 а. л., а также 4-е издание монографии (в соавторстве) объемом 16,5 а. л. Излишне доказывать, что переиздание научной монографии или
учебника - доказательство их признания, востребованности в исследовательском сообществе;
2) подавляющее большинство публикаций Е. Князевой (70 единиц из 86, т. е. почти 80%!), включая монографии, учебники и статьи в нелицензированных журналах, в том числе работы, опубликованные за рубежом, - не получили отражения в РИНЦ. Что касается Thomas Corp., то здесь показатели ещё хуже: отражены 3 публикации из 86, т. е. 3,5%;
3) неучет (заведомый) со стороны РИНЦ
публикаций в зарубежных изданиях - весьма прискорбный факт: ведь в системе требований, ныне предъявляемых российским ученым, акцентируется то, насколько их исследования известны интернациональному сообществу 4;
4) цитирования, которые приведены в РИНЦ за некоторые годы предыдущего периода (1992, 1994, 1997, 1999), показывают достаточно высокую степень замечен-ности работ Е.Н. Князевой, особенно написанных в соавторстве с Курдюмовым (91, 43, 25, 19 ссылок соответственно). Применительно же к публикациям 2008-2010 гг.
Схема 2
Общее число публикаций Зафиксировано ?ИНЦ и другими системами Цитирования, зафиксированные ?ИНЦ Публикации в рецензируемых'''’"^ журналах Учтено ,Х ?ИНЦ Не учитываются ?ИНЦ
Монографии (число и объем) Другие публика- ции
86 ?ИНЦ - 13, т. е. 15%; Web of Science -3 , т. е. 3,5% 1 9, объем 5,9 а.л. у' Все учтены ?ИНЦ 2 (в соавторстве) - 37 а. л. 1 учебное пособие (в соавторстве - переиздание) - 16,5 а. л. 70
4 Я произвела соответствующие подсчеты по показателям РИНЦ, касающиеся лично меня. Здесь расхождения ещё более резкие, чем в case studies № 1 и № 2: из 36 публикаций за 2008— 2011 гг. объемом 62,7 а. л. в РИНЦ учтено 7 публикаций, составляющих 1/5 объема опубликованных работ. В более длительной перспективе (т. е. за 11 лет, за которые РИНЦ приводит данные о моих “замеченных” публикациях) расхождения ещё более значительны: “замеченное” и “отраженное” число моих публикаций в 10 раз меньше реального. Публикации за рубежом (в том числе издания книг) не учтены.
пока чаще всего дается нулевой показатель цитирования. В дальнейшем показатели, всего вероятнее, возрастут (ведь работы вышли сравнительно недавно). А это опять-таки относится к неизбежным издержкам, которые говорят о необъективности показателей цитирования РИНЦ, а значит — о нежелательности использования их в «чистом виде » для оценок эффективности работы ученых, когда они делаются «по свежим следам» публикаций.
Применительно к обоим case studies необходимо также подчеркнуть следующее. Р. Апресян и более молодой, и в то же время высокопродуктивный, исследователь Е. Князева, вероятно, принадлежат к числу философов, чья публикационная деятельность в «наибольшей степени » замечена и отражена в системе РИНЦ (в сравнении с другими авторами.) Тем более досаден, если говорить мягко, следующий несомненный факт: в сравнении с действительным массивом работ данных авторов отражена, во-первых, малая часть, тогда как подавляющее большинство их опубликованных сочинений - около 80% - система не учитывает., причем согласно изначальным условиям! Во-вторых, именно те работы, которые сами авторы и их коллеги ставят на первое место — с точки зрения содержания, выражения главных идей и концепций, за-меченности со стороны профессионального сообщества, — вообще не попадают в кадр имеющихся систем подсчета, причем как отечественных, так и зарубежных.
Case study № 3. Публикации доктора философских наук, профессора Алексея Круглова за 2008—2011 гг. (схема 3).
Общий итог:
1) из 26 публикаций А.Н. Круглова за рассматриваемый период РИНЦучел 2 единицы, т. е. менее 10%; если же подсчитать процент учтенного по объему, то результат поистине удручающий. За отчетный период А. Круглов опубликовал две монографии, которые являются новаторскими, беспрецедентными для существующей литературы о рецепции философии И. Канта в России - объемом около 1000 страниц! Поскольку РИНЦ монографий не учитывает, в данном случае весьма значительная по объему и высочайшая по качеству часть работы А. Круглова не учтена;
2) А. Круглов - автор относительно молодой, но уже хорошо известный мировому сообществу. Он много публикуется за рубежом. В частности, за рассматриваемый период на иностранных языках он опубликовал 12 статей. Все они остались неучтенными в РИНЦ (согласно изначально принятым ограничениям);
3) другое ограничение, принятое РИНЦ, касается переводов. Это важная область деятельности А. Круглова, который блестяще владеет немецким языком и делает высококачественные переводы труднейших философских текстов. В данном случае благоприятно то, что 4 перевода, опубликованных им в «Кантовском сборнике», получили отражение в данных РИНЦ;
4) одна из проблем РИНЦ, обсуждаемая на сайте этой системы, - путаница с однофамильцами. «Алексей Николаевич Круглов » как автор, работающий в РГГУ, в списке РИНЦ не фигурирует. Имеется в списке РИНЦ полный тезка - Алексей
Схема З
Общее число публикаций Зафиксировано РИНЦ Цитирования, зафиксированные РИНЦ Публикации в рецензируемых^^^ изданиях Учтено РИНЦ Не учитываются ГИНЦ
Монографии Другие публикации
26 2 2 (общий объем -1000 стр.) 22
Николаевич Круглов из Института радиотехники и электроники РАН. Это создает большие трудности, скажем, при «ручном» поиске ссылок и цитирований.
А.Н. Круглов делает вывод: «Точное количество публикаций в моем случае определить с помощью РИНЦ невозможно. Количество сносок на свои работы я определить не могу. Список своих работ, на которые ссылаются, и их количество по каждой отдельной работе, я определить не могу. Между тем ручной поиск подтверждает, что эта невозможность объясняется не отсутствием работ и ссылок, а тем, что РИНЦ пока сделан халтурно ».
Выводы
Анализ, основанный как на общих исследованиях функционирования зарубежных и отечественных систем количественного учета результативности, эффективности работы отдельных ученых, состояния тех или иных научных дисциплин, деятельности научных учреждений, так и на обращении к отдельным дисциплинам или конкретным case studies5, — этот анализ в целом убедительно показывает: имеются весьма существенные расхождения между числом и особенно объемом «найденных» данными системами публикаций тех или иных ученых и действительным количеством их опубликованных работ. При этом подобные расхождения касаются основной массы, если не всех ученых. И расхождения эти, как правило, «не в пользу» ученых. Даже цифры, относящиеся к избранным РИНЦ журнальным публикациям, как правило, в 2—3 раза меньше действительного количества опубликованных в журналах работ ученого.
Болезненный парадокс: у наиболее продуктивных ученых, особенно при учете более долговременных периодов работы, число их произведений и особенно их общий
объем бывает на «порядки » больше, чем учтенное библиометрическими системами.
Могут сказать: все эти системы, в том числе самые мощные и знаменитые (не говоря о тех, что - подобно РИНЦ - лишь в начале пути), заведомо не ставят своей задачей целостно учесть, отразить количество публикаций и индивидуального ученого, и тем более публикационную активность того или иного научного сообщества, института, коллектива, научной дисциплины и т. д.
Все верно. Но тогда требования непременно использовать - с сегодня на завтра -полученные этими системами якобы точные данные именно для оценок реальной исследовательской «эффективности», научного вклада отдельных ученых и т. д. тоже изначально безосновательны. При подобном подходе они могут принести не пользу делу функционирования науки, управления ею, а, напротив, очень серьёзный вред.
Во многих откликах на эту проблематику реально работающих ученых, признанных в своих исследовательских областях, отмечены те значительные упущения в работе обсуждаемых систем, которые тоже имеют характер заранее принятых ограничительных условий. А в их составе заведомый отказ подсчитывать книжные публикации (за исключением тезисов конференций, которые отнюдь не всегда относятся, говоря мягко, к самым значительным работам ученых) становится особенно пагубным для сферы социогуманитарных наук - пагубным прежде всего с качественной стороны. Конечно, книга книге рознь. И прорывные статьи великих или выдающихся ученых - больше всего в естествознании, в точных науках - с исследовательской точки зрения могут стоить много больше, нежели целые штабеля иных книг. Однако книга традиционно и совсем не случайно стала важной «единицей»
5 Указания на литературу вопроса - и в целом, и в применении к философии - см. в моей упомянутой ранее статье в “Вестнике РАН” [1] и в работах других ученых на сходные темы.
исследовательского труда: в ней идеи и концепции ученых в заметном числе случаев получают наиболее систематическое, доказательное воплощение.
Между тем подсчеты библиометричес-ких систем (включая РИНЦ), построенные по принципу «за вычетом монографий», как раз и порождают одно из тех кривых зеркал, в котором показатели продуктивности, эффективности научного труда как бы по умолчанию искажаются. И не только качественно, но и количественно. Об этом хорошо сказал О.В. Михайлов - заметьте, не гуманитарий, а известный химик: «...публикация публикации рознь: одно дело - монография, другое - статья, и уж совсем иное - тезисы докладов, но тем не менее и первое, и второе, и третье в списке трудов любого исследователя будет занимать по одной позиции» [3, с. 624].
В силу разных причин (применительно к разным дисциплинам они подробно рассматриваются в публикациях последнего времени, в том числе - по отношению к философии - в статье автора этих строк в “Вестнике РАН”) данные наукометрических служб не являются ни полным, ни объективным отражением реальной эффективности исследовательской работы ученых. Два выявившиеся здесь обстоятельства должны быть особо подчеркнуты. Во-первых, неблагополучие касается не только социогуманитарных дисциплин; оно зафиксировано учеными и применительно к естествознанию, к математике. Один из примеров - процитированная статья химика О.В. Михайлова, который также и относительно естественных наук доказывает: количественные оценки по общему числу публикаций (с нивелированием их реального сравнительного веса), по уровню цитирования и т. д., - а ими, конечно, нельзя полностью пренебрегать, -как и другие критерии, фиксируемые, в частности, на библиометрическом уровне, не могут служить «общепризнанными количественными критериями оценки
качества » исследовательской деятельности.
Во-вторых, показатели, изображаемые в качестве объективных количественных данных, на разных уровнях пронизаны многими случайностями и определяются по преимуществу не объективными и внутринауч-ными, а субъективными вненаучными факторами. Последние относятся уже к деятельности самих библиометрических систем на той или иной стадии их развития, притом с особой, как правило, негативной спецификой в «опоздавших» с созданием нацио-нальныхсистем странах современного мира. Конечно, в результате и в сумме в итоговых данных все же что-то объективное отражается. Но «объективное» отражается лишь частично и в основном искаженно: перед нами предстают не реальные количественные показатели даже по выбранным параметрам (число публикаций и ссылок), а то, что по этим рубрикам сумели, успели, наконец, захотели учесть соответствующие службы (как сказано, заведомо установившие содержательные ограничения и произведшие свои выборки). Значит, здесь «объективно » выражается скорее уровень, степень, характер “замеченности” деятельности тех или иных ученых, результатов их деятельности соответствующими службами. Что, согласитесь, вовсе не то же, что достоверные, реальные характеристики самой исследовательской деятельности.
Можно признать, что сквозь такие особые призмы как-то проникают - пусть и преломленными, искаженными - лучи от многосторонней, объективно существующей деятельности ученых. И потому картину надо существенно корректировать. Какие тут надо принять поправки и дополнения - вопрос весьма трудный (в дальнейшем о нем специально пойдет речь).
Разберем ещё один «довод» тех, кто ратует за использование данных обсуждаемых систем на любой стадии их развития и со всеми их недостатками. Говорят: да, система дает искажения, неблагоприятные
для ученых; но разные ученые здесь как бы «равны » перед лицом такой необъективности. А значит, данные таких систем могут быть использованы хотя бы для сравнения.
Эти и подобные «доводы» и соображения не выдерживают критики. Дело как раз в том, что обилие чисто субъективных, ситуативных расхождений приводит к неравенству условий подсчетов по отношению к ученым. И прежде отмеченное нами парадоксальное обстоятельство — неблаго-приятность подсчетов, особенно для наиболее продуктивно работающих ученых, — говорит само за себя. Если, скажем, ученый опубликовал всего 2 работы (причем если он, не создав книги, сумел напечатать эту пару своих статей, например, в местном комплексном издании лицензированных «Записок»), и их «заметила» система — хотя бы потому, что с первой статьей данный автор попал в Список этой системы, то он получает преимущество (50 или более процентов замеченности!) по сравнению с автором, имеющим за тот же период около 100 публикаций и «замеченным» системой только на 5—10% процентов...
Ещё сложнее обстоит дело с неравенством условий и результатов при подсчете осуществленныхучеными ссылок и цитирований, не говоря уже о замеченности уровня цитируемости той или иной системой. В специальные проблемы цитатного индекса и его непременного, немедленного (на чем настаивают наши чиновники) использования как объективного-де показателя эффективности и признанности ученого здесь входить невозможно. Приведу лишь высказывание (1972 года) выдающегося социолога науки Роберта Мертона о вполне возможных и, увы, уже сделанных роковых ошибках при малограмотном использовании SCI — Science Citation Index (напомню, что его создали ученики Р. Мертона под руководством Ю. Гарфильда, до сих пор курирующего деятельность соответствующих служб): «Уже со времени изобретения SCI, — писал Р. Мертон, — исследования цитирования разраста-
лись с таким стремительным ускорением, что они рисковали отбиться от рук. При их часто некритическом использовании имело место пренебрежение многими методологическими проблемами. Тем не менее само по себе существование 5^С1 и растущее изобилие анализов цитирования (даже в таких вопросах, как оказание помощи в приеме на работу и продвижении ученых) могут привести к таким изменениям в практиках цитирования, которые в длительной перспективе могут неблагоприятно повлиять на эти практики и даже обесценить их в качестве измерений качества исследований. И это будет не первый случай, когда введение статистических фиксирований применительно к исполнениям ролей привело к такому оттеснению (сіеріасетепі:) целей, при котором когда-то пригодный статистический индикатор скорее, чем актуальное исполнение [соответствующей роли], становится центром мани-пулятивных замыслов » [4].
Как же прав оказался Р. Мертон в своем предвидении! Мы опять находимся на той стадии, когда не столько данные давно существующей SCI (впрочем, для российских ученых заведомо неблагоприятные), сколько неудовлетворительные подсчеты цитирования РИНЦ в очередной раз становятся - уже вне науки - «центрами манипуля-тивных замыслов » и ведут, как и раньше, к оттеснению (сіеріасетепі) содержательных целей, ради которых, как кажется, и вводятся «практики» повсеместного обращения к «точным показателям» признаннос-ти, а на деле - к весьма неудовлетворительному учетуцитирований (даже если понимать весьма ограниченное значение самого этого цитирования).
Конкретные предложения
В силу всего вышесказанного в качестве оптимальных на сегодняшний день представляются следующие предложения, касающиеся деятельности отдельных ученых, научных сообществ и научных институтов (в частности, институтов РАН), примени-
тельно к науко-, библио-метрическим системам, включая РИНЦ.
1. Ученым полезно ознакомиться и освоиться с этими системами, обращаться к их данным, в частности, посильно помогать становлению, развитию РИНЦ своими наблюдениями и критическими замечаниями.
Вместе с тем эти обращения на нынешней стадии могут иметь, по-моему, только чисто вспомогательный, так сказать, факультативный характер и ни в коем случае не должны быть директивно навязываемы «сверху».
2. Поскольку в системе РАН документы, требующие предоставлять данные РИНЦ (число публикаций и ссылок), имеют вид требований, спускаемых “сверху”6, ученые вправе потребовать от чиновных инстанций, а точнее, от реальных авторов тех или иных документов, от соответствующих экспертов - обнародования своего авторства и готовности вступить в гласный диалог с подведомственными институтами и отдельными учеными.
3. В более чем возможном случае, если соответствующие чиновные инстанции (а фактически - отдельные лица, остающиеся анонимными) продолжат рассылать свои директивы, отдельные ученые и институты будут принуждены совместно разработать свои корректирующие поправки к показателям обсуждаемых систем. В чем могли бы состоять такие поправки?
Первое. Поскольку «сверху» все-таки требуют предоставлять «точные количественные данные» систем (включая РИНЦ), то ученым нужно добиться, чтобы вместе с такими данными - и на более «сильных» правах - в каждом отдельном
случае предоставлялись реальные количественные результаты, прежде всего касающиеся общего количества публикаций ученого за соответствующий период. Такие количественные данные должны быть ответственно проверены и подтверждены научными учреждениями, их отчетами7.
Второе. Для работы рассматриваемых служб, для управляющих инстанций, а также для тех ученых, которые все-таки хотели бы использовать добываемые на нынешних этапах библиометрические данные — хотя бы как вспомогательное средство (помогающее оценить эффективность исследовательской деятельности — при обязательном соотнесении показателей служб с реальными данными), полезным делом была бы, по моему мнению, разработка корректирующих коэффициентов и моделей.
Поясню, что имеется в виду. «На местах», т. е. в полях реальных исследований и деятельности конкретных исследователей возможно определить — непременно с опорой на работу математиков и других специалистов — коэффициенты (хотя бы средних) отклонений, расхождений между данными какой-то системы (например, РИНЦ) и действительными, разумеется, строго проверенными показателями. А соответственно, разработать коэффициенты поправок к данным библиографических систем. Если (и когда) такая работа будет проделана применительно к деятельности каких-либо научных институций и, точнее, к деятельности отдельных ученых, показателями Web of Science или РИНЦ всё-таки можно будет пользоваться.
В частности, нет никакого сомнения в том, что при любых достоверных и объек-
6 См. соответствующие документы в Приложении к электронному варианту статьи на сайте РАН.
7 Такие отчеты ежегодно публикуются рядом институтов РАН, включая ИФ РАН, причем они проходят предварительную проверку. Со ссылками и цитатами дело обстоит значительно сложнее: отдельные авторы вряд ли способны откорректировать сугубо выборочные данные библиометрических систем, которые со своей стороны касаются такого сугубо субъективного дела, как ссылки и цитирования. Поэтому подсчеты по ним тем более могут использоваться лишь по желанию ученых, сугубо факультативно.
тивных формах учета эффективности, продуктивности исследовательско-публикационной деятельности ученого на первое место должны быть поставлены монографии - прежде всего индивидуальные, но также деятельность ученых в качестве ответственных редакторов важнейших коллективных монографий, особенно международных.
Подлежит обсуждению вопрос о том, что следует конкретно отличить (объемные) индивидуальные монографии от статей (неоправданно ставших «равноценными» единицами отчетности). Тут необходимы и возможны соответствующие корректирующие коэффициенты.
Трудно утверждать заранее, но вряд ли такие коэффициенты могут быть «стандартными » для всех институтов и специальностей, для разных (с точки зрения публикационной активности) категорий ученых.
4. Коснусь (но только коснусь) темы, которая была обозначена ранее. Раз количественные данные о тех ученых, которые -как и положено нормами науки - публикуют свои труды, так или иначе собирают, отбирают, обобщают библиометрические системы, то в наших интересах способствовать тому, чтобы они были более полными
и, следовательно, хоть в какой-то мере объективными. Что каждый ученый и каждый научный институт могут сделать в своих интересах? Прежде всего - проверять показатели о нем самом, приводимые РИНЦ, и доводить до сведения работающих там специалистов критические реакции и соображения. (Данную статью можно считать такой реакцией со стороны немалого числа философов, которые думают так же, как её автор).
Особый вопрос - о периодических изданиях, включенных в каталог РИНЦ. Скажу, к примеру, об «Историко-философском ежегоднике », издаваемом ИФ РАН и бегло упомянутом ранее. Пока «замечен» со стороны РИНЦ лишь один выпуск (ибо этот издающийся 25 лет ежегодник только не-
давно включен в «замусоренный», как сказано, лицензионный список ВАК). И это печально. Возникает частная задача для РИНЦ — не зависеть от лицензионного отбора ВАК, «замечая» давно зарекомендовавшие себя издания. Сейчас со стороны РИНЦ нам предложено самим обсчитать (по публикациям и ссылкам) все предшествующие выпуски ежегодника. Работа предстоит весьма объемная и сложная. Но мы понимаем: сделать её- в наших интересах.
В данной статье, сосредоточенной на теме авторских публикаций (и соответствующих показателей), были, по существу, оставлены в стороне другие немаловажные факторы эффективности современной научно-исследовательской работы — такие, например, как выступления на научных конференциях и вообще участие в дискуссиях исследователей, научное редактирование изданий, иногда высокопрестижных в научных, в том числе интернациональных сообществах или (что для философии особенно важно) трудное, ответственное дело издания классиков научного знания и т. д. Применительно к философии я бегло затрагивала эти темы в упоминавшейся статье в «Вестнике РАН». Но требуется специальное обсуждение этого ряда проблем в связи с целостным вопросом об эффективности научно-исследовательской деятельности.
Итак, осмысление затронутых и незатронутых тем, дискуссии вокруг них должны продолжиться.
Литература
1. Мотрошилова Н.В. Недоброкачественные
сегменты наукометрии // Вестник РАН. 2011. № 2.
2. Юревич А.В. К проблеме оценки вклада
российской социогуманитарной науки в мировую // Вестник РАН. 2011. № 7.
3. Михайлов О.В. Критерии и параметры объективной оценки качества научной деятельности // Вестник РАН. 2011. № 7.
4. Zuckerman H., Merton R.K. Age, Aging and
Age Structure of Science // A Theory of Age Stratification. N.Y. 1972.
MOTROSHILOVA N. RUSSIAN SCIENTIFIC CITATION INDEX IN REFERENCE TO PHILOSOPHY
The article deals with the analysis of the existing forms and methods of Russian Scientific Citation Index service (eLibrary) from the point of view of representation the real effectiveness of science and research activities.
Key words: scientometrics, citation databases, bibliometric systems, Russian scientific citation index.
Б.И. БЕДНЫЙ, доктор ф.-м. наук Ю.М. СОРОКИН, доктор ф.-м. наук ННГУ им. Н.И. Лобачевского (национальный исследовательский университет)
О показателях научного цитирования и их применении
Обсуждаются показатели научного цитирования, применяемые для количественной оценки результативности научной деятельности. Понятие «импакт-фактор» рассматривается как группа показателей, различающихся алгоритмом вычисления. Проанализированы свойства индекса Хирша. Показано, что значения показателей, связанных с измерением количества публикаций и ссылок (цитирований), существенно зависят от выбора библиографической рейтинговой базы, на которой они рассчитываются. Оцениваются возможности и ограничения для применения наукометрических показателей в вузовской практике *.
Ключевые слова: научный журнал, цитируемость, рейтинговая база, классический импакт-фактор, импакт-фактор предметной области, относительный импакт-фактор, индекс Хирша.
В последние годы в связи с расширением конкурсного финансирования научных исследований и разработок научные работники и преподаватели высшей школы все чаще обращаются к наукометрическим показателям (индикаторам), применяемым для количественной оценки результативности научной деятельности организаций, научных коллективов и отдельных исследователей. При подготовке заявок на выполнение научных проектов и отчетных документов по выполненным проектам обычно необходимо указывать количество научных статей, отражаемых в определённых международных и российских базах данных, импакт-факторы журналов, в которых эти статьи опубликованы, показатели цитирования и индексы Хирша руководителей и основных исполнителей проектов. Однако, судя по тому, какие показате-
ли запрашиваются организаторами конкурсов, а также по личному опыту авторов этой статьи, многократно обсуждавших вопросы практического применения наукометрических показателей с университетскими коллегами и сотрудниками академических институтов, далеко не все, кто оперирует этими показателями, имеют ясное представление об их смысле, методике измерения и значимости при решении тех или иных задач в области организации научных исследований.
Известно, что, несмотря на колоссальный прогресс в развитии науки, она до сих пор не смогла найти оптимальный способ измерения значимости собственных результатов, качества научной продукции ученых, их вклада в новое научное знание. Одной из шкал для оценки научной продуктивности является число публикаций в
" Авторы выражают признательность М.Б. сов, рассмотренных в данной статье.
Сапунову, инициировавшему постановку вопро-
